Betri gagnaverkfræði, færri óvæntar uppákomur
, By Óttar Guðmundsson
Slæm gögn eiga það til að smeygja sér óséð í gegnum kerfi þar til þau birtast í skýrslum. Þetta var þekkt áskorun hjá Sambandi íslenskra sveitarfélaga, þar sem gögn frá ytri aðilum voru ekki alltaf áreiðanleg. Til að bregðast við þessu ákvað Sambandið að taka málin í sínar hendur og verða sjálft áreiðanleg uppspretta gagna fyrir sveitarfélög landsins.
Þegar Gangverk hóf samstarf við Sambandið árið 2025 um að endurhugsa gagnainnviði þess var markmiðið einfalt: að gera gagnagæði að sameiginlegri ábyrgð. Það fól í sér að grípa vandamál fyrr og gera þau sýnileg strax, áður en þau rötuðu inn í skýrslur.
Vaxandi kerfi undir álagi
Upplýsingatæknisvið Sambandsins hafði um árabil unnið að gagnalóni (data lake) sem safnaði ýmsum fjárhagsgögnum frá ytri aðilum, svo sem launagögnum, fjárhagsáætlunum og ársfjórðungsuppgjörum sveitarfélaganna. Upphaflega lausnin þjónaði sínum tilgangi, en eftir því sem gagnauppsprettunum fjölgaði jukust kröfurnar. Núverandi verkfæri voru ekki hönnuð með gagnastjórnun og daglegan rekstur í huga.
Meðal helstu vandamála var að gögn voru sannreynd seint í ferlinu og takmarkaðir möguleikar voru á að endurkeyra gagnavinnslu og rekja uppruna gagna. Auk þess skorti stöðlun gagnanna, sem kallaði á tíðar handvirkar breytingar á kóða til að gera þau nothæf.
Þetta varð til þess að gæðavandamál færðust neðar í ferlið og leiddu til handvirkrar yfirferðar, tafa, tvíverknaðar og stöðugra samskipta fram og til baka með gögn á milli þeirra sem nýttu þau og þeirra sem skiluðu þeim inn. Fáeinir einstaklingar urðu að flöskuhálsi við að sannreyna gögnin sem bárust. Eftir því sem fleiri sveitarfélög skiluðu inn sífellt fleiri tegundum af gögnum varð sífellt erfiðara að viðhalda gagnalóninu.
Gæðin tryggð snemma
- Tillaga okkar var að færa ábyrgðina ofar í ferlið, nær þeim sem skila gögnunum inn til að koma prófunum og gæðaeftirliti á innlestrarstigið. Svokölluð shift-left-nálgun snýst um að leysa gæðavandamál við upptökin, áður en gögnin fara inn í kerfið. Til þess innleiddum við staðlað API og gagnaverkferla fyrir innsendingu gagna sem:
- Staðla hvernig gögnum er skilað inn, óháð uppruna þeirra.
- Bjóða þeim sem skila gögnum upp á skýrt og vel skjalfest API, með kóðadæmum og prófunarumhverfum.
- Gefa þeim sem skila gögnum skýra og tafarlausa endurgjöf um vandamál.
- Tryggja að aðeins gögn af háum gæðum haldi áfram í ferlinu.
Greina frávik í eftirvinnslu með hliðsjón af sögulegum gögnum og samanburði við sambærilega aðila og senda viðvaranir sem stöðva ekki vinnsluna.
Þannig gátu þeir sem skila gögnum sjálfir sannreynt þau, leyst úr vandamálum og farið yfir þau gögn sem kerfið merkti sem mögulega gölluð.
Með því að grípa vandamál snemma styttum við endurgjafartímann úr dögum í sekúndur. Þeir sem skiluðu gögnum fengu endurgjöf um leið og þau voru send inn og gátu brugðist strax við. Eftir að hafa lagfært gögnin hjá sér gátu þeir einfaldlega sent þau aftur. Rétt er að taka fram að gagnaveitendurnir voru ekki vísvitandi að senda okkur gölluð gögn. Þeir vissu einfaldlega ekki að eitthvað væri að þeim.
Í stað þess að halda áfram að laga gögn handvirkt innan kerfisins bjuggum við til endurgjafarferli sem stuðlar að samskiptum milli kerfa og teyma. Það bætir gagnagæðin þar sem gögnin verða til og stuðlar jafnframt að sameiginlegum skilningi. Þannig styrkjum við enn frekar þá hugmynd að gagnagæði séu á ábyrgð allra. Upplýsingatæknisviðið ber áfram ákveðna rekstrarbyrði, og mun alltaf gera það, en með skalanlegu gagnaverkferli sem ýtir undir samvinnu getum við létt undir með því.
Útkoman er traustur og áreiðanlegur gagnagrunnur sem bætir núverandi rekstur og opnar á nýjar leiðir til að vinna með gögn.
Næstu skref í aðgengi að gögnum
Með traustum og vel stýrðum gögnum til staðar erum við einnig farin að kanna hvernig þau geta lagt grunn að næstu kynslóð gagnaaðgengis. Við höfum gert tilraunir með viðmót á náttúrulegu máli, knúin af gervigreind. Þar geta notendur spurt flókinna spurninga á venjulegri íslensku og fengið þær þýddar yfir í nákvæmar gagnaskipanir.
Lykilforsendan er að við getum treyst gögnunum. Grunnþættir verkefnisins eru traustir þar sem gagnagæði, uppbygging og gagnastjórnun eru til staðar. Í stað þess að afhenda gervigreindarlíkani hrá gögn vinnur gervigreindin út frá þekkingu á uppbyggingu og samhengi gagnanna og getur þannig búið til bestaðar fyrirspurnir eftir þörfum. Þetta tryggir að líkanið sér aldrei gögnin sjálf, heldur semur aðeins fyrirspurnir sem beinast að gagnalóninu.
Þetta er náttúrulegri leið til að vinna með gögn. Starfsfólk á ólíkum sviðum og stjórnendur geta átt samskipti við flókin gagnasöfn á venjulegu íslensku máli, um leið og persónuvernd og kostnaðarhagkvæmni eru tryggð. Þetta er dæmi um hvernig betri gagnaverkfræði getur bætt gagnapípur og skapað nýjar leiðir fyrir fólk utan tæknigeirans til að nýta áreiðanlegar upplýsingar innan síns fyrirtækis.
Við erum rétt að byrja að kanna þessa spennandi möguleika. Við trúum því að í ekki svo fjarlægri framtíð verði jafn eðlilegt að vinna með gögn og að spyrja spurningar, svo framarlega sem réttur grunnur er til staðar.
AWS sem grunnur
Það sem gerði þessa breytingu mögulega voru undirliggjandi innviðir. Við endurbyggðum gagnakerfi Sambandsins í AWS og nýttum Prefect til að stýra gagnaverkferlum.
Allar gagnaleiðslur, gagnageymsla og vöktun eru nú í einu öruggu og rekstrarstýrðu umhverfi. Hvert skref í gagnaflæðinu, frá innlestri til greiningar, er rekjanlegt. Það auðveldar okkur að skilja hvað er að gerast og hvar vandamál koma upp. Hægt er að rannsaka vandamál eða endurvinna gögn án óþarfa fyrirhafnar, sem gerir kerfið mun auðveldara í rekstri.
Kerfið var byggt með nútímalegum aðferðum í hugbúnaðarverkfræði. Sameinaður kóðagrunnur, sjálfvirkar útgáfupípur og innviðir skilgreindir sem kóði tryggja að breytingar séu samræmdar og öruggar í útgáfu, þvert á umhverfi sem eru í stöðugri þróun.
Kerfið hefur einnig innbyggðar samskiptaleiðir. Þannig getur Sambandið haft samband við hagaðila eða fulltrúa þeirra til að láta vita þegar komið er að gagnaskilum, ef greining leiðir í ljós eitthvað grunsamlegt eða þegar gögn hafa verið lesin inn með réttum hætti.
Þetta gerði okkur kleift að byggja upp og stækka vettvanginn án þess að fórna áreiðanleika eða yfirsýn. Mikilvægast er þó að kerfið er nú viðhaldshæft og styður þær breytingar sem búast má við í eðlilegum rekstri.
Styttri endurgjöf og aukið traust
Þessi breyting færði gagnagæði frá því að vera á ábyrgð miðlægs flöskuháls yfir í að vera á sameiginlegri ábyrgð. Áhrif verkefnisins voru ekki síður menningarleg en tæknileg. Það breytti því hvernig gagnaveitendur í aðskildum stofnunum gátu unnið saman og leyst vandamál við upptökin, sem dró úr töfum og handavinnu. Greinendur verja nú minni tíma í að hreinsa gögn og meiri tíma í að nýta þau innan áreiðanlegs gagnavistkerfis.
Í raun skilaði þetta mælanlegum árangri: sjálfvirkni jókst um 85%, handvirk yfirferð minnkaði um 75% og heildargæði gagna bötnuðu um meira en 30%.
Við erum þó hvergi nærri hætt. Við erum að útvíkka shift-left-nálgunina til fleiri gagnasafna og vinna með gagnaveitendum að því að staðla hvernig þeir skila gögnum inn í kerfið. Góð gögn leiða til betri ákvarðana og aukins gagnsæis. Þetta snýst ekki bara um tækni. Þetta snýst um aðferðafræði. Þetta snýst um gagnaverkfræði.