Uporaba orodij UI prinaša izjemno učinkovitost, a tudi resna pravna, varnostna in operativna tveganja.
Preverite, na kaj morajo biti pozorna vodstva proračunskih porabnikov.
Umetna inteligenca (UI) v javno upravo in javne zavode prinaša hitrejšo obdelavo dokumentov, boljšo analitiko in avtomatizacijo rutinskih opravil. Vendar pa nenadzorovana ali nepromišljena uporaba orodij UI skriva številne pasti, ki lahko vodijo do kršitev zakonodaje, izgube zaupanja javnosti in visoke finančne ali ugledstvene škode.
- Utekanje zaupnih in osebnih podatkov (GDPR tveganje)
Najpogostejša past pri vsakodnevnem delu je vnašanje internih dokumentov, osebnih podatkov občanov ali zaupnih gradiv v javno dostopna komercialna orodja UI. Podatki, vneseni v takšna orodja, se pogosto shranjujejo na tujih strežnikih ali uporabljajo za nadaljnje treniranje modelov, kar predstavlja neposredno kršitev Splošne uredbe o varstvu podatkov (GDPR) in zakonodaje o varovanju tajnosti.
- “Halucinacije” in nepravilni izhodni podatki
Modeli UI delujejo na podlagi statističnih vzorcev in ne na podlagi dejanskega razumevanja prava ali upravnih postopkov. Zaradi tega lahko generirajo t. i. “halucinacije” – navidez popolnoma prepričljive, a strokovno ali pravno povsem napačne odgovore, izmišljene členke zakonodaje ali napačne izračune. Za napačno odločitev ali odgovor stranki vedno odgovarjata organ in javni uslužbenec, ne pa orodje UI.
- Neskladnost z Aktom o umetni inteligenci (AI Act)
Evropski Akt o UI prinaša stroga pravila in razvršča sisteme UI glede na stopnjo tveganja. Uporaba nekaterih sistemov (npr. za prepoznavanje čustev na delovnem mestu ali v izobraževanju) je popolnoma prepovedana. Pri sistemih visoke stopnje tveganja (npr. avtomatizirano vrednotenje pri zaposlovanju ali presojanje o pravicah do javnih dobrin) pa veljajo izjemno stroge zahteve po transparentnosti, dokumentiranju in človeškem nadzoru.
- Pristranskost in nepravičnost odločanja
Če se modeli UI učijo na zgodovinskih podatkih, ki vsebujejo prikrite pristranskosti, bodo te pristranskosti v svojih odločitvah ponovili ali celo okrepili. V javnem sektorju to lahko vodi do diskriminacije določenih skupin prebivalstva pri uresničevanju njihovih pravic.
- Odsotnost notranjih pravil in nadzora
Veliko organizacij nima jasnih internih aktov, ki bi določali, katera orodja UI so uslužbencem sploh dovoljena, za kakšne namene in pod kakšnimi pogoji. Brez jasnih navodil prihaja do t. i. “UI v senci” (Shadow AI), kjer zaposleni samoiniciativno uporabljajo nepreverjena orodja brez vednosti vodstva ali IT-službe.
Kako vam pomaga notranja revizija?
Uporaba umetne inteligence mora biti premišljena, načrtovana in odgovorna. Notranja revizija ima ključno vlogo pri vzpostavljanju varnih okvirov delovanja:
- Ocena stanja in popis orodij UI: Preverimo, katera orodja se v vaši organizaciji dejansko uporabljajo in ali ustrezajo definiciji ter zahtevam Akta o UI.
- Pregled pravnih podlag in GDPR skladnosti: Preverimo ustreznost procesov, varovanje osebnih podatkov in tehnične varnostne ukrepe.
- Priprava internih pravil in usmeritev: Pomagamo pri oblikovanju jasnih navodil za zaposlene glede varne ter odgovorne uporabe UI pri delu.
vir: klik