AI Governance a legislativa

Posted on 08 July 2025 by Janci — 10 min

Bluesky X (former Twitter) LinkedIn mastodon

Úvod

AI je dnes všade. Okrem technológie sa používa ako buzzword, miestami už ako nadávka. Všetci vieme (aspoň teda sa tvárime, že vieme) čo to je, všetci ju používame, staviame na nej biznis atď.

V tomto článku by som sa na to chcel pozrieť skôr z tej menej záživnej stránky, ktorá sa mi zdá, že je veľmi zanedbávaná. Ako pristupujete k svojim AI projektom, zavádzaniu AI v organizáciách.

Skúsme jednoduchý príklad

Máme vývojárov, ktorí vedia vytvoriť produkt s implementáciou AI. Je jedno, či sú to ostrieľaní programátorskí mazáci alebo sa používa nejaký stupeň Vibe codingu.
Máme biznis case (obchoďáci to zvládli a doniesli príležitosť). Tak sa do toho dáme.
Cieľ je jasný: Niečo do toho AI nahádžeme, ono to zožuje a niečo nám to vráti.
Funguje, dodáme, faktúrujeme.
Potom sa niečo udeje - audit, incident, ... a máme problém.

Kam tým mierim. K AI projektom je potrebné pristupovať tak ako ku každému projektu a možno aj trochu dôkladnejšie. Mám na mysli všetko okolo SDLC a samozrejme bezpečnosť.

Často sa stretávam s odpoveďami: "Veď to pracuje s dátami, ktoré sú napríklad PII, ale to máme ošetrené". Áno, to chápem ale to nie je len o tom, že máme AI riešenie a vieme čo používame za dáta. Je to o celom ekosystéme. Ako je to architektoniocky implementované, aké tam máme kontroly, atď. , proste celý management, napríklad. Nejde len o to čo robíte ale aj ako a pre koho.

Čo s tým - Moje AI riešenie chce byť enterprise, tak sa k tomu postavím aj enterprisovo. - Organizácie by mali pri AI projektoch aplikovať "nejaký framework". A nie len papierovo ale tak aby ste pri SOC 2 audite vedeli aj dokázať, že to čo je na papieri je aj v realite.

Napríklad ISO 42001 Informané technológie, Umelá inteligencia, Systém manazérstva je dobrý základ.

Budúci rok nás čaká AI Act. Ten popisuje čo AI riešenie môže, nemôže, nesmie robiť. Ale je tam aj klasifikácia AI riešení na základe rizika. Nie len rizoko AI riešenia samotného ale hlavne pre koho to riešenie robíte. Kde bude to riešenie implementované.

Pre organizácie s AI riešeniami (či už nasadenými alebo plánovanými) je dobré si pozrieť klasifikáciu, nechať si urobiť prípadne výklad, do akej kategórie to Vaše riešenie spadne.

Celkom zaujímavé bude klasifikovanie AI riešení napríklad pre klientov, ktorí sú v zozname PZS, PKZS.

AI Act pojednáva primárne o zakázaných a vysokorizikových systémoch AI. Skúsil som - aj pomocou AI - vyšpecifikovať zvyšné stupne klasifikácie.

Kategória	Popis	Právny základ	Recitály (dôvodová správa)	Poznámka
Zakázané AI systémy	Systémy, ktorých uvádzanie na trh a používanie je výslovne zakázané	Článok 5	Recitály 28–33	Ide o neprijateľné riziká, zákaz je priamy a taxatívny
Vysokorizikové AI systémy	Systémy s významným vplyvom na zdravie, bezpečnosť alebo základné práva	Články 6–29, Príloha III	Recitály 46–63	Presne vymedzené oblasti použitia a povinnosti
Obmedzené riziko (transparentnosť)	Systémy, ktoré vyžadujú iba informovanie používateľa	Článok 50	Recitály 27, 72–73	Týka sa napr. chatbotov a deepfake výstupov
Minimálne riziko	Systémy bez konkrétnych regulačných povinností	(nešpecifikovaný)	Recitály 26–27	Nariadenie výslovne neukladá povinnosti – odporúča samoreguláciu
General-purpose AI (GPAI)	Základné modely AI, ktoré môžu byť súčasťou iných systémov	Články 51–56	Recitály 85–89	Zvláštna kapitola, rozlišuje modely so systémovým rizikom

Klasifikácia

Nariadenie (EÚ) 2024/1689 – Akt o umelej inteligencii (AI Act) – zavádza kategorizáciu AI systémov na základe rizika, ktoré môžu predstavovať pre zdravie, bezpečnosť, základné práva alebo spoločnosť ako celok. Táto kategorizácia tvorí základ celého regulačného rámca.

Kategórie AI systémov podľa úrovne rizika:

1. AI systémy s neakceptovateľným rizikom (Unacceptable Risk AI Systems)

Tieto systémy sú považované za fundamentálne škodlivé a sú zakázané podľa zákona.

Patria sem:

Systémy, ktoré manipulujú s ľudským správaním s cieľom obísť slobodnú vôľu.
Systémy, ktoré využívajú zraniteľnosti chránených osôb (napr. detí, starších ľudí).
Systémy používané na vládne, sociálne skórovanie.
Systémy pre rozpoznávanie tváre v reálnom čase na verejne dostupných priestoroch (s veľmi obmedzenými výnimkami pre orgány činné v trestnom konaní).
Biometrická identifikácia v reálnom čase na verejných miestach (výnimky pre trestné právo sú možné)
Sociálne skórovanie (napr. podľa správania alebo postavenia)
Manipulácia správania ľudí, ktorá spôsobuje ujmu (napr. hračky, ktoré navádzajú deti na nebezpečné správanie)

2. Vysokorizikové AI systémy (High-Risk AI Systems)

Používajú sa v konkrétnych oblastiach a podliehajú prísnym požiadavkám (systémy riadenia rizík, správa dát, transparentnosť, atď.). Táto kategória je založená na zozname odvetví a potenciálom škody.

Typické oblasti:

Biometrická identifikácia a kategorizácia
Kritická infraštruktúra (napr. doprava, energia)
Vzdelávanie a odborná príprava (napr. systém hodnotenia)
Zamestnanie, riadenie pracovníkov (napr. náborové algoritmy)
Prístup k základným službám (napr. scoring pre úvery, sociálne dávky)
Presadzovanie práva (napr. predikcia kriminality)
Riadenie migrácie a hraníc
Súdne a demokratické procesy (napr. nástroje pre sudcov alebo rozhodcov)

Detailné požiadavky:

Pre systémy spadajúce do tejto kategórie sú definované rozsiahle a komplexné požiadavky. Tie sa delia do niekoľkých oblastí:

Rizikové riadenie (Risk Management):
- Identifikácia a analýza rizík: Systematický proces identifikácie potenciálnych rizík spojených s používaním systému a ich analýza z hľadiska dopadu a pravdepodobnosti.
- Minimalizácia rizík: Implementácia opatrení na minimalizáciu identifikovaných rizík.
- Monitorovanie a revízia: Pravidelné monitorovanie a revízia procesov riadenia rizík.
- Správa dát (Data Management):
- Kvalita dát: Zabezpečenie vysokej kvality dát, na ktorých sú systémy trénované. Zahrňuje to presnosť, úplnosť, relevantnosť a aktualizáciu.
- Vhodnosť dát: Zabezpečenie, aby dáta boli vhodné pre účel, na ktorý sa používajú. To zahŕňa vyhýbanie sa zaujatosti a zabezpečenie spravodlivosti.
- Transparentnosť dát: Poskytovanie informácií o pôvode a spracovaní dát.
Transparentnosť (Transparency): -Vysvetliteľnosť: Systémy by mali byť navrhnuté tak, aby boli ich rozhodnutia vysvetliteľné a zrozumiteľné pre používateľov. -Dostupnosť informácií: Poskytovanie informácií o funkčnosti systému, jeho cieľoch a potenciálnych rizikách. -Prehľadnosť algoritmov: Poskytovanie informácií o algoritmoch, ktoré systém používa, v rozsahu, ktorý je to možné, bez ohrozenia bezpečnosti.
Ľudský dohľad (Human Oversight):
- Zabezpečenie ľudskej kontroly: Zabezpečenie, aby rozhodnutia systému boli podliehajúce ľudskej kontrole a posúdeniu.
- Možnosť odvolania: Poskytovanie mechanizmov na odvolanie rozhodnutí systému.
- Právna zodpovednosť: Jasné stanovenie právnej zodpovednosti za rozhodnutia systému.
Robustnosť (Robustness):
- Odolnosť voči chybám: Zabezpečenie odolnosti systému voči chybám a útokom.
- Testovanie a validácia: Dôkladné testovanie a validácia systému pred nasadením.
Dokumentácia: Komplexná dokumentácia všetkých fáz vývoja a nasadzovania systému.

3. AI systémy s obmedzeným rizikom (Limited Risk AI Systems)

Tieto systémy predstavujú obmedzené riziko, ale vyžadujú si aj niektoré povinnosti týkajúce sa transparentnosti. Napríklad, chatboti by mali informovať používateľov, že komunikujú s AI.

Príklady systémov spadajúcich do tejto kategórie:

Chatboti pre zákaznickú podporu (neposkytujú finančné alebo právne rady).
Systémy na personalizáciu obsahu (napr. odporúčanie filmov).
Filtre spamu.
Hry s prvkom AI.

Detailné požiadavky:

Dokumentácia:
- Poskytovanie základnej dokumentácie o systéme, vrátane jeho účelu a funkčnosti. - Zameranie na zrozumiteľnosť pre bežného používateľa.
- Uvedenie informácií o používaných dátach, hoci nie v takom rozsahu ako u systémov s vysokým rizikom.
Monitorovanie výkonu:
- Sledovanie výkonu systému a identifikácia potenciálnych problémov.
- Zabezpečenie, aby systém fungoval v súlade s očakávaniami.
Používateľské informácie:
- Poskytovanie jasných a zrozumiteľných informácií používateľom o tom, ako systém funguje a aké sú jeho obmedzenia.
- Upozornenie používateľov na možnosť chýb a nepresností.
Bezpečnosť:
- Zabezpečenie základnej úrovne bezpečnosti systému, aby sa zabránilo neoprávnenému prístupu a manipulácii.
Oznámenie:
- Zodpovedný subjekt by mal informovať používateľov o tom, že používajú systém založený na AI.

4. AI systémy s minimálnym rizikom (Minimal Risk AI Systems)

Väčšina AI systémov spadá do tejto kategórie. Nemajú špecifické regulačné požiadavky podľa zákona, ale spoločnosti sú aj napriek tomu vyzvané, aby konali eticky a zodpovedne.

Príklady systémov spadajúcich do tejto kategórie: - Hry s jednoduchými prvkom AI. - Aplikácie na rozpoznávanie hlasu pre základné úlohy (napr. nastavenie budíka). - Jednoduché filtre obrázkov.

Detailné požiadavky:

Základná dokumentácia:
- Poskytovanie veľmi základnej dokumentácie, ktorá opisuje účel systému a jeho základnú funkčnosť.
- Zameranie na zrozumiteľnosť pre bežného používateľa s minimálnymi technickými znalosťami.
Používateľské informácie:
- Poskytovanie informácií používateľom, že využívajú systém využívajúci prvky AI, ale bez zbytočného zdôrazňovania.
Základná bezpečnosť:
- Zabezpečenie minimálnej úrovne bezpečnosti systému, aby sa zabránilo neoprávnenému prístupu.
Príležitostné monitorovanie:
- Zabezpečenie, že systém stále funguje tak, ako bol navrhnutý.

Modely AI na všeobecné účely (GPAI)

Definícia: GPAI modely sú AI systémy, ktoré sú trénované na obrovskom množstve dát s cieľom zvládnuť široké spektrum úloh a nie sú navrhnuté len pre jednu konkrétnu aplikáciu. Sú považované za samostatnú kategóriu, čo naznačuje, že si zaslúžia špeciálnu pozornosť.

Príklady:

Typickým príkladom sú rozsiahle jazykové modely (LLM) ako GPT-4, LaMDA, atď.

Význam: Ich univerzálnosť a schopnosť vykonávať rôzne úlohy z nich robí dôležitý nástroj, ale zároveň prináša nové výzvy a riziká.

Špecifické charakteristiky: Z dôvodu rozsiahleho trénovania a flexibility GPAI modely vyžadujú špeciálny prístup pri hodnotení, nasadzovaní a riadení.

Poznámka: Modely AI na všeobecné účely sú považované za samostatnú kategóriu, čo naznačuje, že si zaslúžia špeciálnu pozornosť a potenciálne odlišný prístup pri hodnotení a nasadzovaní.