Povinnosti poskytovatelů systémů AI

Jako jednu ze základních povinností AI akt ukládá poskytovatelům, aby zajistili dostatečnou úroveň gramotnosti u svých zaměstnanců a spolupracujících osob v oblasti AI. Samozřejmě s přihlédnutím k jejich vzdělání, technickým znalostem, zkušenostem nebo prostředí, v němž mají být AI systémy používány. Smyslem této povinnosti je zajistit, aby osoby vykonávající dohled nad systémy AI měly potřebné znalosti a dovednosti, které jim umožní činit ohledně těchto systémů informovaná rozhodnutí. Ačkoliv úroveň požadované gramotnosti se bude lišit případ od případu, pro všechny poskytovatele systémů AI to bude znamenat zvedení systematického a průběžného vzdělávání svých pracovníků v oblasti umělé inteligence (např. prostřednictvím pravidelných školení, workshopů apod.).

Poskytovatelé systémů AI musí také zajistit, aby uživatelé byli schopni jednoduše rozpoznat, že komunikují se systémem umělé inteligence. Pokud je například systém AI používán jako chatbot nebo hlasový asistent, měl by být před začátkem konverzace uživatel na tuto skutečnost výslovně upozorněn. Nebo pokud systém AI generuje určitý obsah (ať už obrazový, zvukový nebo textový), měly by být veškeré jeho výstupy ve strojově čitelném formátu označeny informací o tom, že jde o obsah vytvořený umělou inteligencí. U tzv. „deep fake“ obsahu je rovněž nutné zveřejnit, že byl uměle vytvořen nebo s ním bylo manipulováno. Stejná povinnost dopadá i na obsah vytvořený AI za účelem informování veřejnosti o záležitostech veřejného zájmu. Výjimku z této informační povinnosti představují pouze situace, kdy je použití systémů AI povoleno zákonem k odhalování, vyšetřování a stíhání trestné činnosti.

 

AI akt definuje celkem 4 úrovně rizik u systémů umělé inteligence, jenž kategorizuje na (a) zakázané, (b) vysoce rizikové, (c) s omezeným rizikem a (d) s minimálním rizikem. Systémy, které mají nepřijatelnou míru rizika jsou zakázané pro rozpor se základními hodnotami a cíli Evropské unie. Jako příklad zakázaných systémů lze uvést užívání biometrické identifikace na dálku v reálném čase na veřejných prostranstvích, užívání systémů sociálního skóringu nebo technik podprahového ovlivňování. Takovéto postupy v oblasti AI jsou přísně zakázané a AI akt jejich neoprávněné užívání sankcionuje vysokými pokutami. Dále se AI akt zaměřuje především na vysoce rizikové systémy, jelikož systémy s minimálním či omezeným rizikem (např. chatboti, nástroje pro úpravu fotografií či jazykové překladače) není třeba podrobovat výrazným omezením. Ty podléhají jen základním požadavkům na transparentnost.

U vysoce rizikových systémů AI (užívaných například ve zdravotnictví, vzdělávání, bankovnictví či soudnictví) spočívá podstata regulace v tom, že musí být navrženy a provozovány tak, aby byly bezpečné a jejich provoz podléhal komplexní kontrole. Poskytovatelé těchto systémů mají celou řadu povinností a AI akt se jejich regulaci věnuje velmi podrobně. Mezi hlavní povinnosti poskytovatelů vysoce rizikových systémů můžeme zařadit například povinnost zavést systém řízení rizik, používat dostatečně kvalitní a relevantní datové sety nebo vést technickou dokumentaci a záznamy událostí (tzv. logy), aby bylo možné zpětně prověřit fungování rizikových systémů. 

Vysoce rizikové systémy musí být rovněž transparentní a musí být nad nimi zaveden odpovídající lidský dohled. Samozřejmostí je požadavek na dostatečnou přesnost, robustnost a kybernetickou bezpečnost u těchto systémů. V neposlední řadě bude nutné, aby vysoce rizikové systémy před uvedením do provozu prošly posouzením shody v souladu s podmínkami AI aktu a byly registrovány v databázi EU. Po uvedení na trh či do provozu pak bude nutné vysoce rizikové systémy průběžně sledovat, vyhodnocovat jejich chování a odpovídajícím způsobem tomu přizpůsobovat systém řízení rizik a technickou dokumentaci. Na poskytovatele těchto systémů se rovněž bude vztahovat povinnost hlášení incidentů a přijímání nápravných opatření, o kterých si řekneme dále.

 

Poskytovatelé vysoce rizikových systémů AI mají podle AI aktu povinnost oznámit každý závažný incident dozorovému orgánu členského státu, v němž k incidentu došlo. Oznámení musí podat neprodleně poté, co zjistí nebo získají důvodné podezření na příčinnou souvislost mezi incidentem a systémem AI, nejpozději však do 15 dnů od okamžiku, kdy se o incidentu dozví. U zvlášť závažných případů jsou lhůty pro oznámení ještě kratší. Při rozsáhlém porušení práv je nutné oznámení učinit nejpozději do 2 dnů a v případě úmrtí osoby nejpozději do 10 dnů ode dne, kdy se poskytovatel o závažném incidentu dozví. Je-li to nezbytné k zajištění včasného ohlášení, může poskytovatel podat neúplné počáteční oznámení a následně jej doplnit.

Po oznámení musí poskytovatel vzniklý incident prošetřit a v návaznosti na to přijmout vhodná nápravná opatření. Při tom je povinen spolupracovat s příslušnými orgány, přičemž v průběhu šetření nesmí dotčený systém upravovat způsobem, který může ovlivnit následné posouzení příčin incidentu. Pokud dojde k oznámení zvlášť závažného incidentu, dozorový orgán o tom informuje i příslušné vnitrostátní veřejné orgány nebo subjekty veřejného sektoru. Ty pak musí každý závažný incident neprodleně oznámit Evropské komisi.

Na závěr je potřeba zdůraznit, že za porušení AI Aktu hrozí vysoké pokuty, odstupňované podle závažnosti jednotlivých porušení. Nejpřísněji jsou sankcionovány zakázané praktiky, kde může pokuta dosáhnout až 35 mil. EUR nebo 7 % celosvětového ročního obratu za předchozí fiskální rok. Za porušení dalších povinností (např. za porušení povinnosti transparentnosti nebo za porušení povinností týkajících se vysoce rizikových systémů AI) pak mohou úřady uložit pokutu až 15 mil. EUR nebo 3 % celosvětového obratu. Důsledné dodržování povinností plynoucích z AI aktu je proto velmi důležité.