Wprowadzenie AI Act, czyli pierwszego na świecie tak kompleksowego zbioru zasad dotyczących sztucznej inteligencji, to moment przełomowy. Jednak, jak to zwykle bywa z wielkimi regulacjami, diabeł tkwi w szczegółach. Jednym z najgorętszych tematów dyskusji wśród prawników, etyków i technologów jest kwestia realności nadzoru ludzkiego. Czy zapisy o „czynniku ludzkim” nie staną się jedynie martwą literą prawa, a firmy nie znajdą sprytnych sposobów na omijanie intencji ustawodawcy? Wątpliwości, o które pytasz, są niezwykle trafne i dotykają samej istoty skuteczności nowych przepisów.

Pułapka „fikcyjnego” nadzoru ludzkiego

Artykuł 14 AI Act nakłada na dostawców systemów wysokiego ryzyka obowiązek zaprojektowania ich tak, aby mogły być skutecznie nadzorowane przez ludzi. Problem polega na tym, że unijne rozporządzenie nie podaje żadnej konkretnej liczby ani procentowego wskaźnika decyzji, które muszą zostać zmienione przez człowieka, aby nadzór uznać za realny.

W psychologii znane jest zjawisko „automation bias” (uprzedzenie do automatyzacji). Ludzie mają naturalną tendencję do nadmiernego ufania sugestiom generowanym przez algorytmy, zwłaszcza gdy są one skomplikowane. Istnieje realne ryzyko, że osoba nadzorująca – pod presją czasu lub z braku kompetencji – będzie jedynie „przybijać pieczątkę” pod decyzją AI. Jeśli organy nadzorcze nie wypracują jasnych wytycznych, trudno będzie udowodnić, że 100% zgodności człowieka z maszyną to wynik bezbłędności algorytmu, a nie lenistwa lub bezkrytyczności nadzorcy.

Modyfikacja bez zmiany rezultatu, czyli biurokratyczna gra

Kolejna obawa dotyczy procesu reklamacyjnego. Użytkownik, który otrzymał negatywną decyzję (np. odmowę kredytu lub odrzucenie aplikacji o pracę), ma prawo do wyjaśnień i ponownego rozpatrzenia sprawy. Tutaj pojawia się ryzyko tzw. fasadowych modyfikacji.

Firma może wdrożyć proces, w którym po reklamacji wniosek jest analizowany ponownie, a uzasadnienie zostaje przeredagowane na bardziej „ludzkie” i szczegółowe, ale ostateczny wynik pozostaje identyczny. Może to prowadzić do sytuacji, w której systemy AI będą generować decyzje, a ludzie będą jedynie „pudrować” ich uzasadnienia, by spełnić wymogi formalne AI Act. W takim scenariuszu zmiana decyzji na dalszych etapach mogłaby być rzadkością, co w praktyce czyniłoby prawo do odwołania iluzorycznym.

Strategiczne zatwierdzenia jako tarcza ochronna

Niezwykle ciekawym aspektem jest możliwość podejmowania pozytywnych decyzji wyłącznie w celu uniknięcia problemów prawnych. Jeśli firma zauważy, że jej system AI jest pod lupą organów regulacyjnych ze względu na wysoki odsetek odrzuceń w konkretnej grupie społecznej, może dojść do zjawiska „nadmiernej korekty”.

W obawie przed zarzutem o dyskryminację lub brak nadzoru, menedżerowie mogą decydować o pozytywnym rozpatrzeniu części wniosków „na siłę”. Choć dla jednostki może to być korzystne, z punktu widzenia systemowego prowadzi to do erozji logiki biznesowej i może maskować rzeczywiste błędy w algorytmie. Zamiast naprawić wadliwy model AI, firma po prostu „ręcznie” poprawia statystyki, by w raportach dla AI Office wszystko wyglądało poprawnie.

Czy AI Act przewiduje mechanizmy obronne?

Choć powyższe obawy są uzasadnione, AI Act wprowadza pewne mechanizmy, które mają im przeciwdziałać:

• Logowanie zdarzeń: Systemy wysokiego ryzyka muszą automatycznie rejestrować zdarzenia (logi), co pozwoli organom nadzorczym sprawdzić, jak często i w jakich okolicznościach człowiek interweniował.
• Ocena skutków dla praw podstawowych: Przed wdrożeniem systemu, podmioty publiczne i niektóre prywatne będą musiały ocenić, jak AI wpłynie na ludzi, co wymusza głębszą refleksję nad procesem nadzoru.
• Rola krajowych organów nadzorczych: To od determinacji lokalnych urzędów (w Polsce np. planowanej Komisji Nadzoru AI) będzie zależało, czy będą one weryfikować jakość nadzoru, czy tylko obecność odpowiednich procedur na papierze.

Ciekawostka: Syndrom „operatora windy”

W historii technologii często dochodziło do sytuacji, w których nadzór ludzki stawał się czysto symboliczny. Kiedy wprowadzano pierwsze automatyczne windy, pasażerowie bali się nimi jeździć bez operatora. Przez lata w windach siedzieli ludzie, których jedynym zadaniem było naciskanie przycisków, które pasażerowie mogli nacisnąć sami. Eksperci obawiają się, że „nadzorca AI” w wielu firmach może stać się takim współczesnym operatorem windy – osobą, która jest tam tylko po to, by inni czuli się bezpieczniej i by prawo było zachowane, mimo że nie ma ona realnego wpływu na działanie mechanizmu.

Weryfikacja tego, czy nadzór nad AI jest realny, czy fikcyjny, będzie prawdopodobnie jednym z największych wyzwań dla sądów i organów regulacyjnych w nadchodzącej dekadzie. Bez precyzyjnego orzecznictwa i standardów technicznych, ryzyko, o które pytasz, pozostaje bardzo wysokie.