Kontekst

Podobnie jak w przypadku wielu innych rozstrzygnięć, które znalazły swój ostateczny wyraz w Akcie w sprawie sztucznej inteligencji (dalej „Akt”)[1], postulat nadzoru nad systemami AI przez człowieka należy w pierwszej kolejności osadzić w odpowiednim kontekście aksjologiczno-filozoficznym.

Wbrew pozorom wyrażone w Akcie oczekiwanie, że systemy AI będą nadzorowane przez ludzi, wcale nie jest tak oczywiste. Systemy te, przynajmniej w odniesieniu do pewnych procesów, wykazują zdolności przekraczające zdolności człowieka. Oczekiwanie, że człowiek będzie w stanie prawidłowo nadzorować maszynę, która przekracza jego własne zdolności intelektualne, jest, patrząc z tej perspektywy, wątpliwe. Ten argument pojawia się regularnie w wypowiedziach krytyków regulacji dotyczących AI.

Musimy mieć zatem świadomość, że decyzja europejskiego prawodawcy o wprowadzeniu obowiązkowego nadzoru wykonywanego przez człowieka jest przede wszystkim ważnym wyborem aksjologicznym. Kierunkowo bowiem prawodawca opowiedział się za przyznaniem prymatu człowiekowi, pomimo szeregu artykułowanych w tym zakresie wątpliwości.

Wymóg nadzoru ze strony człowieka jest pochodną jednej z podstawowych zasad etycznych, na jakich oparty jest Akt, tj. zasady poszanowania autonomii człowieka. Zasada ta została najpełniej wyrażona w Wytycznych w zakresie etyki dotyczących godnej zaufania sztucznej inteligencji z 2019 r. opracowanych przez niezależną grupę ekspertów wysokiego szczebla ds. AI powołaną przez Komisję Europejską.

Wspomniana zasada wychodzi z założenia, że budowanie systemów AI powinno odbywać się w kontekście antropocentrycznym, a więc w modelu zakładającym nadal wiodącą rolę człowieka w kształtowaniu rzeczywistości. Systemy AI powinny więc służyć zwiększaniu, uzupełnianiu i wzmacnianiu zdolności poznawczych człowieka. Nie powinny natomiast skutkować podporządkowaniem człowieka ani kontrolowaniem czy kształtowaniem ludzi – innymi słowy wyłączeniem człowieka z procesu oddziaływania na rzeczywistość. Fakt, że w pewnych obszarach zdolności systemów AI mogą przekraczać zdolności człowieka, nie zmienia tego, że to nadal jedynie człowiek jest w stanie zrozumieć szerszy kontekst działania tych systemów i zidentyfikować ryzyka, które mogą wiązać się z ich działaniem. Chcąc uniknąć negatywnych skutków tych ryzyk, człowiek musi zachować swoją autonomię i sprawczość, które w tym konkretnym przypadku przejawiają się w sprawowaniu nadzoru nad systemami AI, tj. w uczynieniu z człowieka ostatecznej instancji decydującej o użyciu systemów AI.

Do wspomnianego dorobku grupy ekspertów wysokiego szczebla ds. AI Akt odwołuje się wprost, chociażby w Motywie 7 Aktu, zgodnie z którym W celu zapewnienia spójnego i wysokiego poziomu ochrony interesów publicznych w dziedzinie zdrowia, bezpieczeństwa i praw podstawowych należy ustanowić wspólne przepisy dotyczące systemów AI wysokiego ryzyka. (…) Przepisy te powinny również uwzględniać Europejską deklarację praw i zasad cyfrowych w cyfrowej dekadzie oraz Wytyczne w zakresie etyki dotyczące godnej zaufania AI grupy ekspertów wysokiego szczebla ds. AI.

Motyw 27 Aktu wskazuje ponadto, że Zgodnie z wytycznymi grupy ekspertów wysokiego szczebla ds. AI przewodnia i nadzorcza rola człowieka oznacza, że systemy AI rozwija się i wykorzystuje jako narzędzia służące ludziom, szanujące godność ludzką i autonomię osobistą oraz działające w sposób, który może być odpowiednio kontrolowany i nadzorowany przez człowieka. Dodaje się również, iż stosowanie zasad etycznych wypracowanych przez grupę powinno w miarę możliwości znaleźć odzwierciedlenie w projektowaniu i wykorzystywaniu modeli AI.

Należy więc przyjąć, że postulat nadzoru ze strony człowieka jest jednym z aksjologicznych fundamentów europejskiej regulacji dotyczącej systemów AI. Na wysokim poziomie ogólności można postawić tezę, że istotą tego postulatu jest zapewnienie zachowania przez człowieka intelektualnej oraz faktycznej kontroli nad procesem, w którego realizację jest zaangażowany system AI, w celu zagwarantowania ochrony godności człowieka, jego praw oraz bezpieczeństwa.  

Modele nadzoru

Nadzór człowieka nad systemami AI może w praktyce przybierać różne formy. Przywołane już wcześniej Wytyczne opracowane przez grupę ekspertów wysokiego szczebla ds. AI wskazują w tym kontekście trzy podstawowe modele nadzoru:

• model udziału czynnika ludzkiego (human-in-the-loop, HITL), przewidujący czynny udział człowieka w procesie realizowanym przy wykorzystaniu systemu AI,
• model ludzkiej interwencji (human-on-the-loop, HOTL), przewidujący udział człowieka ograniczony do bieżącego monitorowania działania systemu AI w danym procesie,
• model ludzkiej kontroli (human-in-command, HIC), przewidujący wysokopoziomowy nadzór nad systemem AI ze strony człowieka oraz możliwość decydowania o tym, kiedy i w jaki sposób korzystać z systemu.

Podstawowa różnica pomiędzy wskazanymi modelami sprowadza się do stopnia zaangażowania czynnika ludzkiego w proces działania systemu AI oraz generowania outputu przez te systemy. Model HITL jest najbardziej „inwazyjny” i zakłada aktywny udział człowieka w procesie, w którym wykorzystywany jest system AI. System AI dostarcza jedynie wkładu do procesu, którego zakończenie wymaga świadomego i aktywnego działania człowieka. Skutki procesu (np. decyzja o odmowie świadczenia usługi) są w tym przypadku efektem świadomej decyzji człowieka. Model HITL zakłada więc, że określony proces nie jest w pełni zautomatyzowany i nie może być zrealizowany w całości przez maszynę.

Pozostałe modele są mniej radykalne i nie zakładają udziału człowieka w realizacji konkretnego procesu (czyli dopuszczają pełną automatyzację procesu). Jednocześnie model HOTL przewiduje monitorowanie przez człowieka konkretnego zautomatyzowanego procesu wykonywanego przez AI. Model HIC z kolei przewiduje zachowanie ogólnej wysokopoziomowej kontroli człowieka nad całością systemu, która przejawia się w możliwości decydowania o jego zastosowaniu oraz wyłączeniu, ale już niekoniecznie w bieżącym monitorowaniu konkretnych procesów realizowanych przez systemy AI.

Na potrzeby tego tekstu przyjmuję, że w modelu HIC nie dochodzi do nadzoru nad konkretnym procesem, w którego realizację zaangażowany jest system AI. Kontroli podlega jedynie zagregowany sposób działania systemu. Na przykład w przypadku systemu AI przeznaczonego do podejmowania decyzji o podwyżkach pracowników w ramach nadzoru nie analizuje się pojedynczych decyzji – zapewnia się jedynie, aby działanie systemu nie doprowadziło do zachwiania określonego parytetu.  

Analiza Aktu

Postulat nadzoru systemów AI przez człowieka został zaimplementowany w Akcie na kilku poziomach. Należy wyróżnić przede wszystkim:

• obowiązki nałożone na dostawców systemów AI,
• obowiązki nałożone na podmioty stosujące systemy AI,
• obowiązki i uprawnienia organów nadzoru.

Poniżej omawiam pokrótce każdy z tych elementów.

Preambuła

Zgodnie z Motywem 73 Preambuły Aktu systemy AI wysokiego ryzyka należy projektować i rozwijać w taki sposób, aby osoby fizyczne mogły nadzorować ich funkcjonowanie (…). Na podstawie komentowanego Motywu można też określić pewne konkretne funkcjonalności systemów AI, które realizują postulat nadzoru ze strony człowieka.

Po pierwsze systemy AI, w stosownych przypadkach, muszą mieć wbudowane ograniczenia, których system nie będzie w stanie obejść i które zagwarantują reagowanie systemu na działania człowieka.

Po drugie, również w stosownych przypadkach, systemy AI powinny zawierać mechanizmy udzielania wskazówek i informacji osobom fizycznym, którym powierzono nadzór ze strony człowieka, aby mogły one podejmować świadome decyzje, czy, kiedy i w jaki sposób należy interweniować w celu uniknięcia negatywnych konsekwencji lub ryzyka lub zatrzymać system, jeżeli nie działa on zgodnie z przeznaczeniem.

Wskazane funkcjonalności powinny występować tylko „w stosownych przypadkach”, co sugeruje, że nie jest intencją europejskiego ustawodawcy wymuszenie wprowadzenia tych funkcjonalności na każdym dostawcy systemu AI wysokiego ryzyka.

Po trzecie, w przypadku systemów identyfikacji biometrycznej istnieje kwalifikowany wymóg nadzoru polegający na zakazie podejmowania decyzji i działań na podstawie identyfikacji dokonywanej przez system, do czasu dokonania weryfikacji i potwierdzenia tożsamości przez co najmniej dwie osoby fizyczne.

Obowiązki dostawców

Najważniejszym przepisem Aktu poświęconym nadzorowi nad systemami AI jest niewątpliwie art. 14 Aktu. Określa on cele nadzoru, jego podstawowe elementy oraz wymogi.

Adresat obowiązków: Z art. 16 lit. a) Aktu wynika jednoznacznie, że zapewnienie zgodności systemów AI z wymogami nadzoru określonymi w art. 14 Aktu jest obowiązkiem dostawców systemów AI wysokiego ryzyka. Praktyczna implementacja postulatu nadzoru będzie zatem spoczywała przede wszystkim na dostawcach systemów – to bowiem ich decyzje dotyczące architektury i funkcjonalności systemów będą determinowały, w jaki sposób podmioty stosujące te systemy będą je nadzorować. Warto wskazać w tym kontekście, że art. 25 ust. 1 Aktu przewiduje możliwość przekwalifikowania danego podmiotu na dostawcę systemu AI.

Należy podkreślić, że obowiązki z art. 14 Aktu mają zastosowanie wyłącznie do systemów AI wysokiego ryzyka, a więc wyłącznie do szczególnych rodzajów systemów AI. Nie odnoszą się one również do modeli AI.

Podmiot wykonujący nadzór: Z art. 14 ust. 1 Aktu wynika jednoznacznie, że nadzór nad systemami AI wysokiego ryzyka musi być realizowany przez osoby fizyczne.  

Cel nadzoru: Zgodnie z art. 14 ust. 2 Aktu nadzór ze strony człowieka ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka.

Zasada współmierności i proporcjonalności: Art. 14 ust. 3 Aktu zdaje się formułować zasadę proporcjonalności nadzoru. Środki nadzoru muszą być bowiem współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania danego systemu AI. Podobnie art. 14 ust. 4 Aktu, wymieniając elementy składające się na nadzór, wskazuje wyraźnie, że nadzór jest sprawowany „odpowiednio” i „proporcjonalnie”.

Metoda nadzoru: Zgodnie z art. 14 ust. 3 Aktu nadzór zapewnia się co najmniej za pomocą: (i) środków określonych i wbudowanych w system przez dostawcę, lub (ii) środków określonych przez dostawcę, ale wdrażanych przez podmiot stosujący system AI.

Elementy nadzoru: W art. 14 ust. 4 Aktu zawarto bardzo ważną z perspektywy dalszych komentarzy listę elementów, które składają się na nadzór ze strony człowieka:

1. należyte zrozumienie odpowiednich możliwości i ograniczeń systemu AI,
2. należyte monitorowanie działań systemu AI,
3. reagowanie w przypadku wystąpienia anomalii, nieprawidłowego funkcjonowania oraz nieoczekiwanych wyników działania,
4. świadomość tendencji do automatycznego polegania lub nadmiernego polegania na wynikach działania systemów AI (tzw. „automation bias”),
5. prawidłowe interpretowanie wyników działań systemów AI,
6. możliwość podjęcia decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu AI lub zignorowania, unieważnienia lub odwrócenia wyniku działania systemu AI,
7. ingerowanie w działanie systemu AI lub możliwość przerwania działania systemu AI.  

Przypadek szczególny: Zgodnie z art. 14 ust. 5 Aktu w przypadku systemów zdalnej identyfikacji biometrycznej istnieje wskazany wprost wymóg, by przed podjęciem decyzji na podstawie wyniku działania systemu decyzję tę zweryfikowały co najmniej dwie osoby fizyczne mające wymagane kompetencje, przeszkolenie i uprawnienia.

Ściśle powiązane z zapewnieniem nadzoru w wąskim rozumieniu art. 14 Aktu są także inne obowiązki dostawców, które składają się na obowiązki w zakresie nadzoru w znaczeniu szerokim. Najważniejsze z nich to:

• ustanowienie systemu zarządzania ryzykiem w odniesieniu do systemów AI wysokiego ryzyka,
• wprowadzenie systemu zarządzania jakością,
• obowiązek prowadzenia dokumentacji dotyczących systemów AI,
• obowiązek przechowywania rejestrów zdarzeń generowanych przez systemy AI,
• obowiązek poddawania systemów AI procedurze oceny zgodności przed ich wprowadzeniem do obrotu,
• obowiązki w zakresie monitorowania systemów AI po wprowadzeniu do obrotu,
• obowiązki związane z transparentnością systemów AI.

Wskazane obowiązki nadzorcze w szerokim znaczeniu również mają zastosowanie zasadniczo wyłącznie wobec systemów AI wysokiego ryzyka.

Obowiązki podmiotów stosujących systemy AI

Obowiązki podmiotów stosujących systemy AI zostały zarysowane w Akcie w sposób daleki od ideału. Z jednej strony istnieje wyraźny obowiązek zapewnienia przez te podmioty, by osoby, którym powierzono sprawowanie nadzoru nad systemami AI, posiadały odpowiednie kompetencje. Z drugiej jednak strony brakuje przepisu, który wskazywałby wprost obowiązek korzystania z nadzoru człowieka. Istnieje jedynie obowiązek korzystania z systemów AI zgodnie z instrukcją dostarczoną przez dostawcę (która zgodnie z Aktem musi zawierać również instrukcje w zakresie sprawowania nadzoru). Należy w tym kontekście podkreślić, że również dostawcy systemów mają jedynie obowiązek skonstruowania systemów AI w sposób, który zapewni możliwość sprawowania nadzoru. Z przepisów nie wynika jednak wprost, że systemy muszą być zaprojektowane w sposób, który uniemożliwi jego działanie bez nadzoru.

Na pierwszy rzut oka wygląda więc na to, że choć wiele przepisów traktuje o nadzorze ze strony człowieka, w Akcie brakuje wyrażonego wprost obowiązku stosowania systemów AI pod nadzorem ze strony człowieka. Akt nakłada na dostawców obowiązek konstruowania systemów AI w taki sposób, aby nadzór ze strony człowieka był możliwy w okresie wykorzystywania tych systemów. Sam jednak obowiązek stosowania nadzoru w trakcie wykorzystywania systemów AI nie został wyraźnie narzucony na podmioty stosujące te systemy. Należy to uznać za istotną wadę Aktu.

Rodzi się zatem zasadnicze pytanie, czy podmioty stosujące systemy AI są w ogóle formalnie związane obowiązkiem zapewnienia nadzoru człowieka nad tymi systemami. Nadzór na etapie wykorzystywania systemów AI wydaje się kluczowy dla realizacji celów nadzoru. Brak obowiązku w tym zakresie w zasadzie podważałby sensowność postulatów dotyczących nadzoru.

Tak jak wskazywałem, na poziomie literalnym, obowiązek podmiotu stosującego systemy AI polega jedynie na wykorzystywaniu takiego systemu zgodnie z instrukcją (art. 26 ust. 1 Aktu) oraz na obowiązku powierzenia sprawowania nadzoru ze strony człowieka osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie (art. 26 ust. 2 Aktu).

Może powstać wątpliwość, czy z obowiązku wykorzystywania systemu zgodnie z instrukcją należy wywodzić obowiązek stosowania systemu pod nadzorem człowieka. Instrukcja jako dokument tworzony przez dostawcę może przecież (np. w wyniku zaniedbań dostawcy) nie zawierać stosownych postanowień o nadzorze. Czy w takim przypadku uznalibyśmy, że podmiot stosujący system AI nie ma obowiązku stosować nadzoru ze strony człowieka?

Z kolei obowiązek powierzenia nadzoru odpowiednio wykwalifikowanym osobom fizycznym można literalnie odczytać w taki sposób, że nie rozstrzyga on, czy i kiedy nadzór ze strony człowieka musi być zapewniony, tylko wskazuje, komu ten nadzór powinien być powierzony w przypadku, w którym nadzór jest stosowany. Jeżeli faktycznie intencją europejskiego ustawodawcy byłoby nałożenie na podmioty stosujące systemy AI obowiązku zapewnienia nadzoru ze strony człowieka, to Akt, niezależnie od przywołanych powyżej przepisów, powinien zawierać jeszcze przepis, którego brzmienie mogłoby potencjalnie wyglądać następująco: „Podmioty stosujące zapewniają, że w okresie wykorzystywania systemów AI wysokiego ryzyka są one skutecznie nadzorowane przez osoby fizyczne”.

Brak analogicznego przepisu może sugerować, że podmioty stosujące systemy AI mają daleko posuniętą swobodę w decydowaniu, czy i kiedy będą wykorzystywać systemy AI pod nadzorem człowieka, łącznie z możliwością rezygnacji z takiego nadzoru. Taką interpretację wspiera też potencjalnie art. 26 ust. 3 Aktu, który nawiązuje do przysługującej podmiotowi stosującemu swobody organizowania swoich zasobów własnych i działań w celu wdrożenia wskazanych przez dostawcę środków nadzoru ze strony człowieka oraz art. 14 ust. 5 Aktu, który – na zasadzie wyjątku – wymusza w odniesieniu do określonych w tym przepisie systemów AI (zdalna identyfikacja biometryczna) nadzór ze strony podmiotów stosujących takie systemy. Przy takiej interpretacji przepisy o nadzorze przewidziane przez Akt uruchamiałyby się (z zastrzeżeniem systemów zdalnej identyfikacji biometrycznej) jedynie wtedy, gdy podmiot stosujący podejmie dobrowolną decyzję o stosowaniu nadzoru ze strony człowieka. Brak takiej decyzji nie narażałby podmiotu stosującego na zarzut naruszenia Aktu.

W efekcie tak ważne systemowo i aksjologicznie zagadnienie jak nadzór nad systemami AI przez człowieka zostałoby pozostawione do swobodnej decyzji podmiotów stosujących systemy AI. Realizacja postulatu nadzoru ze strony człowieka kończyłaby się zatem na etapie wprowadzania systemu na rynek (dostawca nadal musi zapewnić możliwość sprawowania nadzoru). Na dalszych etapach życia systemu realizacja tego postulatu zależałaby od dyskrecjonalnych decyzji podmiotów stosujących.

W mojej ocenie taka interpretacja byłaby błędna. Pomimo ewidentnej niedoskonałości Aktu w zakresie określenia obowiązków nadzorczych podmiotów stosujących systemy AI należy uznać, że zapewnienie nadzoru ze strony człowieka przy wykorzystywaniu systemów AI wysokiego ryzyka jest obowiązkiem podmiotu stosującego. Nie może on, na zasadzie swojej dyskrecjonalnej decyzji, zrezygnować z takiego nadzoru.

Do takiej interpretacji skłania kontekst przepisów Aktu dotyczących nadzoru ze strony człowieka. Przede wszystkim intencja europejskiego ustawodawcy w zakresie stosowania środków nadzoru ze strony człowieka wynika dosyć jednoznacznie z Preambuły do Aktu. Zgodnie z Punktem 66 Preambuły do systemów AI wysokiego ryzyka należy stosować wymogi dotyczące (…) nadzoru ze strony człowieka (…). Według Preambuły Wymogi te są konieczne, aby skutecznie ograniczyć ryzyko dla zdrowia, bezpieczeństwa i praw podstawowych.

Podobnie, zgodnie z przywołanym już wcześniej Punktem 73 Preambuły, systemy AI wysokiego ryzyka należy projektować i rozwijać w taki sposób, aby osoby fizyczne mogły nadzorować ich funkcjonowanie, zapewniać, by ich wykorzystanie było zgodne z przeznaczeniem oraz zapewniać, aby skutki ich wykorzystania były uwzględniane w całym cyklu życia systemu.

Przepisy zawarte w treści Aktu należy odczytywać w świetle przywołanych intencji. Wynika z nich, że odpowiedni poziom bezpieczeństwa systemów AI jest w ocenie europejskiego prawodawcy warunkowany zapewnieniem nadzoru ze strony człowieka. Takiego podejścia nie sposób pogodzić z poglądem, zgodnie z którym stosowanie nadzoru ze strony człowieka miałoby być zależne od dyskrecjonalnej decyzji podmiotu stosującego.

Odnosząc się do konkretnych przepisów Aktu, należy wskazać przede wszystkim art. 26 ust. 1 Aktu. Jak wynika z tego przepisu, podmiot stosujący systemy AI ma obowiązek zapewnić, że będą one wykorzystywane zgodnie z instrukcją obsługi dostarczoną przez dostawcę. Instrukcje te, w myśl art. 13 ust. 3 pkt d) Aktu, muszą zawierać opis środków nadzoru, jakie dostawca przewidział dla określonego systemu AI w ramach realizacji swoich obowiązków. Z art. 26 ust. 1 Aktu można zatem wyczytać pośrednio obowiązek uwzględniania przy wykorzystywaniu systemu AI środków nadzoru przewidzianych przez dostawcę. Obowiązkowe wykorzystywanie systemów AI zgodnie z instrukcją polega bowiem m.in. na obowiązku stosowania środków nadzoru wskazanych w tej instrukcji. Przywołany już wcześniej art. 26 ust. 3 Aktu powinien być w tym kontekście odczytany nie jako przepis, który daje podmiotowi stosującemu uprawnienie do rezygnacji ze stosowania nadzoru ze strony człowieka, lecz jako przepis, który daje mu elastyczność w sposobie zaimplementowania środków przewidzianych przez dostawcę.

Również art. 26 ust. 2 Aktu, jakkolwiek sformułowany w sposób niedoskonały, powinien być odczytany w tym kontekście jako przepis nakładający na podmioty stosujące obowiązek zaimplementowania środków nadzoru ze strony człowieka – poprzez powierzenie tego nadzoru odpowiednio kompetentnym osobom fizycznym wskazanym w tym przepisie.

Dodatkowego argumentu za przedstawioną interpretacją dostarcza art. 27 Aktu, który nakłada na niektóre podmioty stosujące obowiązek przeprowadzania oceny skutków systemów AI wysokiego ryzyka dla praw podstawowych. Obowiązkowym elementem oceny jest opis wdrożenia środków nadzoru. Przepis ten zakłada niejako z góry, że stosowanie środków nadzoru ze strony człowieka jest obowiązkiem podmiotu stosującego, a dodatkowym zobowiązaniem wynikającym z art. 27 Aktu i adresowanym już wyłącznie do wybranych podmiotów stosujących jest sporządzenie opisu wdrożenia tych środków. 

Osoba fizyczna, której podmiot stosujący systemy AI powierza realizację nadzoru, musi spełniać określone wymagania. Zgodnie z art. 26 ust. 2 Aktu osoba ta musi mieć:

• niezbędne kompetencje (Motyw 91 Preambuły precyzuje, że chodzi tu w szczególności o odpowiedni poziom kompetencji w zakresie AI),
• przeszkolenie,
• uprawnienia,
• niezbędne wsparcie. 

Ściśle powiązane z zapewnieniem nadzoru ze strony człowieka w wąskim rozumieniu są także inne obowiązki podmiotów stosujących, które składają się na obowiązki w zakresie nadzoru w znaczeniu szerokim. Najważniejsze z nich to:

• obowiązki w zakresie zapewnienia odpowiedniej jakości danych wejściowych,
• obowiązek przechowywania rejestrów zdarzeń generowanych przez systemy AI,
• obowiązki w zakresie monitorowania systemów AI po wprowadzeniu do obrotu.

Na koniec należy wyraźnie zaznaczyć, że opisane obowiązki nie mają zastosowania do osób fizycznych, które korzystają z systemów AI w ramach czysto osobistej działalności pozazawodowej. Wynika to wprost z wyłączenia zawartego w art. 2 ust. 10 Aktu. W rezultacie osoby fizyczne wykorzystujące systemy AI wysokiego ryzyka do swoich prywatnych celów nie będą musiały zapewnić nadzoru nad takimi systemami. Te same systemy wykorzystywane w działalności gospodarczej będą musiały mieć już zapewniony odpowiedni nadzór ze strony człowieka.

Nadzór ze strony organów

Uzupełnieniem obowiązków dostawców oraz podmiotów stosujących w zakresie szeroko rozumianego nadzoru człowieka nad systemami AI są uprawnienia organów administracji. W tym kontekście warto przywołać przede wszystkim art. 79 Aktu, który daje organom nadzoru uprawnienie do żądania wycofania systemu AI z rynku, jeżeli w wyniku oceny systemu AI organ dojdzie do wniosku, że system stwarzający ryzyko dla zdrowia, bezpieczeństwa lub praw podstawowych nie jest zgodny z wymogami Aktu. Warto zaznaczyć, że, przynajmniej literalnie, uprawnienia te dotyczą nie tylko systemów AI wysokiego ryzyka.

Co oznacza nadzór ze strony człowieka?

Bardziej szczegółową analizę wymogów Aktu w zakresie nadzoru proponuję zacząć od pytania zasadniczego, czyli od tego, co tak na dobrą sprawę oznacza wymóg realizacji nadzoru przez człowieka. Akt jednoznacznie wskazuje, że nadzór nad systemami musi być sprawowany przez osoby fizyczne. Oznacza to, że trzeba tak urządzić proces nadzoru, aby umożliwić człowiekowi zrozumienie i uświadomienie sobie sposobu działania systemu AI, wyników jego działania, znaczenia tych wyników oraz kontekstu i konsekwencji działania. Ponadto system nadzoru musi umożliwić osobie fizycznej podejmowanie określonych działań względem nadzorowanego systemu AI.

Odpowiedni poziom świadomości po stronie osoby sprawującej nadzór jest gwarancją tego, że nadzór będzie faktyczny, a nie pozorowany. Celem powierzenia nadzoru człowiekowi jest przede wszystkim to, aby procesy realizowane przez systemy AI były „filtrowane” przez pryzmat świadomości człowieka, gdyż tylko w takim przypadku stwarzamy szansę na odpowiednie osadzenie tych procesów w kontekście humanistycznym (tj. uwzględniającym niuanse dotyczące ludzkiej godności, praw podstawowych czy szerszego kontekstu kulturowo-społecznego).

Niewątpliwie realizacja powyższego wymogu oznacza, że efektywność działania wielu systemów AI może zostać zredukowana, a być może nawet zniwelowana. Zapewnienie odpowiedniego poziomu świadomości po stronie osoby sprawującej nadzór może bowiem wymagać spowolnienia tempa działania systemów AI.

Powyższe nie oznacza bynajmniej, że człowiek sprawujący nadzór nie może posiłkować się innymi systemami maszynowymi. Mogą one wspierać go w procesie nadzoru (np. dostarczając odpowiednie informacje na temat procesów realizowanych przez nadzorowane systemy), nie mogą go jednak całkowicie zastępować. Granicą wykorzystania systemów maszynowych w nadzorze jest istnienie świadomości działania systemu AI po stronie osoby sprawującej nadzór. Systemy wspierające nadzór nie mogą zastępować lub wyłączać tej świadomości.

Czy Akt narzuca konkretny model nadzoru?

Innym zagadnieniem, któremu również warto poświęcić nieco uwagi, jest rozstrzygnięcie, czy Akt narzuca podmiotom stosującym systemy AI z góry określony model nadzoru. Przepisy Aktu wydają się wprost wymuszać określony model nadzoru (w tym przypadku model HITL) wyłącznie w odniesieniu do nadzoru nad systemami zdalnej identyfikacji biometrycznej (art. 14 ust. 5 Aktu). W przypadku tych systemów aktywny udział osób fizycznych w procesie decyzyjnym musi być zagwarantowany (innymi słowy, w tym przypadku proces decyzyjny nie może być w pełni zautomatyzowany). Poszukując odpowiedzi na pytanie, czy inne przepisy Aktu również narzucają określony model nadzoru, należy w pierwszej kolejności poddać analizie elementy nadzoru wskazane w art. 14 ust. 4 Aktu. Szczególnie istotne wydają się w tym kontekście art. 14 ust. 4 pkt e) oraz art. 14 ust. 4 pkt d) Aktu.

Art. 14 ust. 4 pkt e) Aktu wymusza na dostawcach systemów AI zapewnienie osobom fizycznym sprawującym nadzór nad systemami możliwość ingerowania w działania systemu AI lub przerywania działania systemu. Zapewnienie tych funkcjonalności nie musi wiązać się z koniecznością zaimplementowania modelu HITL (aktywny udział człowieka w procesie realizowanym przez system AI nie jest konieczny do tego, aby w ten proces zaingerować lub aby przerwać działanie systemu). Wydaje się, że wystarczający w tym przypadku byłby model HOTL. Nie jest natomiast jasne, czy wystarczający byłby wyłącznie model HIC.

Innymi słowy, przepis nie rozstrzyga wprost, czy warunkiem spełnienia wskazanych w nim wymogów jest nadzór nad konkretnymi procesami, w których wykonywanie jest zaangażowany system AI. Przyjęcie modelu HOTL jest na pewno bezpieczniejszym rozwiązaniem, ale nie wykluczałbym również z góry możliwości realizacji omawianego wymogu w ramach modelu HIC. Zwłaszcza jeżeli przyjmiemy, że jego celem nie jest zapobieganie wystąpieniu skutków działania systemu na poziomie konkretnego procesu, a jedynie zapewnienie możliwości skorygowania wadliwego działania systemu na przyszłość. Przy takim podejściu nadzór nad konkretnymi procesami co do zasady nie jest konieczny. Kluczowa jest wiedza o ogólnym sposobie działania systemu, jego parametrach, trendach itp. Do tego wystarczający może okazać się model HIC.    

Przyjęcie, że model HOTL pozwala, co do zasady, spełnić wymagania wynikające z art. 14 ust. 4 pkt e) Aktu, nie rozstrzyga jeszcze wszystkich relewantnych zagadnień, które mogą pojawić się w praktyce przy określaniu konkretnych funkcjonalności nadzoru. Nadzór nad bieżącym działaniem systemu, który jest esencją modelu HOTL, może bowiem odbywać się w praktyce w różny sposób. W szczególności należy dodatkowo rozstrzygnąć, w jakim momencie powinien odbywać się nadzór oraz jaki jest poziom jego szczegółowości.

Odnośnie do momentu nadzoru wydaje się, że powinniśmy rozróżnić trzy podstawowe możliwości: nadzór ex ante, nadzór w czasie rzeczywistym oraz nadzór ex post.

Nadzór ex ante zakłada, że osoba fizyczna sprawująca nadzór obejmuje świadomością proces realizowany przez system AI (a więc jest w stanie zrozumieć jego znaczenie i kontekst) jeszcze przed wystąpieniem skutków działania systemu AI. Co istotne, wymóg, aby nadzór miał miejsce przed wystąpieniem skutków, nie jest równoznaczny z tym, że ma się on dokonywać przed wygenerowaniem outputu przez system AI. Przeciwnie, dla pełnego zrozumienia znaczenia procesu realizowanego przez AI niezbędne może być również poznanie outputu wygenerowanego przez system. Kluczowe jest to, aby nadzór dokonał się jeszcze przed przełożeniem tego outputu na konkretne działanie, które oddziałuje na rzeczywistość (czyli np. przed podjęciem określonej decyzji w oparciu o wygenerowany output). W teorii pozwoli to zapobiec wystąpieniu określonych skutków działania systemów AI.

Nadzór w czasie rzeczywistym wydzielam w celu zidentyfikowania takiego modelu nadzoru HOTL, który stwarza wprawdzie możliwość obejmowania świadomością działania systemu AI w chwili przekładania outputu wygenerowanego przez system na konkretne działanie oddziałujące na rzeczywistość, ale bez opcji zapobieżenia wystąpieniu skutku działania systemu przed jego wystąpieniem.

Nadzór ex post odnosi się natomiast do modelu HOTL, który zakłada uświadomienie sobie skutków działania systemu AI, ale dopiero po tym, jak te skutki już wystąpiły.      

W odniesieniu do szczegółowości nadzoru wyróżniam dwa podstawowe sposoby urządzenia nadzoru w modelu HOTL: nadzór nad wszystkimi pojedynczymi procesami realizowanymi przez system AI oraz nadzór nad wybranymi procesami. Pierwszy model odnosi się do sytuacji, w której osoba sprawująca nadzór obejmuje swoją świadomością każdy pojedynczy proces realizowany przez system AI (np. rozumie treść, znaczenie i kontekst każdej pojedynczej zautomatyzowanej decyzji kredytowej podejmowanej przez system AI). W drugim modelu osoba nadzorująca system AI obejmuje swoją świadomością wyłącznie procesy wytypowane do szczegółowej analizy (np. reguły wprowadzone do systemu klasyfikacji zgłoszeń alarmowych typują do szczegółowej analizy dokonywanej przez człowieka tylko zgłoszenia alarmowe o określonych parametrach). Tu pojawia się oczywiście otwarte pytanie o zasady typowania konkretnego procesu do szczegółowej analizy.

Z uwagi na powyższe nie powinno budzić wątpliwości, że wymogi wskazane w art. 14 ust. 4 pkt e) Aktu będą mogły zostać zrealizowane poprzez nadzór ex ante oraz nadzór nad wszystkimi pojedynczymi procesami realizowanymi przez system. W takim przypadku możliwość ingerencji w działanie systemu oraz możliwość przerwania jego działania powinna być co do zasady zawsze zapewniona. Takie podejście pozwala też najpełniej zrealizować cel komentowanego wymogu. Nadzór ex ante oraz nadzór nad każdym pojedynczym procesem pozwala bowiem uniknąć szkód, które system AI mógłby potencjalnie wywołać swoim działaniem w odniesieniu do każdego pojedynczego procesu realizowanego przez system AI.   

Powyższe nie oznacza jednak w mojej ocenie, że nadzór HOTL w wariancie ex ante oraz nadzoru nad każdym pojedynczym procesem jest jedynym modelem umożliwiającym realizację wymogu z art. 14 ust. 4 pkt e) Aktu. Nie można z góry wykluczyć również możliwości stosowania nadzoru w modelu ex post oraz nadzoru tylko nad wybranymi procesami. Przepis nie przesądza bowiem wprost, że takie podejście byłoby sprzeczne z intencją przepisu. Tak jak wskazywałem wcześniej, w świetle brzmienia przepisu dopuszczalna wydaje się interpretacja, zgodnie z którą jego celem nie jest zapewnienie możliwości ingerencji w każdy pojedynczy proces realizowany przy użyciu systemu AI (w szczególności ingerencji jeszcze przed wystąpieniem skutków działania systemu AI w danym procesie), lecz jedynie zapewnienie możliwości dokonania korekty wadliwego działania systemu na przyszłość (w tym zatrzymania systemu). Przy takiej interpretacji można wyobrazić sobie realizację komentowanego wymogu nawet za pomocą nadzoru w modelu HIC. Tym bardziej zatem dopuszczalna wydaje się jego implementacja za pomocą modelu HOTL w wariancie nadzoru ex post oraz nadzoru nad wybranymi procesami.  

Nieco inaczej należy podejść do realizacji wymogu z art. 14 ust. 4 pkt d) Aktu. Przepis ten rozstrzyga, że systemy AI wysokiego ryzyka muszą być zaprojektowane w taki sposób, aby umożliwić osobom fizycznym sprawującym nad nimi nadzór podjęcie decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu AI wysokiego ryzyka lub w inny sposób zignorowanie, unieważnienie lub odwrócenie wyniku systemu AI wysokiego ryzyka. Na podstawie brzmienia tego przepisu formułowana jest niekiedy wątpliwość, czy wymóg zapewnienia możliwości niekorzystania z systemu AI w konkretnym przypadku oraz wymóg zignorowania, unieważnienia lub odwrócenia wyniku systemu AI to dwa różne wymogi, czy też ten sam wymóg, który może być spełniony w jeden z przywołanych w przepisie sposobów.

Uznanie, że wymóg zapewnienia możliwości zignorowania, unieważnienia lub odwrócenia wyniku systemu AI jest wymogiem niezależnym (tj. obowiązuje niezależnie od tego, czy system umożliwia niekorzystanie z systemu w konkretnej sytuacji), miałoby bardzo daleko idące implikacje dla całego sektora AI w Europie. Oznaczałoby bowiem w praktyce zakaz tworzenia systemów, których rezultaty działania są nieodwracalne. Tymczasem wiele systemów AI wysokiego ryzyka takie nieodwracalne rezultaty może generować (np. systemy z zakresu infrastruktury krytycznej, systemy przeznaczone do klasyfikacji zgłoszeń alarmowych czy też systemy będące jednocześnie wyrobami medycznymi).   

Wydaje się, że prawidłowe odczytanie omawianego obowiązku powinno przede wszystkim brać pod uwagę cel tego elementu nadzoru. Jest nim stworzenie skutecznych mechanizmów umożliwiających uniknięcie wystąpienia niepożądanych efektów działania systemów AI. Można to osiągnąć albo poprzez zapewnienie możliwości niekorzystania z systemu AI w konkretnej sytuacji (w szczególności w przypadku, w którym ewentualne skutki działania systemu są nieodwracalne), albo poprzez zapewnienie możliwości zignorowania, unieważnienia lub odwrócenia wyniku systemu AI (jeżeli rezultaty działania systemu AI umożliwiają ich zignorowanie lub odwrócenie).

Prowadzi to do wniosku, że jeśli natura rezultatów działania danego systemu AI uniemożliwia ich odwrócenie, unieważnienie lub zignorowanie w inny sposób, jedynym rozwiązaniem umożliwiającym spełnienie wymogów przewidzianych w komentowanym przepisie jest zapewnienie, że w konkretnej sytuacji, jeszcze przed wystąpieniem skutku działania systemu, można podjąć decyzję o jego niestosowaniu. Prawidłowe spełnienie tych wymogów musi zatem zakładać co najmniej model HOTL i to w wersji najbardziej rygorystycznej (czyli zakładającej nadzór ex post oraz nadzór nad wszystkimi pojedynczymi procesami). Bez takiego nadzoru osoba nadzorująca nie będzie bowiem w stanie zidentyfikować przypadku, który wymagałby podjęcia decyzji o niestosowaniu systemu AI. Model HIC, który zakłada jedynie wysokopoziomowy nadzór nad systemem AI, nie pozwoli spełnić tego wymogu. Analogicznie model HOTL w swoich bardziej liberalnych wersjach (nadzór w czasie rzeczywistym lub ex post, a także wyłącznie nadzór nad wybranymi procesami) również nie pozwoli zapobiec wystąpieniu niepożądanych, nieodwracalnych skutków działania systemów AI w odniesieniu do każdego konkretnego procesu realizowanego z wykorzystaniem systemu AI.

Odnosząc to do plastycznego przykładu, wyobraźmy sobie system AI monitorujący w czasie rzeczywistym niedozwolone zachowania uczniów podczas egzaminu. Załóżmy, że w egzaminie bierze udział w tym samym czasie kilka tysięcy uczniów. System może podjąć w pełni zautomatyzowany sposób decyzję o usunięciu danego ucznia z egzaminu z uwagi na wykrycie niedozwolonego zachowania ucznia. Uczeń usunięty z egzaminu traci szansę na udział w egzaminie, przez co decyzja podjęta przez system ma charakter nieodwracalny.

Prawidłowa implementacja nadzoru nad tym systemem AI powinna zakładać, że człowiek nadzorujący ten system będzie obejmował swoją świadomością każde działanie systemu AI, które zmierza do podjęcia decyzji o usunięciu ucznia z egzaminu, jeszcze przed tym, jak ta decyzja zostanie podjęta. Nadzór należy urządzić w taki sposób, żeby osoba sprawująca nadzór miała dość czasu, aby zapoznać się z danym przypadkiem i albo podjąć decyzję o nieskorzystaniu z systemu AI, albo zatwierdzić decyzję o usunięciu ucznia z egzaminu poprzez dopuszczenie do zastosowania systemu AI w tym przypadku.

Urządzenie nadzoru we wskazany sposób w przytoczonym przykładzie wydaje się realne. Należy jednocześnie mieć świadomość tego, że w przypadku innych systemów AI zapewnienie nadzoru ex ante na poziomie konkretnego procesu wywołującego nieodwracalne skutki może okazać się bardzo trudne (np. w odniesieniu do systemów zarządzających infrastrukturą krytyczną).

W przypadku, w którym system AI stwarza możliwość zignorowania, unieważnienia lub odwrócenia wyników swojego działania, wydaje się, że dopuszczalnym modelem nadzoru będzie również model HOTL w wariancie ex post ograniczony do wybranych procesów (np. ograniczony do wyników, które są kwestionowane przez adresatów decyzji). Wydaje się, że dobrą praktyką compliance w odniesieniu do takich systemów jest też okresowe badanie wybranych wyników, bez względu na to, czy były one kwestionowane.

Niezależnie od powyższego warto zwrócić uwagę, że wymogi dotyczące określonego modelu nadzoru ze strony człowieka nie muszą wynikać wyłącznie z art. 14 Aktu. Można je pośrednio wyczytać również np. z art. 5 ust. 1 pkt d) Aktu. Przepis dotyczy zakazanej praktyki w zakresie systemów przeznaczonych do przewidywania ryzyka popełniania przestępstw. Wskazuje jednocześnie warunki, po spełnieniu których systemy takie mogą być dopuszczalne. Jednym z nich jest dokonywanie oceny ryzyka przez człowieka, przy wsparciu systemów AI. Dopuszczalność stosowania systemów AI do oceny ryzyka popełnienia przestępstw jest więc w praktyce warunkowana zaimplementowaniem modelu HITL, zakładającego aktywny udział człowieka w procesie oceny ryzyka.   

Podsumowując, wydaje się, że Akt nie narzuca ogólnego obowiązku stosowania modelu HITL. Taki model nadzoru jest zarezerwowany wyłącznie dla przypadków szczególnych (np. systemów zdalnej identyfikacji biometrycznej oraz systemów oceny ryzyka popełnienia przestępstwa). Nie wyklucza to jednocześnie możliwości wystąpienia przypadków, w których z uwagi na ryzyka generowane przez system model HITL będzie jedynym modelem, który w ocenie dostawcy zapewni realizację postulatu nadzoru ze strony człowieka. W odniesieniu do pozostałych systemów bezpiecznym podejściem wydaje się stosowanie modelu HOTL. Należy przy tym uwzględnić treść art. 14 ust. 4 pkt d) Aktu, która sugeruje, że – przynajmniej w odniesieniu do systemów, które generują nieodwracalne skutki – nadzór powinien być na tyle rygorystyczny, aby umożliwić osobie nadzorującej ocenę ex ante każdego pojedynczego procesu, który jest realizowany z wykorzystaniem systemu AI.

Warto też wyjaśnić, że rozstrzygnięcie, czy realizacja danego wymogu wymusza zastosowanie modelu HITL czy HOTL, nie przesądza bynajmniej tego, że systemu nie należy monitorować również na poziomie zagregowanym i wysokopoziomowym. Nadzór w modelu HIC w zasadzie powinien być obecny zawsze. Różnice pomiędzy systemami AI sprowadzają się do tego, czy w konkretnym przypadku powinien on być również uzupełniony o bardziej rygorystyczny nadzór w modelu HITL lub HOTL.

Jak interpretować zasadę proporcjonalności?

Powyższe uwagi prowadzą do wniosku, że z przepisów Aktu można wyczytać pewien standard nadzoru nad systemami AI wysokiego ryzyka, na który składają się m.in. konieczność sprawowania nadzoru przez osobę fizyczną oraz konieczność zapewnienia, że ta osoba będzie monitorowała bieżącą pracę systemu, w niektórych przypadkach w modelu nadzoru ex ante oraz na poziomie pojedynczych procesów wykonywanych przez system AI.

Niezależnie od wskazanych powyżej wymogów Akt zawiera również wyraźne przepisy ustanawiające zasadę odpowiedniości i proporcjonalności w ich stosowaniu. Rodzi się w związku z tym pytanie, czy zasady te mogą w jakikolwiek sposób wpłynąć na modyfikację zdefiniowanego powyżej standardu nadzoru nad systemami AI.    

Zakładam, że Akt w art. 14 ust. 4 nieprzypadkowo rozdziela „proporcjonalność” oraz „odpowiedniość”. Przez „proporcjonalność” rozumiem stopień intensywności określonego środka nadzoru, który jest dostosowany do ryzyka, poziomu autonomii oraz kontekstu danego systemu AI. Z kolei przez „odpowiedniość” rozumiem dostosowanie określonych rozwiązań w ramach systemu nadzoru do natury danego systemu AI oraz realizowanych przez niego procesów. Fakt wprowadzenia do Aktu tych zasad należy odczytać jako wyraźny sygnał, że wskazane w art. 14 Aktu elementy nadzoru mogą być modyfikowane. Modyfikacja może polegać na różnej intensywności stosowania tych środków (np. systemy generujące niewielkie ryzyko mogą być monitorowane tylko w określonych odstępach czasu; systemy z daleko posuniętą autonomią, których output może istotnie wpłynąć na rzeczywistość, mogą wymagać bieżącego monitorowania w czasie rzeczywistym). Może także polegać na modyfikacji wskazanych środków, w związku ze specyfiką danego systemu AI (który np. nie wymaga zapewnienia możliwości podjęcia decyzji o niestosowaniu systemu AI, bo natura tego systemu umożliwia bezproblemowe cofnięcie skutków jego działania).  

Przestrzegałbym jednocześnie przed zbyt szerokim interpretowaniem zasady „odpowiedniości”, a w szczególności przed powoływaniem się na nią jako na uzasadnienie możliwości rezygnacji ze stosowania któregoś ze środków nadzoru określonych w art. 14 Aktu. Jest oczywiste, że ambitne wymogi art. 14 Aktu będą stały w kolizji z architekturą i funkcjonalnościami wielu systemów AI wysokiego ryzyka. Jeżeli jednak postulat nadzoru ze strony człowieka faktycznie ma mieć realne znaczenie, to sytuacja taka powinna raczej skutkować dostosowaniem architektury systemu do wymogów Aktu aniżeli poluzowaniem wymogów Aktu w celu dostosowania się do architektury systemu. Dotyczy to w szczególności systemów nastawionych na zwiększanie efektywności poprzez realizację dużej liczby procesów w krótkim czasie. Nie wykluczam, że w przypadku przynajmniej niektórych z takich systemów spadek efektywności procesów będzie ceną, którą będzie trzeba zapłacić za zapewnienie faktycznego (a nie fikcyjnego) nadzoru ze strony człowieka. Przyjmuję, że nieprzekraczalną granicę w modyfikacjach środków nadzoru wynikających z zasady „odpowiedniości” powinna stanowić konieczność zachowania celów poszczególnych środków nadzoru. Musi być to zatem przede wszystkim możliwość zapewnienia sprawowania faktycznego nadzoru przez człowieka, możliwość zatrzymania pracy systemu przez człowieka oraz możliwość odwrócenia lub zapobieżenia wystąpieniu niepożądanych skutków działania systemu. 

Jak przełożyć powyższe na compliance?

Podsumowując powyższe rozważania i starając się jednocześnie wypracować praktyczne wnioski dla podmiotów, które będą musiały zaimplementować system nadzoru nad AI w swoich organizacjach, warto wskazać na następujące elementy:

• Nadzór ze strony człowieka musi być zapewniony co do zasady tylko w przypadku stosowania systemów AI wysokiego ryzyka. W pozostałych przypadkach odbywa się na zasadzie dobrowolności.
• Jeśli nadzór jest obowiązkowy, trzeba go powierzyć odpowiednio wykwalifikowanej osobie fizycznej. Nadzorowanie systemów AI przez inne systemy maszynowe może odbywać się tylko na zasadzie wspomagania nadzoru sprawowanego przez osobę fizyczną.
• Standardem powinno być zawsze zapewnienie nadzoru w modelu HIC oraz uzupełnienie go nadzorem w modelu HOTL – z zastrzeżeniem, że w przypadku systemów, które generują nieodwracalne skutki, nadzór HOTL powinien odbywać się w modelu ex ante oraz odnosić się do każdego pojedynczego procesu realizowanego z wykorzystaniem systemu AI.
• W zależności od specyfiki danego systemu AI (kontekstu jego działania, generowanych ryzyk, poziomu autonomii), zgodnie z zasadą „proporcjonalności” i „odpowiedniości”, możliwe są modyfikacje standardu w zakresie nadzoru poprzez zmiany intensywności tego nadzoru oraz dostosowanie konkretnego modelu do natury systemu i generowanych przez niego wyników.
• Szczególną uwagę należy zwrócić na systemy zdalnej identyfikacji biometrycznej oraz systemy oceny ryzyka popełnienia przestępstwa przez osoby fizyczne. W przypadku tych systemów obligatoryjnym modelem nadzoru jest model HITL.
• Należy szczególnie uważać również na systemy AI, które mogą generować w ramach swojego działania nieodwracalne skutki. W przypadku takich systemów mają zastosowanie najbardziej rygorystyczne warianty modelu HOTL.
• Przed przystąpieniem do korzystania z systemu AI warto przeanalizować ryzyka związane ze stosowaniem tego systemu i ocenić, jaki model nadzoru będzie optymalny w przypadku danego systemu.

Oczywiście zastrzegam, że powyższe wnioski są wyłącznie jedną z możliwych interpretacji przepisów Aktu. Jesteśmy dopiero na początku drogi i z czasem wiele przedstawionych tu tez ulegnie zapewne rewizji. Jest to jednocześnie dobry moment na sygnalizowanie wszelkich niejasności czy wątpliwości interpretacyjnych w Akcie. Stwarzamy tym samym szansę na to, że jeszcze przed początkiem stosowania przepisów określających kluczowe obowiązki w zakresie nadzoru organy nadzoru wydadzą interpretacje i wytyczne ułatwiające ich praktyczne stosowanie.

Krzysztof Wojdyło