Wprowadzenie

Akt w sprawie sztucznej inteligencji[1] (dalej „Akt”) zawiera w art. 5 listę zakazanych praktyk w zakresie AI. Jest to jeden z najważniejszych przepisów Aktu. O jego randze świadczy chociażby to, że to właśnie za jego naruszenie Akt przewiduje najsurowsze kary (zgodnie z art. 99 ust. 3 Aktu nieprzestrzeganie zakazów z art. 5 podlega karze pieniężnej w wysokości do 35 mln EUR lub w wysokości do 7% całkowitego rocznego światowego obrotu). Jest to również jeden z tych przepisów Aktu, które zaczną obowiązywać najwcześniej, bo już od 2 lutego 2025 r. (podczas gdy większość przepisów Aktu wchodzi w życie dopiero w sierpniu 2026 r.).

Jedna z zakazanych praktyk (wskazana w art. 5 ust. 1 pkt d) odnosi się do oceny ryzyka popełniania przestępstw i została sformułowana w następujący sposób:

Zakazuje się następujących praktyk w zakresie AI:

wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemu AI do przeprowadzania ocen ryzyka w odniesieniu do osób fizycznych, by ocenić lub przewidzieć ryzyko popełnienia przestępstwa przez osobę fizyczną, wyłącznie na podstawie profilowania osoby fizycznej lub oceny jej cech osobowości i cech charakterystycznych; zakaz ten nie ma zastosowania do systemów AI wykorzystywanych do wspierania dokonywanej przez człowieka oceny udziału danej osoby w działalności przestępczej, która to ocena opiera się już na obiektywnych i weryfikowalnych faktach bezpośrednio związanych z działalnością przestępczą;

Na podstawie powyższego przepisu można przyjąć, że z zakazaną praktyką mamy do czynienia w przypadku łącznego spełnienia następujących warunków:

• zakazana praktyka polega na wprowadzaniu do obrotu, oddawaniu do użytku lub wykorzystywaniu systemu AI opisanego poniżej, w sposób opisany poniżej,
• system AI służy do przeprowadzania oceny ryzyka popełnienia przestępstwa przez osobę fizyczną lub przewidywania ryzyka popełnienia przestępstwa przez osobę fizyczną,
• ocena jest dokonywana wyłącznie na podstawie profilowania osoby fizycznej lub wyłącznie na podstawie oceny jej cech osobowości i cech charakterystycznych.

Przywołany przepis odwołuje się w swej treści do pojęcia „profilowania”, które Akt rozumie tak samo jak RODO. Profilowanie na potrzeby omawianego przepisu oznacza zatem

dowolną formę zautomatyzowanego przetwarzania danych osobowych, które polega na wykorzystaniu danych osobowych do oceny niektórych czynników osobowych osoby fizycznej, w szczególności do analizy lub prognozy aspektów dotyczących efektów pracy tej osoby fizycznej, jej sytuacji ekonomicznej, zdrowia, osobistych preferencji, zainteresowań, wiarygodności, zachowania, lokalizacji lub przemieszczania się.

O co chodzi w omawianym zakazie?

Co chroni zakaz?

Aby prawidłowo zrozumieć omawiany zakaz, warto w pierwszej kolejności sięgnąć do Motywu 42 Aktu. Jego treść wskazuje jednoznacznie, że przedmiotem ochrony jest w tym przypadku prawo podstawowe w postaci domniemania niewinności. W wielkim uproszczeniu jest to prawo każdego z nas do bycia traktowanym jako osoba niepopełniająca przestępstwa do czasu prawomocnego skazania za jego popełnienie. Kojarzymy to domniemanie przede wszystkim z pewnymi gwarancjami w kontekście procesu sądowego. Tymczasem ma ono wymiar znacznie szerszy, niekoniecznie związany z procesem sądowym. Jest ogólnym uprawnieniem do bycia traktowanym jako osoba niepopełniająca czynów zabronionych w różnych kontekstach społeczno-gospodarczych, dopóki popełnienie czynu zabronionego nie jest potwierdzone prawomocnym wyrokiem.

Naruszenie domniemania niewinności w kontekście systemów AI może polegać w szczególności na tym, że negatywne konsekwencje wobec osoby (np. odmowa zawarcia określonej umowy lub mniej korzystne warunki świadczenia usług) są wyciągane nie na podstawie informacji o prawomocnych wyrokach skazujących, lecz na podstawie analiz określonych zachowań przez systemy AI. W ekstremalnych przypadkach jednostka może doświadczać negatywnych konsekwencji wyłącznie w oparciu o statystyczne wyliczenia prawdopodobieństwa, że osoba ta w przyszłości zachowa się w określony sposób.  W efekcie jednostka może np. otrzymać odmowę skorzystania z określonej usługi nie na podstawie jej faktycznych zachowań, lecz wyłącznie na podstawie predykcji dotyczących zachowań przyszłych. W przypadku stosowania systemów AI zagrożenie polega więc na istotnym przesunięciu w czasie momentu, od którego zaczynamy wyciągać wobec jednostki negatywne konsekwencje. Regułą, zgodną z domniemaniem niewinności, byłoby ewentualne wyciąganie takich negatywnych konsekwencji dopiero po prawomocnym skazaniu jednostki. W przypadku stosowania systemów AI następuje to wcześniej, a sam wyrok skazujący nie jest w ogóle warunkiem koniecznym do wyciągnięcia negatywnych konsekwencji. Może to prowadzić do faktycznego zlekceważenia domniemania niewinności.

Jakiego rodzaju analiz dotyczy zakaz?

Przede wszystkim zakaz dotyczy jedynie ocen ryzyka dokonywanych z wykorzystaniem systemów AI. Przedmiotem niniejszego tekstu nie jest szczegółowe omówienie definicji „systemu AI”. Zwracam jedynie uwagę, że choć definicja ta jest bardzo pojemna, to nie obejmuje zapewne wszystkich systemów wykorzystywanych do oceny ryzyka. Pierwszym i poniekąd najważniejszym wyzwaniem związanym z omawianym zakazem będzie więc rozstrzygnięcie, czy system wykorzystywany do oceny ryzyka w ogóle kwalifikuje się jako system AI.

Niezależnie od powyższego art. 5 Aktu wskazuje, że zakazana praktyka w zakresie AI ma służyć ocenie lub przewidywaniu ryzyka popełnienia przestępstwa przez osobę fizyczną. Wydaje się, że wyraźne rozdzielenie pojęcia „ocena” (w wersji angielskiej „assess”) oraz „przewidywanie” (w wersji angielskiej „predict”) wskazuje, że intencją prawodawcy europejskiego nie było utożsamianie tych pojęć. Zakładając, że ich znaczenie jest odmienne, jedną z potencjalnych interpretacji, którą proponuję rozważyć, jest przyjęcie, że „przewidywanie” odnosi się do szacowania prawdopodobieństwa popełnienia przestępstwa w przyszłości, zaś „ocena” odnosi się do ustalania, czy określona osoba popełnia przestępstwo w chwili dokonywania oceny lub czy popełniła przestępstwo wcześniej. To prowadziłoby do wniosku, że komentowany zakaz (oczywiście przy założeniu spełnienia pozostałych warunków wskazanych w przepisie) miałby zastosowanie zarówno do oceny ryzyka popełnienia przestępstwa rozumianej jako predykcja przyszłych przestępstw, jak i do oceny ryzyka tego, czy określona osoba popełnia przestępstwo w chwili oceny lub popełniła je w przeszłości.      

Jakie sposoby przeprowadzania analizy są zakazane?

Po pierwsze, źródłem zagrożenia, przed którym należy chronić jednostki, jest w myśl komentowanego zakazu ocena ryzyka popełnienia przestępstwa przeprowadzana wyłącznie w oparciu o profilowanie osoby, a więc wyłącznie w oparciu o zautomatyzowane przetwarzanie danych osobowych w celu oceny określonych czynników danej osoby (w tym przypadku zachowań o charakterze przestępczym). Na zasadzie analogii do ugruntowanych interpretacji art. 22 RODO (który odnosi się do decyzji podejmowanych w oparciu o wyłącznie zautomatyzowane przetwarzanie danych osobowych) należy zapewne przyjąć, że z oceną ryzyka dokonywaną wyłącznie na podstawie profilowania będziemy mieli do czynienia w przypadku, gdy ocena odbywa się bez udziału człowieka. Innymi słowy, zabronione będzie ocenianie ryzyka popełnienia przestępstwa (w przeszłości, w chwili dokonywania oceny oraz w przyszłości) przez daną osobę, jeżeli oceny tej dokonuje wyłącznie system AI, bez udziału człowieka. Oczywiście stwierdzenie takie otwiera nas na liczne kontrowersje dotyczące tego, co konkretnie należy rozumieć przez udział człowieka i jakie konkretne przejawy tego udziału pozwolą bezpiecznie przyjąć, że ocena nie jest dokonywana wyłącznie w oparciu o zautomatyzowane przetwarzanie. To jest jednak zagadnienie na zupełnie inne opracowanie. Na tym etapie musimy poprzestać na stwierdzeniu, że w myśl art. 5 zakazana jest ocena ryzyka popełniania przestępstwa dokonywana wyłącznie w oparciu o zautomatyzowane przetwarzanie danych osobowych.      

Po drugie, prawodawca unijny uznał również za szczególnie groźne dla domniemania niewinności ocenianie ryzyka popełnienia przestępstwa wyłącznie w oparciu o ocenę cech osobowości i cech charakterystycznych ocenianej osoby. W pewnym uproszczeniu można wskazać, że jako naruszające prawa podstawowe uznaje się dokonywanie ocen wyłącznie w oparciu o ustalenie dotyczące tego „kim jest” lub „jaka jest” oceniana osoba, abstrahując od faktycznych zachowań danej osoby. Takie oceny mogą być szczególnie krzywdzące i dyskryminujące. Oparte są bowiem często wyłącznie na historycznych danych statystycznych dotyczącej określonych populacji, które mogą być zupełnie nierelewantne w indywidualnym przypadku konkretnej osoby (nawet jeżeli dana osoba wykazuje cechy, które statystycznie zwiększają prawdopodobieństwo popełnienia przestępstwa). W praktyce oznaczałoby to penalizowanie danej osoby (np. poprzez odmowę dostępu do usługi) nie ze względu na to, co faktycznie zrobiła, tylko na to, „jaka jest” lub „kim jest”.

Warto zwrócić w tym kontekście uwagę na jeszcze jeden istotny niuans. Ocena dokonywana wyłącznie w oparciu o cechy osoby może, ale nie musi być w pełni zautomatyzowana. Teza ta wynika z wyraźnego oddzielenia na gruncie przepisu „profilowania” oraz ocen dokonywanych w oparciu o cechy osoby. W rezultacie wydaje się, że zakazana będzie również praktyka ocen nie w pełni zautomatyzowanych (czyli np. ocen dokonywanych z wykorzystaniem systemu AI oraz jednoczesnym udziałem czynnika ludzkiego), tak długo jak cechy osoby będą jedyną podstawą do dokonywania oceny ryzyka. Z kolei w zakresie oceny opartej wyłącznie na profilowaniu zakazowi będzie podlegało nie tylko profilowanie oparte na przetwarzaniu danych o cechach osoby, ale również profilowanie oparte na przetwarzaniu innych kategorii danych osobowych (np. danych o transakcjach realizowanych przez daną osobę), tak długo jak będzie to ocena oparta wyłącznie na profilowaniu.

Jakiego rodzaju oceny są wprost dopuszczone przez art. 5?

Powyższe analizy prowadzą do wniosku, że Akt nie wprowadza bynajmniej całkowitego zakazu wykorzystywania systemów AI do oceny ryzyka popełnienia przestępstw. Zakazane są jedynie oceny ryzyka przeprowadzane w specyficzny, opisany w powyższych komentarzach sposób. Potwierdza to zarówno art. 5, jak i Motyw 42, które wprost wskazują przypadek, w którym ocena ryzyka z wykorzystaniem systemów AI będzie dopuszczalna i zgodna z Aktem. Zgodnie z art. 5 ust. 1 lit. d zd. 2

zakaz ten nie ma zastosowania do systemów AI wykorzystywanych do wspierania dokonywanej przez człowieka oceny udziału danej osoby w działalności przestępczej, która to ocena opiera się już na obiektywnych i weryfikowalnych faktach bezpośrednio związanych z działalnością przestępczą.

Motyw 42 w tym kontekście doprecyzowuje, że

osoby fizyczne nigdy nie powinny być oceniane na podstawie zachowań prognozowanych przez AI wyłącznie na podstawie poddania ich profilowaniu, na podstawie ich cech osobowości lub cech charakterystycznych, takich jak narodowość, miejsce urodzenia, miejsce zamieszkania, liczba dzieci, poziom zadłużenia lub rodzaj samochodu, bez uzasadnionego podejrzenia, że osoba ta uczestniczy w działalności przestępczej w oparciu o obiektywne możliwe do zweryfikowania fakty i bez ich oceny przez człowieka.

Mając na uwadze powyższe, należy przyjąć, że zgodne z Aktem będzie wykorzystanie systemu AI do oceny ryzyka popełnienia przestępstwa, jeżeli spełnione są następujące warunki:

• ocena dotyczy udziału danej osoby w działalności przestępczej,
• ocena opiera się na obiektywnych i weryfikowalnych faktach bezpośrednio związanych z działalnością przestępczą,
• ocena dokonywana jest przez człowieka przy wsparciu systemu AI. 

Wskazanie wprost w treści art. 5 sposobu wykorzystania systemu AI do oceny ryzyka popełnienia przestępstwa nieobjętego zakazem tworzy jednocześnie pewną wątpliwość interpretacyjną. Rodzi się bowiem pytanie, czy jest to jedyne wykorzystanie systemu AI do oceny ryzyka popełniania przestępstw, które będzie zgodne z Aktem. Treść art. 5 ust. 1 lit. d Aktu z jednej strony wskazuje wyraźnie zakazane sposoby dokonywania oceny ryzyka z wykorzystaniem systemów AI (tj. oceny oparte wyłącznie na profilowaniu lub analizie cech osoby). Z drugiej strony wskazuje wprost tylko jeden konkretny sposób wykorzystania systemów AI zgodny z Aktem. Wydaje się tymczasem, że w praktyce może istnieć wiele pośrednich wariantów wykorzystania systemów AI, przez co rozumiem warianty, które nie będą zakazanym sposobem wykorzystania systemów AI, ale jednocześnie nie będą wykorzystaniem wskazanym wprost w art. 5 ust. 1 lit. d zd. 2 Aktu. Przykładem takiego pośredniego wariantu będzie np. system AI wspierający ocenę człowieka, oparty na analizie zarówno faktycznych zachowań, jak i cech osoby, czy też system skoncentrowany wyłącznie na ocenie ryzyka popełnienia przestępstwa w przyszłości pracujący pod nadzorem człowieka i wykorzystujący do predykcji różne dane, nie tylko cechy osoby.

Wydaje się, iż błędem byłoby przyjęcie, że objęte zakazem są warianty, które określiłem powyżej jako pośrednie. Nie wykazują one bowiem cech przewidzianych w art. 5 ust. 1 lit. d zd. 1 Aktu. Konsekwentnie, należy w związku z tym liczyć się z interpretacją, że sposób wykorzystania systemu AI wskazany w art. 5 ust. 1 lit. d zd. 2 Aktu jest jedynie przykładem systemu, który nie jest objęty zakazem i nie wyklucza to zgodnego z Aktem wykorzystywania systemów AI do oceny ryzyka popełniania przestępstw również w innych konfiguracjach (tak długo jak nie wykazują one cech wskazanych w art. 5 ust. 1 lit. d zd. 1 Aktu).

Art. 5 ust. 1 lit. d zd. 2 Aktu zawiera w sobie jeszcze jedną potencjalnie cenną wskazówkę interpretacyjną. Wskazuje, że elementy będące podstawą oceny ryzyka powinny być obiektywne i weryfikowalne. Precyzyjne określenie znaczenia tych pojęć będzie zapewne przedmiotem ożywionych dyskusji doktrynalnych w najbliższym czasie. Niezależnie od tego wydaje się, że wskazując ten trop interpretacyjny prawodawca wyraził oczekiwanie, iż każda ocena ryzyka z wykorzystaniem systemu AI, w zakresie, w jakim jej podstawą są faktyczne zachowania osoby, powinna opierać się na danych spełniających wskazane kryteria obiektywności i weryfikowalności.  

Dla porządku należy również podkreślić, że zakazane praktyki dotyczą tylko oceny ryzyka popełnienia przestępstwa przez osoby fizyczne. W rezultacie przeprowadzanie analogicznych ocen względem osób prawnych i innych jednostek organizacyjnych nie podlega ograniczeniom na gruncie Aktu.  

Przykłady

Zdaję sobie sprawę, że powyższe komentarze mogą wydawać się abstrakcyjne i zawiłe. Dlatego proponuję przeanalizować art. 5 ust. 1 lit. d Aktu na kilku konkretnych przykładach.

Przykład 1: System AI wspiera człowieka w ocenie ryzyka popełnienia przestępstwa wyłącznie w oparciu o cechy klienta (w tym narodowość, wiek, miejsce zamieszkania).

Taki system będzie zakazany, ponieważ ocena dokonywana jest wyłącznie na podstawie oceny cech osoby. Fakt, że w proces zaangażowany jest człowiek, nie ma w tym przypadku znaczenia.

Przykład 2: System AI działający bez udziału człowieka ocenia profil ryzyka popełnienia przestępstwa przez klienta wyłącznie w oparciu o historyczne dane o transakcjach tego klienta.

Taki system zostanie z dużym prawdopodobieństwem uznany za system zakazany, ponieważ opiera się wyłącznie na profilowaniu osoby.

Przykład 3: System AI działający bez udziału człowieka ocenia profil ryzyka popełnienia przestępstwa przez klienta w oparciu o historyczne dane o transakcjach tego klienta oraz w oparciu o jego cechy osobowe.

Taki system będzie zakazany, ponieważ ocena dokonywana jest wyłącznie na podstawie profilowania, które w tym przypadku dokonywane jest też w oparciu o dane w postaci cech osoby.

Przykład 4: System AI ocenia ryzyko popełnienia przestępstwa wyłącznie w oparciu o cechy klienta będącego osobą prawną (w tym miejsce siedziby, branża).

Taki system zostanie zapewne uznany za dozwolony, ponieważ zakazane praktyki odnoszą się wyłącznie do ocen ryzyka w odniesieniu do osób fizycznych.

Przykład 5: System AI ocenia ryzyko popełnienia przestępstwa wyłącznie w oparciu o cechy klienta będącego osobą prawną, uwzględniając jednak na potrzeby analizy cechy osobowe członków zarządu ocenianej osoby prawnej.

To bardzo problematyczny przykład. Ocena ryzyka jest tu na pierwszy rzut oka dokonywana w odniesieniu do osoby prawnej. Wydaje się jednak, że nie sposób abstrahować od tego, że elementem tej oceny jest również ocena osób fizycznych (członków zarządu) oparta wyłącznie na ich cechach osobowych. Ocena ryzyka dokonuje się więc w tym przypadku również pośrednio w odniesieniu do osoby fizycznej. 

Przykład 6: System AI wspiera człowieka w ocenie ryzyka popełnienia przestępstwa, dokonując oceny w oparciu o cechy klienta oraz dane o jego historycznych transakcjach.

Taki system zostanie zapewne uznany za dozwolony, ponieważ ocena ryzyka nie jest dokonywana wyłącznie na podstawie profilowania (człowiek jest zaangażowany w ocenę) oraz nie opiera się wyłącznie o dane o osobie (pod uwagę brane są też dane o faktycznych zachowaniach, tj. zrealizowanych transakcjach).

W których obszarach należy szczególnie uważać?

Powyższe przykłady są oczywiście bardzo uproszczone i stanowią jedynie niewielką próbkę stworzoną na potrzeby tych rozważań. W praktyce systemy wykorzystywane do oceny ryzyka są znacznie bardziej zniuansowane. Nie ulega wątpliwości, że wszędzie tam, gdzie mamy do czynienia z automatyczną lub częściowo automatyczną oceną ryzyka popełnienia przestępstwa, należy w związku z wejściem w życie Aktu przeanalizować, czy systemy te lub ich elementy nie wykazują cech zakazanych systemów AI. Dotyczy to w szczególności obszarów compliance w zakresie AML oraz fraudów, gdzie istotą dokonywanych analiz jest w dużej mierze ocena ryzyka popełnienia przestępstwa, w tym przewidywania takiego zdarzenia w przyszłości. 

Szczególnie ryzykowne są te obszary i procesy, w których ocena ryzyka dokonuje się wyłącznie w sposób zautomatyzowany (bez udziału czynnika ludzkiego) lub w oparciu o cechy osobowości lub cechy charakterystyczne danej osoby. Oceniając systemy pod kątem zgodności z Aktem, należy też pamiętać, że udział czynnika ludzkiego w dokonywanej ocenie nie może być iluzoryczny.

Paradoks regulacji

W ramach uwag końcowych warto podkreślić swoisty paradoks komentowanego zakazu. Dotyczy on wyłącznie ocen dokonywanych z wykorzystaniem systemów AI. Te same praktyki (np. ocena ryzyka popełnienia przestępstwa wyłącznie w oparciu o cechy osoby) realizowane bez wykorzystania takich systemów nie będą wprost zakazane (przynajmniej przez Akt). Dlatego należy postulować dążenie do systemowej spójności i zakazania określonych praktyk bez względu na to, jaka technika jest wykorzystywana do ich realizacji. Ryzyko wyrządzenia jednostce krzywdy wskutek oceniania jej wyłącznie w oparciu o to, „kim jest” lub „jaka jest”, występuje niezależnie od tego, czy tej oceny dokonuje zaawansowany algorytm czy człowiek.   

Krzysztof Wojdyło