Stosowanie systemów sztucznej inteligencji przyniesie korzyści dla ogółu społeczeństwa i wielu sektorów. Jednak specyficzne cechy systemów SI, takie jak nieprzejrzystość, złożoność czy autonomiczne zachowanie, mogą stwarzać ryzyka dla praw podstawowych i bezpieczeństwa użytkowników końcowych.

Nie da się odgórnie określić poziomu ryzyka, jakie dla użytkowników końcowych tworzą wszystkie systemy SI, ani określić poziomu ryzyka w oderwaniu od konkretnego wykorzystania danego systemu. Z tego względu prawodawca unijny, projektując akt w sprawie SI, przyjmuje tzw. podejście oparte na ryzyku (risk-based approach), dobrze znane z regulacji dotyczących bezpieczeństwa produktów czy np. RODO.

Zgodnie z przyjętą logiką nowe obowiązki i ograniczenia przewidziane w akcie w sprawie SI mają być dopasowane do poziomu ryzyka, z jakim będzie wiązało się wykorzystanie konkretnego systemu SI.

Projekt wyróżnia systemy SI stwarzające:

• niedopuszczalne ryzyko,
• wysokie ryzyko,
• ograniczone ryzyko,
• niskie lub minimalne ryzyko.

Co do zasady, projektowanym obowiązkom będą podlegać tylko systemy SI z pierwszych trzech grup. Systemy SI, których użycie wiąże się z niskim lub minimalnym ryzykiem, nie będą podlegały obowiązkom określonym w nowej regulacji.

Niedopuszczalne ryzyko = zakaz stosowania

Art. 5 projektu wprowadza zakaz szkodliwych praktyk związanych ze sztuczną inteligencją, które są uważane za wyraźne zagrożenie dla bezpieczeństwa, źródeł utrzymania i praw ludzi ze względu na „niedopuszczalne ryzyko”, jakie stwarzają.

Do takich zakazanych praktyk prawodawca unijny zalicza wprowadzanie do obrotu, oddawanie do użytku lub wykorzystywanie w UE systemów SI, które:

• wykorzystują szkodliwe techniki podprogowe będące poza świadomością danej osoby w celu lub ze skutkiem istotnego zniekształcenia jej zachowania w sposób, który powoduje lub może powodować u niej lub u innej osoby szkodę fizyczną lub psychiczną,
• wykorzystują słabości określonej grupy osób (ze względu na ich wiek, niepełnosprawność lub sytuację społeczną lub gospodarczą) w celu lub ze skutkiem istotnego zniekształcenia zachowania takich osób w sposób, który powoduje lub może powodować u tej osoby lub u innej osoby szkodę fizyczną lub psychiczną,
• są wykorzystywane do oceny lub klasyfikacji osób fizycznych przez określony czas na podstawie ich zachowania społecznego lub znanych bądź przewidywanych cech osobistych lub cech osobowości (zarówno przez podmioty publiczne, jak i prywatne),
• służą identyfikacji biometrycznej w czasie rzeczywistym i są wykorzystywane w miejscach publicznie dostępnych przez organy ścigania lub w ich imieniu do celów egzekwowania prawa (z zastrzeżeniem wyjątków).

Wysokie ryzyko = liczne obowiązki

Systemy sztucznej inteligencji wysokiego ryzyka zostały wskazane w art. 6 projektu, który został całkowicie przeredagowany w listopadowej wersji kompromisowej Rady. Takie systemy SI stwarzają wysokie ryzyko dla zdrowia i bezpieczeństwa lub praw podstawowych osób fizycznych i mogą być dopuszczone do obrotu pod warunkiem spełnienia określonych rygorystycznych wymogów i przeprowadzenia oceny zgodności ex ante.

Co istotne, zaklasyfikowanie systemu sztucznej inteligencji jako systemu wysokiego ryzyka nie opiera się wyłącznie na analizie funkcji pełnionej przez system SI, ale przede wszystkim na ocenie celu i sposobu jego wykorzystania.

W obecnej wersji projektu przewiduje się, że systemem SI wysokiego ryzyka jest system, który jest produktem objętym unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku II albo jest wykorzystywany jako element bezpieczeństwa produktu objętego powyższym prawodawstwem, jeżeli musi być on poddany ocenie zgodności w celu wprowadzenia go do obrotu lub oddania do użytku zgodnie z tym prawodawstwem (dotyczy to m.in. takich produktów jak zabawki, samochody, wyroby medyczne, windy).

Dodatkowo załącznik III ustanawia wykaz systemów sztucznej inteligencji wysokiego ryzyka, w przypadku których ryzyko już się urzeczywistniło lub może się urzeczywistnić w najbliższej przyszłości. Zgodnie z wykazem systemami SI wysokiego ryzyka są systemy należące do poniższych kategorii lub wykorzystywane we wskazanych niżej obszarach:

• systemy biometryczne,
• infrastruktura krytyczna i ochrona środowiska,
• kształcenie i szkolenie zawodowe, zatrudnienie, zarządzanie pracownikami i dostęp do samozatrudnienia,
• dostęp do usług prywatnych oraz usług i świadczeń publicznych,
• ściganie przestępstw,
• zarządzanie migracją, azylem i kontrolą graniczną,
• sprawowanie wymiaru sprawiedliwości.

Powyższy wykaz może podlegać zmianom. Aby dostosować rozporządzenie do nowych zastosowań SI, Komisja może rozszerzyć wykaz systemów sztucznej inteligencji wysokiego ryzyka wykorzystywanych w konkretnych obszarach, stosując zestaw kryteriów i metodykę oceny ryzyka, o których mowa w art. 7.

Systemy sztucznej inteligencji wysokiego ryzyka muszą spełniać szereg wymogów, a dostawcy takich systemów muszą spełniać określone obowiązki. Proporcjonalne obowiązki nałożono również na użytkowników (art. 29) i innych uczestników łańcucha wartości SI (np. importerów, dystrybutorów, autoryzowanych przedstawicieli).

Systemy sztucznej inteligencji wysokiego ryzyka muszą spełnić wymogi prawne dotyczące m.in. (art. 8-15):

• utrzymywania systemu zarządzania ryzykiem (art. 9),
• danych i zarządzania danymi (art. 10),
• dokumentacji technicznej (art. 11),
• rejestrowania zdarzeń podczas działania systemów SI (art. 12),
• przejrzystości i dostarczania informacji użytkownikom (art. 13),
• nadzoru ze strony człowieka (art. 14),
• solidności, dokładności i cyberbezpieczeństwa (art. 15).

Dostawcy systemów SI będą musieli m.in.:

• zapewnić zgodność systemów SI z wymogami ustanowionymi w art. 8-15, podejmować działania naprawcze, jeżeli system SI nie spełnia tych wymogów i wykazać zgodność z tymi wymogami na żądanie właściwego organu krajowego (art. 21-23),
• posiadać system zarządzania jakością zgodny z art. 17,
• sporządzać dokumentację techniczną systemu SI (art. 18),
• przechowywać rejestry zdarzeń generowane automatycznie przez ich systemy SI, jeżeli znajdują się one pod ich kontrolą (art. 20),
• zapewnić, aby system SI poddano odpowiedniej procedurze oceny zgodności przed wprowadzeniem go do obrotu lub oddaniem go do użytku,
• spełnić obowiązki rejestracyjne, o których mowa w art. 51,
• spełnić obowiązki informacyjne względem właściwych organów krajowych państw członkowskich, w których udostępnili lub oddali do użytku system SI,
• umieścić oznakowanie CE w swoich systemach SI na potwierdzenie zgodności z aktem w sprawie SI zgodnie z art. 49,
• zapewnić ocenę zgodności ex ante zgodnie z art. 43 i załącznikiem VII,
• zarejestrować system SI wysokiego ryzyka w unijnej bazie danych zarządzanej przez Komisję, o której mowa w art. 60 (unijna baza danych dla samodzielnych systemów sztucznej inteligencji wysokiego ryzyka) przed wprowadzeniem do obrotu lub przed oddaniem go do użytku.

Ponadto dostawcy, którzy mają siedzibę poza UE, będą musieli wyznaczyć upoważnionego przedstawiciela w UE, który będzie odpowiedzialny m.in. za ocenę zgodności, ustanowienie systemu monitorowania po wprowadzeniu do obrotu oraz podjęcie w razie potrzeby działań naprawczych.

Co istotne, za dostawcę systemu SI wysokiego ryzyka uważa się dystrybutora, importera, użytkownika lub inną osobę trzecią i nakłada się na nich obowiązki równoważne obowiązkom dostawcy określonym w art. 16, jeżeli:

• wprowadzają do obrotu lub oddają do użytku system SI wysokiego ryzyka opatrzony ich nazwą handlową lub znakiem towarowym,
• zmieniają przeznaczenie systemu SI wysokiego ryzyka, który został już wprowadzony do obrotu lub oddany do użytku,
• wprowadzają istotne zmiany w systemie SI wysokiego ryzyka,
• zmieniają przeznaczenie systemu SI, który nie jestem systemem wysokiego ryzyka i został już wprowadzony do obrotu lub oddany do użytku w taki sposób, że ów system staje się systemem wysokiego ryzyka.

Jeśli zaistnieją powyższe okoliczności, dostawca, który pierwotnie wprowadził system SI wysokiego ryzyka do obrotu lub który oddał ten system do użytku, nie będzie już uznawany za dostawcę w rozumieniu aktu.

Ograniczone ryzyko = ograniczone obowiązki

Systemy SI ograniczonego ryzyka, takie jak:

• systemy wchodzące w interakcje z ludźmi (chatboty),
• systemy rozpoznawania emocji,
• systemy kategoryzacji biometrycznej,
• systemy SI, które generują lub manipulują obrazami, treściami audio lub wideo (tzw. deepfake),

będą objęte zestawem obowiązków dotyczących przejrzystości i obowiązków informacyjnych (art. 52).

Niskie lub minimalne ryzyko = brak zobowiązań

Wszystkie inne systemy SI charakteryzujące się jedynie niskim lub minimalnym ryzykiem będą mogły być opracowane i stosowane w UE bez konieczności wypełniania jakichkolwiek dodatkowych obowiązków. Projekt aktu przewiduje jednak możliwość stworzenia kodeksów postępowania. Komisja i państwa członkowskie mają zachęcać dostawców systemów SI niewysokiego ryzyka do tworzenia kodeksów postępowania sprzyjających dobrowolnemu stosowaniu w odniesieniu do ich systemów wymogów dotyczących systemów SI wysokiego ryzyka (tytuł IX).

Ale jak rzetelnie ocenić ryzyko?

Podejście oparte na ryzyku i uzależnienie zakresu obowiązków i ingerencji prawnej od zidentyfikowanego poziomu ryzyka przyjęte w projekcie aktu w sprawie SI należy uznać za słuszne. Takie podejście rodzi jednak wyzwania zarówno po stronie przedsiębiorców z łańcucha wartości SI, jak i po stronie organów nadzorczych.

W oczywisty sposób kluczowe dla identyfikacji zakresu obowiązków, jakim będą poddani dostawcy i inni uczestnicy łańcucha wartości SI, będzie przeprowadzenie rzetelnej analizy ryzyka. Nie będzie to zadanie łatwe.

Po pierwsze, pierwotne określenie poziomu ryzyka, jakie wiąże się z wykorzystaniem danego systemu SI, może zmienić się w czasie. Będzie to szczególnie widoczne w przypadku autonomicznych systemów SI, które z natury mają działać i rozwijać się w sposób autonomiczny, niezależny od człowieka. Pierwotna ocena takiego systemu może szybko okazać się nietrafiona.

Po drugie, jedynie dostawcy systemów SI wysokiego ryzyka będą zobowiązani do wdrożenia kompleksowego systemu zarządzania ryzykiem. Może się jednak zdarzyć, że systemy SI ograniczonego lub niskiego ryzyka rozwiną się lub będą wykorzystywane w sposób, który spowoduje w rzeczywistości wysokie ryzyko dla praw i bezpieczeństwa użytkowników końcowych.

Wydaje się, że nawet jeśli przyjęte w projekcie podejście oparte na ryzyku nie ulegnie zmianie, zmienić się może zakres obowiązków nakładanych na dostawców i użytkowników systemów SI, szczególnie tych wiążących się z niewysokim ryzykiem. Zaproponowana przez prawodawcę samoregulacja w formie kodeksów postępowania może okazać się niewystarczająca w świetle dynamicznego rozwoju w tej dziedzinie.

dr Iga Małobęcka-Szwast