Wyroby medyczne jako poligon
doświadczalny dla nadzorowania AI

Systemy zdalnej diagnostyki będą w zdecydowanej większości przypadków
uznawane za wyroby medyczne. Jest to kategoria produktów, która podlega
szczególnym uregulowaniom dotyczącym wprowadzania na rynek. Celem jest
zapewnienie odpowiedniego poziomu jakości i bezpieczeństwa tych produktów, od
których niejednokrotnie zależy ludzkie zdrowie, a nawet życie.

Pod względem prawnym jednym z najciekawszych elementów zdalnych systemów
diagnostycznych są moduły AI, które będą zapewne coraz częściej towarzyszyć tym
systemom. Oprogramowanie, w tym algorytmy AI będące częścią zdalnych systemów
diagnostycznych, również będą traktowane jako wyroby medyczne. Przesądza o tym
wprost definicja „wyrobu medycznego” zawarta zarówno w polskim, jak i
europejskim ustawodawstwie. Również orzecznictwo TSUE potwierdza możliwość
traktowania oprogramowania, po spełnieniu określonych warunków, jako wyrobów
medycznych (np. wyrok TSUE z 7 grudnia 2017 r. w sprawie C-329/16).

W efekcie obszar wyrobów medycznych będzie jednym z pierwszych, w którym
dojdzie do faktycznego nadzorowania algorytmów AI. Będzie to swoisty poligon
doświadczalny, a doświadczenia zebrane przy tej okazji mogą być bezcenne na
potrzeby projektowania modelu nadzoru algorytmów w innych obszarach. Jak
wiadomo, to właśnie zaprojektowanie odpowiedniego modelu nadzorowania
algorytmów jest jednym z największych wyzwań, przed jakim stoi tzw. „Data
Economy” (patrz m.in. uwagi na ten temat poczynione w dokumentach
Komisji Europejskiej na temat AI).

Czy rozporządzenie MDR podoła
algorytmom?

Czy regulacje dotyczące wyrobów medycznych są gotowe, żeby zmierzyć się z
tym ambitnym zadaniem? Zasadnicze znaczenie będą miały w tym kontekście przepisy
rozporządzenia MDR, czyli rozporządzenia Parlamentu Europejskiego i Rady (UE)
nr 2017/745 z dnia 5 kwietnia 2017 r. w sprawie wyrobów medycznych, zmiany
dyrektywy 2001/83/WE, rozporządzenia (WE) nr 178/2002 i rozporządzenia (WE) nr
1223/2009 oraz uchylenia dyrektyw Rady 90/385/EWG i 93/42/EWG.  Rozporządzenie MDR miało być  stosowane od 26 maja 2020 r. Z uwagi
jednak na epidemię Covid-19 termin jego wejścia w życie przesunie się o rok.
Stosowne rozporządzenie Parlamentu Europejskiego oczekiwane jest na dniach.

W kontekście algorytmów AI będących częścią wyrobów medycznych kluczowe
są dwa wyzwania: ustalenie podejścia do „wytłumaczalności” algorytmów oraz
ewolucyjna natura niektórych algorytmów.

• Wytłumaczalność

„Wytłumaczalność” algorytmów to aktualnie jeden z najbardziej
dyskutowanych tematów w obszarze AI. Nie jest łatwo zrozumieć proces działania niektórych
algorytmów. Często też nie wiadomo, jakie  przesłanki doprowadziły do wygenerowania przez
te algorytmy określonego wyniku. W braku wypracowanych standardów dotyczących
metod „tłumaczenia” działania algorytmów stajemy coraz częściej przed dylematem,
czy dopuszczać do użytku algorytmy, których zasady działania pozostają dla nas
niejasne. Dylemat ten jest oczywiście szczególnie wyraźny w obszarach, w
których wyniki działań algorytmów mają bezpośredni wpływ na sytuację jednostek,
w tym ich zdrowie i życie.

W odniesieniu do zagadnienia „wytłumaczalności” algorytmów rozporządzenie MDR zdaje się nie narzucać z góry określonego rozwiązania. Owszem, określa szczegółowe warunki dotyczące m.in. weryfikowania oprogramowania (np. pkt 6.1(b) załącznika II), ale nie wymaga wprost, aby używane algorytmy były „wytłumaczalne”. W związku z tym, na bazie literalnego brzmienia rozporządzenia MDR, trudno założyć, że jedynie algorytmy „wytłumaczalne” mogą być używane w wyrobach medycznych. W praktyce jednak bardzo dużo będzie zależało od konkretnych praktyk nadzorczych.

• Adaptacyjność

Jeszcze większe wyzwanie może się wiązać z adaptacyjną naturą niektórych
algorytmów. Algorytmy adaptacyjne mają wpisane w swoją naturę zmienność oraz uczenie
się. Podlegają one permanentnej ewolucji, która, przynajmniej w założeniu,
prowadzi do ich doskonalenia. Proces ten może być w dużej mierze
zautomatyzowany i odbywać się bez udziału człowieka.

Rozporządzenie MDR nie odnosi się wprost do algorytmów adaptacyjnych.
Można zatem wnioskować, że ich wykorzystywanie w wyrobach medycznych nie jest
zakazane. Istnieje jednak co najmniej kilka przepisów rozporządzenia MDR,
których stosowanie może w praktyce przysporzyć wiele problemów w używaniu
takich algorytmów. Przykładowo zgodnie z art. 10 ust. 9 rozporządzenia MDR
należy odpowiednio i terminowo uwzględniać zmiany w właściwościach wyrobu
medycznego. Punkt 2.4 rozdziału 1 załącznika IX rozporządzenia MDR nakłada
obowiązek notyfikacji istotnych zmian systemu zarządzania jakością. Z kolei punkt
6.5.2 części C załącznika VI sugeruje konieczność nadawania nowych kodów UDI-DI
w przypadku np. zmiany interpretacji danych przez algorytm.

Problem przy stosowaniu przywołanych przepisów polega przede wszystkim na
określeniu prawnego znaczenia zmiany wywołanej w wyrobie medycznym poprzez
adaptację algorytmu. Tak jak wskazywaliśmy, w przypadku algorytmów
adaptacyjnych zmiana w pewnym sensie jest procesem ciągłym. Byłoby bardzo
niepraktyczne, gdyby każda zmiana wynikająca z procesu uczenia się algorytmu wywoływała
konieczność ponownego przejścia procesu autoryzacji wyrobu. Z drugiej strony
jest oczywiste, że pewne adaptacje algorytmu powinny skutkować przynajmniej
częściowym uruchomieniem procesu reautoryzacji. Kluczowe jest określenie kryteriów
granicznych, które wywołują konieczność podjęcia określonych działań
regulacyjnych. Niestety rozporządzenie MDR nie zawiera w tym zakresie żadnych
wskazówek. W związku z tym również w tym przypadku kapitalne znaczenie będzie
miała praktyka nadzorcza.

Jak to robią inni

Wskazane powyżej wyzwania występują oczywiście również na innych rynkach. Ciekawe podejście zaproponowała amerykańska FDA w swojej propozycji regulacyjnej dotyczącej wyzwań związanych z adaptacyjną naturą niektórych algorytmów AI stosowanych w wyrobach medycznych. FDA postuluje  w odniesieniu do takich algorytmów m.in. strategię total product lifecycle (TPLC) regulatory approach, która zakłada wprowadzenie mechanizmów umożliwiających ciągłe, efektywne monitorowanie ewoluujących algorytmów. System zakłada możliwość uzgodnienia tzw. Algorithm Change Protocol, który z góry przewidywałby ramy adaptacji określonego algorytmu w przyszłości. Adaptacja algorytmu w tych ramach, pod warunkiem zapewnienia odpowiedniego monitoringu, nie wymagałaby reautoryzacji algorytmu. To jeden z pomysłów na zapewnienie odpowiedniej elastyczności systemu w obliczu nowych zjawisk, jaki przynosi ze sobą rozwój algorytmów.

Rozwój zdalnych systemów diagnostycznych zawierających w sobie komponenty
AI będzie możliwy pod warunkiem podjęcia wskazanych wyzwań w zakresie nadzoru
algorytmów. Rozporządzenie MDR, choć jest nowym aktem prawnym, nie zawiera
przepisów, które byłyby wprost dostosowane do rzeczywistości tworzonej przez
algorytmy. W związku z tym zasadniczą rolę w pokonaniu wskazanych wyzwań będą
musieli odegrać regulatorzy krajowi. Należy mieć nadzieję, że wystarczy im
otwartości i rozwagi, aby zapewnić bezpieczny rozwój tych obiecujących
technologii.

Krzysztof Wojdyło, dr Ewa Butkiewicz, Joanna Krakowiak