Tym razem zajmiemy się rozwiązaniami z pierwszej linii frontu. Chodzi o urządzenia do zdalnej diagnostyki, które mogą zwiększyć skuteczność wykrywania koronawirusa, a także odciążyć służbę zdrowia w innych obszarach. Rozwiązania te mogą również stać się swoistym poligonem doświadczalnym w zakresie podejścia regulacyjnego do nadzorowania algorytmów.

Bezpośrednią inspiracją do napisania tego tekstu stało się rozwiązanie firmy StethoMe przedstawione podczas DemoDay zorganizowanego przez MIT Enterprise Forum CEE. Jest to bezprzewodowy stetoskop połączony z aplikacją, która pozwala przeprowadzić badanie osłuchowego na odległość. Dodatkowo system umożliwia analizę zebranych danych z wykorzystaniem algorytmu AI. StethoMe testuje aktualnie możliwość wykorzystania zdalnego stetoskopu do badania zmian wywołanych koronawirusem. Diagnostyka na odległość mogłaby istotnie zwiększyć efektywność i bezpieczeństwo walki z wirusem.

Można z dużym prawdopodobieństwem założyć, że jednym ze skutków pandemii będzie wzrost zainteresowania zdalnymi rozwiązaniami diagnostycznymi w najbliższej przyszłości. Warto w związku z tym zwrócić uwagę na specyficzne wyzwanie regulacyjne, które będzie się nieodłącznie wiązało z takimi rozwiązaniami.

Wyroby medyczne jako poligon doświadczalny dla nadzorowania AI

Systemy zdalnej diagnostyki będą w zdecydowanej większości przypadków uznawane za wyroby medyczne. Jest to kategoria produktów, która podlega szczególnym uregulowaniom dotyczącym wprowadzania na rynek. Celem jest zapewnienie odpowiedniego poziomu jakości i bezpieczeństwa tych produktów, od których niejednokrotnie zależy ludzkie zdrowie, a nawet życie.

Pod względem prawnym jednym z najciekawszych elementów zdalnych systemów diagnostycznych są moduły AI, które będą zapewne coraz częściej towarzyszyć tym systemom. Oprogramowanie, w tym algorytmy AI będące częścią zdalnych systemów diagnostycznych, również będą traktowane jako wyroby medyczne. Przesądza o tym wprost definicja „wyrobu medycznego” zawarta zarówno w polskim, jak i europejskim ustawodawstwie. Również orzecznictwo TSUE potwierdza możliwość traktowania oprogramowania, po spełnieniu określonych warunków, jako wyrobów medycznych (np. wyrok TSUE z 7 grudnia 2017 r. w sprawie C-329/16).

W efekcie obszar wyrobów medycznych będzie jednym z pierwszych, w którym dojdzie do faktycznego nadzorowania algorytmów AI. Będzie to swoisty poligon doświadczalny, a doświadczenia zebrane przy tej okazji mogą być bezcenne na potrzeby projektowania modelu nadzoru algorytmów w innych obszarach. Jak wiadomo, to właśnie zaprojektowanie odpowiedniego modelu nadzorowania algorytmów jest jednym z największych wyzwań, przed jakim stoi tzw. „Data Economy” (patrz m.in. uwagi na ten temat poczynione w dokumentach Komisji Europejskiej na temat AI).

Czy rozporządzenie MDR podoła algorytmom?

Czy regulacje dotyczące wyrobów medycznych są gotowe, żeby zmierzyć się z tym ambitnym zadaniem? Zasadnicze znaczenie będą miały w tym kontekście przepisy rozporządzenia MDR, czyli rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 2017/745 z dnia 5 kwietnia 2017 r. w sprawie wyrobów medycznych, zmiany dyrektywy 2001/83/WE, rozporządzenia (WE) nr 178/2002 i rozporządzenia (WE) nr 1223/2009 oraz uchylenia dyrektyw Rady 90/385/EWG i 93/42/EWG.  Rozporządzenie MDR miało być  stosowane od 26 maja 2020 r. Z uwagi jednak na epidemię Covid-19 termin jego wejścia w życie przesunie się o rok. Stosowne rozporządzenie Parlamentu Europejskiego oczekiwane jest na dniach.

W kontekście algorytmów AI będących częścią wyrobów medycznych kluczowe są dwa wyzwania: ustalenie podejścia do „wytłumaczalności” algorytmów oraz ewolucyjna natura niektórych algorytmów.

• Wytłumaczalność

„Wytłumaczalność” algorytmów to aktualnie jeden z najbardziej dyskutowanych tematów w obszarze AI. Nie jest łatwo zrozumieć proces działania niektórych algorytmów. Często też nie wiadomo, jakie  przesłanki doprowadziły do wygenerowania przez te algorytmy określonego wyniku. W braku wypracowanych standardów dotyczących metod „tłumaczenia” działania algorytmów stajemy coraz częściej przed dylematem, czy dopuszczać do użytku algorytmy, których zasady działania pozostają dla nas niejasne. Dylemat ten jest oczywiście szczególnie wyraźny w obszarach, w których wyniki działań algorytmów mają bezpośredni wpływ na sytuację jednostek, w tym ich zdrowie i życie.

W odniesieniu do zagadnienia „wytłumaczalności” algorytmów rozporządzenie MDR zdaje się nie narzucać z góry określonego rozwiązania. Owszem, określa szczegółowe warunki dotyczące m.in. weryfikowania oprogramowania (np. pkt 6.1(b) załącznika II), ale nie wymaga wprost, aby używane algorytmy były „wytłumaczalne”. W związku z tym, na bazie literalnego brzmienia rozporządzenia MDR, trudno założyć, że jedynie algorytmy „wytłumaczalne” mogą być używane w wyrobach medycznych. W praktyce jednak bardzo dużo będzie zależało od konkretnych praktyk nadzorczych.

• Adaptacyjność

Jeszcze większe wyzwanie może się wiązać z adaptacyjną naturą niektórych algorytmów. Algorytmy adaptacyjne mają wpisane w swoją naturę zmienność oraz uczenie się. Podlegają one permanentnej ewolucji, która, przynajmniej w założeniu, prowadzi do ich doskonalenia. Proces ten może być w dużej mierze zautomatyzowany i odbywać się bez udziału człowieka.

Rozporządzenie MDR nie odnosi się wprost do algorytmów adaptacyjnych. Można zatem wnioskować, że ich wykorzystywanie w wyrobach medycznych nie jest zakazane. Istnieje jednak co najmniej kilka przepisów rozporządzenia MDR, których stosowanie może w praktyce przysporzyć wiele problemów w używaniu takich algorytmów. Przykładowo zgodnie z art. 10 ust. 9 rozporządzenia MDR należy odpowiednio i terminowo uwzględniać zmiany w właściwościach wyrobu medycznego. Punkt 2.4 rozdziału 1 załącznika IX rozporządzenia MDR nakłada obowiązek notyfikacji istotnych zmian systemu zarządzania jakością. Z kolei punkt 6.5.2 części C załącznika VI sugeruje konieczność nadawania nowych kodów UDI-DI w przypadku np. zmiany interpretacji danych przez algorytm.

Problem przy stosowaniu przywołanych przepisów polega przede wszystkim na określeniu prawnego znaczenia zmiany wywołanej w wyrobie medycznym poprzez adaptację algorytmu. Tak jak wskazywaliśmy, w przypadku algorytmów adaptacyjnych zmiana w pewnym sensie jest procesem ciągłym. Byłoby bardzo niepraktyczne, gdyby każda zmiana wynikająca z procesu uczenia się algorytmu wywoływała konieczność ponownego przejścia procesu autoryzacji wyrobu. Z drugiej strony jest oczywiste, że pewne adaptacje algorytmu powinny skutkować przynajmniej częściowym uruchomieniem procesu reautoryzacji. Kluczowe jest określenie kryteriów granicznych, które wywołują konieczność podjęcia określonych działań regulacyjnych. Niestety rozporządzenie MDR nie zawiera w tym zakresie żadnych wskazówek. W związku z tym również w tym przypadku kapitalne znaczenie będzie miała praktyka nadzorcza.

Jak to robią inni

Wskazane powyżej wyzwania występują oczywiście również na innych rynkach. Ciekawe podejście zaproponowała amerykańska FDA w swojej propozycji regulacyjnej dotyczącej wyzwań związanych z adaptacyjną naturą niektórych algorytmów AI stosowanych w wyrobach medycznych. FDA postuluje  w odniesieniu do takich algorytmów m.in. strategię total product lifecycle (TPLC) regulatory approach, która zakłada wprowadzenie mechanizmów umożliwiających ciągłe, efektywne monitorowanie ewoluujących algorytmów. System zakłada możliwość uzgodnienia tzw. Algorithm Change Protocol, który z góry przewidywałby ramy adaptacji określonego algorytmu w przyszłości. Adaptacja algorytmu w tych ramach, pod warunkiem zapewnienia odpowiedniego monitoringu, nie wymagałaby reautoryzacji algorytmu. To jeden z pomysłów na zapewnienie odpowiedniej elastyczności systemu w obliczu nowych zjawisk, jaki przynosi ze sobą rozwój algorytmów.

Rozwój zdalnych systemów diagnostycznych zawierających w sobie komponenty AI będzie możliwy pod warunkiem podjęcia wskazanych wyzwań w zakresie nadzoru algorytmów. Rozporządzenie MDR, choć jest nowym aktem prawnym, nie zawiera przepisów, które byłyby wprost dostosowane do rzeczywistości tworzonej przez algorytmy. W związku z tym zasadniczą rolę w pokonaniu wskazanych wyzwań będą musieli odegrać regulatorzy krajowi. Należy mieć nadzieję, że wystarczy im otwartości i rozwagi, aby zapewnić bezpieczny rozwój tych obiecujących technologii.

Krzysztof Wojdyło, dr Ewa Butkiewicz, Joanna Krakowiak