Z tego artykułu dowiesz się:

  • Na czym polegał problem „oszukiwania” przez AI przy tworzeniu medycznych modeli 3D?
  • W jaki sposób polscy naukowcy chcą uniemożliwić sztucznej inteligencji fałszowanie obrazu?
  • Jakie znaczenie ma dokładne modelowanie 3D dla przyszłości diagnostyki?

Zespół badaczy z Instytutu Badawczego IDEAS, Uniwersytetu Jagiellońskiego, Politechniki Warszawskiej, Sano Centre for Computational Medicine, Uniwersytetu w Weronie opracował metodę ColonSplat – to milowy krok w modelowaniu obrazu 3D jelita grubego. Algorytm potrafi odtwarzać prawdziwy ruch organu, który przez cały czas się kurczy, tymczasem wcześniej stosowane technologie, zamiast odtwarzać ten ruch, „maskowały go sztuczkami”.

Koniec iluzji na ekranie

Kolonoskopia to podstawowe badanie w profilaktyce raka jelita grubego. Model 3D jelita odtworzony z nagrania pomaga w nawigacji podczas zabiegu, dokładniejszym lokalizowaniu polipów i analizie badania po jego zakończeniu. Problem w tym, że jelito nie stoi nieruchomo, przez cały czas się kurczy i rozkurcza (perystaltyka), zmienia układ wraz z oddechem pacjenta, a kamera przemieszcza się we wnętrzu jelita i rejestruje tylko niewielki fragment naraz. To, co już minęła, szybko znika z kadru. Wcześniejsze metody albo zakładały, że jelito jest sztywne, albo były projektowane do laparoskopii, gdzie kamera ma szeroki widok na jamy ciała. Wcześniejsze metody rekonstrukcji zafałszowywały rzeczywistość: pozostawiały ciemny plan, gdy jelito się poruszało, oszukiwały, gdy czegoś nie widziały (obracały kadr, zmieniały rozmiar i przezroczystość tkanki). Efekt? Powstawał niby perfekcyjny obraz z wnętrza, ale bryła oglądana z zewnątrz była zniekształcona i najeżona tzw. artefaktami. A nowa metoda 3D ColonSplat, opracowana przez polskich naukowców, daje dużo lepszy obraz niż te stosowane dotąd. Jak podkreślają w IDEAS, odbiera ona algorytmowi możliwość „zmyślania” – jeśli tkanka się porusza, model przesuwa ją faktycznie w przestrzeni. Obroty i zmiany rozmiaru elementów są mocno ograniczone, a ich przezroczystość „zamrożona”. Dodatkowo model sprawdza, czy sąsiednie tkanki też poruszają się, jak w prawdziwym organie. Osobny moduł odpowiada za zmiany koloru, które w kolonoskopii są duże: światło jest przy samej kamerze, a na ściankach jelita jest śluz i płyny.

– Aktualne metody rekonstrukcji 3D jelita skupiają się na osiągnięciu najlepszych wyników w odtworzeniu klatek z kolonoskopii. Niestety w ten sposób niektóre informacje przepadają. Na przykład, gdy przy analizie otrzymanego modelu poruszano kamerą inaczej niż ruszała się ona podczas badania, jakość znacząco się pogarszała. Pojawiały się dziury bądź rozmazane fragmenty i to pomimo że zostały uchwycone w trakcie badania – wyjaśnia Weronika Smolak-Dyżewska, współautorka badania, badaczka w Instytucie Badawczym IDEAS i Uniwersytecie Jagiellońskim.

Czytaj więcej

Lekarz nie jest od stukania w klawiaturę. Polacy znaleźli rozwiązanie poważnego problemu

Jak podkreśla, odtworzenie trójwymiarowej struktury jelita jako spójnej całości jest niezbędne do tego, żeby mogło być wykorzystywane do realistycznych symulatorów, retrospektywnej analizy przez lekarzy lub przez inne algorytmy sztucznej inteligencji np. do wykrywania polipów lub nawigacji po jelicie.

Czas na światowy rozgłos

Na prawdziwych nagraniach nie da się sprawdzić, czy kształt jelita w modelu jest poprawny, bo nikt nie zna jego dokładnej geometrii w danej chwili badania. Dlatego autorzy stworzyli DynamicColon: syntetyczny, poruszający się model jelita, w którym prawdziwy kształt jest znany w każdym kroku na osi czasu. Na DynamicColon, benchmarku oceniającym modele obrazujące jelito grube, błąd odtworzonego kształtu był w ColonSplat ponad dwa razy mniejszy niż w najlepszej z porównywanych metod. Naukowcy zaznaczają, że jakość obrazu była porównywalna lub lepsza zarówno na DynamicColon, jak i na realistycznym zbiorze C3VDv2.

– Jako pierwsi zwróciliśmy uwagę na problem z ewaluacją istniejących metod do rekonstrukcji jelita w kolonoskopii i zaproponowaliśmy alternatywne podejście na ewaluację oraz metodę do rekonstrukcji – komentuje Smolak-Dyżewska. – Przyszłe prace w tej dziedzinie mogą więc wykorzystać nasze podejście i sprawdzić, czy faktycznie są w stanie oddać globalną strukturę jelita czy tylko widoki z trajektorii pomiaru – dodaje badaczka z Instytutu Badawczego IDEAS.

Czytaj więcej

Polacy mają dość kolejek do lekarzy. AI i start-upy ruszają na ratunek

Smolak-Dyżewska pracowała przy nowatorskim rozwiązaniu z Joanną Kaletą (Politechnika Warszawska, Sano Centre for Computational Medicine), a także z Diego Dall’Alba (Uniwersytet w Weronie, Sano) oraz Przemysławem Spurkiem (Uniwersytet Jagielloński, IDEAS). Osiągnięcie zespołu możliwe było dzięki wsparciu m.in. funduszami Narodowego Centrum Nauki, Fundacji na rzecz Nauki Polskiej (program First Team, FENG) oraz programu Horyzont 2020. Teraz badacze będą prezentować je światu: praca „ColonSplat: Reconstruction of Peristaltic Motion in Colonoscopy with Dynamic Gaussian Splatting” została zaakceptowana na prestiżową konferencję WACV 2027 (140 pkt. wg list MNiSW), w styczniu naukowcy przedstawią jej wyniki na Florydzie. Efekty badań mają zostać również opublikowane w branżowym czasopiśmie IEEE Xplore.