van Leeuwen, K.G., Schalekamp, S., Rutten, M.J.C.M. et al.
Artificial intelligence in radiology:
100 commercially available products and their scientific evidence.
Eur Radiol 31, 3797–3804 (2021). https://doi.org/10.1007/s00330-021-07892-z

A radiológiában használt mesterséges intelligencia (AI) termékek száma az elmúlt években gyorsan bővült. Az Észak-Amerikai Radiológiai Társaság (RSNA) és az Európai Radiológiai Kongresszus (ECR) éves találkozóján az AI kiállítók száma 2017 és 2019 között csaknem megháromszorozódott. Bár a radiológiai AI-szoftverek kínálata óriási, és úgy tűnik, hogy sok radiológus hajlandó elfogadni és adaptálni az AI-eszközöket, a klinikai alkalmazás továbbra is korlátozott.

Kimutatták, hogy a kutatási algoritmusok validálásának mértéke igen eltérő. Az orvosi mélytanulási algoritmusokkal foglalkozó publikációk mindössze 6%-a tartalmazott független külső adatokon végzett validálást. A kereskedelmi forgalomban kapható mesterséges intelligencia szoftverek esetében rendelkezésre álló bizonyítékokat még nem vizsgálták. Kifejezetten a kereskedelmi termékekre összpontosítunk, mivel ezek azok a termékek, amelyek jelenleg elérhetőek klinikai használatra.

Ezzel a tanulmányunkkal célunk a piac átláthatóságának növelése, valamint a mesterséges intelligencia szoftverek radiológiai osztályokon történő biztonságos és átgondolt alkalmazásához való hozzájárulás. Áttekintést nyújtunk a kereskedelmi forgalomban kapható (CE-jelöléssel ellátott) radiológiai AI-termékekről. Mindegyik termék esetében összegyűjtöttük és áttekintettük a mesterséges intelligencia szoftverek hatékonyságát bizonyító tudományos bizonyítékokat.

Termék áttekintés

A mesterséges intelligencia az ISO/IEC TR 24028:2020 meghatározása szerint "egy mesterséges rendszer képessége a tudás és készségek megszerzésére, feldolgozására és alkalmazására". Ezen a területen belül olyan képelemző termékekre összpontosítunk, amelyek olyan technikákat használnak, mint a gépi tanulás és a mélytanulás. A mesterséges intelligencia szoftvertermékek áttekintése érdekében áttekintettük az RSNA és az ECR kiállítói listáit és a piaci kínálatot. A hírforrásokat is figyelemmel kísértük az új gyártók, termékek vagy tanúsítványok megjelenése szempontjából. Európában a CE-jelölés előfeltétele annak, hogy az orvostechnikai eszközök forgalomba kerülhessenek, ezért a termék 2020 áprilisáig történő CE-jelölése volt a felvétel feltétele. A terméknek továbbá gyártósemlegesnek kellett lennie, és segítenie kellett a radiológust a képértelmezésben a klinikai gyakorlatban. Kizártuk a diktálásra vagy a forrásnál/modalitáson történő képrekonstrukcióra használt szoftvereket. Egyes gyártók olyan "csomagokat" kínálnak, amelyek különböző feladatokat ellátó szoftverkomponenseket tartalmaznak, míg más gyártók ezeket a komponenseket különálló termékként forgalmazzák. A kiegyensúlyozott értékelés érdekében a csomagok komponenseit különálló termékeknek tekintettük. Mivel a piac gyorsan mozog, a termékekről a www.aiforradiology.com oldalon tartunk áttekintést. Az ebben a cikkben szereplő termékek és a webes forrás közötti eltéréseket a weboldal frissítései, a cégek elutasítása a weboldalon való megjelenésre, valamint a felülvizsgálat során alkalmazott szigorúbb felvételi kritériumok okozhatják.

Az összegyűjtött információk ellenőrzése és a termékleírások kiegészítése érdekében valamennyi gyártóval felvettük a kapcsolatot. Információkat szereztünk be a termék szervi alapú szakterületéről, módjáról és fő feladatáról. Összegyűjtöttük továbbá a piacra kerülés időpontját, a bevezetés módját és az árképzési modellt. A CE-státuszt a gyártók CE-tanúsítványainak vagy megfelelőségi nyilatkozatainak összegyűjtésével ellenőriztük; nyilvános adatbázis még nem létezik (az EUDAMED 2021-re tervezte). Az amerikai FDA (Food and Drug Administration) jóváhagyási státuszát is összegyűjtöttük, és a nyilvános FDA-adatbázissal megerősítettük. Az ebben a tanulmányban közölt CE és FDA státusz a 2020. szeptemberi állapotot tükrözi. A legfrissebb információkért látogasson el a www.aiforradiology.com weboldalra.

Bizonyítékok

Az AI-termékek hatékonyságára vonatkozó tudományos bizonyítékokat kétféle módon gyűjtötték össze. Először is a PubMedben szisztematikusan kerestünk a gyártó és a termék neve alapján a 2015. január 1. és 2020. május 18. között megjelent, szakmailag lektorált cikkeket. A lekérdezéseket a kiegészítő anyagok táblázata tartalmazza. Másodszor, kézi keresést végeztünk a gyártók weboldalainak a cikkek listájának megtekintésével és a gyártók megkeresésével, hogy nyújtsanak be szakmailag lektorált cikkeket. A kézi keresés során nem alkalmaztunk dátumkorlátozást.

A bevont cikkek eredeti, lektorált, angol nyelvűek voltak, és a mesterséges intelligencia szoftver hatékonyságának bizonyítására irányultak. A cikkeket akkor vették fel, ha a termék nevét (beleértve az ismert korábbi neveket is) és/vagy a vállalat nevét említették, az eszközt in vivo emberi adatokon alkalmazták, és a termék hatékonyságáról független adathalmazon (olyan adatokon, amelyeken az algoritmust nem képezték ki) számoltak be. A leveleket, kommentárokat, áttekintéseket, vizsgálati jegyzőkönyveket, esetjelentéseket kizárták.

A tanulmányokat a szerzők közül ketten értékelték, akik egymástól függetlenül átvizsgálták a címeket, az összefoglalókat és a teljes tanulmányt a felvételi kritériumok szempontjából. Az egyet nem értési eseteket a bírálók konszenzusos megbeszélésen oldották meg.

A hatékonyság hierarchikus modellje

A hatékonyság adaptált hierarchikus modelljét javasoljuk a tanulmányok kategorizálására a vizsgált validáció típusa szerint. Eredetileg ezt a modellt Fryback és Thornbury dolgozta ki 1991-ben, mint a képalkotó diagnosztika betegkezeléshez való hozzájárulásának értékelésére szolgáló struktúrát. Hat szintből áll, amelyek az innovációt az 1. technikai hatékonysági szinttől (azt teszi, amit tennie kell) a 6. társadalmi hatékonysági szintig (hogyan viszonyulnak egymáshoz a költségek és az előnyök) értékelik. A meghatározásokat kiigazítottuk, és az 1. szintet két altípusra osztottuk, hogy jobban megfeleljen a mesterséges intelligencia szoftvereknek a diagnosztikai képalkotási folyamathoz való hozzájárulására vonatkozó tudományos bizonyítékok értékelésének. Az egyes szintek kiigazított meghatározását az 1. táblázat tartalmazza.

Elemzés

A termékeket a célzott szakterület, a modalitás, a fő feladat, a CE-jelölés, az FDA engedélye, a telepítési módszer és az árképzési modell szerint kategorizáltuk. Kiszámítottuk a vállalat alapítása és az első mesterséges intelligencia alapú termékük piacra dobása közötti átlagos időt, kizárva a 2005 előtt alapított vállalatokat.

Jelentjük a rendelkezésre álló tudományos bizonyítékokat és a hatékonyság szintjét, amellyel a cikkek foglalkoztak. Egyetlen tanulmány több szintet is értékelhetett. Minden egyes cikk esetében áttekintettük a szerzők listáját, a finanszírozási forrást és a nyilvánosságra hozatalokat, hogy a publikációt besorolhassuk a gyártófüggetlen vagy nem gyártófüggetlen kategóriába. A bevont cikkekben felhasznált adatokat a központok, országok és a gép-gyártók száma szerint kategorizáltuk, ahonnan származnak. Ezeket az információkat termékenként összesítettük, hogy betekintést nyerjünk az adott termékre vonatkozó összes bizonyítékban szereplő központok, országok és gyártók teljes számába.

Termék áttekintés

A termékkeresés 100 olyan mesterséges intelligencia megoldást eredményezett, amelyek CE-jelöléssel rendelkeznek és kereskedelmi forgalomban kaphatók Európában. A 100 termék közül 74 termékről a gyártók termékinformációkat bocsátottak rendelkezésre. A fennmaradó termékeket kizárólag nyilvános információk alapján elemezték.

Az 1. ábrán látható eredmények azt mutatják, hogy a rendelkezésre álló mesterséges intelligencia szoftverek leginkább a neuroradiológiával (38) és a mellkasi radiológiával (31) foglalkoznak, ezt követi az emlő- (12) és a mozgásszervi (11) radiológia. A modalitásokat tekintve a termékek a CT (37), az MR (25) és a röntgen (22) területén oszlanak meg. A szoftverek által végzett fő feladatok a számszerűsítési feladatok (33), mint például a régiók szegmentálása vagy az automatikus mérések elvégzése. Az 53 gyártó közül 18 több terméket kínál, amelyek közül 7 több szervalapú szakterületet is érint.

100 CE-jelzéssel ellátott mesterséges intelligencia termék jellemzői szervi alapú szakterület, modalitás és fő funkció alapján. MSK: mozgásszervi. kép forrása: Eur Radiol 31, 3797–3804 (2021). https://doi.org/10.1007/s00330-021-07892-z

A 100 CE-jelöléssel ellátott termék közül 51 rendelkezik FDA-engedéllyel is. A QView Medical által gyártott QVCAD és a Riverain Technologies által gyártott ClearRead Xray - Detect rendelkezik a legszigorúbb, III. osztályú forgalomba hozatalt megelőző jóváhagyással (PMA). Az összes többi termék az 510(k) eljáráson keresztül II. osztályú engedélyt kapott, kivéve a Viz.ai-t, amely a De Novo előmarketing felülvizsgálati eljáráson keresztül II. osztályú engedélyt kapott. 

A CE-osztály, az FDA-osztály, az árképzési modell és a 100 CE-jelzéssel ellátott mesterséges intelligencia-termék alkalmazási stratégiáinak megoszlása. CE, európai megfelelőségi jelölés; FDA, Élelmiszer- és Gyógyszerügyi Hivatal. kép forrása: Eur Radiol 31, 3797–3804 (2021). https://doi.org/10.1007/s00330-021-07892-z

A CE-jelölés tekintetében az I. kockázati osztály (32%) és a IIa. osztály (53%) közötti megoszlást figyelhetjük meg. A fennmaradó 15 termék esetében nem kaptunk információt az eladótól, és nem találtunk elegendő nyilvános információt az osztály meghatározásához.

A szállítók többsége többféle telepítési stratégiával és árképzési modellel kínálja termékeit, amint azt a 2. ábra is mutatja. A helyi telepítések (n = 67) és a felhőalapú (n = 70) ajánlatok hasonlóan képviseltetik magukat, amelyek közül 54 termék mindkettőt lehetővé teszi. Az előfizetési/licencmodell elterjedtebb (n = 56), mint a használatonkénti díjfizetési modell (n = 28), de számos termék (n = 22) mindkét modellel kínálja magát.

Abból a 94 termékből, amelyekről lekérdeztük a piacra kerülés időpontját, 64-et 2018 és 2020 májusa között vezettek be. A vállalat alapításától az első mesterséges intelligenciával rendelkező termék piacra kerüléséig eltelt átlagos idő 3 év és 11 hónap volt. 

A száz CE-jelöléssel ellátott mesterséges intelligencia-termék időbeli ütemezésének vizualizációja. A sárga körök a vállalat alapításának évét, a piros körök a termék forgalomba hozatalának évét, a kék körök pedig a szakmailag lektorált publikációk dátumát jelölik. Minél nagyobb a kör, annál több cikket publikáltak az adott évben. A termék specifikációit a gyártó nem ellenőrizte, ha a termék szürke szöveggel szerepel. kép forrása: Eur Radiol 31, 3797–3804 (2021). https://doi.org/10.1007/s00330-021-07892-z

Az egyes termékek teljes specifikációját a www.aiforradiology.com oldalon található nyilvános online adatbázisunkban találja, amelyet rendszeresen frissítünk.

Bizonyítékok

A PubMed keresési stratégiái összesen 791 tanulmányt eredményeztek, amelyek közül 175 felelt meg a befogadási kritériumoknak. A kézi keresés további 62 cikket adott hozzá, így összesen 237 lektorált cikket sikerült bevonni. A befogadás folyamatábrája a kiegészítő anyagok S1. ábráján látható. Egy cikk többször is megjelenhetett az áttekintésben, ha egynél több mesterséges intelligenciával kapcsolatos termékkel foglalkozott (n = 21). A keresési lekérdezéseket és a kapott találatokat a kiegészítő anyagok S1. táblázata tartalmazza.

A 100 kereskedelmi forgalomban kapható mesterséges intelligencia-termék közül 64 esetében nem találtak tudományos, szakmailag lektorált cikket a PubMed vagy a kézi keresés segítségével. Az összes tanulmány 65%-a (153/237) a diagnosztikai pontosság hatékonyságát értékelte (2. szint), ami a termék önálló teljesítményét bizonyítja; 27%-a (63/237) a termék klinikai vagy technikai megvalósíthatóságát bizonyító tanulmányokat tartalmazott (1t és 1c szint). A 3. vagy magasabb hatékonysági szinteket vizsgáló tanulmányok az AI-szoftver (potenciális) klinikai hatásának szempontjait validálják. Az összes tanulmány 27%-a (64/237), amely 18 terméket érintett, a hatékonyságot a 3. vagy magasabb szinten értékelte.

A 100 kereskedelmi forgalomban kapható mesterséges intelligencia-termék közül 36 esetében voltak szakmailag lektorált cikkek. E 36 termék esetében a jobb oldali három kördiagram a validálási adatok jellemzőit mutatja, ha termékenként összesítettük az összes bevont cikket. kép forrása: Eur Radiol 31, 3797–3804 (2021). https://doi.org/10.1007/s00330-021-07892-z

A bevont tanulmányok hatékonysági szintjei. A keresési stratégia 239 lektorált publikációt eredményezett a 100 kereskedelmi forgalomban kapható mesterséges intelligenciát előállító termék közül 36 hatékonyságáról. Egyetlen cikk több szintre is vonatkozhatott. kép forrása: Eur Radiol 31, 3797–3804 (2021). https://doi.org/10.1007/s00330-021-07892-z

A vizsgálatok közel felét (116/237) a szállítótól függetlenül végezték. A tanulmányok túlnyomó többsége (192/237) retrospektív felépítésű volt. A tanulmányok mindössze 30%-ában (71/237) használtak multicentrikus adatokat. Az adatok bevonása a tanulmányok 15%-ában (35/237) több országra terjedt ki, és a bevont tanulmányok 25%-ában (59/237) az adatokat több gyártó gépeitől szerezték be. Az összes tanulmány termékenkénti összesítése során a hatékonyságra vonatkozó bizonyítékokkal rendelkező termékek többségét több gyártó, több központ és több ország adatai alapján validálták.

A cikkek jellemzőinek termékenkénti összefoglalása a kiegészítő anyagok S2. táblázatában található.

Megbeszélés

E tanulmány célja az volt, hogy növelje az átláthatóságot a kereskedelmi forgalomban lévő mesterséges intelligencia szoftverek területén a radiológiában és annak tudományos bizonyítékai terén. Eredményeink azt mutatják, hogy a hatalmas mennyiségű kínálat ellenére a piac még mindig gyerekcipőben jár. A 100 értékelt, CE-jelöléssel ellátott termék közül csak 36 rendelkezett szakértői értékeléssel ellátott bizonyítékkal a mesterséges intelligencia szoftverek hatékonyságára vonatkozóan. Ha volt is bizonyíték, az többnyire a technikai és klinikai megvalósíthatóságra (27%) és az önálló teljesítményre (65%) összpontosított, és csak kevés tanulmány foglalkozott a szoftver klinikai hatásával (27%). A telepítési és árképzési stratégia még nem alakult ki, a legtöbb gyártó többféle lehetőséget kínál. Ennek magyarázata lehet, hogy a termékek kétharmadát az elmúlt két évben (2018 januárja és 2020 áprilisa között) hozták forgalomba. Bár az ebben a tanulmányban értékelt 100 termék CE-jelöléssel rendelkezik és kereskedelmi forgalomban kapható Európában, a legtöbb termék esetében még várjuk, hogy felfedezzük, milyen hatást gyakorolnak a klinikai gyakorlatban.

Az itt értékelt megoldások többsége mesterséges intelligencia terméket kínál egy adott feladat elvégzésére. A stroke és az onkológia területén több olyan "készletet" figyelhetünk meg, amelyek a teljes diagnosztikai útvonalat célozzák. Mindössze 7 gyártó foglalkozik termékeivel több szervi alapú szakmával. A radiológusok és osztályaik számára ez azt jelenti, hogy több gyártóval kell foglalkozniuk a különböző feladatokhoz és szakterületekhez szükséges mesterséges intelligenciával kapcsolatos igényeik kielégítéséhez. Ez az értékesítés, a szerződések, a műszaki integrációs eljárások, a képzés és az értékelés többletköltségével jár. A gyártók, a PACS-vállalatok és a közvetítő szerepét betöltő új felek által kínált piacterek megjelenése enyhítheti ezt a problémát, amikor a mesterséges intelligencia a radiológiában szélesebb körben elterjed.

Korábban már megjelent néhány mesterséges intelligencia termékáttekintés. Mi vagyunk azonban az elsők, akik kifejezetten a mesterséges intelligenciát alkalmazó szoftvereket tekintjük olyan orvostechnikai eszköznek, amely ma már az európai piacon van (CE-jelöléssel ellátott). Úgy véljük, hogy ez a termékeknek ez a legrelevánsabb csoportja a vizsgálathoz, két okból is. Először is, ezek olyan termékek, amelyek klinikai használatra rendelkezésre állnak, és amelyeknek túl kell esniük a kezdeti kutatási és fejlesztési szakaszon. Másodszor, az orvostechnikai eszközök szabályozási engedélyezési rendszere Európában nem átlátható. Nem áll rendelkezésre olyan nyilvános adatbázis a tanúsítás vagy a tanúsítás alapjául szolgáló klinikai validáció ellenőrzésére, mint amilyet az amerikai FDA kínál. Ezenkívül az eladók gyakran nem jelzik egyértelműen a honlapjukon, hogy a termékük rendelkezik-e CE-jelöléssel, és ha igen, melyik osztályba sorolták. Ezen információk bekérésével a piac átláthatóságát kívánjuk növelni.

Eredményeink azt mutatták, hogy szinte minden termék vagy I. vagy IIa. osztályú minősítéssel rendelkezik az orvostechnikai eszközjegyzék szerint. Az osztályok a termék kockázatához kapcsolódnak: az I. osztály alacsony kockázatú, a III. osztály pedig nagyon magas kockázatú orvostechnikai eszköz. Figyelemre méltó, hogy hasonló termékek különböző osztályokba sorolhatók. Ezt például a nagy érelzáródások felismerésére, a mellkasröntgen-rendellenességek felismerésére vagy az agyi régiók számszerűsítésére irányuló termékeknél figyelhetjük meg. Míg az I. osztályú CE-jelölést önhitelesítéssel lehet megszerezni, addig a II. osztályhoz egy bejelentett szervezet által végzett külső audit szükséges, ami egy bonyolultabb folyamat, amely többek között a validálási eredmények értékelését is magában foglalja. Az orvostechnikai eszközökről szóló rendelet, amely 2021 májusától a jelenlegi orvostechnikai eszközjegyzék helyébe lép, megváltoztathatja ezt az osztályok és a szükséges validálás tekintetében fennálló eltérést, mivel várhatóan az orvosi képalkotásban használt mesterséges intelligencia szoftverek többsége IIa vagy akár IIb kategóriába kerül. Még nem tudni, hogy ez hatással lesz-e a mesterséges intelligencia szoftverekkel kapcsolatos, szakértői értékelésen alapuló bizonyítékok mennyiségére is.

Ebben a tanulmányban a rendelkezésre álló, szakmailag lektorált bizonyítékokat a hatékonyság szintje szerint kategorizálva közöltük. A hatékonyság hierarchikus modelljét javasoltuk, és ez felvetheti a kérdést, hogy milyen szint szükséges a termék hatékonyságának bizonyításához. Úgy véljük, hogy erre a kérdésre nincs általános válasz: ez a terméktől és a tervezett felhasználástól függ. A hatékonyság magasabb szintjeinek bizonyítása szükséges lehet például akkor, ha az egészségbiztosítási költségtérítést választjuk. Abban az esetben azonban, ha az algoritmus olyan mérési feladatot végez, amelyet egyébként egy radiológus végezne el, elegendő lehet a pontosság bizonyítása (2. szint). A magasabb szintű validálás csupán a klinikai vizsgálatok magas költségeihez vezethet, ami felhajtja a szoftver árát.

Tisztában vagyunk azzal, hogy a mesterséges intelligencia vagy a klinikai radiológiai gyakorlat részét képező meghatározás nem triviális, és ezért a termékek felvételére vonatkozó kritériumaink némileg vitathatóak. Például a szívultrahang elemzésére szolgáló termékeket kizártuk ebből a vizsgálatból, mivel ez gyakran (de nem mindig) a kardiológiai osztály része. Úgy véljük, hogy ez a tanulmány általános áttekintést nyújt arról, hogy mit jelent a mesterséges intelligencia jelenlegi helyzete a radiológiában.

Sajnos néhány gyártó nem válaszolt az információszolgáltatásra vonatkozó kérésünkre, vagy úgy döntött, hogy bizonyos információkat visszatart. Ezért néhány termék esetében a CE-osztályra, a forgalmazási modellre és az árképzési stratégiára vonatkozó információk hiányosak. A hiányzó információkat lehetőség szerint nyilvános adatokkal egészítettük ki.

Az EUDAMED kifejlesztése fontos lépés lehet az orvostechnikai eszközipar nagyobb átláthatósága felé. Kimutattuk, hogy a mesterséges intelligencia termékek hatékonyságára vonatkozó, nyilvánosan elérhető, szakértői értékeléssel ellátott bizonyítékok gyakran hiányoznak. Lehetőleg nyilvános adatbázisban szerepeljenek azok az adatok és validációk, amelyek alapján a mesterséges intelligenciával rendelkező termékeket CE-jelöléssel látják el.

Az a megállapítás, hogy a legtöbb terméket az elmúlt 2 évben hozták forgalomba, azt mutatja, hogy ez egy dinamikusan fejlődő piac. Ez a tanulmány pillanatképet nyújt a klinikai radiológia mesterséges intelligenciával kapcsolatos helyzetéről. Annak érdekében, hogy folyamatosan naprakész áttekintést nyújtsunk a radiológiai AI-termékekről, létrehoztuk és karbantartjuk a www.aiforradiology.com weboldalt. A következő néhány évben kiderül, hogyan fejlődik, növekszik és érik a radiológiai AI-piac. A jövőbeni kutatások tehát egy frissített elemzést foglalhatnak magukban annak feltárására, hogy mi és hogyan változott.