Trije načini, kako z umetno inteligenco hitreje najdete literaturo

Pacient vas vpraša, ali ima suho iglanje pri njegovi rami sploh smisel. Odgovor obstaja, PubMed ima več kot 35 milijonov zapisov, vi pa imate štiri minute med dvema pacientoma. Umetna inteligenca ta problem lahko skrajša, vendar samo pri določenih nalogah. Najbolj očitna uporaba je hkrati najslabša.

Zakaj ne prosite modela za seznam študij

V analizi medicinskih besedil, ki jih je ustvaril ChatGPT, so raziskovalci preverili 115 referenc iz 30 besedil. Izmišljenih je bilo 47 odstotkov, pristnih a netočnih 46 odstotkov, pristnih in točnih pa 7 odstotkov. Napačna številka PMID se je pojavila v 93 odstotkih besedil.

Vir: Bhattacharyya in sodelavci, visoke stopnje izmišljenih in netočnih referenc v medicinskih besedilih, ustvarjenih s ChatGPT · Cureus, 2023, PMID 37337480

Primerjalna analiza za sistematične preglede je iste modele preverila na 471 referencah. Stopnja izmišljenih referenc je bila 39,6 odstotka pri GPT-3.5, 28,6 odstotka pri GPT-4 in 91,4 odstotka pri Bardu.

Vir: Chelli in sodelavci, stopnje haluciniranja in točnost referenc pri ChatGPT in Bardu · Journal of Medical Internet Research, 2024, DOI 10.2196/53164

Zakonitost, ki iz tega sledi, je preprosta. Model, ki odgovarja iz spomina, si reference izmišlja. Model, ki dejansko izvede iskanje po bazi, si jih izmišlja bistveno manj, ker vire dobi od zunaj. Vsi trije spodnji načini gradijo na tej razliki.

Način 1: model kot prevajalnik v iskalni jezik PubMeda

To je najbolj podcenjena uporaba in najhitrejši prihranek.

Večina fizioterapevtov v PubMed vtipka nekaj takega kot »shoulder pain exercise therapy«, dobi več tisoč zadetkov, pogleda prve tri in obupa. PubMed ima svoj jezik: izraze MeSH, logične operatorje in filtre za vrsto raziskave.

Pri prevajanju kliničnega vprašanja v ta jezik je model uporaben, ker gre za strukturno nalogo. O rezultatih se ne more zmotiti, ker rezultatov ne daje. Da vam samo iskalni niz.

Uporabite tak poziv:

Delujte kot informacijski specialist za medicinske baze. Iz spodnjega kliničnega vprašanja sestavite iskalni niz za PubMed. Uporabite izraze MeSH, kjer obstajajo, in dodajte sopomenke v prostem besedilu. Vrnite tri različice: široko, ozko in različico, omejeno na sistematične preglede in randomizirane raziskave zadnjih 10 let. Ne komentirajte literature in ne navajajte študij.

Vprašanje po metodi PICO: P je odrasli s subakromialno bolečino v rami, I je progresivna vadba, C je kortikosteroidna injekcija, O sta bolečina in funkcija pri 6 in 12 mesecih.

Niz nato prilepite v PubMed sami. Vsi zadetki, ki jih dobite, so po definiciji resnični, ker prihajajo iz baze in ne iz modela.

Dva praktična dodatka:

• PubMed od leta 2017 privzeto razvršča po ustreznosti (Best Match), zato ni treba pregledovati vseh zadetkov po datumu;
• ko najdete en dober članek, uporabite povezavi »Similar articles« in »Cited by«. To je najhitrejša pot od enega vira do petih.

Način 2: orodja, ki so povezana z bazo

Drugi način je isti korak, samo avtomatiziran, pod enim pogojem: orodje mora iskati, ne ugibati.

Preprosto merilo za presojo: če vam orodje ne vrne povezave, ki jo lahko odprete, na primer številke PMID ali DOI, obravnavajte referenco kot neobstoječo.

Tudi pri orodjih, ki iščejo po literaturi, previdnost ostaja. Njihova vrednost je v tem, da se delež napačnih virov premakne z več deset odstotkov na nekaj odstotkov, ne v tem, da vam preverjanja ni treba opraviti. Ko dobite seznam petih člankov, odprite vseh pet. To vzame pol minute.

Način 3: model za trijažo in prevod, ne za sklep

Recimo, da imate zdaj 15 izvlečkov. Ne potrebujete povzetka literature. Potrebujete vedeti, katere tri je vredno prebrati in kaj od tega povedati pacientu.

Prvi poziv za trijažo:

Za vsak spodnji izvleček navedite v eni vrstici: vrsto raziskave, velikost vzorca, populacijo, primerjavo, glavni izid z velikostjo učinka in ali gre za primarno raziskavo ali povzetek. Nato jih razvrstite po tem, kako neposredno odgovarjajo na moje vprašanje. Ne dodajajte sklepov, ki jih v izvlečku ni.

Drugi poziv za prevod pacientu:

Iz spodnjega izvlečka napišite tri stavke v slovenščini, ki jih razume nekdo brez zdravstvene izobrazbe. Brez strokovnih izrazov. Povejte, kaj so preverjali, kaj so ugotovili in kaj to pomeni v praksi. Če je dokaz šibak, to izrecno povejte.

Ta uporaba je najvarnejša, ker model dela na besedilu, ki mu ga daste vi. Ne kliče iz spomina in ne izmišlja raziskav.

Meja je jasna: model lahko povzame, kaj piše v raziskavi, ne more pa presoditi, ali ta raziskava velja za vašega pacienta. Ali je populacija primerljiva, ali je izid klinično pomemben in ali obstaja razlog, da pri tem človeku ravnate drugače, ostaja vaša presoja. Merila za to presojo so opisana v zapisu o tem, kako preveriti, ali je metoda podprta z dokazi.

Protokol, ki ga uporabite jutri

Celoten cikel traja približno 10 minut.

1. Zapišite vprašanje po metodi PICO. Brez tega koraka je vse ostalo šibko.
2. Model naj sestavi iskalni niz. Vzemite ozko različico, omejeno na sistematične preglede in randomizirane raziskave.
3. Zaženite iskanje v PubMedu ali v orodju s povezavo na bazo. Odprite vsak zadetek, ki ga nameravate uporabiti.
4. Model naj naredi trijažo izvlečkov. Dva do tri članke preberite sami, tudi metode in ne zgolj sklep.
5. Model naj pripravi razlago za pacienta. Vi jo preverite in podpišete.

Če to opravite enkrat tedensko za eno pogosto vprašanje v svoji praksi, imate čez leto dni petdeset raziskanih odgovorov, ki jih lahko ponovno uporabite v obravnavi in v gradivih za paciente.

Tri pravila, ki jih ne prekršite

1. Nobena referenca ne gre naprej, dokler je niste odprli. Izmišljene reference izgledajo verodostojno, s pravim imenom revije in verjetnim naslovom.
2. Osebnih podatkov pacienta ne vnašajte v splošna orodja. Vprašanje oblikujte kot klinično vprašanje, ne kot opis konkretnega človeka.
3. Sklep raziskave ni sklep za vašega pacienta.

Kje je pri tem Octa

Octa vključuje podporo za iskanje literature prek PubMeda, kar pomeni, da so zadetki zapisi iz baze in ne besedilo, ustvarjeno iz spomina modela. Vsak vir lahko odprete v izvirniku. Pred obdelavo z jezikovnim modelom se podatki razosebijo, obdelava pa poteka v EU.

Octa ne presoja, ali je raziskava primerna za vašega pacienta, in ne predpisuje obravnave.