Overvloed leidt tot overvloed. Dit geldt ook in de wetenschap. Elk jaar worden er meer dan 5 miljoen artikelen gepubliceerd in wetenschappelijke tijdschriften. Dat zijn meer dan 14.000 artikelen per dag! Hoe gaan we ooit zoveel informatie begrijpen?
Onze voorkeursmethode is al lange tijd de literatuurstudie. Het biedt een overzicht van de literatuur met betrekking tot de vragen waarop we een antwoord willen. De systematische review, het ‘hoogste niveau van het samenvoegen van wetenschappelijk bewijs’, richt zich op het systematisch verzamelen van relevante literatuur en het systematisch screenen van deze literatuur aan de hand van onze inclusiecriteria. Systematisch betekent in dit geval dat we voor elk artikel dezelfde besluitvormingsprocessen en criteria gebruiken, en deze criteria zijn vooraf bepaald.
Wat is het probleem?
Het probleem ontstaat wanneer we een enorme hoeveelheid literatuur verzamelen die systematisch moet worden gescreend. Als het onderwerp populair is binnen de wetenschappelijke gemeenschap, is dit probleem onvermijdelijk. Toch moeten we de kennis die we hebben opgedaan uit (recent) onderzoek in een bepaald vakgebied samenvoegen. Dit gebeurde onlangs met mij. Bij het uitvoeren van een systematische review op het gebied van gedragsverandering in de gezondheidszorg vond ik meer dan 10.000 artikelen die gescreend moesten worden, eerst op titel en samenvatting, en daarna – in volledige tekst.
Dit is gedeeltelijk de reden waarom het uitvoeren van systematische reviews, vanaf het moment van conceptualisatie tot publicatie, vaak meer dan een jaar in beslag kan nemen. Tegen de tijd dat het bewijs dat we hebben gevonden is samengevoegd, is er al weer een aanzienlijke hoeveelheid nieuwe informatie beschikbaar, wat op zichzelf weer een nieuwe systematische review vereist. En zo blijft de cirkel draaien.
Deze uitdaging oplossen in het tijdperk van AI?
De recente vooruitgang in AI (hallo, ChatGPT!) bracht ons aan het denken: kunnen we het proces van het uitvoeren van een systematische review optimaliseren met de hulp van kunstmatige intelligentie? We hebben het internet afgezocht naar dergelijke tools, en jawel, er waren er veel. We begonnen met een aanvankelijke lijst van 50 potentiële AI-tools, die we in detail hebben onderzocht op basis van hun functies. We hebben onze lijst vervolgens teruggebracht tot AI-tools die specifiek zijn gemaakt voor het optimaliseren van het proces van het uitvoeren van systematische literatuurstudies. We hebben de beschikbare informatie over deze tools onderzocht en ze beoordeeld op basis van verschillende objectieve criteria, zoals gebruiksgemak, functionaliteit en ethiek. Lees hieronder verder om te zien hoe we de tools hebben geëvalueerd. Hoewel we niet elke tool persoonlijk hebben getest, zorgde deze aanpak ervoor dat onze evaluatie zowel systematisch als onbevooroordeeld was.
Let op: AI op komst
Hoewel deze AI-tools zich nog in een vroeg ontwikkelingsstadium bevinden, kunnen ze behoorlijk indrukwekkend zijn. Het is echter belangrijk om te benadrukken dat, hoe overtuigend ze ook zijn, AI geen echt begrip heeft van de betekenis van wetenschappelijke concepten, maar alleen de patronen in de literatuur herkent. Daarom heeft de onderzoeker bij al deze tools de uiteindelijke beslissingsbevoegdheid en moet hij of zij de keuzes van de AI verifiëren. AI-tools kunnen enorm helpen bij het verminderen van de benodigde middelen voor systematische reviews, maar ze zijn slechts assistenten. Hoogwaardige synthese en bewijs zijn alleen mogelijk met de expertise van de menselijke wetenschapper die aan het einde van het proces staat.
Het is moeilijk om gelijke tred te houden met de vooruitgang op het gebied van AI, ook als het gaat om tools die in onderzoek kunnen worden gebruikt. Het doel van deze blog is niet alleen om een snel en overzichtelijk overzicht te geven van de tools die op het moment van schrijven beschikbaar zijn, maar ook om de bouwstenen te bieden voor een dynamisch platform met zowel nieuwe als bestaande tools en hun respectieve functies. Zo’n systematisch en objectief platform is hard nodig om onderzoek in het huidige technologische klimaat vooruit te helpen.
Lees verder om de top 3 beste AI-tools te ontdekken voor het uitvoeren van systematische reviews. Of ga hierheen om onze tool te vinden die je helpt de tool te kiezen die het beste bij je behoeften past.
Onze topkeuze AI-tools voor elke fase van de systematische literatuurstudie
Beste voor titel-/samenvattingsscreening: ASReview
|
Specificaties |
Fase: Titel-/samenvattingsscreening Belangrijkste taak: Prioriteert samenvattingen op volgorde van belangrijkheid Platform: Desktop-app Direct beschikbaar: Ja |
|
Prijs |
Gratis |
|
Redenen om te gebruiken |
+ Zeer transparant + Zeer aanpasbaar + Overzichtelijke werkruimte |
|
Beperkingen |
- Geen samenwerking mogelijk - Geen labelen van literatuur mogelijk |
Waarom we hiervoor hebben gekozen:
Sinds de lancering in 2018 is ASReview uitgegroeid tot een grote gemeenschap met gebruikers, ontwikkelaars en onderzoekers wereldwijd. Het maakt gebruik van active learning, een AI-model dat ‘al doende leert’, om te leren van je inclusie-/exclusiebeslissingen en op basis daarvan samenvattingen te prioriteren van de hoogste kans op inclusie tot de laagste. Op deze manier kun je, als je de voorgestelde volgorde volgt en geen relevante studies meer vindt na een bepaald aantal samenvattingen, concluderen dat je alle relevante studies hebt opgenomen. Zo helpt ASReview het aantal samenvattingen dat je moet lezen om de relevante studies te vinden, te verminderen. ASReview is de enige tool in zijn soort die gebruikers de mogelijkheid biedt om het active-learning-algoritme te kiezen en aan te passen. Bovendien plaatst de hoge transparantie in de gebruikte modellen, de biases en gegevensbescherming ASReview bovenaan onze lijst als AI-tool die mogelijk kan worden gebruikt in onderzoek.
Voor wie: Onderzoekers die door honderden samenvattingen moeten screenen en de tijd die ze eraan besteden willen verminderen, zodat ze meer middelen kunnen toewijzen aan andere delen van het reviewproces.
Beste voor gegevensextractie: Elicit
|
Specificaties |
Fase: Volledige tekst screening en/of gegevensextractie Belangrijkste taak: Zoekt naar de door jou opgegeven informatie in de tekst en extraheert deze in een tabel Platform: Web-app Direct beschikbaar: Ja, 10 PDF’s per maand |
|
Prijs |
Gratis, $12 of $49 |
|
Redenen om te gebruiken |
+ Extraheert relevante gegevens met nauwkeurige instructies + Markeert het deel van de tekst waar de gegevens zijn gevonden + Sorteer en label artikelen + Integratie met Zotero |
|
Beperkingen |
- Duur bij een groot aantal artikelen - ‘Black box’ AI |
Waarom we hiervoor hebben gekozen:
AI-tools voor gegevensextractie uit volledige teksten zijn de innovatie binnen systematische review-tools. Elicit maakt je werk eenvoudiger door de informatie die je nodig hebt te vinden in de geüploade PDF's van alle artikelen en deze in tabellen te presenteren – een fluitje van een cent! Je kunt de kolommen benoemen en specifieke instructies geven over wat voor soort informatie je wilt laten extraheren. Elicit geeft aan dat ze hard werken aan het verbeteren van de nauwkeurigheid van de geëxtraheerde gegevens ten opzichte van de bron. Hoewel deze technologie zeer nuttig kan zijn, is het belangrijk te beseffen dat alle output van Elicit door een mens moet worden gecontroleerd ten opzichte van de originele tekst om de nauwkeurigheid te waarborgen. Elicit markeert gelukkig ook het deel van de tekst waaruit de informatie is gehaald, iets dat ontbreekt bij andere tools met een vergelijkbare functionaliteit. Helaas is Elicit niet transparant over de gebruikte modellen, de gegevens die zijn gebruikt voor de training ervan en de broncode, wat betekent dat het niet hoog kon scoren op ethische aspecten van AI.
Voor wie: Onderzoekers die informatie uit een groot aantal artikelen moeten zoeken en extraheren en deze informatie, samen met veel notities en labels, willen opslaan in hun werkruimte.
Beste gecombineerde platform: LaserAI
|
Specificaties |
Fase: Titel-/ samenvattingsscreening en gegevensextractie Belangrijkste taak: Prioriteert samenvattingen op basis van waarschijnlijkheid en importeert de geselecteerde samenvattingen naar de tweede fase om door de gebruiker gespecificeerde gegevens te extraheren Platform: Webapplicatie Direct beschikbaar: Nee |
|
Prijs |
Wordt bepaald tijdens de demo |
|
Redenen om te gebruiken |
+ Eén platform voor de belangrijkste fasen van de systematische review + Samenwerkingsruimte voor teams + Gegevensextractie uit tabellen + Automatisch gegenereerd PRISMA-stroomdiagram (2009) |
|
Beperkingen |
- Moeilijk toegankelijk - ‘Black box’ AI |
Waarom we hiervoor hebben gekozen:
LaserAI is een platform dat AI-gestuurde titel- en samenvattingsscreening combineert met AI-gestuurde gegevensextractie, waardoor het in wezen een tool is waarmee je je systematische review tot aan de laatste fase kunt uitvoeren. Het biedt functies voor samenwerking en conflictbeheer. De AI helpt eerst bij het prioriteren van citaten op basis van hun waarschijnlijkheid van inclusie, waardoor je sneller relevante informatie vindt door minder te lezen (zoals bij ASReview). De geselecteerde artikelen kunnen vervolgens direct worden gescreend (nadat je hun PDF-bestanden hebt geüpload) voor relevante gegevens en geëxtraheerd. Net als Elicit gebruikt LaserAI een human-in-the-loop-mechanisme: de AI vindt en markeert de gegevens uit de tekst, maar de onderzoeker moet deze gegevens controleren en bevestigen. LaserAI scoorde indrukwekkend op de categorieën ‘Gebruiksgemak’ en ‘Functionaliteit’, wat betekent dat het waarschijnlijk een gebruiksvriendelijke ervaring biedt met functies die relevant zijn voor deze fasen van het systematische reviewproces. Echter, net als veel andere tools in onze review, scoorde het slecht op het ethisch gebruik van AI, vanwege de ondoorzichtigheid met betrekking tot de gebruikte modellen, de training ervan, biases en hoe beslissingen worden genomen.
Voor wie:
Onderzoeksteams die op zoek zijn naar één platform om hun hele systematische reviewproces te organiseren en te optimaliseren met behulp van AI. LaserAI maakt het ook mogelijk om door gebruikers gemaakte sjablonen te hergebruiken in verschillende projecten voor teams die aan meerdere soortgelijke projecten werken.
Kies de beste tool voor jouw onderzoek
Als onderzoekers kunnen onze behoeften variëren. De keuze van de beste tool is een combinatie van de functies en mogelijkheden die de tool biedt en de eisen van ons project. We begrijpen dat wat ‘objectief gezien het beste’ is, niet altijd de beste keuze hoeft te zijn. Daarom hebben we een tool ontwikkeld die alle belangrijke informatie biedt, inclusief fasen, functies, AI-modellen en prijzen, evenals de beoordeling van gebruiksgemak, functionaliteit en ethisch gebruik van AI. Met behulp van de filteroptie kun je de fasen, functies en modellen kiezen die je verkiest. Je ziet dan alleen de tools die voldoen aan je specificaties. Je kunt ook aangeven wat je het belangrijkst vindt in de tool: gebruiksgemak, functionaliteit of ethiek van AI. De totale beoordelingen zullen veranderen op basis van de weging van je criteria van belang. Zo kun je de beste tool kiezen die het beste past bij jouw voorkeuren.
Om de tool te gebruiken, ga hierheen.
Hoe we de tools hebben geëvalueerd
Er zijn al veel AI-tools beschikbaar om het systematische reviewproces te optimaliseren en te stroomlijnen. Veel van deze tools hebben een enigszins vergelijkbare functionaliteit. We hadden tools nodig die specifieke taken van systematische reviews voor een reeks artikelen konden optimaliseren en tijd konden besparen. Dat betekent dat we andere AI-tools, die slechts een deel van de taken of kleine onderdelen van systematische reviews kunnen uitvoeren, zoals ChatGPT of Perplexity, niet hebben overwogen.
Onze definitieve lijst bevat 17 tools, die door twee van onze onderzoekers zijn geëvalueerd op basis van vooraf gedefinieerde evaluatiecriteria, waaronder een beoordeling van bruikbaarheid, functionaliteit en ethisch gebruik van AI. In de onderstaande tabel kun je de criteria zien die we hebben gebruikt en hoe elke tool op deze criteria heeft gepresteerd.
Hou ons in de gaten! We zullen binnenkort onze praktijkervaring met de geselecteerde tools delen. Volg ons op sociale media en mis niet wat er komen gaat!
