Overvloed leidt tot overvloed. Dit geldt ook in de wetenschap. Elk jaar worden er meer dan 5 miljoen artikelen gepubliceerd in wetenschappelijke tijdschriften. Dat zijn meer dan 14.000 artikelen per dag! Hoe gaan we ooit zoveel informatie begrijpen?
Onze voorkeursmethode is al lange tijd de literatuurstudie. Het biedt een overzicht van de literatuur met betrekking tot de vragen waarop we een antwoord willen. De systematische review, het ‘hoogste niveau van het samenvoegen van wetenschappelijk bewijs’, richt zich op het systematisch verzamelen van relevante literatuur en het systematisch screenen van deze literatuur aan de hand van onze inclusiecriteria. Systematisch betekent in dit geval dat we voor elk artikel dezelfde besluitvormingsprocessen en criteria gebruiken, en deze criteria zijn vooraf bepaald.
Wat is het probleem?
Het probleem ontstaat wanneer we een enorme hoeveelheid literatuur verzamelen die systematisch moet worden gescreend. Als het onderwerp populair is binnen de wetenschappelijke gemeenschap, is dit probleem onvermijdelijk. Toch moeten we de kennis die we hebben opgedaan uit (recent) onderzoek in een bepaald vakgebied samenvoegen. Dit gebeurde onlangs met mij. Bij het uitvoeren van een systematische review op het gebied van gedragsverandering in de gezondheidszorg vond ik meer dan 10.000 artikelen die gescreend moesten worden, eerst op titel en samenvatting, en daarna – in volledige tekst.
Dit is gedeeltelijk de reden waarom het uitvoeren van systematische reviews, vanaf het moment van conceptualisatie tot publicatie, vaak meer dan een jaar in beslag kan nemen. Tegen de tijd dat het bewijs dat we hebben gevonden is samengevoegd, is er al weer een aanzienlijke hoeveelheid nieuwe informatie beschikbaar, wat op zichzelf weer een nieuwe systematische review vereist. En zo blijft de cirkel draaien.
Deze uitdaging oplossen in het tijdperk van AI?
De recente vooruitgang in AI (hallo, ChatGPT!) bracht ons aan het denken: kunnen we het proces van het uitvoeren van een systematische review optimaliseren met de hulp van kunstmatige intelligentie? We hebben het internet afgezocht naar dergelijke tools, en jawel, er waren er veel. We begonnen met een aanvankelijke lijst van 50 potentiële AI-tools, die we in detail hebben onderzocht op basis van hun functies. We hebben onze lijst vervolgens teruggebracht tot AI-tools die specifiek zijn gemaakt voor het optimaliseren van het proces van het uitvoeren van systematische literatuurstudies. We hebben de beschikbare informatie over deze tools onderzocht en ze beoordeeld op basis van verschillende objectieve criteria, zoals gebruiksgemak, functionaliteit en ethiek. Lees hieronder verder om te zien hoe we de tools hebben geëvalueerd. Hoewel we niet elke tool persoonlijk hebben getest, zorgde deze aanpak ervoor dat onze evaluatie zowel systematisch als onbevooroordeeld was.
Let op: AI op komst
Hoewel deze AI-tools zich nog in een vroeg ontwikkelingsstadium bevinden, kunnen ze behoorlijk indrukwekkend zijn. Het is echter belangrijk om te benadrukken dat, hoe overtuigend ze ook zijn, AI geen echt begrip heeft van de betekenis van wetenschappelijke concepten, maar alleen de patronen in de literatuur herkent. Daarom heeft de onderzoeker bij al deze tools de uiteindelijke beslissingsbevoegdheid en moet hij of zij de keuzes van de AI verifiëren. AI-tools kunnen enorm helpen bij het verminderen van de benodigde middelen voor systematische reviews, maar ze zijn slechts assistenten. Hoogwaardige synthese en bewijs zijn alleen mogelijk met de expertise van de menselijke wetenschapper die aan het einde van het proces staat.
Het is moeilijk om gelijke tred te houden met de vooruitgang op het gebied van AI, ook als het gaat om tools die in onderzoek kunnen worden gebruikt. Het doel van deze blog is niet alleen om een snel en overzichtelijk overzicht te geven van de tools die op het moment van schrijven beschikbaar zijn, maar ook om de bouwstenen te bieden voor een dynamisch platform met zowel nieuwe als bestaande tools en hun respectieve functies. Zo’n systematisch en objectief platform is hard nodig om onderzoek in het huidige technologische klimaat vooruit te helpen.
Lees verder om de top 3 beste AI-tools te ontdekken voor het uitvoeren van systematische reviews. Of ga hierheen om onze tool te vinden die je helpt de tool te kiezen die het beste bij je behoeften past.
Onze topkeuze AI-tools voor elke fase van de systematische literatuurstudie
Beste voor titel-/samenvattingsscreening: ASReview
Beste voor gegevensextractie: Elicit
Beste gecombineerde platform: LaserAI
Kies de beste tool voor jouw onderzoek
Als onderzoekers kunnen onze behoeften variëren. De keuze van de beste tool is een combinatie van de functies en mogelijkheden die de tool biedt en de eisen van ons project. We begrijpen dat wat ‘objectief gezien het beste’ is, niet altijd de beste keuze hoeft te zijn. Daarom hebben we een tool ontwikkeld die alle belangrijke informatie biedt, inclusief fasen, functies, AI-modellen en prijzen, evenals de beoordeling van gebruiksgemak, functionaliteit en ethisch gebruik van AI. Met behulp van de filteroptie kun je de fasen, functies en modellen kiezen die je verkiest. Je ziet dan alleen de tools die voldoen aan je specificaties. Je kunt ook aangeven wat je het belangrijkst vindt in de tool: gebruiksgemak, functionaliteit of ethiek van AI. De totale beoordelingen zullen veranderen op basis van de weging van je criteria van belang. Zo kun je de beste tool kiezen die het beste past bij jouw voorkeuren.
Om de tool te gebruiken, ga hierheen.
Hoe we de tools hebben geëvalueerd
Er zijn al veel AI-tools beschikbaar om het systematische reviewproces te optimaliseren en te stroomlijnen. Veel van deze tools hebben een enigszins vergelijkbare functionaliteit. We hadden tools nodig die specifieke taken van systematische reviews voor een reeks artikelen konden optimaliseren en tijd konden besparen. Dat betekent dat we andere AI-tools, die slechts een deel van de taken of kleine onderdelen van systematische reviews kunnen uitvoeren, zoals ChatGPT of Perplexity, niet hebben overwogen.
Onze definitieve lijst bevat 17 tools, die door twee van onze onderzoekers zijn geëvalueerd op basis van vooraf gedefinieerde evaluatiecriteria, waaronder een beoordeling van bruikbaarheid, functionaliteit en ethisch gebruik van AI. In de onderstaande tabel kun je de criteria zien die we hebben gebruikt en hoe elke tool op deze criteria heeft gepresteerd.
Hou ons in de gaten! We zullen binnenkort onze praktijkervaring met de geselecteerde tools delen. Volg ons op sociale media en mis niet wat er komen gaat!
Dit onderzoek is gepubliceerd in september 2024
