Un nouvel outil d'IA pourrait réduire le processus d'examen scientifique de quelques mois à quelques minutes.

Évaluer le mérite des articles scientifiques peut être une tâche difficile, même pour les experts. Le processus d'examen par les pairs peut être long et souvent subjectif.

L'existence d'études publiées que les chercheurs n'ont pas été en mesure de reproduire a également soulevé des préoccupations concernant le processus d'examen.

Une enquête a révélé que plus de 70% des chercheurs n'ont pas réussi à reproduire les expériences d'un autre scientifique, et plus de la moitié n'ont pas reproduit leurs propres résultats de recherche. Certains ont même décrit ce problème comme une crise .

En l'absence de méthode cohérente pour détecter les articles reproductibles et ceux qui ne le sont pas, bon nombre de ces derniers continuent de circuler dans la littérature scientifique.

Pour aider les scientifiques à déterminer quelle recherche est la plus prometteuse, une équipe de la Kellogg School of Management de la Northwestern University à Evanston, IL, a développé un outil d'apprentissage automatique qui retire l'opinion du processus et raccourcit de manière exponentielle la période d'examen.

Les détails de la fonction du modèle dans PNAS .

Le test de reproductibilité

Expliquant les limites de l'examen par les pairs, le professeur Brian Uzzi, qui a dirigé cette étude, a déclaré: «Le processus standard est trop cher, à la fois financièrement et en termes de coûts d'opportunité. Premièrement, il faut trop de temps pour passer à la deuxième phase des tests, et deuxièmement, lorsque les experts passent leur temps à examiner le travail des autres, cela signifie qu'ils ne sont pas dans le laboratoire pour mener leurs propres recherches. »

Uzzi et son équipe ont développé une forme d'intelligence artificielle (IA) pour aider la communauté scientifique à prendre des décisions plus rapides sur les études les plus susceptibles de générer des bénéfices.

L'un des tests les plus importants de la qualité d'une étude est sa reproductibilité - si d'autres scientifiques reproduisent les résultats qu'elle rapporte lorsqu'ils effectuent les mêmes expériences. L'algorithme produit par Uzzi et son équipe prédit ce facteur.

Le modèle, qui combine la véritable contribution humaine à l'intelligence artificielle, fait cette prédiction en analysant les mots que les articles scientifiques utilisent et en reconnaissant les modèles qui indiquent que les résultats ont de la valeur.

«Il existe de nombreuses informations précieuses sur la façon dont les auteurs de l'étude expliquent leurs résultats», explique Uzzi. "Les mots qu'ils utilisent révèlent leur propre confiance dans leurs résultats, mais il est difficile pour l'homme moyen de le détecter."

Le modèle peut reprendre des modèles de choix de mots qui peuvent être cachés à un réviseur humain, qui pourrait plutôt se concentrer sur la force des statistiques dans un document, disent les développeurs. Il existe également un risque que les examinateurs soient partiaux pour le sujet ou la revue qui a publié l'article, ou que des mots persuasifs tels que «remarquable» puissent les influencer.

Minutes au lieu de mois

Les chercheurs ont d'abord formé le modèle en utilisant un ensemble d'études qui étaient connues pour être reproductibles et un ensemble de celles connues pour ne pas l'être. Ils ont ensuite testé le modèle sur un groupe d'études qu'il n'avait jamais vu auparavant.

Ils ont comparé le résultat avec celui du programme DARPA SCORE (Systematizing Confidence in Open Research and Evidence ) de la Defense Advanced Research Projects Agency , qui s'appuie sur des experts en la matière pour examiner et évaluer les études scientifiques. Cependant, en moyenne, le processus prend la plus grande partie de l'année pour se terminer.

Lorsque l'équipe a utilisé le modèle seule, sa précision était similaire à celle du DARPA SCORE, mais elle était beaucoup plus rapide, prenant quelques minutes au lieu de plusieurs mois.

En combinaison avec le DARPA SCORE, il a prédit quelles conclusions seraient reproductibles avec une précision encore plus grande que l'une ou l'autre méthode seule. Il est probable que les scientifiques l'utiliseront de cette façon dans la réalité, pour compléter les évaluations humaines.

«Cet outil nous aidera à mener les activités scientifiques avec plus de précision et d'efficacité», explique Uzzi. «Maintenant, plus que jamais, il est essentiel que la communauté des chercheurs opère en mode Lean, en se concentrant uniquement sur les études les plus prometteuses.»

L'équipe affirme que le déploiement du modèle pourrait être immédiat, de sorte qu'elle pourrait analyser le train de recherches liées au COVID-19 qui est en train d'émerger.

«Au milieu d'une crise de santé publique, il est essentiel que nous concentrions nos efforts sur les recherches les plus prometteuses», explique le professeur Uzzi. «C'est important non seulement pour sauver des vies, mais aussi pour éliminer rapidement les informations erronées résultant de recherches mal menées.»

La recherche se déroule à un rythme sans précédent et les décideurs du monde entier prévoient d'accélérer les essais cliniques pour trouver un traitement ou un vaccin contre la maladie. Les chercheurs du Nord-Ouest disent que leur outil pourrait aider les décideurs à prioriser les études les plus prometteuses lors de l'allocation des ressources.