Forcément en faisant du nombre des articles — nonobstant jusqu'aux titres & mots-clefs :-( — l'alpha et l’oméga de la recherche…
Ici on part à la base d'une très mauvaise métrique, et on fait tenir la vie de gens, et des sommes considérables quasiment sur elle seule… Pas étonnant de voir des détournements fleurir comme l'Atacama après l'ondée.
Deux brèves anecdotes :
En analysant des dossiers de candidatures, il m'est arrivé de tomber sur une publication « Springer Nature » (édition cité dans l'article). C'était tellement nul et non avenu, même abstraction faite d'une orthographe et d'une grammaire balbutiante, que j'ai cru qu'il s'agissait d'un faux journal, ou de faux scientifiques paieraient pour publier du PDF. Pas étonné de retrouver leur nom dans cette nouvelle.
Ce matin même je reçois une demande pour évaluer un article dont le résumé peut sans rien omettre se résumer à : « Nous avons utilisé l'IA générative pour lire une centaine d'articles. Nous en concluons qu'il est possible de gagner du temps en pharmacovigilance en faisant cela. » Pas la moindre évaluation de la pertinence des sorties de l'IA. De la recherche de haute volée assurément.
Le fait que les éditeurs s'intéressent au moins autant à leur chiffre d'affaire, ce qui les pousse à publier un max (à la charge des instituts de recherche et des budgets de chercheur) qu'à l'intérêt scientifique des publis n'aide évidemment pas. Culture du chiffre aussi, de fait, et pas n'importe quel chiffre.
En même temps, l'inverse comme par exemple, des budgets fixes garantis, ça impliquerais sans doute plus de sélectivité, et aussi des effets pervers différents.
Le monde académique pourrait s'auto-organiser (et commence à le faire), mais la question de pourquoi ça a pris aussi longtemps se pose.
Ça a déjà beaucoup bougé, les serveurs de pre-print par exemple pour la diffusion (ca a aussi ses effets pervers, on les a bien vus ces dernières années)
Une des causes du fait que c'est dur de faire de nouvelles revues c'est que les anciennes ont de la réputation et des scores, et que ça reste tentant de publier dans ce qui est sélectif et réputé à l'instant T. Du coup ça entretient par effet réseau la réputation de la revue, et c'est dur pour les nouveaux entrants de s'en fabriquer une dans les domaines établis.
Après un des gros problème c'est que le nouveau modèle promu est justement un modèle d'Open Access … qui fait payer pour publier, ce qui est justement l'effet pervers qu'on constate ici. Après tous les domaines ne sont pas nécessairement touchés, il y a quand même une variété de modèles. On peut s'intéresser à l'ACM par exemple https://www.acm.org/publications/openaccess qui est en train de passer en OpenAccess et qui a ouvert récemment certaines publis emblématiques comme CACM : https://cacm.acm.org/news/cacm-is-now-open-access-2/
Après le monde de la recherche se plaint déjà d'avoir plusieurs métiers, donc la réforme des habitudes de publication n'est pas forcément une priorité. Le publish or perish et la précarité n'aident pas à être révolutionnaire et peuvent effectivement inciter à l'inverse.
(J'ai oublié de préciser le petit détail qui change tout qui est que l'ACM n'est pas un éditeur qui a pour métier d'éditer des revues, c'est une société savante avec adhésion par des chercheurs qui organise ses conférences et édite les "proceedings" (compte-rendus) ce qui change tout, sinon on comprend pas en quoi c'est un modèle différent)
Le problème fondamental c’est le « publish or perish ». Ça donne des trucs comme « une étude vient de », souvent basés sur des échantillons statistiques faibles et peu représentatifs, ou encore sur une durée un peu courte ou… et évidemment des « chercheurs » qui vont publier comme des dingues comme cet Espagnol qui publiait des études (en) frénétiquement. Au point d’en publier toutes les 37 heures, ce qui laisse peu de temps pour une recherche approfondie et la vérification des résultats.
La microbiologiste et spécialiste en intégrité scientifique Elisabeth Bik s’était inquiétée de cet état de fait dans une interview (sur lequel je n’arrive pas à remettre la main, bon, ok, j’ai la flemme de le re-chercher) et se demandait si ce n’était pas déjà trop tard.
« Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.
# Les délires des métriques
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2 (+1/-1).
Forcément en faisant du nombre des articles — nonobstant jusqu'aux titres & mots-clefs :-( — l'alpha et l’oméga de la recherche…
Ici on part à la base d'une très mauvaise métrique, et on fait tenir la vie de gens, et des sommes considérables quasiment sur elle seule… Pas étonnant de voir des détournements fleurir comme l'Atacama après l'ondée.
Deux brèves anecdotes :
En analysant des dossiers de candidatures, il m'est arrivé de tomber sur une publication « Springer Nature » (édition cité dans l'article). C'était tellement nul et non avenu, même abstraction faite d'une orthographe et d'une grammaire balbutiante, que j'ai cru qu'il s'agissait d'un faux journal, ou de faux scientifiques paieraient pour publier du PDF. Pas étonné de retrouver leur nom dans cette nouvelle.
Ce matin même je reçois une demande pour évaluer un article dont le résumé peut sans rien omettre se résumer à : « Nous avons utilisé l'IA générative pour lire une centaine d'articles. Nous en concluons qu'il est possible de gagner du temps en pharmacovigilance en faisant cela. » Pas la moindre évaluation de la pertinence des sorties de l'IA. De la recherche de haute volée assurément.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: Les délires des métriques
Posté par Thomas Douillard . Évalué à 5 (+3/-1).
Le fait que les éditeurs s'intéressent au moins autant à leur chiffre d'affaire, ce qui les pousse à publier un max (à la charge des instituts de recherche et des budgets de chercheur) qu'à l'intérêt scientifique des publis n'aide évidemment pas. Culture du chiffre aussi, de fait, et pas n'importe quel chiffre.
[^] # Re: Les délires des métriques
Posté par Misc (site web personnel) . Évalué à 2 (+0/-1).
En même temps, l'inverse comme par exemple, des budgets fixes garantis, ça impliquerais sans doute plus de sélectivité, et aussi des effets pervers différents.
Le monde académique pourrait s'auto-organiser (et commence à le faire), mais la question de pourquoi ça a pris aussi longtemps se pose.
[^] # Re: Les délires des métriques
Posté par Thomas Douillard . Évalué à 3 (+1/-1).
Ça a déjà beaucoup bougé, les serveurs de pre-print par exemple pour la diffusion (ca a aussi ses effets pervers, on les a bien vus ces dernières années)
Une des causes du fait que c'est dur de faire de nouvelles revues c'est que les anciennes ont de la réputation et des scores, et que ça reste tentant de publier dans ce qui est sélectif et réputé à l'instant T. Du coup ça entretient par effet réseau la réputation de la revue, et c'est dur pour les nouveaux entrants de s'en fabriquer une dans les domaines établis.
Après un des gros problème c'est que le nouveau modèle promu est justement un modèle d'Open Access … qui fait payer pour publier, ce qui est justement l'effet pervers qu'on constate ici. Après tous les domaines ne sont pas nécessairement touchés, il y a quand même une variété de modèles. On peut s'intéresser à l'ACM par exemple https://www.acm.org/publications/openaccess qui est en train de passer en OpenAccess et qui a ouvert récemment certaines publis emblématiques comme CACM : https://cacm.acm.org/news/cacm-is-now-open-access-2/
Après le monde de la recherche se plaint déjà d'avoir plusieurs métiers, donc la réforme des habitudes de publication n'est pas forcément une priorité. Le publish or perish et la précarité n'aident pas à être révolutionnaire et peuvent effectivement inciter à l'inverse.
[^] # Re: Les délires des métriques
Posté par Thomas Douillard . Évalué à 3 (+1/-1).
(J'ai oublié de préciser le petit détail qui change tout qui est que l'ACM n'est pas un éditeur qui a pour métier d'éditer des revues, c'est une société savante avec adhésion par des chercheurs qui organise ses conférences et édite les "proceedings" (compte-rendus) ce qui change tout, sinon on comprend pas en quoi c'est un modèle différent)
[^] # Re: Les délires des métriques
Posté par Ysabeau 🧶 🧦 (site web personnel, Mastodon) . Évalué à 7 (+4/-0). Dernière modification le 30 mai 2024 à 11:00.
Le problème fondamental c’est le « publish or perish ». Ça donne des trucs comme « une étude vient de », souvent basés sur des échantillons statistiques faibles et peu représentatifs, ou encore sur une durée un peu courte ou… et évidemment des « chercheurs » qui vont publier comme des dingues comme cet Espagnol qui publiait des études (en) frénétiquement. Au point d’en publier toutes les 37 heures, ce qui laisse peu de temps pour une recherche approfondie et la vérification des résultats.
La microbiologiste et spécialiste en intégrité scientifique Elisabeth Bik s’était inquiétée de cet état de fait dans une interview (sur lequel je n’arrive pas à remettre la main, bon, ok, j’ai la flemme de le re-chercher) et se demandait si ce n’était pas déjà trop tard.
« Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.
[^] # Re: Les délires des métriques
Posté par Lutin . Évalué à 4 (+2/-0).
Pour générer des études nulles, il y a ce truc assez rigolo, et c'est sans IA générative.
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.