Archives de catégorie : Reproductibilité

Toujours les controverses autour du PACE trial publié par The Lancet : un appel pour le rétracter est commenté par le BMJ

The Lancet est silencieux depuis longtemps, alors que les controverses sont nombreuses autour de cet essai qui n’a pas été reproduit. J’ai évoqué cette non reproductibilité en juin 2018 : l’essai PACE, publié en 2011, a évalué 641 patients ayant un syndrome de fatigue chronique. Les critères de jugement ont été changé en cours d’essai. Il n’a pas été reproduit…. Continuer la lecture

Publié dans Mauvais articles, Reproductibilité, Rétractation | Commentaires fermés sur Toujours les controverses autour du PACE trial publié par The Lancet : un appel pour le rétracter est commenté par le BMJ

La reproductibilité en biologie : le projet du Center for Open Science est plus difficile que prévu… résultats ‘mixtes’

Nous avons évoqué les problématiques de reproductibilité, et en sciences sociales, en neurosciences, un certain nombre de projets ont été menés à bien. Mais dans le domaine de la biologie du cancer, c’est très difficile : en janvier 2017, j’avais listé les 5 premières publications dans eLife du projet prévoyant de refaire les expérimentations correspondant à 50 publications. Projet ambitieux… Continuer la lecture

Publié dans Reproductibilité | Commentaires fermés sur La reproductibilité en biologie : le projet du Center for Open Science est plus difficile que prévu… résultats ‘mixtes’

Une initiative originale : une formation pour apprendre à faire des recherches reproductibles… pour les vieux d’abord ?

Cet article, avec deus auteurs allemands, a été publié par PlOS Biology le 26 juillet 2018 avec le titre : « Digital open science—Teaching digital tools for reproducible and transparent research ». J’ai traduit le résumé pour nous inciter à mieux former les étudiants (et les vieux aussi) dans le domaine de la reproductibilité des données : Une caractéristique importante de la… Continuer la lecture

Publié dans Apprentissage, Reproductibilité | Commentaires fermés sur Une initiative originale : une formation pour apprendre à faire des recherches reproductibles… pour les vieux d’abord ?

Le Repligate en sciences sociales : les « Replicators » ont été très critiqués au début

Chris Chambers, professeur de neurosciences cognitives à Cardiff, a décrit dans son livre sur les 7 péchés mortels de la psychologie ce qu’il a appelé le Repligate en psychologie (pages 52 et 53). En mai 2014, la revue Social Psychology a publié une quinzaine d’articles de chercheurs ayant refait des expériences faites entre 1950 et 2008 et ayant conduit à… Continuer la lecture

Publié dans Reproductibilité | Commentaires fermés sur Le Repligate en sciences sociales : les « Replicators » ont été très critiqués au début

Améliorer la reproductibilité de la recherche scientifique : 13 articles dans PNAS !

En mars 2018, un numéro spécial des PNAS a publié 13 articles suite à un colloque sur la reproductibilité en recherche. Il s’agit d’un colloque de la National Academy of Sciences aux USA, et ce qui est bien, c’est que les vidéos des présentations sont sur YouTube. Elles sont faciles à écouter, et j’ai testé : bons enregistrements. Parmi les… Continuer la lecture

Publié dans Biais, Embellissement, Gaspillage, Reproductibilité | Commentaires fermés sur Améliorer la reproductibilité de la recherche scientifique : 13 articles dans PNAS !

Mieux évaluer les chercheurs en tuant le facteur d’impact et en orientant la recherche vers les attentes de la société ?

Gardons espoir après la lecture d’un superbe article de PLOS Biology de fin mars 2018. Je ne sais pas quelles seront les réponses aux 2 questions de mon titre… Le OUI n’est pas certain de gagner ! Le titre de cet article : « Assessing scientists for hiring, promotion, and tenure ». Les 6 auteurs sont prestigieux et d’origine diverses. Félicitons Florian… Continuer la lecture

Publié dans Altmetrics, Apprentissage, Facteur d'impact, Grand public, Méthodologie de recherche, Reproductibilité, Résultats négatifs | Commentaires fermés sur Mieux évaluer les chercheurs en tuant le facteur d’impact et en orientant la recherche vers les attentes de la société ?

Le modèle ‘registered reports’ adopté par des revues de finance et l’ouverture des données des revues de science politique

Il est intéressant de noter que des disciplines, devant la crise de reproductibilité, remettent en cause leurs méthodes de publication. La reproductibilité (ou plutôt la non-reproductibilité) a été très étudiée dans certains domaines, comme les sciences cognitives/neurosciences/psychologie, puis la biologie. Des disciplines comme la finance comprennent qu’un protocole est un préalable à toute expérimentation, ou que la réplication des données… Continuer la lecture

Publié dans Peer review, Recommandations, Reproductibilité | Commentaires fermés sur Le modèle ‘registered reports’ adopté par des revues de finance et l’ouverture des données des revues de science politique

Pratiques préjudiciables à la recherche : 16 pratiques injustifiables et 15 acceptables… à s’évanouir !

Défendre l’indéfendable… et pourtant personne n’est gêné ! C’est une étude originale et passionnante publiée par une équipe de chercheurs américains fin 2017 dans « Journal of Empirical Research on Human Research Ethics ». L’objectif était de qualifier 40 pratiques dites « QRPs » pour « Questionable Research Practices » pour les grouper en pratiques impossibles à cautionner et pratiques sur lesquelles on pourrait fermer les… Continuer la lecture

Publié dans Intégrité scientifique, Méthodologie de recherche, Reproductibilité | Commentaires fermés sur Pratiques préjudiciables à la recherche : 16 pratiques injustifiables et 15 acceptables… à s’évanouir !

BMJ / PLOS Medicine : des résultats publiés sont bien reproductibles… très beau travail français !

Dans le BMJ de février 2018, une étude très originale car les auteurs ont refait les analyses sur le critère de jugement principal pour des études cliniques randomisées publiées dans deux revues. Il s’agissait de savoir si la mise à disposition des données sources permettaient de reproduire les résultats. Eh bien, malgré des difficultés, c’est possible… Très bonne nouvelle. Mais… Continuer la lecture

Publié dans Cocorico, Méthodologie de recherche, Reproductibilité | Commentaires fermés sur BMJ / PLOS Medicine : des résultats publiés sont bien reproductibles… très beau travail français !

La recherche animale doit s’améliorer : la recherche préclinique se trompe encore, et des malades sont inclus dans des essais !

Le numéro du 11 janvier 2018 du BMJ contient 4 articles sur la recherche animale. Très longue histoire qui mérite de lire tous les articles. Il s’agit d’un domaine compliqué, le développement d’un vaccin pour la tuberculose. Un éditorial de F Godlee, basé sur les autres articles du numéro : ‘Nous avons besoin d’une meilleure recherche animale, mieux décrite’ ;… Continuer la lecture

Publié dans Animal, Gaspillage, Méthodologie de recherche, Reproductibilité, Résultats négatifs | Commentaires fermés sur La recherche animale doit s’améliorer : la recherche préclinique se trompe encore, et des malades sont inclus dans des essais !

Récompenser ceux qui reproduisent des résultats de recherche : un rapport de l’Académie des sciences de Hollande

La Hollande a encore le souvenir du scandale D Stapel qui a fait progresser les mentalités. L’Académie des sciences basée à Amsterdam vient de publier un rapport attendu sur la reproductibilité des résultats de recherche. Je ne prends pas le risque de la nommer en Hollandais.. Ce rapport peut vous servir si vous devez préparer un exposé sur le sujet…. Continuer la lecture

Publié dans Grand public, Intégrité scientifique, Méthodologie de recherche, Reproductibilité | Commentaires fermés sur Récompenser ceux qui reproduisent des résultats de recherche : un rapport de l’Académie des sciences de Hollande

Améliorer la reproductibilité : un preprint a été signé par 72 experts suggérant le seuil de P < 0,005 (au lieu de 0,05) pour la valeur de P.

Un preprint du 22 juillet 2017 a été signé par 72 statisticiens (dont Judith Rousseau, de Paris Dauphine) avec le titre ‘Redefine statistical significance’. Des signatures prestigieuses. Il a été déposé sur PsyArXiv, et il a été très commenté. Ce document a été publié le 1 septembre 2017 par Nature Human Behaviour. L’objectif est de qualifier de significatif les valeurs… Continuer la lecture

Publié dans Méthodologie de recherche, Reproductibilité | Commentaires fermés sur Améliorer la reproductibilité : un preprint a été signé par 72 experts suggérant le seuil de P < 0,005 (au lieu de 0,05) pour la valeur de P.

La lisibilité des articles scientifiques baisse régulièrement : des donnés solides pour un phénomène inquiétant

C’est un bon article dans eLife début septembre 2017 avec le titre « The readability of scientific texts is decreasing over time ». Travail intéressant repris sur des blogs comme Neuroskeptic (Scientific papers are getting less readable). Une équipe de chercheurs du Karolinska Institute, à Stockholm, Suède, a fait une énorme travail sur la lisibilité des articles scientifiques. Ils ont téléchargé 700… Continuer la lecture

Publié dans Grand public, Medical Writing, Reproductibilité | Commentaires fermés sur La lisibilité des articles scientifiques baisse régulièrement : des donnés solides pour un phénomène inquiétant

Les 7 péchés mortels de la science : numéro 3, le péché du manque de fiabilité car la reproductibilité est un mot tabou !

Excellent ouvrage (mai 2017) de Chris Chambers, professeur de neurosciences cognitives à Cardiff. Le titre : The 7 deadly sins of psychology. A manifesto for reforming the culture of science practice. Je reprend chaque vendredi un des 7 péchés, et ensuite le rachat sera proposé dans le dernier chapitre. Le chapitre 3 : « The sin of unreliability ». Le péché du… Continuer la lecture

Publié dans Embellissement, Méthodologie de recherche, Reproductibilité, Rétractation | Commentaires fermés sur Les 7 péchés mortels de la science : numéro 3, le péché du manque de fiabilité car la reproductibilité est un mot tabou !

Les initiatives pour la reproductibilité des données au congrès mondial sur l’intégrité de la recherche

Bonne session sur la reproductibilité lors de la 5ème WCRI à Amsterdam avec 3 orateurs prestigieux. Quelles sont les causes pour expliquer la mauvaise reproductibilité ? Existe-t-il réellement une crise de reproductibilité ? Des solutions ??? D Fanelli a remplacé JPA Ioannidis, empêché de venir à Amsterdam. Conférence avec des exemples expliquant la mauvaise reproductibilité. D’abord la sélection des données… Continuer la lecture

Publié dans Archives, Intégrité scientifique, Reproductibilité | Commentaires fermés sur Les initiatives pour la reproductibilité des données au congrès mondial sur l’intégrité de la recherche

Manifeste pour une science reproductible : une déclaration bienvenue

Un article du 10 janvier 2017 dans la rubrique perspective de Nature human behaviour « A manifesto for reproducible science » a été co-signé par des experts, dont B Nosek qui dirige le Center for Open Science à Charlottesville, USA. Il s’agit du premier numéro de cette nouvelle revue à comité de lecture du groupe SpringerNature. Les auteurs proposent des mesures, tout… Continuer la lecture

Publié dans Recommandations, Reproductibilité | Commentaires fermés sur Manifeste pour une science reproductible : une déclaration bienvenue

Réplication des expériences dans la biologie du cancer : les 5 premières publications dans eLife montrent que c’est difficile

C’est un énorme projet sous l’égide du COS (Center for Open Science) à Charlottesville, dirigé par Brian Nosek. Fin avril 2015, Nature nous a informé sur les projets du COS, y compris l’objectif de reproduire 50 articles dans le domaine de la biologie du cancer. Fin août 2015, dans Science, ils ont montré qu’il était difficile de reproduire 40 %… Continuer la lecture

Publié dans Méthodologie de recherche, Reproductibilité | Commentaires fermés sur Réplication des expériences dans la biologie du cancer : les 5 premières publications dans eLife montrent que c’est difficile

Le S-Index (en plus du H-Index) pour valoriser les chercheurs qui partagent les données et collaborent

Dans le JAMA Psychiatry de janvier 2017, un viewpoint intitulé « Incentivizing data sharing and colaboration in medical research — The S-Index » nous incite à partager les données sources des recherches. Le début du viewpoint est : Sharing research data is a widely embraced ideal of academic medicine. Providing broad access to research data has the potential to stimulate progress in… Continuer la lecture

Publié dans Intégrité scientifique, Méthodologie de recherche, Reproductibilité | Commentaires fermés sur Le S-Index (en plus du H-Index) pour valoriser les chercheurs qui partagent les données et collaborent

La crise de reproductibilité de la science remonte aux années 1950s

Bon billet le 6 décembre 2016 sur un blog de PLOS avec les dates majeures de la crise de reproductibilité de la science. C’est un des billets du blog Absolutely Maybe qui est intéresssant, animé par Hilda Basten qui est responsable de PubMed Commons. Les dates sur la reproductibilité ont été très bien sélectionnées. J’ai pu revisiter toutes les dates… Continuer la lecture

Publié dans Histoire, Reproductibilité | Commentaires fermés sur La crise de reproductibilité de la science remonte aux années 1950s

Le partage des données est encore très loin d’être la norme : peu de revues biomédicales prestigieuses le demandent

C’est un preprint de PEERJ (donc un article n’ayant pas encore été reviewé) qui a estimé les politiques des revues concernant le partage des données sources par les auteurs. Nous savons que de rares revues l’imposent, comme BMJ par exemple. Par exemple, les instructions aux auteurs du BMJ contiennent ces phrases (et bien d’autres) : » For all research articles: we… Continuer la lecture

Publié dans Archives, Méthodologie de recherche, Recommandations, Reproductibilité | Commentaires fermés sur Le partage des données est encore très loin d’être la norme : peu de revues biomédicales prestigieuses le demandent

Nature veut répliquer des recherches, y compris celles publiées par Nature, et les publier ; d’autres revues publient des réplications

Est-ce que Nature ira au bout de sa logique en publiant des réplications de recherches ? C’est un éditorial anonyme publié le 24 août 2016 qui est intitulé « Go forth and replicate! », avec pour sous-titre « To make replication studies more useful, researchers must make more of them, funders must encourage them and journals must publish them. » La reproductibilité devient un… Continuer la lecture

Publié dans Reproductibilité | Commentaires fermés sur Nature veut répliquer des recherches, y compris celles publiées par Nature, et les publier ; d’autres revues publient des réplications

Comment définir la reproductibilité en science ? Est-ce uniquement reproduire un résultat ?

Le nombre d’articles sur la reproductibilité en science augmente vite et sur ce blog, nous avons analysé des articles sur ce thème. Le rapport anglais de fin 2015 était le document le plus détaillé sur la reproductibilité. Dans Science Translational Medicine du 1 juin 2016, l’équipe de JPA Ioannidis s’interroge « What does research reproducibility means ? » Pour la NSF (National… Continuer la lecture

Publié dans Reproductibilité | Commentaires fermés sur Comment définir la reproductibilité en science ? Est-ce uniquement reproduire un résultat ?

Plus de 70 % des chercheurs disent avoir essayé de reproduire des expérimentations de collègues, sans succès !

Le 25 mai 2016, Nature a publié les résultats d’une enquête sur la reproductibilité en science, avec plus de 1500 réponses. Lecture en accès libre, et c’est impressionnant, car 90 % des répondants évoquent une crise de reproductibilité (52% sévère, 38 % légère) ! Mais difficile d’interpréter car il n’existe pas de consensus, ou de définition explicite, de ce qu’est… Continuer la lecture

Publié dans Reproductibilité | Commentaires fermés sur Plus de 70 % des chercheurs disent avoir essayé de reproduire des expérimentations de collègues, sans succès !

Les doublons d’images dans les revues biomédicales : phénomène jamais décrit ainsi sur 20 000 articles !

C’est un article par 3 auteurs dont 2 prestigieux et connus, qui a été déposé le 20 avril 2016 comme preprint dans bioRxiv avec comme titre « The prevalence of inappropriate image duplication in biomedical research publications’. Je n’ai pas pour habitude d’évoquer des preprints, c’est à dire des articles déposés dans un archive ouverte (ici bioRxiv), et qui n’ont pas… Continuer la lecture

Publié dans Embellissement, Illustrations, Reproductibilité | Commentaires fermés sur Les doublons d’images dans les revues biomédicales : phénomène jamais décrit ainsi sur 20 000 articles !

Que cherchent les revues biomédicales prestigieuses : l’innovation alors que la reproductibilité serait plus intéressante

Bon éditorial paru dans « Glycobiology » en mars 2016 posant une question qui fait mal. Les instructions aux auteurs des revues prestigieuses (Nature, Science, et autres) précisent en général que ces revues privilégient l’innovation, la nouveauté. Des phrases du type « “The criteria for a paper to be sent for peer-review are that the results seem novel, arresting (illuminating, unexpected or surprising »… Continuer la lecture

Publié dans Rédaction des revues, Reproductibilité | Commentaires fermés sur Que cherchent les revues biomédicales prestigieuses : l’innovation alors que la reproductibilité serait plus intéressante

Excellent rapport anglais sur la reproductibilité de la recherche médicale : 6 problèmes et 7 stratégies pour réagir

En avril 2015, nous avons évoqué l’éditorial du Lancet disant qu’un groupe d’experts anglais pensait qu’au moins 50 % de la littérature biomédicale était fausse ! Il y a beaucoup de données factuelles pour supporter cette évidence ; certaines données ont été discutées lors de la conférence sur le gaspillage de la recherche fin septembre 2015. Le rapport de la… Continuer la lecture

Publié dans Embellissement, Intégrité scientifique, Reproductibilité | Commentaires fermés sur Excellent rapport anglais sur la reproductibilité de la recherche médicale : 6 problèmes et 7 stratégies pour réagir