Entendons nous bien:
Tu aurais plus d'info sur la méthodologie statistique utilisée par rapport à l'alternative, pour un noob comme moi ?
La p-value est une variable aléatoire qui a sa distribution en probabilité induit par la distribution de "y" (ce que tu observes) sous l'hypothèse nulle (que tu poses en sachant que c'est ce que tu cherches à réfuter, via negativa comme disait Karl Popper).
Le mot aléatoire et "a sa distribution" sont extrêmement importants ici, car ça conduit les chercheurs,
même non-intentionnellement, a commettre du "p-value hacking" (puisque cette valeur te permet de publier et donc améliorer ton statut de chercheur).
Si l'hypothèse nulle est simple (dans la vie réelle, c'est difficile d'assumer une hypothèse simple, car tu as souvent des nuisances dans tes paramètres de distribution, donc l'hypothèse est généralement composée), la p-value est générée "uniformément". Traduis "uniformémemnt", ou "loi uniform", avec "aléatoire" ou "RNG".
En cryptographie, ou même avec un algo de compression, tu as aussi cette hypothèse d'uniformité qui est utilisée. Un flux de bits « vraiment » aléatoire sort d’une source à entropie maximale et apparaît uniforme. Dans les tests de compression ou de pseudo-générateurs, on vérifie qu’aucune statistique simple (bits, blocs,…) ne s’écarte de ce uniforme. De même, en stat, la p-value mesure l’écart de tes données à ton hypothèse nulle.
Pour que cette p-value soit valide, il ne suffit pas de préciser le test et le seuil à l’avance, il faut aussi décrire a priori toutes les décisions possibles de traitement et d’analyse des données — codage, exclusions, transformations, choix de variables ou de sous-groupes, etc.
En pratique, si l’on n’a pas fixé à l’avance l’ensemble des analyses qu’on aurait pu faire pour chaque jeu de données hypothétique, on ne peut pas garantir que la p-value suit vraiment la loi Uniforme sous Hypothèse nulle. C’est ce qui rend la p-value si fragile, elle dépend non seulement des données observées, mais aussi de
toutes les décisions non réalisées.
Et cette dernière phrase,
très peu de chercheurs la comprennent. Donc sans surprises,
presque aucun étudiant ne le comprend. Et je dis pas ça arrogament, car je sais que les premier responsables sont ceux qui ont construit le programme en réduisant la profondeur et la quantité de cours quanti, ne permettant pas aux professeurs de statistiques d'aller dans les détails pour expliquer les nuances que je viens d'essayer d'expliquer.
Pour y rémédier, et la raison pour laquelle j'ai fait un lien avec la théorie de l'information (cryptographie, compresseur, etc), c'est d'utiliser un "test martingale" (appelé aussi "safe anytime valid" test d'hypothèse), qui est issue du "minimum description length" en théorie de l'information.
Ca n'est pas d'utiliser les intervals de confiance ou l'approche Bayésienne qui ne font que déplacer le problème, même si ça donne des infos intéressantes non négligeables, donc je suis pas "anti", juste que ça compense pas le problème.
Une fois que je démarre sur ce sujet je m'arrête plus et y a encore énormément à dire mais je te laisse checker google pour plus d'infos sur son application; ce pavé me fait mal aux doigts.
sciencepost.fr
