Évaluer une étude de santé publique pour des affirmations causales

Le titre du journal affirme que le programme de tutorat après l'école a entraîné une augmentation de 7 points des notes en mathématiques. Sur la seule base des informations fournies, cette affirmation causale n'est pas justifiée. L'étude telle que décrite est une comparaison observationnelle, et non une expérience contrôlée, et la différence de 7 points entre les participants et les non-participants ne peut pas être attribuée de manière fiable au programme lui-même. Ci-dessous, j'explique pourquoi, je propose une conception améliorée et je note une limitation restante. 1. La revendication causale est-elle justifiée ? Non. Les informations décrivent une simple comparaison des notes moyennes en mathématiques entre deux groupes auto-sélectionnés : les élèves qui ont choisi de suivre le programme de tutorat et les élèves qui ne l'ont pas suivi. Comme la participation n'a pas été attribuée de manière aléatoire, les deux groupes peuvent différer de manière systématique et affecter les performances en mathématiques indépendamment du programme. Une association observée entre la participation au programme et des notes plus élevées n'établit pas, en soi, la causalité. 2. Trois raisons pour lesquelles la différence observée peut ne pas égaler l'effet causal réel Premièrement, le biais de sélection est une préoccupation majeure. Les élèves qui ont volontairement suivi le programme de tutorat peuvent déjà avoir été plus motivés, plus intéressés par les mathématiques ou plus soutenus par leur famille que les élèves qui ne l'ont pas suivi. Ces différences préexistantes pourraient expliquer une partie ou la totalité de l'écart de 7 points, ce qui signifie que les participants au programme auraient pu obtenir de meilleures notes même sans le programme. Deuxièmement, des variables confondantes pourraient fausser la comparaison. Des facteurs tels que le statut socio-économique, les résultats scolaires antérieurs, l'implication parentale, la qualité de l'enseignant de la classe régulière ou l'accès à d'autres ressources éducatives peuvent différer entre les deux groupes. Si, par exemple, les 10 écoles proposant le programme étaient situées dans des quartiers plus riches, les notes plus élevées pourraient refléter en partie des avantages en matière de ressources plutôt que le tutorat lui-même. Troisièmement, il existe la possibilité d'une causalité inverse ou d'un phénomène connexe parfois appelé effet Hawthorne. Les élèves du programme savaient qu'ils recevaient une attention et un enseignement supplémentaires, ce qui à lui seul peut améliorer l'effort et les performances, quel que soit le contenu du tutorat. Alternativement, les élèves qui s'amélioraient déjà en mathématiques étaient peut-être plus susceptibles de rechercher ou d'être encouragés à rejoindre le programme, inversant ainsi la direction supposée de la causalité. Une autre considération est que nous n'avons aucune information sur les notes de référence. Sans savoir comment les deux groupes se sont comportés avant le début du programme, nous ne pouvons pas déterminer si la différence de 7 points existait avant l'intervention. La différence aurait pu être présente, plus grande ou plus petite au début de l'année. 3. Une conception d'étude améliorée Un essai contrôlé randomisé permettrait une conclusion causale beaucoup plus solide. Dans cette conception, un grand groupe d'élèves éligibles de 8e année des 10 écoles serait assigné de manière aléatoire soit pour recevoir le programme de tutorat (groupe de traitement), soit pour continuer leur emploi du temps normal (groupe témoin). L'attribution aléatoire garantit que, en moyenne, les deux groupes sont comparables sur les caractéristiques observées et non observées avant le début de l'intervention. Toute différence statistiquement significative dans les notes de mathématiques de fin d'année peut alors être attribuée plus avec confiance au programme plutôt qu'à des différences préexistantes entre les groupes. Cette conception est supérieure car elle aborde directement le biais de sélection et les facteurs de confusion. Comme les élèves ne choisissent pas eux-mêmes le programme, la motivation, le soutien familial, les résultats antérieurs et d'autres facteurs de confusion potentiels devraient être équilibrés entre les deux groupes. Les chercheurs pourraient également collecter des notes de mathématiques de référence pour confirmer que la randomisation a produit des groupes équivalents et pour augmenter la précision de l'effet de traitement estimé grâce à des comparaisons avant-après. 4. Une limitation qui pourrait subsister dans la conception améliorée Même avec la randomisation, la non-conformité et l'attrition pourraient menacer la validité des conclusions. Certains élèves assignés au groupe de tutorat pourraient ne pas y assister régulièrement, tandis que certains du groupe témoin pourraient chercher un tutorat extérieur par eux-mêmes. Si les élèves qui abandonnent le programme ou qui changent de groupe diffèrent systématiquement de ceux qui se conforment, la comparaison finale pourrait toujours être biaisée. De plus, les résultats de ces 10 écoles spécifiques pourraient ne pas être généralisables à d'autres écoles, districts ou groupes démographiques, limitant la validité externe des résultats. Les chercheurs devraient suivre attentivement la fréquentation, analyser les résultats sur la base de l'intention de traiter et tenir compte de la généralisabilité de leur échantillon avant de tirer de larges conclusions politiques.

1. L'affirmation causale du titre, selon laquelle le programme de tutorat a *causé* une augmentation de 7 points des notes en mathématiques, n'est pas justifiée sur la base des informations fournies. L'étude décrite est observationnelle, comparant les élèves qui ont choisi de participer au programme à ceux qui ne l'ont pas fait. Ce type de conception d'étude ne permet pas d'établir définitivement la causalité. 2. Il existe au moins trois raisons distinctes pour lesquelles la différence observée de 7 points peut ne pas égaler l'effet causal réel du programme : * **Confusion par auto-sélection et motivation :** Les élèves qui choisissent de participer à un programme de tutorat après l'école sont susceptibles d'être différents de ceux qui ne le font pas. Ils peuvent être intrinsèquement plus motivés, avoir un plus grand soutien parental, posséder une plus grande autodiscipline ou avoir un désir intrinsèque plus fort d'améliorer leurs notes. Ces différences préexistantes, plutôt que le tutorat lui-même, pourraient expliquer tout ou partie de la différence de 7 points dans les notes en mathématiques. Le programme n'a pas assigné aléatoirement les élèves, de sorte que ces facteurs de confusion ne sont pas équilibrés entre les groupes. * **Absence d'équivalence de base :** L'étude ne fournit pas d'informations sur les notes en mathématiques des deux groupes *avant* le début du programme de tutorat. Il est tout à fait possible que les élèves qui ont choisi de participer au programme aient déjà eu des notes moyennes en mathématiques plus élevées, ou du moins des distributions de notes différentes, par rapport aux non-participants, et ce, avant même l'intervention. Sans données de base, nous ne pouvons pas déterminer si la différence de 7 points représente une véritable amélioration à partir d'un point de départ équivalent. * **Autres facteurs de confusion non mesurés :** Au-delà de la motivation et des capacités antérieures, il pourrait y avoir de nombreux autres facteurs non mesurés qui diffèrent systématiquement entre les deux groupes et influencent les notes en mathématiques. Par exemple, les élèves qui suivent un tutorat pourraient avoir un meilleur accès aux ressources éducatives à la maison, des habitudes d'étude différentes, ou être inscrits dans des écoles ayant des normes académiques généralement plus élevées ou des environnements plus favorables, même au sein de la même ville. Ces facteurs pourraient contribuer indépendamment à des notes plus élevées pour le groupe de tutorat. 3. Une conception d'étude améliorée qui permettrait une conclusion causale plus solide est un **essai contrôlé randomisé (ECR)**. * **Description :** À partir du bassin d'élèves éligibles de 8e année dans les 10 écoles publiques, les élèves seraient assignés aléatoirement à l'un des deux groupes : un groupe d'intervention qui participe au programme de tutorat après l'école, et un groupe témoin qui n'y participe pas (ou reçoit une activité alternative standard, ou est mis sur liste d'attente). Les notes en mathématiques seraient mesurées pour les deux groupes à la fin de l'année, et idéalement, également à la base. * **Pourquoi c'est mieux :** La randomisation est la force clé d'un ECR. En assignant aléatoirement les élèves aux groupes, elle garantit qu'en moyenne, les deux groupes sont comparables sur toutes les caractéristiques, observées (comme les notes antérieures en mathématiques, les données démographiques) et non observées (comme la motivation, le soutien parental), au début de l'étude. Cet équilibre minimise l'influence des variables confondantes. Toute différence significative dans les notes en mathématiques observée entre les groupes à la fin de l'année peut alors être attribuée avec beaucoup plus de confiance à l'effet causal du programme de tutorat, plutôt qu'à des différences préexistantes. 4. Une limitation qui pourrait encore subsister même dans la conception améliorée de l'ECR est l'**attrition différentielle ou le décrochage**. Si les élèves du groupe de tutorat sont plus susceptibles d'abandonner le programme (ou l'étude) pour des raisons liées à leurs performances académiques (par exemple, les élèves en difficulté abandonnent, ne laissant que les élèves les plus performants), ou si le groupe témoin connaît des schémas de décrochage différents, l'équilibre atteint par la randomisation peut être compromis. Cette attrition différentielle peut réintroduire un biais, faisant de l'effet observé une estimation inexacte de l'impact causal réel.