Je suis récemment tombé sur des croquis que j'ai réalisés il y a quelques années. C'étaient de grossiers dessins en forme de bâtonnet d'un pêcheur dans un bateau avec de nombreuses lignes dans l'eau. Mais contrairement à un pêcheur normal, celui-ci n'a jamais ramené le poisson qu'il a accroché. Son travail, comme il le voyait, consistait à expérimenter différents appâts, agrès et techniques pour voir ce qui ferait mordre le poisson. Mais il ne les a jamais enroulés.
Lorsque j'ai réalisé les croquis, je travaillais depuis une décennie avec l'IPA sur des dizaines d'évaluations d'impact aléatoires en Amérique latine et en Afrique, d'abord en tant que coordinateur de recherche et directeur de pays, puis en tant que chercheur principal. Mon rôle était une petite partie du mouvement mondial pour utiliser des méthodes expérimentales pour tester l'efficacité des interventions conçues pour réduire la pauvreté, mais je craignais que nous ne fassions pas assez pour transformer les leçons de ces tests en programmes et politiques qui amélioraient réellement les gens. vies. Nous étions doués pour accrocher du poisson, mais nous n'en avions pas assez dans le bateau et sur des assiettes pour que les gens affamés puissent les manger.
… Je craignais que nous ne fassions pas assez pour transformer les leçons de ces tests en programmes et politiques qui amélioraient réellement la vie des gens. Nous étions doués pour accrocher du poisson, mais nous n'en avions pas assez dans le bateau et sur des assiettes pour que les gens affamés puissent les manger.
Je reconnais que dans cette comparaison entre les pêcheurs et les évaluateurs d’impact, il n’est pas juste d’attendre des évaluateurs qu’ils s’assurent que les données qu’ils produisent sont appliquées pour créer des programmes et des politiques efficaces. Mais si ce n’est pas leur travail, à qui appartient-il? Et que faut-il pour enrouler le poisson?
De l'innovation à la construction d'approches prometteuses
Au cours des dernières années, l'IPA a redoublé d'efforts pour faire passer les interventions prometteuses fondées sur des données probantes des projets pilotes initiaux à des programmes et politiques évolutifs et adaptables. Comme le sait tous ceux qui travaillent dans le domaine du développement international, il s’agit d’un processus complexe. Les résultats prometteurs de la première évaluation d'impact d'une intervention génèrent non seulement de l'enthousiasme, mais peuvent également entraîner plus de questions que de réponses. Dans quelle mesure les résultats sont-ils fiables et solides? L'étude originale était-elle valide en interne et suffisamment alimentée? Pourquoi l'approche a-t-elle fonctionné? Quel était le mécanisme? Dans quelle mesure le résultat a-t-il été dépendant du contexte? L'intervention fonctionnerait-elle à une plus grande échelle, avec d'autres exécutants? Comment améliorer la rentabilité de l'intervention? Et il y en a beaucoup plus.
Pour répondre systématiquement à ces questions, nous avons commencé à faire la distinction entre recherche d'innovation—Études de validation de principe pour déterminer si une approche fonctionne — et ce que nous appelons recherche à l'échelle—Le vaste ensemble de recherches supplémentaires nécessaires pour adopter des approches prometteuses allant de la validation de principe aux programmes et politiques évolutifs. La recherche à l'échelle commence par des approches fondées sur des preuves qui se sont déjà révélées prometteuses dans des évaluations d'impact rigoureuses et s'appuie sur ces approches prometteuses en recherchant des preuves supplémentaires sur la robustesse des résultats originaux, le moment, le lieu et les raisons pour lesquelles une approche devrait travail et les moyens d'optimiser la conception et la mise en œuvre des programmes à grande échelle. Les chercheurs en innovation accrochent les poissons et nous utilisons des recherches à l'échelle pour les enrouler.
Miser sur l'innovation: le cas des graphiques de croissance en Zambie
Pour illustrer ce concept, considérons un cas réel de poisson sur la ligne: des courbes de croissance pour réduire la croissance des enfants qui ralentit en Zambie.
Günther Fink, Rachel Levenson, Peter Rockers et Sarah Tembo ont testé des courbes de croissance à domicile en Zambie rurale pour améliorer la nutrition des enfants et réduire le retard de croissance. L’intervention consistait en une affiche de diagramme de croissance grandeur nature installée dans les maisons des gens, avec un code couleur indiquant quand la croissance d’un enfant ralentissait. Les parents pouvaient mesurer périodiquement la taille de leur enfant et voir immédiatement si la taille de l’enfant était en bonne santé, mesurant dans la zone verte, ou en retard, indiquée en rouge par rapport à la population de référence en bonne santé de l’OMS.
Les chercheurs ont travaillé avec l'IPA pour mener un ECR des courbes de croissance dans l'est de la Zambie, où près de la moitié de tous les enfants avaient un retard de croissance. Parmi les enfants qui avaient un retard de croissance avant l'installation des courbes de croissance, les chercheurs ont trouvé une réduction de 22 points de pourcentage du nombre d'enfants encore retardés dix mois plus tard par rapport au groupe témoin. Ceci a été réalisé sans fournir de compléments alimentaires ou de ressources supplémentaires autres que les courbes de croissance. Il y avait aussi un deuxième bras de traitement, utilisant la surveillance communautaire, qui avait des résultats nuls. Vous pouvez lire sur les deux bras dans le document académique et la note politique de l'IPA.
C'est une découverte passionnante. Les courbes de croissance semblent avoir conduit à une réaffectation des ressources au sein du ménage au profit des nourrissons et des tout-petits à un moment crucial de leur développement. Une nutrition inadéquate au cours des 1000 premiers jours de la vie peut causer des dommages à vie au cerveau en développement d'un enfant et contribuer à réduire la productivité et le bien-être à l'âge adulte, de sorte que la réduction du retard de croissance trouvée dans cette étude a le potentiel d'avoir un impact durable sur ces derniers. la vie des enfants. Mais que devons-nous faire de ce résultat? Devrions-nous le crier depuis les toits et commencer à tapisser les murs des gens avec des affiches de courbes de croissance dans les zones à taux élevé de retard de croissance? Si nous avons réussi à attraper un poisson, que faut-il pour le ramener?
Fiabilité, robustesse et potentiel d'échelle
Pour passer de cette seule étude dans l'est de la Zambie à un programme évolutif fondé sur des données probantes, il y a plusieurs questions auxquelles nous devons répondre. Premièrement, quelle est la fiabilité de ces résultats? L'étude était un essai contrôlé randomisé en grappes avec un total de 336 enfants dans 85 villages répartis entre le traitement et le contrôle. Ce n’est pas minuscule, mais ce n’est pas énorme non plus. Lorsque vous réduisez l’échantillon aux seuls ménages dont l’enfant a un retard de croissance au départ, il est encore plus petit. La méthode d'étude est donc solide, mais la taille de l'étude rend le résultat un peu moins convaincant.
Nous voulons également savoir si quelqu'un a vérifié de manière indépendante les travaux des chercheurs. L'étude a été publiée dans une revue à comité de lecture, c'est donc un bon début, mais en plus de cela, l'équipe de transparence de la recherche de l'IPA, qui n'était pas impliquée dans l'analyse des résultats de l'étude, a vérifié indépendamment le code d'analyse de l'équipe de recherche pour confirmer que il produit les résultats publiés, ce qu'il fait. Ils ont ensuite rendu les données et le code accessibles au public sur le Datahub for Field Experiments in Economics and Public Policy, le référentiel de données sécurisé que l'IPA utilise pour publier des ensembles de données.
Une fois que nous sommes convaincus de la fiabilité d'une étude, il y a un autre ensemble de questions de recherche pour comprendre à quel point les résultats sont robustes, quels sont les mécanismes spécifiques qui déterminent le résultat, si et comment l'intervention pourrait être étendue et les conditions de portée. pour une adaptation réussie à de nouveaux contextes. Celles-ci constituent ce que nous appelons un programme de recherche à l'échelle.
Pour passer de cette seule étude dans l'est de la Zambie à un programme évolutif fondé sur des données probantes, il y a plusieurs questions auxquelles nous devons répondre. Premièrement, dans quelle mesure ces résultats sont-ils fiables? … [Ensuite] il y a un autre ensemble de questions de recherche pour comprendre à quel point les résultats sont robustes, quels sont les mécanismes spécifiques qui déterminent le résultat, si et comment l'intervention pourrait être étendue et les conditions de portée pour une adaptation réussie à de nouveaux contextes. Celles-ci constituent ce que nous appelons un programme de recherche à l'échelle.
Notre programme actuel: rassembler les données probantes sur les graphiques de croissance
Dans le cas des courbes de croissance, nous avons travaillé avec Günther Fink et Peter Rockers de l'étude originale pour créer un programme de recherche à l'échelle. Un ensemble de questions concernait la compréhension du mécanisme derrière le succès de l’intervention. Comment les participants à l'étude ont-ils interagi avec les graphiques? Les parents savaient-ils comment mesurer leurs enfants à l'aide des tableaux, en les alignant sur la ligne d'âge appropriée? Savaient-ils comment interpréter la mesure? Il y avait d'autres éléments sur les courbes de croissance non liés à des mesures telles que des images ambitieuses et des descriptions d'options alimentaires nutritives disponibles localement. Quel rôle ces autres éléments ont-ils joué dans le succès apparent de l'intervention?
Pour tenter de répondre à ces questions, nous avons mené une étude de suivi qualitative avec des participants du groupe de traitement initial. Nous avons mené quatorze discussions de groupe et 25 entretiens approfondis. Presque toutes les maisons que nous avons revisitées avaient encore des courbes de croissance sur leurs murs trois ans après la fin de l'étude. Nous avons constaté que les femmes pouvaient démontrer correctement comment mesurer un enfant et interpréter la mesure, mais les hommes étaient beaucoup moins familiers avec la façon dont les graphiques étaient censés être utilisés.
Parmi les autres questions de notre programme de recherche sur la voie vers l'échelle, citons: Quels sont les impacts à long terme des courbes de croissance à mesure que les enfants grandissent et pour les frères et sœurs plus jeunes nés après la phase de mise en œuvre? Les graphiques de croissance auraient-ils un effet similaire s'ils étaient mis en œuvre dans d'autres régions de la Zambie à une plus grande échelle et s'ils étaient dirigés par le gouvernement? Une version adaptée des courbes de croissance pourrait-elle être efficace en dehors de la Zambie dans les pays où les taux de dénutrition infantile sont tout aussi élevés?
Au cours de la dernière année et demie, nous avons cherché des occasions de poursuivre le programme de recherche de la voie vers l’échelle. La réplication du code par bouton-poussoir par l’équipe de transparence de la recherche de l’IPA et l’étude de suivi qualitative susmentionnée n’étaient que le point de départ. Nous avons également obtenu le financement de deux nouveaux essais de courbes de croissance. L'un est en Zambie, en collaboration avec le ministère de la Santé pour étendre et évaluer l'approche dans trois régions. Pour le second, nous nous sommes associés à J-PAL Asie du Sud-Est pour adapter et tester une intervention de courbe de croissance en Indonésie.
Ceci est un exemple de la façon dont l'IPA suit des preuves prometteuses et tente de répondre systématiquement aux questions qui conduisent à des programmes et politiques évolutifs et adaptables. Si les résultats de l'essai en Zambie sont positifs, notre partenaire gouvernemental sera en mesure d'étendre le programme à travers le pays, et si l'essai en Indonésie démontre que l'approche peut être adaptée à de nouveaux contextes, nous ne chercherons pas seulement à étendre l'approche. en Indonésie, mais aussi pour l’introduire dans d’autres pays aux prises avec une dénutrition persistante et un retard de développement.
Initiatives de recherche à l'échelle
Nous organisons ces initiatives de recherche de contournement à l'échelle pour des résultats ou des sujets spécifiques, tels que la croissance et le développement des enfants et les petites et moyennes entreprises. Chacune de ces initiatives comporte trois volets principaux.
- Identifier des approches prometteuses fondées sur des données probantes à prioriser pour la recherche à l'échelle
- Créer des programmes de recherche à l'échelle pour chaque approche priorisée
- Poursuivre les programmes de recherche en développant des partenariats et la collecte de fonds pour des projets de recherche à l'échelle pour répondre aux questions de l'agenda et faire évoluer les approches fondées sur des données probantes vers des solutions évolutives
Dans un prochain article, je soulignerai notre initiative de recherche à l’échelle sur la croissance et le développement de l’enfant et expliquerai ce que nous avons fait dans chacun de ces trois volets. Si vous êtes un chercheur ou un bailleur de fonds intéressé par la recherche à l'échelle, n'hésitez pas à contacter l'équipe de recherche Path-to-Scale à shenderson@poverty-action.org.
*
