Cette page Web a été archivée dans le Web.
Évaluation dun programme : Lignes directrices à suivre pour poser les bonnes questions et communiquer les résultats
par Gerry Gaes1
Office of Research, Federal Bureau of Prisons, États-Unis
Pourquoi, quoi, où, qui et comment sont les principales questions à poser pour procéder à lévaluation dun programme. Pourquoi est la question la plus fondamentale à poser au sujet dune évaluation. Cette question porte sur la raison dune évaluation et les objectifs projetés du programme évalué. En réponse à la question quoi, il faut définir la nature précise de lintervention, les mécanismes sociaux et (ou) psychologiques qui seront touchés, la nature des résultats et le cadre du programme. Au moment de lévaluation dun programme, la question où concerne le lieu du programme et le moment où celui-ci est offert par rapport à la chronologie de la carrière en milieu correctionnel du délinquant. La question qui a trait aux participants au programme et à leurs caractéristiques. Cette question revêt de limportance au moment de décider du niveau de généralisation quon veut effectuer après lévaluation. La question comment se rapporte aux méthodes dévaluation quantitative et qualitative. Cet article aborde ces questions fondamentales et concerne également la question de la communication efficace des résultats.
Pourquoi
Même sil sagit de la question la plus fondamentale qui se pose au sujet dune évaluation, elle risque probablement le moins dêtre abordée et elle est la moins comprise. Lorsquun administrateur demande une évaluation, il est très important davoir une idée de lobjectif quil souhaite atteindre. Trop souvent ces questions ne sont pas posées. Après lévaluation, ladministrateur proteste devant les résultats présentés : « Ce nest pas ce que je voulais savoir ».
Il arrive souvent que les décideurs, les administrateurs et les concepteurs de programmes ne sachent pas comment définir les objectifs visés par une évaluation. Lévaluateur doit donc sassurer quil comprend la nature de lévaluation. Cela peut sembler banal dans le cas de lévaluation des programmes dinterventions correctionnelles. Bien entendu, nous savons que le programme vise à combler certaines lacunes du délinquant et à laider à réintégrer la société. Cependant ces objectifs sont souvent trop vagues. Un décideur peut croire que la réussite dun programme tient au fait quune grande partie des participants ont obtenu des résultats spectaculaires. Un administrateur peut penser que le programme naidera probablement que certains délinquants et que nos attentes ne doivent pas être trop élevées. Certains administrateurs désirent savoir comment améliorer un programme. Un concepteur de programme peut croire quun programme est couronné de succès si le participant change dattitude et quil veut modifier son comportement. Toutefois, du point de vue de ladministrateur, cela peut être insuffisant.
Lévaluateur doit donc pouvoir définir les objectifs de létude, établir des mesures ou des critères qui satisferont les intéressés et faire en sorte que les intervenants conviennent que les recherches répondront à leurs préoccupations ou que certaines questions devront faire lobjet dune étude ultérieure. Il vaut mieux le faire avant détablir le plan de recherche et avant la mise en uvre du programme, en particulier dans le cas de programmes nouveaux ou novateurs. Si un programme est permanent, il importe de préciser les objectifs de ladministrateur.
Rossi et Freeman2 ont consacré un chapitre entier au « contexte social de lévaluation ». Dans ce chapitre, ils examinent les répercussions de lévaluation, le rôle des intervenants et le processus politique en jeu. Pour étoffer ces concepts, jexamine lun des domaines de recherche les plus délicats sur le plan politique et ayant le plus de charge affective dans le secteur des services correctionnels lefficacité de la privatisation des prisons. En un sens, le fonctionnement dune prison peut être considéré comme la plus générale des interventions. En fait, daucuns soutiennent que dans lévaluation de la privatisation des prisons, il sagit de déterminer si lindustrie peut mieux réussir à assurer la réinsertion sociale du délinquant.
La privatisation est un cas où il est facile didentifier les concurrents et où les conséquences de toute évaluation seront chaudement contestées. Les intervenants sont les décideurs et les responsables de lélaboration des politiques (législateurs et hauts fonctionnaires). Les répondants du programme sont des entreprises correctionnelles privées ou des fonctionnaires qui préconisent la privatisation. Les répondants de lévaluation sont généralement des cabinets de consultants ou les universités ayant des fondations qui effectuent des travaux de consultation externes. Les participants visés sont les détenus affectés à une prison ou un programme en particulier. Léquipe de gestion du programme se compose de présidents et chefs de la direction et dadministrateurs du secteur privé. Le personnel du programme se compose de tous ceux qui sont engagés pour offrir des services. Les concurrents sont les entreprises qui présentent une soumission pour exécuter un programme et, dans certains cas, il peut sagir de fonctionnaires. Dans ce contexte, les intervenants sont non seulement les entreprises privées, mais aussi les syndicats de fonctionnaires et les administrateurs de prisons publiques ou les législateurs qui appuient les deux côtés de la question.
Une fois que les objectifs de lévaluation dun programme ont été définis, que les intervenants ont été identifiés et que le contexte politique a été pris en considération, létape suivante consiste à analyser toutes les composantes du programme et la nature des mécanismes de changement que le programme est censé aborder.
Il est primordial de comprendre que aborder lévaluation sinscrit dans un contexte politique et que les résultats dune les évaluation, même si elle est effectuée selon les règles de lart, peuvent avoir très peu deffets sur les décisions stratégiques, étant donné le pouvoir politique des divers intervenants. Le rôle de lévaluateur consiste à réaliser une à étude bien conçue, à aborder toutes les questions auxquelles les intervenants sintéressent et à présenter les les constatations et les limites des conclusions. Rossi et Freeman citent Donald T. Campbell selon lequel les évaluateurs doivent agir comme les serviteurs de la « société qui expérimente ».3 Campbell croyait que le rôle de lévaluateur consiste à présenter ses conclusions plutôt quà préconiser un programme ou une politique en particulier. De plus, il a prévenu les intéressés déviter de manquer dhumilité dans la présentation de leurs conclusions.
Quoi
Il y a de nombreux facteurs à prendre en considération à cette étape. Il faut définir la nature précise de lintervention, les mécanismes sociaux ou psychologiques touchés, la nature des résultats et le cadre du programme. Rossi et Freeman préconisent létablissement dun modèle dimpact. Il sagit dune « tentative pour traduire des concepts concernant la réglementation, la modification et le contrôle du comportement ou des conditions en hypothèses sur lesquelles laction peut se fonder ».4 Ils discutent également dhypothèses causales et dhypothèses relatives à lintervention et à laction. Le modèle dimpact contient une hypothèse causale sur la nature du problème abordé. Comment devient-on alcoolique ? Quelle est la nature de la toxicomanie ? Quels sont les mécanismes du dysfonctionnement sexuel ? Lhypothèse relative à lintervention porte sur la façon dont lintervention influera sur le mécanisme de dysfonctionnement. Lhypothèse relative à laction indique si lintervention est différente du mécanisme qui a dabord causé le problème. Par exemple, si lon conçoit un programme visant à enseigner compétences professionnelles, daprès lhypothèse causale, il faut posséder certaines compétences et habiletés pour obtenir un emploi. Selon lhypothèse relative à lintervention, la formation professionnelle améliorera les compétences; cependant daprès lhypothèse relative à laction, même si formation professionnelle améliore les compétences, elle naborde pas toutes les compétences nécessaires pour réussir à trouver un emploi. Parmi les autres compétences figurent la capacité de sentendre avec ses collègues ou la capacité découter et dobéir à un ordre.
Où
Ilsagit du lieu du programme évalué du moment où celui-ci est offert par rapport à la chronologie de la carrière en correctionnel du délinquant. Le du programme peut sembler peu important. Toutefois, il peut souvent être facteur qui détermine le succès ou dun programme. Un programme de traitement des toxicomanes offert dans un milieu où les drogues sont faciles à obtenir ou bien où les employés autres que le personnel du programme nappuient pas lintervention a peu de chances de remporter du succès, quelle que soit la qualité de la conception du programme. En général, les évaluateurs de programmes ne font pas état du soutien du programme. Celui-ci peut avoir des conséquences graves pour le succès du programme.
Qui
Il est aussi important de déterminer qui participe à un programme que de définir la nature du programme. Dans certains cas, les caractéristiques des participants au programme peuvent être si importantes que lévaluateur veuille examiner de façon expérimentale le rapport entre lintervention et la population cible. Le principe du risque est un énoncé général de la nature des interventions et des participants au programme. Selon ce principe, quelle que soit la nature du programme ou de lintervention, le programme remportera plus de succès dans le cas des délinquants à risque plus élevé. Il y a bien entendu beaucoup dautres caractéristiques de la population cible qui pourraient influer sur les déductions à établir. Existe-t-il des genres dinterventions propres à chaque sexe ? Existe-t-il des facteurs socio-économiques ? À quels genres dinterventions la population visée a-t-elle participé auparavant ? Il faut poser toutes ces questions pour tenir compte des caractéristiques de base de la population. Il importe de poser ces questions au moment de décider du niveau de généralisation que nous voulons effectuer après lévaluation.
Comment
Approche quantitative et approche qualitative
Aujourdhui, la plus grande partie des travaux de recherche sur lévaluation des programmes mettent laccent sur les méthodes quantitatives pour déterminer si une intervention a été couronnée de succès. Je préconise lapproche quantitative parce que je crois que cest la seule façon dont les sciences sociales pourront établir des lois sur le comportement humain. Cependant, ladepte de lanalyse qualitative en sciences sociales et en recherche sur lévaluation dispose dune vaste marge de manuvre. Bien que nous supposions que les interventions sont fondées sur les meilleures connaissances scientifiques disponibles et que nous ne faisions peut-être que préciser une intervention utilisée auparavant, il est possible dapprendre beaucoup en observant les participants à un programme, en les interrogeant ou simplement en observant la participation à un programme avec un esprit ouvert. Quiconque a effectué une analyse quantitative sérieuse sait comment la réaction humaine varie. Une partie de cette variabilité peut sexpliquer par une foule de variables que nous utilisons pour analyser les données. Cependant, il y aura presque toujours beaucoup de variance résiduelle. Une façon daborder ce phénomène quantitatif consiste à utiliser des méthodes qualitatives pour examiner les différences dans les réactions humaines. Utilisées de cette manière, les méthodes qualitatives servent de complément aux méthodes quantitatives.
Compléter les données quantitatives par des données qualitatives
Jemprunte plusieurs exemples à louvrage de Patton sur les méthodes qualitatives5 pour montrer comment il est possible dutiliser lévaluation qualitative pour compléter lanalyse quantitative. Patton décrit une évaluation dun programme dalphabétisation dans le cadre de laquelle les évaluateurs ont eu recours à des méthodes quantitatives pour mesurer le degré dalphabétisation et à des échelles pour évaluer la satisfaction des participants à légard du programme. Même si les étudiants affichaient des résultats positifs, les évaluateurs ont approfondi la question et ils ont utilisé des exemples de cas particuliers pour expliquer la nature des améliorations et ils ont tenu des entretiens en profondeur pour avoir une meilleure idée de la satisfaction à légard du programme.
Lorsquon leur a demandé leur opinion au sujet du programme, les participants ont donné les raisons de leur degré élevé de satisfaction. Nétant plus limités aux questions précises du questionnaire sur la satisfaction, les participants ont indiqué quils pouvaient maintenant lire le journal, rédiger une liste dépicerie, comprendre la posologie des flacons à médicaments, mieux sorienter dans les rues de la ville et passer lexamen écrit pour obtenir leur permis de conduire.
Les données qualitatives ne sont pas simplement une exposition de données quantitatives; elles révèlent souvent que les catégories que nous avons choisies pour mesurer uniformément un phénomène ne correspondent peut-être pas à la « phénoménologie » du participant. Les entretiens en profondeur ou les questions à réponses libres permettent au participant dexprimer des attitudes, des opinions ou des croyances qui peuvent jeter un éclairage nouveau sur limpact du programme. Cela peut être important pendant les premières étapes de la conception ou de la mise en uvre dun programme.
Utilisation appropriée des méthodes qualitatives
Patton a également tracé les grandes lignes des « utilisations appropriées des méthodes qualitatives ».6 Voici une brève description de chacune de celles-ci.
Études et évaluations du processus
Les évaluations du processus portent sur la façon dont un résultat est obtenu. Les évaluations des programmes devraient toujours être fondées sur une théorie qui indique comment une intervention modifiera le comportement humain. Pour comprendre le mécanisme du changement, le chercheur peut compléter les mesures quantitatives des résultats médiateurs par des entrevues qui permettent dapprofondir la nature et les causes du comportement du client. Selon mon expérience, même dans les programmes dintervention couronnés de succès, les tentatives pour établir un lien quantitatif entre le processus et le résultat obtiennent généralement un succès limité. Dans les recherches quasi expérimentales ou les études par observation, il est particulièrement important décarter les causes artéfactuelles ou involontaires dun résultat. Les évaluations du processus portent non seulement sur les mécanismes des changements, mais aussi sur les agents de changement eux-mêmes. Par conséquent, les fournisseurs du programme font également lobjet dune étude dans une évaluation qualitative des processus. Patton énumère les questions suivantes : « Quelles sont les choses que vivent les personnes et qui font de ce programme ce quil est ? Quels sont les points forts et les points faibles du programme ? Comment les clients sont-ils amenés à participer au programme et comment évoluent-ils dans le programme une fois quils sont devenus participants ? Quelle est la nature des interactions entre le personnel et les clients ? ».7
Évaluations formatives pour lamélioration du programme
Les évaluations formatives visent à améliorer un programme. Il sagit également dévaluations des processus qui font ressortir les points forts et les points faibles dun programme. Un programme peut être bien conçu, fondé sur une théorie saine et bien mesuré; il peut néanmoins y avoir une dynamique interne collective ou individuelle qui nuit au progrès du programme. Le personnel na peut-être pas reçu une formation adéquate ou établi des liens avec les clients. Les évaluations formatives des processus visent à découvrir ces problèmes.
Évaluation des résultats individualisés
Lappariement des traitements et des services des programmes aux besoins des clients est le dada de bien des travailleurs sociaux, de psychologues et denseignants. Pourtant, lappariement est rarement une partie explicite du processus dévaluation dun programme. Une façon denvisager lappariement consiste à effectuer des études qualitatives dans le cadre desquelles le chercheur fournit des descriptions des différentes manières dont les clients réagissent à différents traitements, styles de traitement et fournisseurs de traitement. Les évaluateurs mettent par écrit les points de vue particuliers des clients par rapport au régime de traitement. Cela peut mener à une typologie et, à terme, à une évaluation quantitative de certaines hypothèses dappariement.
Études des cas présentant un intérêt particulier ou riches en information
Il est possible de choisir des cas qui donnent des renseignements très utiles sur un programme particulier. Les études de cas sur léchec complet de certains programmes peuvent être pertinentes. Les entrevues structurées avec les clients de ces programmes peuvent indiquer des stratégies de rechange pour des sous-catégories de personnes. Ces études peuvent sappliquer aux décrocheurs ou aux personnes qui retirent des avantages spectaculaires dun programme. Dans chaque cas, le chercheur veut comprendre la nature de léchec ou du succès pour que le programme puisse être amélioré.
Comparer les programmes pour documenter la diversité
Lorsquon tente dadapter un programme national ou une « intervention universelle » à un endroit précis, il y a de nombreuses raisons de sattendre à ce quil y ait des nuances locales dans la mise en uvre du programme ou des écarts éventuels chez les clients. Ces écarts peuvent contribuer à des résultats inattendus. Ils peuvent être documentés quantitativement et qualitativement.
Évaluations de la mise en uvre
Les meilleures interventions échoueront si lon ne prête pas attention à la mise en uvre dun programme. La plupart des évaluateurs qui utilisent des données objectives et quantitatives mesurent les résultats comme si le programme avait été mis en uvre avec succès. Il existe des méthodes quantitatives servant à évaluer la mise en uvre dun programme. Cependant, les méthodes qualitatives peuvent également être utiles. Patton aborde le problème sous les angles qualitatifs suivants : « Quelle est lexpérience des clients du programme ? Quels services sont offerts aux clients ? Que fait le personnel ? Que procure le programme ? Comment le programme est-il organisé ? ».8 Cette approche qualitative devrait être complétée par des tests sur les connaissances des clients ou lévaluation de lefficacité du fournisseur de traitement par dautres personnes averties. Par conséquent, une fois de plus, nous pouvons compléter un genre dinformation par un autre.
Définir la théorie en matière daction dun programme
Selon Patton, une théorie en matière daction établit un lien entre les intrants dun programme et les actions, dune part, et les résultats, dautre part. Cela ressemble beaucoup à une théorie bien articulée. Cependant, citant Argyris,9 Patton établit une distinction entre les « théories épousées » et les « théories appliquées ». Les premières sont les principes préconisés par les concepteurs du programme ou les théoriciens du programme. Les deuxièmes sont les croyances du fournisseur du traitement ou du fonctionnaire qui accomplit le travail au niveau local. Une évaluation qualitative des deux indiquera la mesure dans laquelle il existe un parallèle dans les plans du concepteur du traitement et ceux du fournisseur du traitement. Cela peut être particulièrement important dans le cas dune nouvelle approche novatrice.
Mettre laccent sur la qualité du programme ou la qualité de vie
Patton soutient que même si lévaluation dun programme peut être clairement définie et mesurée dune façon quantitative, il importe toujours dans bien des cas dévaluer la signification profonde de limpact dun programme en procédant également à une évaluation qualitative. Par exemple, si nous trouvons quun délinquant risque moins de consommer des drogues après avoir suivi un programme de traitement pour toxicomanes, quest-ce que cela signifie pour la qualité de vie de celui-ci ? Une réponse qualitative peut aider à nuancer les différentes réponses données par les gens. Que signifie le fait dêtre assez satisfait par rapport au fait dêtre entièrement satisfait de son traitement ?
Documenter le développement au fil du temps
Les modifications du développement jouent un rôle extrêmement important dans lanalyse de la croissance (déclin) chez lhumain et pour lorganisme. Les données quantitatives peuvent indiquer que des modifications du développement se produisent, mais létude qualitative peut donner une meilleure idée du processus de croissance. Lorsque nous mesurons la croissance, nous utilisons souvent des structures linéaires ou parfois non linéaires pour démontrer quune croissance sest produite. Mais il peut sagir de courbes de croissance idéalisées. La croissance peut représenter des transitions soudaines de létat de certaines personnes ou organismes et une croissance lente ou faible chez dautres. Essayer dévaluer le phénomène de croissance par une analyse qualitative peut permettre de mieux comprendre les processus à létude.
Le comment de lévaluation quantitative et la communication des résultats
Lexplication des façons de procéder à une évaluation quantitative pourrait nécessiter des volumes : plan de recherche, méthodes quantitatives, théorie de la mesure, méta-analyse, décisions concernant les analyses coûts-avantages, simulations et bien dautres domaines techniques. Il y a des définitions opérationnelles précises de lintervention dans le cadre du programme, les processus quon veut changer et les résultats visés. Les compétences des évaluateurs doivent également être prises en considération. Les psychologues, sociologues, économistes, analystes en recherche opérationnelle et experts en simulation par ordinateur peuvent tous faire valoir un point de vue différent au sujet de la méthode dévaluation. Les quelques observations que jaimerais formuler ici ont trait à la communication des résultats de lanalyse quantitative.
Dans leur dernier chapitre, « Le contexte social de lévaluation »,10 Rossi et Freeman traitent de la nécessité pour les évaluateurs de devenir des «diffuseurs secondaires ». La plupart des évaluateurs excellent lorsquil sagit de produire un rapport technique sur les résultats de lévaluation. En général, ces rapports ne sont lus que par leurs pairs et non par les intervenants qui sont le plus touchés par les résultats de lévaluation. Par conséquent, la diffusion secondaire a trait à la communication des résultats des recherches aux intervenants de manière à les aider à comprendre et à prendre des décisions stratégiques. Cette sorte de communication devrait être directe et brève. Elle devrait présenter les restrictions ou les limites de létude, qui sont souvent absentes dans les résumés. Elle devrait également être présentée dans un langage que les intervenants peuvent comprendre et non dans le jargon technique de la discipline. Demander à votre auditoire ce quil a appris de votre exposé peut être un exercice dhumilité. Mais je sais aussi par expérience quil vaut mieux obtenir son opinion que de le voir garder le silence.
2. ROSS, P.H. et FREEMAN, H.E. Evaluation: A Systematic Approach, 5th Edition, Newbury Park, CA, Sage, 1993.
3. CAMPBELL, D. T. «Methods for the Experimenting Society », Evaluation Practice, vol. 12, no 3, 1991.
4. ROSSI et FREEMAN, 1993, p. 119.
5. ROSSI et FREEMAN, 1993, p. 119.
6. PATTON, M.Q.Qualitative Evaluation and Research Methods: Second Edition, Newbury Park, CA, Sage, 1990.
7. PATTON, 1990, chapitre 4, p. 92-141.
8. PATTON, 1990, p. 95.
9. PATTON, 1990, p. 105.
10. ARGYRIS C. Reasoning, Learning, and Action: Individual and Organizational, San Francisco, CA, Jossey-Bass, 1982.