Service correctionnel du Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

FORUM - Recherche sur l'actualité correctionnelle

Avertissement Cette page Web a été archivée dans le Web.

Évaluation d’un programme : Lignes directrices à suivre pour poser les bonnes questions et communiquer les résultats

par Gerry Gaes1
Office of Research, Federal Bureau of Prisons, États-Unis

Pourquoi, quoi, où, qui et comment sont les principales questions à poser pour procéder à l’évaluation d’un programme. Pourquoi est la question la plus fondamentale à poser au sujet d’une évaluation. Cette question porte sur la raison d’une évaluation et les objectifs projetés du programme évalué. En réponse à la question quoi, il faut définir la nature précise de l’intervention, les mécanismes sociaux et (ou) psychologiques qui seront touchés, la nature des résultats et le cadre du programme. Au moment de l’évaluation d’un programme, la question concerne le lieu du programme et le moment où celui-ci est offert par rapport à la chronologie de la carrière en milieu correctionnel du délinquant. La question qui a trait aux participants au programme et à leurs caractéristiques. Cette question revêt de l’importance au moment de décider du niveau de généralisation qu’on veut effectuer après l’évaluation. La question comment se rapporte aux méthodes d’évaluation quantitative et qualitative. Cet article aborde ces questions fondamentales et concerne également la question de la communication efficace des résultats.

Pourquoi

Même s’il s’agit de la question la plus fondamentale qui se pose au sujet d’une évaluation, elle risque probablement le moins d’être abordée et elle est la moins comprise. Lorsqu’un administrateur demande une évaluation, il est très important d’avoir une idée de l’objectif qu’il souhaite atteindre. Trop souvent ces questions ne sont pas posées. Après l’évaluation, l’administrateur proteste devant les résultats présentés : « Ce n’est pas ce que je voulais savoir ».

Il arrive souvent que les décideurs, les administrateurs et les concepteurs de programmes ne sachent pas comment définir les objectifs visés par une évaluation. L’évaluateur doit donc s’assurer qu’il comprend la nature de l’évaluation. Cela peut sembler banal dans le cas de l’évaluation des programmes d’interventions correctionnelles. Bien entendu, nous savons que le programme vise à combler certaines lacunes du délinquant et à l’aider à réintégrer la société. Cependant ces objectifs sont souvent trop vagues. Un décideur peut croire que la réussite d’un programme tient au fait qu’une grande partie des participants ont obtenu des résultats spectaculaires. Un administrateur peut penser que le programme n’aidera probablement que certains délinquants et que nos attentes ne doivent pas être trop élevées. Certains administrateurs désirent savoir comment améliorer un programme. Un concepteur de programme peut croire qu’un programme est couronné de succès si le participant change d’attitude et qu’il veut modifier son comportement. Toutefois, du point de vue de l’administrateur, cela peut être insuffisant.

L’évaluateur doit donc pouvoir définir les objectifs de l’étude, établir des mesures ou des critères qui satisferont les intéressés et faire en sorte que les intervenants conviennent que les recherches répondront à leurs préoccupations ou que certaines questions devront faire l’objet d’une étude ultérieure. Il vaut mieux le faire avant d’établir le plan de recherche et avant la mise en œuvre du programme, en particulier dans le cas de programmes nouveaux ou novateurs. Si un programme est permanent, il importe de préciser les objectifs de l’administrateur.

Rossi et Freeman2 ont consacré un chapitre entier au « contexte social de l’évaluation ». Dans ce chapitre, ils examinent les répercussions de l’évaluation, le rôle des intervenants et le processus politique en jeu. Pour étoffer ces concepts, j’examine l’un des domaines de recherche les plus délicats sur le plan politique et ayant le plus de charge affective dans le secteur des services correctionnels — l’efficacité de la privatisation des prisons. En un sens, le fonctionnement d’une prison peut être considéré comme la plus générale des interventions. En fait, d’aucuns soutiennent que dans l’évaluation de la privatisation des prisons, il s’agit de déterminer si l’industrie peut mieux réussir à assurer la réinsertion sociale du délinquant.

La privatisation est un cas où il est facile d’identifier les concurrents et où les conséquences de toute évaluation seront chaudement contestées. Les intervenants sont les décideurs et les responsables de l’élaboration des politiques (législateurs et hauts fonctionnaires). Les répondants du programme sont des entreprises correctionnelles privées ou des fonctionnaires qui préconisent la privatisation. Les répondants de l’évaluation sont généralement des cabinets de consultants ou les universités ayant des fondations qui effectuent des travaux de consultation externes. Les participants visés sont les détenus affectés à une prison ou un programme en particulier. L’équipe de gestion du programme se compose de présidents et chefs de la direction et d’administrateurs du secteur privé. Le personnel du programme se compose de tous ceux qui sont engagés pour offrir des services. Les concurrents sont les entreprises qui présentent une soumission pour exécuter un programme et, dans certains cas, il peut s’agir de fonctionnaires. Dans ce contexte, les intervenants sont non seulement les entreprises privées, mais aussi les syndicats de fonctionnaires et les administrateurs de prisons publiques ou les législateurs qui appuient les deux côtés de la question.

Une fois que les objectifs de l’évaluation d’un programme ont été définis, que les intervenants ont été identifiés et que le contexte politique a été pris en considération, l’étape suivante consiste à analyser toutes les composantes du programme et la nature des mécanismes de changement que le programme est censé aborder.

Il est primordial de comprendre que aborder l’évaluation s’inscrit dans un contexte politique et que les résultats d’une les évaluation, même si elle est effectuée selon les règles de l’art, peuvent avoir très peu d’effets sur les décisions stratégiques, étant donné le pouvoir politique des divers intervenants. Le rôle de l’évaluateur consiste à réaliser une à étude bien conçue, à aborder toutes les questions auxquelles les intervenants s’intéressent et à présenter les les constatations et les limites des conclusions. Rossi et Freeman citent Donald T. Campbell selon lequel les évaluateurs doivent agir comme les serviteurs de la « société qui expérimente ».3 Campbell croyait que le rôle de l’évaluateur consiste à présenter ses conclusions plutôt qu’à préconiser un programme ou une politique en particulier. De plus, il a prévenu les intéressés d’éviter de manquer d’humilité dans la présentation de leurs conclusions.

Quoi

Il y a de nombreux facteurs à prendre en considération à cette étape. Il faut définir la nature précise de l’intervention, les mécanismes sociaux ou psychologiques touchés, la nature des résultats et le cadre du programme. Rossi et Freeman préconisent l’établissement d’un modèle d’impact. Il s’agit d’une « tentative pour traduire des concepts concernant la réglementation, la modification et le contrôle du comportement ou des conditions en hypothèses sur lesquelles l’action peut se fonder ».4 Ils discutent également d’hypothèses causales et d’hypothèses relatives à l’intervention et à l’action. Le modèle d’impact contient une hypothèse causale sur la nature du problème abordé. Comment devient-on alcoolique ? Quelle est la nature de la toxicomanie ? Quels sont les mécanismes du dysfonctionnement sexuel ? L’hypothèse relative à l’intervention porte sur la façon dont l’intervention influera sur le mécanisme de dysfonctionnement. L’hypothèse relative à l’action indique si l’intervention est différente du mécanisme qui a d’abord causé le problème. Par exemple, si l’on conçoit un programme visant à enseigner compétences professionnelles, d’après l’hypothèse causale, il faut posséder certaines compétences et habiletés pour obtenir un emploi. Selon l’hypothèse relative à l’intervention, la formation professionnelle améliorera les compétences; cependant d’après l’hypothèse relative à l’action, même si formation professionnelle améliore les compétences, elle n’aborde pas toutes les compétences nécessaires pour réussir à trouver un emploi. Parmi les autres compétences figurent la capacité de s’entendre avec ses collègues ou la capacité d’écouter et d’obéir à un ordre.

Ils’agit du lieu du programme évalué du moment où celui-ci est offert par rapport à la chronologie de la carrière en correctionnel du délinquant. Le du programme peut sembler peu important. Toutefois, il peut souvent être facteur qui détermine le succès ou d’un programme. Un programme de traitement des toxicomanes offert dans un milieu où les drogues sont faciles à obtenir ou bien où les employés autres que le personnel du programme n’appuient pas l’intervention a peu de chances de remporter du succès, quelle que soit la qualité de la conception du programme. En général, les évaluateurs de programmes ne font pas état du soutien du programme. Celui-ci peut avoir des conséquences graves pour le succès du programme.

Qui

Il est aussi important de déterminer qui participe à un programme que de définir la nature du programme. Dans certains cas, les caractéristiques des participants au programme peuvent être si importantes que l’évaluateur veuille examiner de façon expérimentale le rapport entre l’intervention et la population cible. Le principe du risque est un énoncé général de la nature des interventions et des participants au programme. Selon ce principe, quelle que soit la nature du programme ou de l’intervention, le programme remportera plus de succès dans le cas des délinquants à risque plus élevé. Il y a bien entendu beaucoup d’autres caractéristiques de la population cible qui pourraient influer sur les déductions à établir. Existe-t-il des genres d’interventions propres à chaque sexe ? Existe-t-il des facteurs socio-économiques ? À quels genres d’interventions la population visée a-t-elle participé auparavant ? Il faut poser toutes ces questions pour tenir compte des caractéristiques de base de la population. Il importe de poser ces questions au moment de décider du niveau de généralisation que nous voulons effectuer après l’évaluation.

Comment

Approche quantitative et approche qualitative

Aujourd’hui, la plus grande partie des travaux de recherche sur l’évaluation des programmes mettent l’accent sur les méthodes quantitatives pour déterminer si une intervention a été couronnée de succès. Je préconise l’approche quantitative parce que je crois que c’est la seule façon dont les sciences sociales pourront établir des lois sur le comportement humain. Cependant, l’adepte de l’analyse qualitative en sciences sociales et en recherche sur l’évaluation dispose d’une vaste marge de manœuvre. Bien que nous supposions que les interventions sont fondées sur les meilleures connaissances scientifiques disponibles et que nous ne faisions peut-être que préciser une intervention utilisée auparavant, il est possible d’apprendre beaucoup en observant les participants à un programme, en les interrogeant ou simplement en observant la participation à un programme avec un esprit ouvert. Quiconque a effectué une analyse quantitative sérieuse sait comment la réaction humaine varie. Une partie de cette variabilité peut s’expliquer par une foule de variables que nous utilisons pour analyser les données. Cependant, il y aura presque toujours beaucoup de variance résiduelle. Une façon d’aborder ce phénomène quantitatif consiste à utiliser des méthodes qualitatives pour examiner les différences dans les réactions humaines. Utilisées de cette manière, les méthodes qualitatives servent de complément aux méthodes quantitatives.

Compléter les données quantitatives par des données qualitatives

J’emprunte plusieurs exemples à l’ouvrage de Patton sur les méthodes qualitatives5 pour montrer comment il est possible d’utiliser l’évaluation qualitative pour compléter l’analyse quantitative. Patton décrit une évaluation d’un programme d’alphabétisation dans le cadre de laquelle les évaluateurs ont eu recours à des méthodes quantitatives pour mesurer le degré d’alphabétisation et à des échelles pour évaluer la satisfaction des participants à l’égard du programme. Même si les étudiants affichaient des résultats positifs, les évaluateurs ont approfondi la question et ils ont utilisé des exemples de cas particuliers pour expliquer la nature des améliorations et ils ont tenu des entretiens en profondeur pour avoir une meilleure idée de la satisfaction à l’égard du programme.

Lorsqu’on leur a demandé leur opinion au sujet du programme, les participants ont donné les raisons de leur degré élevé de satisfaction. N’étant plus limités aux questions précises du questionnaire sur la satisfaction, les participants ont indiqué qu’ils pouvaient maintenant lire le journal, rédiger une liste d’épicerie, comprendre la posologie des flacons à médicaments, mieux s’orienter dans les rues de la ville et passer l’examen écrit pour obtenir leur permis de conduire.

Les données qualitatives ne sont pas simplement une exposition de données quantitatives; elles révèlent souvent que les catégories que nous avons choisies pour mesurer uniformément un phénomène ne correspondent peut-être pas à la « phénoménologie » du participant. Les entretiens en profondeur ou les questions à réponses libres permettent au participant d’exprimer des attitudes, des opinions ou des croyances qui peuvent jeter un éclairage nouveau sur l’impact du programme. Cela peut être important pendant les premières étapes de la conception ou de la mise en œuvre d’un programme.

Utilisation appropriée des méthodes qualitatives

Patton a également tracé les grandes lignes des « utilisations appropriées des méthodes qualitatives ».6 Voici une brève description de chacune de celles-ci.

Études et évaluations du processus

Les évaluations du processus portent sur la façon dont un résultat est obtenu. Les évaluations des programmes devraient toujours être fondées sur une théorie qui indique comment une intervention modifiera le comportement humain. Pour comprendre le mécanisme du changement, le chercheur peut compléter les mesures quantitatives des résultats médiateurs par des entrevues qui permettent d’approfondir la nature et les causes du comportement du client. Selon mon expérience, même dans les programmes d’intervention couronnés de succès, les tentatives pour établir un lien quantitatif entre le processus et le résultat obtiennent généralement un succès limité. Dans les recherches quasi expérimentales ou les études par observation, il est particulièrement important d’écarter les causes artéfactuelles ou involontaires d’un résultat. Les évaluations du processus portent non seulement sur les mécanismes des changements, mais aussi sur les agents de changement eux-mêmes. Par conséquent, les fournisseurs du programme font également l’objet d’une étude dans une évaluation qualitative des processus. Patton énumère les questions suivantes : « Quelles sont les choses que vivent les personnes et qui font de ce programme ce qu’il est ? Quels sont les points forts et les points faibles du programme ? Comment les clients sont-ils amenés à participer au programme et comment évoluent-ils dans le programme une fois qu’ils sont devenus participants ? Quelle est la nature des interactions entre le personnel et les clients ? ».7

Évaluations formatives pour l’amélioration du programme

Les évaluations formatives visent à améliorer un programme. Il s’agit également d’évaluations des processus qui font ressortir les points forts et les points faibles d’un programme. Un programme peut être bien conçu, fondé sur une théorie saine et bien mesuré; il peut néanmoins y avoir une dynamique interne collective ou individuelle qui nuit au progrès du programme. Le personnel n’a peut-être pas reçu une formation adéquate ou établi des liens avec les clients. Les évaluations formatives des processus visent à découvrir ces problèmes.

Évaluation des résultats individualisés

L’appariement des traitements et des services des programmes aux besoins des clients est le dada de bien des travailleurs sociaux, de psychologues et d’enseignants. Pourtant, l’appariement est rarement une partie explicite du processus d’évaluation d’un programme. Une façon d’envisager l’appariement consiste à effectuer des études qualitatives dans le cadre desquelles le chercheur fournit des descriptions des différentes manières dont les clients réagissent à différents traitements, styles de traitement et fournisseurs de traitement. Les évaluateurs mettent par écrit les points de vue particuliers des clients par rapport au régime de traitement. Cela peut mener à une typologie et, à terme, à une évaluation quantitative de certaines hypothèses d’appariement.

Études des cas présentant un intérêt particulier ou riches en information

Il est possible de choisir des cas qui donnent des renseignements très utiles sur un programme particulier. Les études de cas sur l’échec complet de certains programmes peuvent être pertinentes. Les entrevues structurées avec les clients de ces programmes peuvent indiquer des stratégies de rechange pour des sous-catégories de personnes. Ces études peuvent s’appliquer aux décrocheurs ou aux personnes qui retirent des avantages spectaculaires d’un programme. Dans chaque cas, le chercheur veut comprendre la nature de l’échec ou du succès pour que le programme puisse être amélioré.

Comparer les programmes pour documenter la diversité

Lorsqu’on tente d’adapter un programme national ou une « intervention universelle » à un endroit précis, il y a de nombreuses raisons de s’attendre à ce qu’il y ait des nuances locales dans la mise en œuvre du programme ou des écarts éventuels chez les clients. Ces écarts peuvent contribuer à des résultats inattendus. Ils peuvent être documentés quantitativement et qualitativement.

Évaluations de la mise en œuvre

Les meilleures interventions échoueront si l’on ne prête pas attention à la mise en œuvre d’un programme. La plupart des évaluateurs qui utilisent des données objectives et quantitatives mesurent les résultats comme si le programme avait été mis en œuvre avec succès. Il existe des méthodes quantitatives servant à évaluer la mise en œuvre d’un programme. Cependant, les méthodes qualitatives peuvent également être utiles. Patton aborde le problème sous les angles qualitatifs suivants : « Quelle est l’expérience des clients du programme ? Quels services sont offerts aux clients ? Que fait le personnel ? Que procure le programme ? Comment le programme est-il organisé ? ».8 Cette approche qualitative devrait être complétée par des tests sur les connaissances des clients ou l’évaluation de l’efficacité du fournisseur de traitement par d’autres personnes averties. Par conséquent, une fois de plus, nous pouvons compléter un genre d’information par un autre.

Définir la théorie en matière d’action d’un programme

Selon Patton, une théorie en matière d’action établit un lien entre les intrants d’un programme et les actions, d’une part, et les résultats, d’autre part. Cela ressemble beaucoup à une théorie bien articulée. Cependant, citant Argyris,9 Patton établit une distinction entre les « théories épousées » et les « théories appliquées ». Les premières sont les principes préconisés par les concepteurs du programme ou les théoriciens du programme. Les deuxièmes sont les croyances du fournisseur du traitement ou du fonctionnaire qui accomplit le travail au niveau local. Une évaluation qualitative des deux indiquera la mesure dans laquelle il existe un parallèle dans les plans du concepteur du traitement et ceux du fournisseur du traitement. Cela peut être particulièrement important dans le cas d’une nouvelle approche novatrice.

Mettre l’accent sur la qualité du programme ou la qualité de vie

Patton soutient que même si l’évaluation d’un programme peut être clairement définie et mesurée d’une façon quantitative, il importe toujours dans bien des cas d’évaluer la signification profonde de l’impact d’un programme en procédant également à une évaluation qualitative. Par exemple, si nous trouvons qu’un délinquant risque moins de consommer des drogues après avoir suivi un programme de traitement pour toxicomanes, qu’est-ce que cela signifie pour la qualité de vie de celui-ci ? Une réponse qualitative peut aider à nuancer les différentes réponses données par les gens. Que signifie le fait d’être assez satisfait par rapport au fait d’être entièrement satisfait de son traitement ?

Documenter le développement au fil du temps

Les modifications du développement jouent un rôle extrêmement important dans l’analyse de la croissance (déclin) chez l’humain et pour l’organisme. Les données quantitatives peuvent indiquer que des modifications du développement se produisent, mais l’étude qualitative peut donner une meilleure idée du processus de croissance. Lorsque nous mesurons la croissance, nous utilisons souvent des structures linéaires ou parfois non linéaires pour démontrer qu’une croissance s’est produite. Mais il peut s’agir de courbes de croissance idéalisées. La croissance peut représenter des transitions soudaines de l’état de certaines personnes ou organismes et une croissance lente ou faible chez d’autres. Essayer d’évaluer le phénomène de croissance par une analyse qualitative peut permettre de mieux comprendre les processus à l’étude.

Le comment de l’évaluation quantitative et la communication des résultats

L’explication des façons de procéder à une évaluation quantitative pourrait nécessiter des volumes : plan de recherche, méthodes quantitatives, théorie de la mesure, méta-analyse, décisions concernant les analyses coûts-avantages, simulations et bien d’autres domaines techniques. Il y a des définitions opérationnelles précises de l’intervention dans le cadre du programme, les processus qu’on veut changer et les résultats visés. Les compétences des évaluateurs doivent également être prises en considération. Les psychologues, sociologues, économistes, analystes en recherche opérationnelle et experts en simulation par ordinateur peuvent tous faire valoir un point de vue différent au sujet de la méthode d’évaluation. Les quelques observations que j’aimerais formuler ici ont trait à la communication des résultats de l’analyse quantitative.

Dans leur dernier chapitre, « Le contexte social de l’évaluation »,10 Rossi et Freeman traitent de la nécessité pour les évaluateurs de devenir des «diffuseurs secondaires ». La plupart des évaluateurs excellent lorsqu’il s’agit de produire un rapport technique sur les résultats de l’évaluation. En général, ces rapports ne sont lus que par leurs pairs et non par les intervenants qui sont le plus touchés par les résultats de l’évaluation. Par conséquent, la diffusion secondaire a trait à la communication des résultats des recherches aux intervenants de manière à les aider à comprendre et à prendre des décisions stratégiques. Cette sorte de communication devrait être directe et brève. Elle devrait présenter les restrictions ou les limites de l’étude, qui sont souvent absentes dans les résumés. Elle devrait également être présentée dans un langage que les intervenants peuvent comprendre et non dans le jargon technique de la discipline. Demander à votre auditoire ce qu’il a appris de votre exposé peut être un exercice d’humilité. Mais je sais aussi par expérience qu’il vaut mieux obtenir son opinion que de le voir garder le silence.


1. 320, First Street NW, Washington (DC) 20534.

2. ROSS, P.H. et FREEMAN, H.E. Evaluation: A Systematic Approach, 5th Edition, Newbury Park, CA, Sage, 1993.

3. CAMPBELL, D. T. «Methods for the Experimenting Society », Evaluation Practice, vol. 12, no 3, 1991.

4. ROSSI et FREEMAN, 1993, p. 119.

5. ROSSI et FREEMAN, 1993, p. 119.

6. PATTON, M.Q.Qualitative Evaluation and Research Methods: Second Edition, Newbury Park, CA, Sage, 1990.

7. PATTON, 1990, chapitre 4, p. 92-141.

8. PATTON, 1990, p. 95.

9. PATTON, 1990, p. 105.

10. ARGYRIS C. Reasoning, Learning, and Action: Individual and Organizational, San Francisco, CA, Jossey-Bass, 1982.