Service correctionnel du Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Compendium 2000 des programmes correctionnels efficaces

Avertissement Cette page Web a été archivée dans le Web.

CHAPITRE 26

Élaboration d'un modèle logique de programme à l'appui de l'évaluation

JAMES MCGUIRE1


IMPORTANCE DE L'ÉVALUATION

C'est aujourd'hui une exigence quasi universelle que les services financés par les fonds publics soient évalués et qu'on dispose de renseignements au sujet de leur efficacité d'ensemble. Nous en sommes arrivés là sous l'action de plusieurs facteurs. L'un d'eux découle d'une volonté populaire et politique de plus en plus énergique visant une gestion aussi sage que possible des dépenses de l'État. Au cours des dernières décennies, l'adoption par certains pays de politiques monétaristes ainsi que l'accroissement constant du coût des services publics ont amené certains à exiger une plus grande responsabilité, en même temps que les dirigeants déployaient des efforts pour réduire les impôts et mesurer l'efficacité des services que ceux-ci servent à financer (optimisation des ressources).

Le deuxième facteur est relié à une conscience accrue du fait que beaucoup de rapports de recherche ont été publiés sur de nombreux aspects des services sociaux, mais que d'importantes parties des résultats obtenus n'ont pas été adéquatement synthétisées pour qu'il devienne possible d'y accéder facilement. Si cette synthèse se faisait, il serait beaucoup plus facile de se servir des résultats de la recherche dans la pratique professionnelle, la gestion des services et la formulation des politiques gouvernementales.

Troisièmement, il est maintenant plus facile d'effectuer de tels travaux par suite de la mise au point de nouvelles méthodes d'examen statistique des résultats de la recherche qui, même si elles existent depuis le début du XXe siècle, n'ont commencé à être utilisées qu'à partir des années 1980. Les résultats de tels examens méta-analytiques ont pris une importance particulière pour les services correctionnels parce qu'ils ont permis d'écarter le nihilisme thérapeutique de l'affirmation selon laquelle «plus rien ne marche».

On peut considérer l'intérêt porté à l'évaluation comme une composante de la pratique fondée sur l'expérience. On pourrait se demander comment les secteurs appliqués d'une discipline peuvent se fonder sur autre chose que l'expérience. Malheureusement, c'est le cas depuis longtemps déjà dans certains secteurs. Toutefois, au cours des trente dernières années, beaucoup d'universitaires et de praticiens ont acquis une conscience aiguë des paradoxes qu'une telle situation engendre. L'importance accordée à l'expérience pour justifier les interventions, surtout dans le secteur de la santé, est due à une réaction née au sein même de la discipline médicale.

Dans un document aujourd'hui bien connu, l'épidémiologiste Cochrane (1979) s'est demandé si la médecine et les domains connexes de la recherche sur la santé peuvent vraiment prétendre se fonder sur de solides bases empiriques en l'absence d'un compte rendu systématique des résultats de leurs interventions. Cochrane a déploré l'absence d'un résumé critique des résultats de recherche concernant l'efficacité des interventions, par exemple dans le domaine des études randomisées portant sur des questions données. Face à une telle contestation de leurs travaux, les responsables de la recherche médicale se sont montrés progressivement plus conscients de ces limites. Mulrow (1987) a examiné une série de 50 comptes rendus d'examens publiés dans des revues médicales au cours d'une période de douze mois (allant de juin 1985 à juin 1986). Son enquête a révélé d'importantes lacunes dans la méthodologie des examens et le compte rendu des résultats. Fait remarquable, un seul examen sur 50 mentionnait clairement les sources d'information sur lesquelles il se basait. Trois seulement employaient des méthodes quantitatives de synthèse de l'information tirée des articles originaux examinés. Mulrow en a conclu qu'il était nécessaire d'améliorer sensiblement les modalités d'exécution des examens, qui jouent un rôle tellement essentiel dans l'avancement de la connaissance.

Ce sont des préoccupations de ce genre qui ont abouti, en 1993, à l'inauguration du Cochrane Collaboration (Centre de collaboration Cochrane), réseau international de chercheurs et d'analystes coordonnés par l'intermédiaire de 15 sites distincts disséminés en Europe, en Amérique du Nord et du Sud, en Australie et en Afrique du Sud. Cette initiative a entraîné une intense activité, au cours des dernières années, en vue de remédier aux lacunes définies. Entre 1994 et 1999, plus de 50 groupes d'étude ont été établis, dans le cadre du Centre de collaboration, pour s'occuper de domaines de recherche particuliers. Dans chaque cas, leur tâche consistait à trouver, à évaluer et à intégrer les résultats d'études d'intervention bien conçues, prenant souvent la forme d'essais randomisés. En 1999, les résultats obtenus, tirés d'examens détaillés de plus de 1100 revues spécialisées en recherche et rassemblés dans la Cochrane Database of Systematic Reviews (Base de données Cochrane des examens systématiques), comprenaient plus d'un quart de million d'entrées. La base de données est mise à la disposition des chercheurs et d'autres utilisateurs par l'intermédiaire de la Cochrane Library (Bibliothèque Cochrane), établie sur un site Internet et mise à jour tous les trimestres.

La recherche d'une méthode plus systématique permettant de tirer des conclusions concernant les résultats ne s'est pas limitée au domaine de la santé. Dans le secteur de l'éducation, des travaux d'avant-garde ont été entrepris afin, par exemple, de préciser le rapport entre la taille des classes et les résultats scolaires qui, malgré les efforts déployés antérieurement pour dégager des tendances claires, demeurait incertain (Glass, McGaw & Smith, 1981). Dans le domaine du travail social, malgré des examens antérieurs qui contestaient l'efficacité de certains aspects de cette discipline (Fischer, 1973, 1978), des travaux récents ont abouti à des résultats plus encourageants (MacDonald, Sheldon & Gillespie, 1992; Russell, 1990). Des efforts sont actuellement déployés pour fonder le travail social sur des bases empiriques plus fermes et plus vastes (MacDonald, 1999).

SERVICES CORRECTIONNELS

Pour beaucoup d'observateurs, les origines de l'intérêt actuelle-ment porté à l'évaluation des services de justice pénale remontent à la période 1974-1976, au cours de laquelle des examens de la recherche ont été effectués des deux côtés de l'Atlantique. Le principal objectif perçu de la plupart des recherches d'intervention effectuées dans ce domaine est de découvrir des moyens de réduire la récidive. Aux États-Unis, les pouvoirs centraux ont commandé un important examen portant sur 231 études de traitement et en ont publié les résultats (Lipton, Martinson & Wilks, 1976). Martinson (1974) a attiré l'attention du public sur les conclusions de cet examen avant même la parution du rapport en publiant lui-même une étude qui a beaucoup retenu l'attention des médias. Au Royaume-Uni, Brody (1976) a examiné une centaine d'études sur les répercussions de différents types de sentences et sur d'autres interventions. Il a n'a pas été possible de tirer de conclusions claires de ces deux examens à cause de la qualité médiocre de la recherche. Toutefois, les conclusions auxquelles il avait été possible d'aboutir indiquaient que les mesures prises avaient peu ou pas d'effets discernables sur les taux de récidive. D'après le résumé général des conclusions de Martinson, le «traitement» -- c'est-à-dire les mesures supplémentaires prises par les organismes de justice pénale, comme les services de counseling, l'éducation, la formation professionnelle ou la thérapie psychologique -- n'ajoutait rien aux procédures juridiques formelles de la justice pénale (sentences, sanctions et autres).

Plusieurs critiques ont contesté ces conclusions, surtout parce que les chercheurs et analystes avaient fait abstraction d'indices plus positifs (p. ex., Palmer, 1975; Ross & Gendreau, 1980). La publication de Ross et Gendreau consistait en un recueil de rapports portant sur des services efficaces qui semblaient avoir entraîné des réductions des taux de récidive. Fait curieux, c'est Martinson (1979) qui a déclenché le mouvement de réaction aux conclusions négatives qu'il avait lui-même tirées. Les éléments de preuve examinés ailleurs dans ce Compendium ont clairement démontré la fausseté de ses conclusions précédentes. Sur la base de plusieurs centaines d'évaluations et d'une série d'examens méta-analytiques d'intégration, il est possible de dire que la connaissance des éléments constitutifs d'un programme correctionnel efficace a considérablement progressé.

Récemment, on a proposé une nouvelle initiative, devant être connue sous le nom de Campbel Collaboration (ou Centre de collaboration de Campbell, sur le modèle du processus d'examen Cochrane), qui aurait son principal centre d'activité à l'University of Pennsylvania (Boruch, Petrosino & Chalmers, 1999). Les travaux du Centre de collaboration seraient axés sur les interventions sociales et éducatives, par opposition aux interventions médicales et reliées à la santé. Il semble possible que ce Centre puisse également combler l'écart qui existe entre les groupes d'étude Cochrane et les examens à grande échelle entrepris par des spécialistes dans le domaine du traitement des délinquants (Petrosino, Boruch, Rounding, McDonald & Chalmers, 1999). Une nouvelle base de données sur les études, appelée SPECTR (Social, Psychological and Criminological Trials Register, ou Registre des études sociales, psychologiques et criminologiques) est actuellement constituée. En juillet 1999, elle comptait déjà 10 000 entrées.

Il n'y a pas de doute qu'on porte actuellement un grand intérêt à l'évaluation des services de justice pénale et des interventions auprès des délinquants. Au Royaume-Uni, tous les organismes qui s'occupent de délinquants ont commencé à poursuivre cet objectif. La mise en œuvre en 1996 de programmes conçus pour réduire la récidive était considérée comme un indicateur clé de rendement par le Service des prisons. Les pressions exercées en faveur de l'adoption d'une pratique fondée sur l'expérience et de l'exécution d'évaluations ont été fortement ressenties dans les services de probation et d'autres services communautaires de justice pénale. Le premier indice à cet égard était un rapport de la Commission de vérification (Audit Commission, 1989), organisme qui contrôle les dépenses d'autres administrations gouvernementales et locales. Le rapport signalait que malgré l'existence de nombreux programmes novateurs et apparemment utiles dans les services de probation, ces programmes n'ont fait l'objet d'aucun examen systématique destiné à en retenir les plus efficaces. Vers la fin des années 1990, l'intérêt dans ce domaine s'est intensifié. L'Inspection de la probation du gouvernement britannique a entrepris une initiative de pratique efficace pour déterminer dans quelle mesure les activités des services de probation répondaient aux objectifs d'ensemble de protection du public et de réduction de la récidive. Par la suite, la Commission de vérification (1996) a publié un autre rapport faisant autorité sur les services de justice pour la jeunesse, contestant les dépenses effectuées et soulignant la nécessité d'évaluer les interventions et d'autres aspects de la prestation des services.

CADRES D'ÉVALUATION

L'attitude actuelle en matière d'évaluation est telle qu'il semblerait inacceptable de prendre une initiative quelconque dans les services correctionnels sans prévoir des modalités d'évaluation dans la description du projet. Cela étant, nous nous intéressons dans ce chapitre à la logique du processus d'évaluation, aux types de procédures qui en découlent et à leur regroupement dans un cadre cohérent.

Les objectifs d'évaluation peuvent considérablement varier avec les circonstances et selon le point de vue adopté. Pour les praticiens, certaines approches de l'évaluation semblent souvent très mécaniques ou abstraites et très détachées des aspects complexes et souvent désordonnés du monde réel dans lequel évoluent ceux qui s'occupent des délinquants. En même temps, les praticiens veulent souvent mener une évaluation, mais se préoccupent peu de produire des résultats pouvant intéresser une importante part de la communauté scientifique. Les motifs d'évaluation sont également différents quand, par exemple, les gestionnaires d'un programme correctionnel ou ceux qui le financent veulent en évaluer les avantages pour être en mesure de décider de son avenir.

Posavac et Carey (1997) ont réparti les nombreux objectifs d'évaluation entre trois grandes catégories. Les évaluations formatives sont menées pour renforcer les plans de prestation de services, modeler la nature des services ou en améliorer l'efficacité. Les évaluations sommatives sont axées sur les résultats et permettent aux responsables de décider s'il convient ou non de maintenir un programme ou de choisir entre différentes formes de services. Il y a lieu de noter qu'en soi, ces évaluations déterminent rarement des décisions au sujet de l'avenir d'un programme, ces décisions étant prises sur la base de renseignements provenant de sources multiples. Le contrôle est un processus qui se fonde sur la rétroaction (et qui crée des systèmes pouvant la générer) afin d'assurer le maintien de la qualité d'un programme.

Stecher et Davis (1987) ont décrit des processus d'évaluation s'appliquant à des programmes sociaux, comme les services pour délinquants, et ont proposé une taxonomie plus simple basée sur cinq approches différentes de la tâche. Les catégories qu'ils ont décrites se chevauchent dans une certaine mesure, mais elles présentent d'importantes différences les unes par rapport aux autres, qui découlent principalement des différences entre les objectifs de l'évaluation. Les cinq approches en question sont les suivantes :

  • Approche expérimentale -- On tente dans ce cas d'observer un programme de l'extérieur et de l'évaluer aussi rigoureuse-ment que possible. L'objectif général est d'aboutir à des conclusions pouvant être largement généralisées, au sens scientifique, et qui présenteront de l'intérêt pour la communauté de la recherche. Les résultats de telles évaluations peuvent avoir pour objet de contribuer à élargir la connaissance d'un domaine et, à ce titre, peuvent avoir un auditoire mondial.
  • Approche orientée sur les objectifs -- Dans ce type d'évaluation, on examine les objectifs déclarés d'un programme, on définit des critères pour déterminer dans quelle mesure ils sont atteints en consultation avec le personnel du projet, et on évalue en conséquence les résultats. Il y a donc un processus d'interaction entre les chercheurs et les praticiens. Les conclusions qui en résultent peuvent rarement être généralisées, mais peuvent quand même susciter de l'intérêt à l'extérieur, dans le cadre de projets ayant des objectifs semblables.
  • Approche axée sur les décisions -- Dans ce cas, on s'efforce de déterminer le centre de décision d'un organisme ou d'un service et on fournit des renseignements qui aideront les gestionnaires de programmes à prendre des décisions. Cette approche est celle qui se rapproche le plus de la vérification dont se servent les gestionnaires de services, mais elle va au-delà de la simple collecte de données quantitatives (comme le nombre d'admissions dans un établissement correctionnel) en examinant les processus et les décisions qui influent sur ces données.
  • Approche client -- Cette forme d'évaluation vise à fournir des renseignements qui influeront sur l'utilisation directe d'un programme dans un but donné. Elle peut comprendre la collecte de données sur les réactions des utilisateurs à différents aspects d'un programme. Les «utilisateurs» dans ce cas peuvent consister en un groupe ou une catégorie de personnes. Dans le cas des programmes correctionnels, ils pourraient comprendre les tribunaux, les gestionnaires de services, les praticiens, les organismes gouvernementaux, le public et les délinquants eux-mêmes.
  • Évaluation répondante -- Dans ce cas, on cherche à décrire les programmes du point de vue de tous ceux qui y participent et de recueillir des renseignements pouvant répondre à chacun de leurs besoins. En général, les données recueillies sont qualitatives, mais l'évaluation peut également se baser sur des sources de données qu'on retrouve dans les quatre autres types d'approches.

Il est possible en pratique de combiner ces orientations et d'effectuer des évaluations ayant simultanément plusieurs objectifs. Si c'est le cas, il est important de disposer de lignes directrices claires sur les différents types de données à recueillir, sur les raisons qu'on a de le faire et sur l'utilisation éventuelle des résultats de l'évaluation. Posavac et Carey (1997) ont établi une liste plus complète comprenant onze genres différents de modèles d'évaluation : traditionnel, sciences sociales, inspection industrielle, «boîte noire», orienté sur les objectifs, exempt d'objectifs, financier, d'imputabilité, opinion d'expert, naturaliste et axé sur l'amélioration. À beaucoup d'égards, ce ne sont là que des subdivisions de quelques-unes des approches énumérées dans la liste ci-dessus.

Beaucoup de projets d'évaluation des services correctionnels prennent une forme hybride par rapport à ces classifications. Ces projets ont souvent plusieurs objectifs simultanés. Par conséquent, même si on s'efforce d'obtenir des résultats généralisables, il est rare qu'on puisse vraiment le faire parce que les organismes ont à répondre à des exigences pratiques quotidiennes reliées aux services à offrir aux tribunaux et aux clients. Le conflit permanent entre ces deux préoccupations souvent contraires cause fréquemment des problèmes lors de l'évaluation des services.

Par exemple, le concept de l'évaluation interactive qui fait partie de l'approche orientée sur les objectifs peut sembler étrange pour ceux qui préfèrent une attitude plus distante et détachée dans l'évaluation de l'efficacité. On pourrait penser que les évaluateurs courent le risque de se limiter aux mesures assurant de bons résultats pour les responsables des programmes. Les évaluateurs pourraient souhaiter discuter de la question de savoir si les objectifs d'un programme sont ceux qui conviennent le mieux, compte tenu des autres aspects à considérer. Il est possible que ce soit seulement ainsi qu'ils seront en mesure de prendre en compte les effets globaux d'un programme.

Pour surmonter certaines de ces difficultés, Posavac et Carey (1997) préconisent l'adoption d'un modèle d'évaluation axé sur l'amélioration. «[traduction] Il est possible d'améliorer un programme s'il y a des diférences entre ce qui est observé et ce qui a été planifié ou ce dont on a besoin» (1997, p. 27). En ce sens, toute évaluation fait partie intégrante de la mise en œuvre d'un programme et constitue une boucle de réaction avec la conception et la prestation. Le Graphique 26.1 illustre ce type de relation.

Graphique 26.1 L'évaluation forme une boucle de réaction dans les programmes (adapté de Posavac et Carey, 1997)

.
.
.

Les responsables de l'évaluation doivent trouver la solution la plus appropriée à tous les conflits qui peuvent surgir lors de la planification d'une évaluation et déterminer la combinaison d'approches qui convient le mieux à un projet donné. Bien sûr, la première question à se poser est celle du motif premier de l'évaluation. Qui est-ce qui la demande ? Dans quel but ?

BUTS ET OBJECTIFS DES PROGRAMMES

Pour qu'une évaluation soit efficace, il faut disposer d'un objectif par rapport auquel le service ou le programme correctionnel est évalué. De préférence, les objectifs de ce genre devraient être formulés de façon à se prêter au processus d'évaluation. Les objectifs de la politique publique ou d'un important organisme gouvernemental sont le plus souvent exprimés en termes assez généraux : ils peuvent par exemple mentionner la «sécurité de la collectivité», notion composite comportant de nombreux facteurs qui nécessitent une analyse plus approfondie pour aboutir à des résultats pouvant se prêter à une évaluation méthodique. Cela s'applique également aux genres de produits des conseils ou des comités officiels qu'on désigne collectivement par l'expression «énoncé de mission». Des objectifs diffus et imprécis se prêtent mal à une évaluation sérieuse.

Au niveau des programmes ou projets d'intervention, il devrait être possible d'énoncer des objectifs clairs et explicites. Le fait de s'atteler à cette tâche est d'ailleurs bénéfique pour la quasi-totalité des aspects du fonctionnement d'un organisme et de la prestation de ses services. Des objectifs clairs peuvent être communiqués au personnel de façon que chacun de ses membres comprenne parfaitement ses fonctions. De plus, ils appuient l'atteinte des objectifs déclarés tant directement (en permettant au personnel de mieux comprendre les exigences de leur rôle) qu'indirectement (grâce à l'effet d'une telle mesure sur le moral et sur la cohésion de l'organisation). Sans objectifs clairs, il y aura des difficultés à tous les niveaux. Des objectifs explicites et clairement définis sont également essentiels au processus d'évaluation. En anglais, on utilise souvent l'acronyme SMART (judicieux) pour qualifier les objectifs spécifiques, mesurables, réalisables, réalistes et limités dans le temps. Plus les objectifs d'un programme se rapprochent de ces critères, plus il sera facile de l'évaluer.

Dans le cas des programmes correctionnels, il faudrait s'assurer en particulier de la clarté des objectifs. Une fois qu'on en a convenu, les objectifs constituent la base des autres composantes du service. Les chercheurs du domaine de la justice pénale ont reconnu l'importance de ce fait. Les critères d'accréditation des programmes comprennent presque toujours l'exigence que le programme soit fondé sur un modèle explicite de changement. Cela définit la cible de l'intervention et le fondement des méthodes à employer. Cette exigence est donc inextricablement liée à l'énoncé des objectifs de n'importe quel programme. La seconde question clé que les évaluateurs doivent se poser est par conséquent la suivante : quels sont les objectifs du programme à évaluer ?

LOGIQUE DE LA RECHERCHE ET CONCEPTION DES ÉVALUATIONS

On considère en général que la recherche est la chasse gardée des spécialistes. Cette notion nous vient probablement du domaine des sciences physiques et biologiques dans lequel un équipement coûteux et complexe est nécessaire pour réaliser la plupart des expériences. Toutefois, les études à grande échelle du domaine des sciences sociales peuvent elles aussi coûter cher et exiger l'utilisation de méthodes complexes d'analyse des données (aboutissant parfois à des résultats de recherche aussi solides que dans le cas des sciences dites exactes; Hedges, 1987). Quelle que soit la discipline, par sa nature même, la recherche est en général considérée comme une activité qui se distingue du travail effectué par la plupart des praticiens et qui n'est pas à leur portée.

Les principes fondamentaux de la recherche et de l'évaluation sont assez simples : ce sont des tentatives visant à répondre à des questions. Leur complexité découle de deux problèmes interdépendants. D'abord, il est souvent très difficile de poser des questions assez claires pour qu'il soit possible d'y répondre d'une manière utile (Dillon, 1990). Ensuite, à moins de penser très soigneusement à tous les sens qu'on peut attribuer aux réponses données, le processus d'interprétation des réponses peut être d'une difficulté insoupçonnable.

Toute la complexité des méthodes de recherche est due à des tentatives d'observer ces points fondamentaux. Le plan d'étude est un ensemble de règles ou de principes établis qui protègent contre les nombreuses erreurs qu'il est possible de commettre en chemin. Si la recherche doit aboutir à des résultats valides, la conception du plan d'étude doit faire l'objet d'une sérieuse réflexion. C'est seulement ainsi que l'information obtenue peut donner des réponses claires et précises aux questions posées.

L'évaluation est couramment basée sur une certaine notion de changement avec le temps. L'hypothèse fondamentale consiste donc à recueillir de l'information relative au moins à deux moments précis, en général au commencement et à la fin d'une intervention. Ces deux moments ont diverses désignations, par exemple pré-test et post-test ou T1 et T2. Dans le domaine de la justice pénale, les études d'évaluation ont souvent un point de suivi (T3) ou même plusieurs (par exemple, à 12, 24 ou 60 mois après l'intervention). En ce qui concerne les interventions correctionnelles, on a soutenu il y a quelque temps que la période minimale de suivi devrait être de deux ans (Logan, 1972).

Pour les raisons qui précèdent, le plan expérimental contrôlé constitue le choix unanime de tous les chercheurs, à cause de sa rigueur et de sa robustesse dans le domaine de la recherche d'évaluation. Grâce au contrôle systématique d'un éventail de facteurs collectivement désignés par variables externes, les études conformes à ce plan permettent le mieux de tester les hypotheses et de tirer des conclusions claires. Idéalement, dans une telle étude, les membres des différents échantillons (conditions expérimentales) devraient être répartis au hasard, de façon à créer ce qu'on appelle un essai randomisé (ER). Dans un ER, les membres des différents groupes sont appariés sur toutes les variables autres que leur présence dans un groupe expérimental ou un groupe témoin. Leur répartition aléatoire parmi les groupes permet d'affirmer que toute différence constatée est due aux variables contrôlées par le chercheur (p. ex., l'administration d'un traitement ou la participation à une formation).

Pour évaluer l'efficacité du traitement des délinquants, les recherches les mieux conçues sont celles qui appliquent ces principes pour faire des comparaisons contrôlées entre groupes parallèles. Il y a ordinairement deux genres de groupes. D'une part, le groupe expérimental reçoit le traitement qui fait l'objet de l'étude et qui, d'après le chercheur, a certains effets souhaitables. Les détails de ce traitement devraient être clairement énoncés. D'autre part, le groupe témoin devrait être soigneusement apparié au premier sur le plan des caractéristiques de base susceptibles d'être en rapport avec le résultat. Ces caractéristiques peuvent comprendre l'âge, le sexe, l'ethnie, le nombre ou le genre de condamnations antérieures et d'autres importantes variables démographiques ou criminologiques. Les membres de ce groupe ne reçoivent aucun traitement. Il faut en outre veiller à ce que les deux groupes n'aient aucune interaction. Par conséquent, dans une recherche bien conçue, la seule différence entre les deux groupes sera la variable indépendante : l'intervention pratiquée sur un groupe, mais pas sur l'autre. La logique d'un bon plan d'étude est donc que toute différence perçue dans les résultats -- la variable dépendante -- ne peut être attribuée qu'aux différences établies délibérément sur le plan de la variable indépendante.

Dans les plans d'étude plus complexes, un troisième groupe s'ajoute aux deux que nous venons de mentionner : c'est le groupe placebo, destiné à évaluer les répercussions possibles de la participation à une étude expérimentale. Il est notoire que l'attention et l'intérêt peuvent en soi influer sur les sujets d'une recherche. Les changements observés peuvent donc être dus à ce phénomène plutôt qu'à l'intervention proprement dite. En ajoutant un groupe placebo, les chercheurs tentent d'évaluer l'importance de ce facteur. Le groupe placebo devrait faire l'objet d'une intervention d'une durée égale à celle que reçoit le groupe expérimental, sauf que cette intervention devrait être inerte, c'est-à-dire exempte des caractéristiques dont on évalue les effets supposés.

Bref, il y a plusieurs facteurs à prendre en considération dans une évaluation bien conçue. Le Graphique 26.2 illustre quelques-unes des caractéristiques d'un plan idéal d'évaluation conçu pour un milieu correctionnel.

La plupart des recherches d'évaluation tombent inévitablement en deçà des normes que suppose le schéma du Graphique 26.2. Non seulement les phénomènes à l'étude sont intrinsèquement très complexes, mais de nombreuses variables échappent tout simplement au contrôle des chercheurs. Même si l'on fait abstraction de ces difficultés, on constate que beaucoup de recherches ne respectent pas les principes implicites de ce plan. Les critiques des revues spécialisées dénoncent souvent la qualité médiocre des études publiées à cause de leur manque de rigueur méthodologique. Compte tenu de la multiplicité des variables qui peuvent fausser un plan d'étude, la tâche de tout évaluateur doit consister à minimiser les effets des variables autrement susceptibles d'expliquer les résultats obtenus. L'objet d'un bon plan expérimental est de réduire ou d'éliminer les effets de telles variables.

Graphique 26.2 Schéma idéalisé d'un plan expérimental de recherche en milieu correctionnel

.
.
.

Dans le domaine de la recherche, on considère ces facteurs comme des menaces pouvant compromettre la validité d'une étude d'évaluation, cette validité étant la mesure dans laquelle les effets observés dans le groupe expérimental peuvent être attribués à l'intervention et seulement à l'intervention. Cook et Campbell (1979) ont défini différentes catégories de validité et différents genres de menaces dans chaque catégorie. Il y a deux grandes catégories de validité, l'interne et l'externe, à part d'autres genres reliés à l'utilisation légitime de la statistique déductive.

Dans le cadre d'une seule expérience ou évaluation, la validité interne est la mesure dans laquelle l'influence des variables externes a été réduite. Plusieurs facteurs peuvent compromettre la validité interne, notamment :

  • la possibilité que le groupe expérimental et le groupe témoin n'aient pas été appariés à l'égard de caractéristiques essentielles;
  • la présence d'une contamination entre les groupes ou entre un groupe et des facteurs extérieurs;
  • la possibilité que des facteurs historiques et des événements de la vie des sujets aient agi différemment sur les membres des groupes expérimental, témoin et placebo;
  • des taux de perte ou d'attrition différents dans les groupes entre le commencement et la fin d'une évaluation;
  • des variations dans le fonctionnement des instruments d'évaluation à différents moments (erreurs d'étalonnage).

La validité externe est reliée à la mesure dans laquelle les résultats d'une étude peuvent être étendus à d'autres groupes, à d'autres lieux et à d'autres périodes. Cette forme de validité se répartit entre trois sous-catégories, relatives respectivement à la population, à l'environnement et au moment. Elle peut également être compromise par différents facteurs, comprenant notamment ce qui suit :

  • utilisation d'échantillons biaisés ou non représentatifs;
  • effets dus à l'évaluateur et à l'influence des caractéristiques de la demande sur les attentes des participants;
  • effets d'interférence dus à l'administration de traitements multiples;
  • utilisation de sujets analogues.

Les comptes rendus d'essais randomisés demeurent relative-ment rares parmi les rapports publiés sur la recherche dans le domaine correctionnel. Il y a lieu de mentionner, à titre d'exception, l'étude de Ross, Fabiano et Ewles (1988) sur le programme Reasoning and Rehabilitation (raisonnement et réadaptation), dans lequel un groupe de délinquants a été réparti au hasard entre trois sous-groupes : le premier a participé au programme, qui constituait le traitement à l'étude; le deuxième a participé à un programme de dynamique de la vie qui a servi de placebo; et le troisième, dont les membres étaient sous la surveillance d'agents de probation, jouait le rôle de groupe témoin. Dans cette étude comme dans d'autres, le groupe témoin a des contacts minimaux ne comprenant aucun programme défini.

Le motif de la rareté relative des études randomisées découle évidemment du fait que ce sont essentiellement les tribunaux qui décident du lieu où sont envoyés les délinquants. Des comparaisons entre des échantillons de délinquants ayant fait l'objet de sentences différentes ou entre ceux qui ont participé volontairement à un programme et ceux qui ont refusé de le faire ne constituent pas de vraies études, les groupes respectifs étant non équivalents. Lorsque cela se produit, les chercheurs recourent à ce qu'on appelle un plan quasi expérimental (Cook & Campbell, 1979), dans lequel les échantilons ne sont pas formés au hasard. McGuire, Broomfield, Robinson et Rowson (1995) ont utilisé un plan de ce genre pour évaluer des programmes collectifs basés sur la probation.

Ayant examiné une série d'études d'évaluation réalisées en milieu correctionnel, Sherman, Gottfredson, MacKenzie, Eck, Reuter et Bushway (1997) ont élaboré un barème de méthodologie scientifique à l'aide duquel ils ont réparti les études entre cinq groupes selon la qualité de leur plan. Les scores sont attribués comme suit :

  1. Plans à corrélation -- Ce sont les plans les plus faibles, dans lesquels il n'existe qu'une association entre la participation au programme et les variations des taux de récidive à un moment donné.
  2. Plans à groupe unique, dans lesquels les mêmes participants sont évalués avant et après la participation au programme; et plans à groupe témoin non équivalent, dans lesquels les participants sont comparés à un groupe témoin pouvant différer du groupe expérimental sous un certain nombre d'aspects importants.
  3. Plans à groupe témoin équivalent -- Dans ce cas, le groupe expérimental est comparé à un groupe témoin généralement équivalent en fonction d'un certain nombre d'importantes variables et des mesures pré-test.
  4. Contrôle des variables externes -- Dans ces études, l'appariement des groupes est meilleur, étant par exemple basé sur des scores obtenus au moyen d'instruments prédicteurs, et les principales influences externes sont contrôlées.
  5. Plan expérimental randomisé -- Dans ce cas, les sujets sont choisis au hasard parmi les membres d'un échantillon initial pour être répartis entre un groupe expérimental et un groupe témoin.

LIMITES DES PLANS D'ÉTUDE

Le plan idéalisé exposé plus haut -- auquel on attribuerait la plus grande valeur dans le cadre d'évaluation expérimental (selon les catégories de Stecher et Davis, 1987) et qui recevrait un score de 5 dans le barème de Sherman et al. (1997) -- a son fondement épistémologique dans la façon dont la recherche pourrait être menée en laboratoire, dans des conditions contrôlées. Cela crée un dilemme : les conclusions tirées d'un tel plan pourraient rarement être extrapolées pour s'appliquer aux conditions beaucoup plus chaotiques d'un milieu correctionnel. En même temps, les expériences effectuées dans un tel milieu se caractérisent presque toujours par la présence de nombreuses variables non contrôlées. Selon Robson (1993), on se demande parfois si les exigences respectives de la validité interne et externe ne sont pas diamétralement opposées. Mieux une étude est contrôlée, plus les conclusions qu'on en tire sont sûres, mais elles pourraient ne pas être applicables ailleurs.

L'écart qui existe entre les études d'évaluation bien contrôlées et l'application pratique de leurs conclusions a fait l'objet d'une importante controverse dans le domaine de la recherche sur la santé mentale (Dobson & Craig, 1998; Persons & Silbersatz, 1998). On a soutenu qu'il fallait établir une distinction entre l'efficacité du traitement et l'efficience du service. La première se fonde sur des preuves établissant que l'intervention a réussi dans les conditions limitées d'un essai randomisé. La seconde dépend d'éléments prouvant que l'intervention a réellement réussi dans des conditions pratiques. On s'accorde pour dire qu'il est nécessaire de trouver des moyens de combler l'écart entre les deux. L'une des solutions proposées consiste à mener davantage d'évaluations ayant une plus grande validité environnementale. Même si beaucoup d'évaluations en milieu correctionnel ne répondent pas aux normes de l'essai randomisé, on constate paradoxalement qu'elles peuvent avoir d'autres avantages. L'évaluation d'un programme dans les conditions réelles où il lui faudra faire ses preuves en pratique donne une bien meilleure idée d'ensemble de sa faisabilité et de son efficacité potentielle.

Une autre solution souvent proposée pour combler l'écart entre la recherche et la pratique consiste à recourir plus souvent au plan d'étude à cas unique. Ce plan représente une fusion entre l'expérience et la pratique, dans laquelle une intervention est évaluée sur un seul sujet (ou sur un petit échantillon ou série de cas). La logique de ce modèle est la suivante. Si l'adoption d'une intervention (c.-à-d., d'une tentative pour modifier le comportement d'un individu) est associée d'une façon exclusive aux changements de la variable cible (qui ne subirait autrement aucun changement), alors la probabilité que les changements soient attribuables à d'autres explications est réduite. Il existe plusieurs variantes de ce plan d'étude qui ont servi de base à un certain nombre de recherches effectuées sur des délinquants (McGuire, 1992). Nous ne les examinons pas ici parce qu'elles débordent le cadre du présent document. Les plans à cas unique sont décrits en détail dans différents ouvrages (p. ex., Barlow & Hersen, 1984; Kratochwill & Levin, 1992).

QUE FAUT-IL MESURER ET COMMENT

L'éventail des données pouvant être réunies dans une évaluation peut être très vaste. Il existe de multiples façons de catégoriser les données. Celles-ci peuvent être quantitatives ou qualitatives. Elles peuvent également être définies selon le domaine de collecte (p. ex., données démographiques ou renseignements de base, comportement/expérience, connaissance, opinion/valeur; Patton, 1987). Les données peuvent également être réparties d'après la méthode utilisée pour les obtenir (p. ex., entrevues, observation, données psychométriques, criminologiques, économétriques). Ce ne sont là que quelques-uns des principaux types de données qu'on pourrait chercher à obtenir dans le cadre d'évaluations en milieu correctionnel. Toutefois, il est peu probable que des études comprennent toutes ces catégories de données.

Données démographiques et criminologiques

La plupart des évaluations de services correctionnels comprennent des données descriptives portant sur les délinquants eux-mêmes. Les principaux genres qu'on trouve dans les rapports sont les suivants : sexe, âge, ethnie, emploi et situation socio-économique, situation matrimoniale, années d'étude, antécédents familiaux et autres renseignements importants sur l'évolution de la situation (comme les antécédents de contacts avec les services d'aide sociale et d'autres organismes). Les principaux indicateurs criminologiques utilisés en recherche comprennent le nombre et le type des condamnations antérieures, l'âge au moment de la première condamnation, les sentences imposées (nombre et types des jugements prononcés) et l'évolution avec le temps de la nature des infractions commises. Bien sûr, il est particulièrement intéressant de déterminer si les indicateurs criminologiques révèlent une certaine influence de la participation au programme considéré.

Renseignements de vérification

Les évaluateurs s'efforcent en général de trouver des renseignements sur l'organisation et la mise en œuvre d'un projet. Ces renseignements comprennent le nombre de renvois effectués, le nombre de délinquants condamnés, le nombre de participants inscrits au programme, leur assiduité, les taux d'abandon et d'achèvement, le temps consacré à diverses activités, le rapport entre les nombres d'employés et de détenus, ainsi que les frais courants totaux et par délinquant. Les gestionnaires recherchent souvent des renseignements de ce genre à des fins internes, de façon à pouvoir formuler les politiques des organismes sur les niveaux de ressources nécessaires, et notamment la répartition du personnel.

Évaluation du risque et des besoins

On a attaché beaucoup d'importance ces dernières années aux principes de l'évaluation du risque et des besoins dans la conception des programmes correctionnels. Cela est surtout attribuable à la mise au point d'échelles d'évaluation et de prédiction fondées sur des études sérieuses. Il y a lieu de citer à cet égard le Level of Service Inventory -- Revised (Inventaire du niveau de service -- révisé, Andrews & Bonta, 1998), le Manitoba-Wisconsin Risk-needs Classification System (Système Manitoba-Wisconsin de classification du risque et des besoins, Bonta, 1996), l'Offender Group Reconviction Scale (Échelle de récidive des groupes de délinquants, Copas, 1995) et le Violence Risk Appraisal Guide (Guide d'évaluation du risque de violence, Quinsey, Harris, Rice & Cormier, 1998). La plupart de ces échelles prescrivent des conditions particulières d'utilisation de diverses combinaisons de données actuarielles et cliniques. Certains observateurs ont récemment noté le besoin d'inclure d'autres variables historiques et de situation dans le cadre d'une procédure dite d'évaluation du risque anamnestique (Melton, Petrila, Poythress & Slobogin, 1998).

Récidive

La mesure de la récidive occupe une place primordiale dans l'évaluation des interventions correctionnelles, constituant en fait l'épreuve ultime de leur efficacité. Certains observateurs ont comparé la recherche de méthodes de réduction de la récidive à «la quête séculaire du saint Graal» (Lab & Whitehead, 1990). Mais la récidive en soi peut être mesurée de diverses façons. D'ailleurs, les incohérences dans ce domaine ont fait l'objet de nombreux malentendus et d'une grande controverse. Les résultats peuvent varier considérablement avec le groupe d'âge ciblé, le contexte correctionnel et d'autres facteurs. Les données choisies peuvent comprendre les taux d'arrestation, de condamnations ultérieures, de violation des conditions de libération conditionnelle ou de manquement aux conditions de surveilance ou de probation, de réincarcération après de nouvelles condamnations, de rappel en prison pendant des sorties autorisées ou de réadmission dans un hôpital pénitentiaire.

La plupart des recherches sur la récidive sont axées sur l'événement lui-même, mesuré par l'une des méthodes précédentes. Relativement peu d'études tiennent compte du type d'événement, de sa gravité relative ou de la fréquence de la récidive et de sa distribution dans le temps. L'une des approches, dans ce dernier cas, consiste à examiner les taux de survie comparatifs (la survie étant définie par le temps qui s'écoule jusqu'à la condamnation suivante) de différentes cohortes de délinquants. Weekes, Millson et Lightfoot (1995) ont utilisé ce genre de données pour évaluer la relation entre les résultats obtenus à un programme de lutte contre la toxicomanie suivi avant la mise en liberté et les taux de retour en prison. Henning et Frueh (1996) s'en sont également servis pour évaluer un programme cognitif de modification du comportement pour délinquants violents. Compte tenu des efforts et du temps nécessaires, il existe encore moins d'études de la relation entre la criminalité et d'autres événements et circonstances de la vie des délinquants. Comme l'ont fait remarquer Motiuk, Smiley et Blanchette (1996,  --12), «la recherche portant sur l'efficacité des programmes doit comprendre un examen plus approfondi de la nature de la récidive». Pour tenir compte de tels facteurs dans les évaluations, il faudrait recueillir des renseignements très détaillés en interrogeant les clients ou en examinant les témoignages devant les tribunaux.

On trouve un exemple de ce genre de recherche dans le rapport de Zamble et Quinsey (1997). Ces auteurs ont donné un compte rendu d'une étude de suivi portant sur 311 hommes qui ont récidivé après leur sortie de prisons canadiennes et comprenant une comparaison avec un échantillon beaucoup plus petit (n = 36) de délinquants qui n'ont pas récidivé après leur mise en liberté. Les récidivistes ont fait état de plus grandes difficultés dans la période ayant suivi leur mise en liberté, mais disposaient de moins de moyens ou de moyens moins efficaces que les autres pour y faire face. Les récidivistes éprouvaient plus souvent des émotions négatives telles que la colère, l'anxiété et la dépression et avaient de moins bonnes stratégies pour les affronter. De plus, ils pensaient plus fréquemment à la toxicomanie et à des infractions possibles et moins souvent à un emploi ou à un avenir plus brillant. Ils ont en outre connu de plus grandes fluctuations dans leur état émotif dans les 46 heures ayant précédé la récidive. Ces conclusions pourraient être extrêmement précieuses lors de la conception d'interventions visant la prévention de la rechute et d'autres types d'interventions tant préalables que postérieures à la mise en liberté pour les délinquants à risque élevé.

Lors de l'interprétation des taux de récidive, il faut prendre soin d'exclure la pseudo-récidive résultant d'infractions commises avant le commencement d'une intervention (Lloyd, Mair & Hough, 1994). Dans une situation idéale, les comparaisons devraient être faites entre le taux de récidive réel d'un groupe de délinquants et son taux projeté d'après les échelles de prédiction ou par comparaison avec des groupes témoins appropriés.

Rétroaction des participants

Certaines évaluations sont basées sur la rétroaction des délinquants ou des utilisateurs. Les mesures de l'assiduité constituent une forme grossière de ce type d'évaluation. Si les délinquants ont le choix de participer ou non à un programme, leur taux de participation peut être un indice du succès ou de l'échec du programme. Les tendances qui se dégagent des taux d'assiduité ont servi à mesurer l'efficacité d'un programme de dynamique de la vie adopté par un centre de probation du Royaume-Uni (Priestley, McGuire, Flegg, Barnitt, Welham & Hemsley, 1984). Il est possible de recueillir sans trop de difficulté des observations verbales ou écrites concernant la réaction à un programme, au moyen d'entrevues ou de questionnaires. On en trouve un exemple dans l'évaluation du Programme d'entraide des délinquantes de l'établissement pour femmes d'Edmonton (Eamon, McLaren, Munchua & Tsutsumi, 1999). Même si les données de ce genre sont parfois considérées comme «subjectives» et peu fiables, elles peuvent donner des renseignements précieux concernant la réceptivité et expliquer les différences entre les effets des diverses composantes d'un programme ou entre les degrés d'assiduité ou d'achèvement.

Variables intermédiaires

Des évaluations plus approfondies de programmes correctionnels pourraient être axées sur le degré de changement des variables ciblées par les programmes. Dans la plupart des évaluations, les chercheurs supposent que certaines variables jouent un rôle intermédiaire entre les interventions (variable indépendante) et les changements effectifs du comportement des délinquants (variable dépendante). Par conséquent, ils pourraient tenter par exemple d'évaluer la connaissance, les attitudes, les schèmes de pensée, les états affectifs, les moyens de maîtrise du comportement et les dimensions de la personnalité, ou encore des caractéristiques du mode de vie, comme le nombre de criminels fréquentés ou les niveaux de conflit avec des personnes proches. Le choix des mesures utilisées dépend des cibles de changement choisies dans un programme donné. Les programmes d'apprentissage d'aptitudes cognitives, par exemple, sont conçus pour susciter des changements dans des caractéristiques telles que la résolution des problèmes sociaux, la gestion de la colère, les aptitudes sociales et la source de détermination. Ces variables et d'autres peuvent être évaluées par diverses échelles basées sur l'auto-déclaration et l'observation. Robinson, Grossman et Porporino (1991) et Robinson (1995) ont utilisé cette approche dans l'évaluation des programmes d'apprentissage d'aptitudes cognitives du SCC.

Il existe de nombreux inventaires fondés sur l'auto-déclaration et de barèmes de notation permettant d'évaluer un éventail de facteurs de risque dynamiques et de besoins criminogènes. Beaucoup d'entre eux (mais pas tous, loin de là) peuvent être évalués grâce à une approche «psychométrique». On se sert d'un ensemble assez courant de critères pour choisir des mesures spécifiques à cette fin. Les évaluations psychométriques sont notamment jugées d'après leur fiabilité (c.-à-d., la mesure dans laquelle elles sont exemptes de divers types d'erreurs de mesure), leur validité conceptuelle (la mesure dans laquelle une échelle mesure ce qu'elle est censée mesurer) et leur validité prédictive (la mesure dans laquelle une échelle prédit la réaction à certains critères). Par rapport à leurs collègues des domaines de l'éducation ou de la santé mentale, les chercheurs spécialisés dans les services correctionnels ne disposent encore que d'un nombre très limité d'instruments psychométriques fiables. L'évaluation de changements touchant des variables subjectives telles que l'égocentrisme, l'empathie envers les victimes ou le raisonnement socio-moral demeure difficile en l'absence de moyens de mesure bien établis. Les chercheurs disposent cependant d'une documentation de plus en plus abondante sur les moyens d'évaluation les plus efficaces.

La mise au point d'un plan complet de collecte de données destinées à l'évaluation d'un programme correctionnel pourrait donc nécessiter ce qui suit :

  • Compilation des données descriptives relatives aux personnes envoyées au programme, en fonction d'un ensemble normalisé de données démographiques et criminologiques, ainsi que de données comparatives relatives à d'autres groupes de délinquants, afin d'obtenir des renseignements sur la sélection et le ciblage.
  • Données de vérification relatives aux taux de renvoi, de commencement, d'assiduité, d'abandon et d'achèvement.
  • Analyse des changements des mesures auto-déclarées ou observées avant et après le programme. Comparaisons de groupe entre les délinquants ayant terminé le programme et d'autres qui participent à d'autres études dans un groupe expérimental ou témoin ou qui font l'objet d'autres mesures correctionnelles.
  • Examen des corrélations entre les caractéristiques des délinquants et les résultats.
  • Suivi des taux de survie à des intervalles prescrits (par exemple, 6, 12, 24 ou 60 mois), y compris des comparaisons avec des types connexes de programmes et de sentences et avec certaines échelles de prédiction.
  • À condition de disposer d'échantillons d'une taille appropriée, étude des répercussions du programme par analyse de régression multiple ou à l'aide de modèles fondés sur des équations structurelles. Examen des relations entre les caractéristiques des délinquants ou du milieu, les variables du programme, les changements décelés entre le début et la fin de l'intervention et les taux de récidive.

Un tel éventail de données n'est recueilli que dans le cadre d'évaluations à grande échelle disposant de ressources relativement importantes et basées sur un paradigme expérimental semblable à celui que décrivent Stecher et Davis (1987, voir ci-dessus) ou conforme au modèle de recherche en sciences sociales de Posavac et Carey (1997). Pour d'autres genres d'évaluations, des types de données très différents peuvent être nécessaires, selon les objectifs poursuivis. Par exemple, si l'objectif est de découvrir les raisons de l'attrition relative à un programme, une étude exploratoire basée sur des entrevues serait la plus indiquée. S'il s'agit d'étudier les raisons pour lesquelles des praticiens répartissent les délinquants parmi plusieurs programmes, une approche d'évaluation différente serait encore une fois adoptée.

INTÉGRITÉ DU PROGRAMME : LIEN ENTRE LE PROCESSUS ET LE RÉSULTAT

On admet couramment qu'il existe un lien étroit entre le processus et le résultat dans les interventions. Un vaste examen de la documentation relative au traitement des délinquants a montré combien il est important d'analyser les modalités de mise en œuvre des programmes. Pour qu'un programme atteigne ses objectifs déclarés, il est absolument essentiel qu'il soit réalisé d'une manière appropriée. Il faut recourir à cette fin à un certain nombre d'éléments qu'on désigne collectivement par l'expression intégrité du programme.

Dans de nombreux domaines, y compris le secteur correctionnel, des programmes ont abouti à l'échec à cause d'un manque d'intégrité dans leur mise en œuvre. Pour toutes sortes de raisons, des programmes peuvent être déformés ou corrompus et, si cela se produit, il est peu probable qu'ils atteignent les objectifs visés. Hollin (1995) a décrit des phénomènes tels que la dérive et la dégradation des programmes correctionnels. Plus récemment, Gendreau, Goggin et Smith (1999) ont attiré l'attention sur l'importance des processus de mise en œuvre des programmes, en affirmant que ce facteur a été plus ou moins négligé lors de la mise en pratique des conclusions de la recherche. Pour toutes ces raisons, une évaluation complète devrait comprendre des moyens de contrôle et de sauvegarde de l'intégrité.

Intégrité des programmes

Il n'existe malheureusement pas de définition universellement acceptée de ces concepts, bien que Gendreau et Andrews (1996) aient mis en évidence un certain nombre d'éléments distincts faisant partie de cette intégrité. Aux fins du présent document, nous ferons la distinction entre deux principaux aspects de l'intégrité. L'expression intégrité du programme désigne des caractéristiques organisationnelles externes essentielles à la mise en œuvre d'un programme selon les principes établis par ses concepteurs et gestionnaires. Cette forme d'intégrité nécessite la présence d'un personnel expérimenté, de renvois appropriés, de ressources suffisantes et d'objectifs clairs ainsi que l'appui de la direction et des politiques portant sur ces questions et sur d'autres.

Intégrité du traitement

Ce concept est relié aux aspects internes des modalités de mise en œuvre du programme : c'est l'interaction directe, face à face, entre le personnel du programme et les délinquants. L'intégrité ou fidélité du traitement (Moncher & Prinz, 1991) désigne le processus suivi pour aborder le modèle théorique du problème et les moyens par lesquels on croit pouvoir y remédier.

PROCESSUS DE CONTRÔLE

Il importe que les organismes qui mettent en œuvre un programme adoptent une série de processus de contrôle. Ces processus se répartissent entre deux grandes catégories.

La première comprend des systèmes d'enregistrement et de contrôle assez proches de ceux qu'on utiliserait dans une vérification systématique. On conserverait à cette fin des données sur les processus de sélection du personnel, la formation donnée aux employés, la stabilité et la continuité de l'emploi, les processus de ciblage et de sélection des délinquants, les taux d'assiduité et d'achèvement des délinquants, la disponibilité assurée de ressources matérielles, la fréquence des séances de planification du programme, la fréquence des séances d'examen du programme, la fréquence des séances de supervision du personnel et les présences aux réunions pertinentes du personnel. Le personnel du programme disposerait d'un temps suffisant pour la planification et l'examen. Sur une base cumulative, le temps total du programme serait un multiple de la durée réelle des séances. Les documents de politique se rattachant à ces aspects du programme seraient disponibles pour inspection sur demande.

À l'inverse, les taux d'absence, l'attrition, les annulations de séances, l'absence de documents d'examen ou de rapports, etc. pourraient témoigner de la détérioration de l'intégrité du programme ou de l'absence totale d'intégrité. Pour assurer une évaluation approfondie, il est nécessaire d'élaborer et d'établir des systèmes pour l'inscription et le contrôle des données de ce genre, de façon à créer un système de contrôles d'intégrité. De plus, il faudrait que l'organisme décide de la personne qui sera responsable de la collecte, de la gestion et de l'utilisation de l'information. Des mesures doivent également être prises pour que la personne désignée dispose du temps nécessaire pour s'acquitter de ces tâches et qu'elle occupe un poste assorti de pouvoirs suffisants pour lui permettre d'agir d'une manière décisive en cas de lacunes.

En second lieu, il existe un besoin parallèle d'établir des procédures pour contrôler l'intégrité du traitement. C'est là un aspect plus abstrait et moins facile à consigner des programmes. Le moyen le plus direct et le plus responsable d'y parvenir est de faire des enregistrements vidéo des séances. Les bandes devraient ensuite être conjointement visionnées par le membre du personnel et le superviseur compétents à intervalles fixés d'avance. Il est également possible de charger un évaluateur ou un vérificateur extérieur de visionner les bandes sur une base d'échantillonnage et d'établir des rapports sur l'intégrité du traitement au cours des séances.

L'intégrité du traitement est en général jugée en fonction de deux critères : la conformité au modèle du programme, tel qu'il est décrit dans le guide, et le mode de prestation. Pour évaluer la conformité au modèle, il faut déterminer si les objectifs du programme, de la séance ou de l'exercice sont clairement énoncés, si le contenu est entièrement couvert, si la matière et les exercices des séances sont adéquatement utilisés et si les tâches prévues dans le programme sont exécutées. Des éléments précis peuvent être ajoutés selon le genre du programme en cause. Dans le cas du mode de prestation, il faudra disposer de renseignements permettant de déterminer si la nature des tâches est clairementexpliquée et si on vérifie la mesure dans laquelle les participants les comprennent. Il pourrait également être nécessaire de disposer de données d'observation sur la chaleur ou l'enthousiasme manifestés par le personnel du programme ainsi que sur l'engagement et la participation des délinquants. Dans le cas des programmes conçus pour des groupes de délinquants, on pourrait avoir besoin de renseignements sur la création, au sein du groupe, d'un éthos d'apprentissage approprié (Platt, Perry & Metzger, 1980).

ACCRÉDITATION DES PROGRAMMES CORRECTIONNELS

Un certain nombre de services correctionnels ont eu tendance ces derniers temps à donner un caractère officiel et obligatoire à la mise en œuvre des programmes ainsi qu'à leur vérification et leur contrôle. Cela a mené à l'établissement de procédures d'accréditation des programmes.

À de nombreux égards, ce fait reflète des pratiques qui existent depuis un certain temps déjà dans d'autres sphères du secteur public, et notamment dans le domaine de l'éducation. On tient pour acquis que les cours collégiaux ou les diplômes de formation professionnelle seront soumis à des examens externes avant d'être jugés appropriés. Pour vérifier que les services désignés demeurent efficaces et que les normes d'enseignement voulues sont maintenues, le processus est répété à intervalles réguliers.

Ce genre de système a été récemment introduit au Service des prisons et aux services de probation du Royaume-Uni. Un nouvel ensemble commun de critères d'accréditation a été publié (Home Office Probation Unit, 1999), sur la base d'un ensemble antérieur établi par le Service des prisons seulement (HM Prison Service, 1998). Les critères adoptés imposent, d'une part, que tous les programmes pour délinquants soient contrôlés et approuvés par un comité central indépendant d'experts-conseils et, de l'autre, que la prestation de programmes à n'importe quel établissement fasse l'objet d'un autre processus annuel de vérification. L'ensemble de critères établi par le comité comprend les onze points suivants (on trouvera plus de détails à ce sujet au chapitre 1, de ce Compendium) :

  • Modèle de changement. Il devrait y avoir une description claire d'un modèle théorique établissant de quelle façon le programme influera sur des facteurs reliés aux comportements indésirables des délinquants.
  • Facteurs dynamiques de risque. La documentation du programme devrait définir les facteurs reliés à l'infraction dont le changement entraînera une réduction du risque de récidive.
  • Buts multiples. Compte tenu de la complexité des facteurs reliés aux actes criminels, les programmes devraient viser des buts de traitement multiples dans un format multimodal intégré.
  • Méthodes efficaces. Les méthodes de changement utilisées dans le programme devraient avoir déjà fait leurs preuves et être appliquées dans un ordre approprié.
  • Compétences visées. Les compétences visées par le programme devraient avoir des liens explicites avec le risque de récidive et sa réduction.
  • Intensité, succession et durée. L'ordonnancement des séances devrait être approprié, compte tenu des renseignements disponibles ainsi que des objectifs et du contenu du programme.
  • Sélection des délinquants. La population de délinquants visée par le programme devrait être clairement définie, de même que les procédures de ciblage, de sélection et d'exclusion.
  • Engagement et participation. Le programme devrait être conçu en fonction du principe de la réceptivité et la documentation, les méthodes et le mode de prestation devraient être établis en conséquence.
  • Gestion de cas. Le programme devrait être relié à d'autres éléments de la surveillance et de la gestion de cas du délinquant et des lignes directrices devraient être données pour la mise en œuvre dans les services.
  • Contrôle permanent. Il faudrait établir des procédures et des processus de collecte et d'examen de données de contrôle de l'intégrité.
  • Évaluation. Il devrait y avoir un cadre et des méthodes convenues d'évaluation de la prestation d'ensemble et des répercussions du programme.

Lipton, Thornton, McGuire, Hollin et Porporino (2000) ont examiné la mise en œuvre et l'incidence de ce processus lui-même. Les procédures de collecte de données pour le contrôle courant du processus et l'évaluation des résultats font partie intégrante de tels systèmes. Un système est actuellement élaboré pour la gestion de toutes les données produites par l'application des programmes dans les services responsables des délinquants. Ce système revêt une grande importance parce qu'il promet de faciliter considérablement l'ensemble du processus d'évaluation des programmes.

ASPECTS ÉCONOMÉTRIQUES DES PROGRAMMES CORRECTIONNELS

Comme nous l'avons mentionné au début du chapitre, l'une des principales raisons pour lesquelles il est devenu impératif d'évaluer les programmes correctionnels est qu'il est nécessaire d'en déterminer les effets par rapport aux ressources qui leur sont attribuées. Il incombe aux gestionnaires des services de veiller à ce que les installations soient utilisées de la manière la plus efficace possible. À cette fin, on calcule les coûts monétaires de toutes les ressources investies dans les programmes, qu'il s'agisse du temps des praticiens ou de la fourniture de ressources matérielles ou d'articles nécessaires à l'apprentissage. Les données recueillies peuvent servir dans deux genres d'évaluations (Posavac & Carey, 1997). Le premier, connu sous le nom d'analyse coûts-avantages, consiste à calculer les dépenses nécessaires à la prestation d'un service ou d'un programme et à comparer les chiffres obtenus à la somme de ses avantages directs et indirects (dans la mesure où il est possible d'en mesurer la valeur monétaire). Le second genre d'étude est l'analyse coût-efficacité, qui consiste essentiellement à déterminer si les objectifs ont été atteints, y compris ceux dont la valeur monétaire pourrait être difficile à estimer. On procède ensuite à des comparaisons entre le coût des ressources pour différents types de programmes. L'analyse coût-efficacité établit un rapport entre les deux aspects. Même si nous n'avons connaissance que de peu d'études basées sur l'un ou l'autre de ces deux types d'analyses dans le domaine de la justice pénale, elles ont quand même une certaine importance.2

Il n'est pas difficile de produire des estimations générales permettant des comparaisons globales entre différentes formes de programmes dans le domaine de la justice pénale. Les données officielles peuvent servir à comparer le coût de l'emprisonnement à celui des peines purgées dans la collectivité.

ÉVALUATION : UN MODÈLE LOGIQUE DE PROGRAMME

La matière abordée dans le présent chapitre peut être résumée sous forme d'une série d'étapes permettant de planifier une évaluation, le modèle logique de programme. À la base du modèle, il y a la reconnaissance de la relation fondamentale qui existe entre les objectifs de l'évaluation et ceux du programme ou du service à évaluer, d'une part, et l'approche, la conception et la méthodologie du processus d'évaluation, de l'autre. Le fait de préciser les premiers détermine dans une grande mesure la nature des seconds et peut, dans beaucoup de cas, l'imposer. Le Graphique 26.3 illustre cette relation.

Graphique 26.3 Un modèle logique de programme à l'appui de l'évaluation

.
.
.

D'après ce modèle, il est recommandé aux évaluateurs de poser différents types de questions avant d'entreprendre leur travail. Ces questions portent sur les objectifs de l'évaluation elle-même ainsi que sur ceux du programme ou du service à évaluer. Une fois ces objectifs déterminés, il est possible de choisir le cadre d'évaluation qui convient le mieux pour atteindre les deux ensembles d'objectifs.

Le résultat de ce processus devrait favoriser certains genres de plans d'étude. De plus, une fois qu'ils ont précisé les objectifs et les questions auxquelles il faut répondre, les évaluateurs peuvent déterminer comment assurer la validité des conclusions et minimiser les menaces à la validité. Ces décisions détermineront les meilleures méthodes de collecte des données.

Il est donc clair que différents éléments du plan d'évaluation sont interdépendants. Il y a lieu de noter que nous n'abordons ici ces questions que sur le plan conceptuel, sans tenir compte des nombreux problèmes pratiques pouvant influer sur la faisabilité de différentes options. Une évaluation réaliste est une tentative de conciliation des principes d'une bonne évaluation et des réalités de la mise en œuvre des programmes, visant à donner une explication raisonnable de questions restées jusque là sans réponse.

SYNTHÈSE DES DONNÉES D'ÉVALUATION

L'examen méta-analytique consiste à intégrer les données d'études primaires distinctes (expériences d'intervention ou évaluations) dans une analyse statistique d'ordre supérieur. Toutefois, les auteurs d'examens de la recherche notent souvent que la médiocrité de beaucoup d'études et de rapports d'évaluation nuit à la réalisation d'examens et empêche l'interprétation des tendances qui s'en dégagent. Les auteurs de plusieurs examens (Lipsey, 1992; Lipton, Pearson, Cleland & Yee, 1997; Sherman et al., 1997) ont adopté des procédures permettant de catégoriser les évaluations de programmes selon la qualité de leur plan d'étude. Compte tenu des réalités des évaluations pratiques, il sera probablement toujours difficile de se conformer aux meilleures normes de la recherche, mais cela ne change en rien la nécessité de mener des évaluations et de s'efforcer de le faire le mieux possible. Bien au contraire, cette nécessité est aujourd'hui plus forte que jamais.

AUTRES SOURCES

Il est impossible d'aborder dans un seul chapitre les nombreux aspects de l'évaluation des programmes. Il existe cependant beaucoup de textes et d'ouvrages utiles sur la recherche et l'évaluation. On trouvera une introduction générale à la recherche pratique dans Robson (1993) et une introduction générale à la recherche criminologique dans Jupp (1989). Il y a en outre beaucoup de livres sur la conception de plans de recherche en psychologie et en sciences du comportement : voir par exemple Shaugnessy et Zechmeister (1997). Les neuf volumes du Program Evaluation Kit (Sage Publications) constituent également une source utile.


1 University of Liverpool, Royaume-Uni

2 Pour plus de renseignements à ce sujet, voir le chapitre 27 de ce Compendium.


BIBLIOGRAPHIE

ANDREWS, D. A. & BONTA, J. The psychology of criminal conduct, 2e édition, Cincinnati, OH, Anderson, 1998.

AUDIT COMMISSION. The probation service: Promoting value for money, Londres, GB, Her Majesty's Stationery Office, 1989.

AUDIT COMMISSION. Misspent youth: Young people and crime, Abingdon, GB, Audit Commission Publications, 1996.

BARLOW, D. H. & HERSEN, M. Single case experimental designs: Strategies for studying behavior change, New York, NY, Pergamon, 1984.

BONTA, J. «Risk-needs assessment and treatment» dans Choosing Correctional Options That Work: Defining the Demand and Evaluating the Supply, A. T. Harland, édit., Thousand Oaks, CA, Sage, 1996.

BORUCH, R. F., PETROSINO, A. J. & CHALMERS, I. The Campbell collaboration: A proposal for systematic, multi-national and continuous reviews of evidence, document de travail pour la réunion du Cochrane Collaboration, School of Public Policy, University College Londres, juillet 1999.

BRODY, S. The effectiveness of sentencing, Home Office Research Study no 35, Londres, HMSO, 1976.

COCHRANE, A. L. «1931-1971: A critical review, with particular reference to the medical profession», Medicines for the Year 2000, Londres, GB, Office of Health Economics, 1979.

COOK, T. D. & CAMPBELL, D. T. Quasi-Experimentation: Design and analysis issues for field settings, Boston, MA, Houghton Mifflin, 1979.

COPAS, J. «On using crime statistics for prediction» dans Interpreting Crime Statistics, M. A. Walker, édit., Oxford, GB, Clarendon Press, 1995.

DILLON, J. T. The practice of questioning, Londres, GB, Routledge, 1990.

DOBSON, K. S. & CRAIG, K. (édit.). Empirically supported treatments: Best practice in professional psychology, Thousand Oaks, CA, Sage, 1998.

EAMON, K. C., MCLAREN, D. L., MUNCHUA, M. M. & TSUTSUMI, L. M. «Le programme d'entraide des délinquantes à l'Établissement d'Edmonton pour femmes», Forum, Recherche sur l'actualité correctionnelle, vol. 11, no 3, 1999, p. 28-30.

FISHER, J. «Is casework effective? A review», Social Work, vol. 18, 1973, p. 5-20.

FISHER, J. «Does anything work?», Journal of Social Service Research, vol. 3, 1978, p. 213-243.

GENDREAU, P. & ANDREWS, D. A. Correctional Program Assessment Inventory, 6e édition, 1996

GENDREAU, P., GOGGIN, C. & SMITH, P. «The forgotten issue in effective correctional treatment: Program implementation», International Journal of Offender Therapy and Comparative Criminology, vol. 43, 1999, p. 180-187.

GLASS, G. V., MCGAW, B. & SMITH, M. L. Meta-analysis in social research, Newbury Park, CA, Sage Publications, 1981.

HEDGES, L. V. «How hard is hard science, how soft is soft science? The empirical cumulativeness of research», American Psychologist, vol. 42, 1987, p. 443-455.

HENNING, K. R. & FRUEH, B. C. «Cognitive-behavioral treatment of incarcerated offenders: An evaluation of the Vermont Department of Corrections' Cognitive Self-Change Program», Criminal Justice and Behavior, vol. 23, 1996, p. 523-542.

HM PRISON SERVICE. Criteria for accrediting programs 1998-99, Londres, GB, Offending Behaviour Programs Unit, HM Prison Service, 1998.

HOLLIN, C. R. «The meaning and implications of program integrity» dans What works: Reducing reoffending: Guidelines from research and practice, J. McGuire, édit. Chichester, GB, John Wiley & Sons, 1995.

HOME OFFICE PROBATION UNIT. What works initiative: Crime reduction programme. Joint prison and probation accreditation criteria, Londres, GB, Home Office, 1999.

JUPP, V. Methods of criminological research, Londres, GB, Unwin Hyman, 1989.

KRATOCHWILL, T. R. & LEVIN, J. R. Single-Case research design and analysis: New directions for psychology and education, Hillsdale, NJ, Lawrence Erlbaum Associates, 1992.

LAB, S. P. & WHITEHEAD, J. T. «From “nothing works” to “the appropriate works”: The latest stop on the search for the secular grail», Criminology, vol. 28, 1990, p. 405-417.

LIPSEY, M. W. «Juvenile Delinquency treatment: A meta-analytic inquiry into the variability of effects» dans Meta-analysis for explanation: A casebook, T. Cook, D. Cooper, H. Corday, H. Hartman, L. Hedges, R. Light, T. Louis & F. Mosteller, édit., New York, NY, Russell Sage Foundation, 1992.

LIPTON, D. S., R. MARTINSON, R. & J. WILKS, J. The effectiveness of correctional treatment: A survey of treatment evaluation studies, New York, NY, Praeger, 1976.

LIPTON, D. S., PEARSON, F. S., CLELAND, C. & LEE, D. Synthesizing correctional treatment outcomes: Preliminary CDATE findings, Document présenté à la 5th Annual National Institute of Justice Conference on Research and Evaluation in Criminal Justice, Washington, DC, juillet 1997.

LIPTON, D. S., THORNTON, D., MCGUIRE, J., PORPORINO, F. & HOLLIN, C. R. «Program accreditation and correctional treatment», Drug Use and Misuse, vol. 35, p. 2000, p. 1705-1734.

LLOYD, C., MAIR, G. & HOUGH, M. Explaining reconviction rates: A critical analysis, Home Office Research Study no 136, Londres, GB, Her Majesty's Stationery Office, 1994.

LOGAN, C. H. «Evaluation research in crime and delinquency: A reappraisal», Journal of Criminal Law, Criminology and Police Science, vol. 63, 1972, p. 378-387.

MACDONALD, G. «Evidence-based social care: Wheels off the runway?», Public Money & Management, janvier-mars 1999, p. 25-32.

MACDONALD, G., SHELDON, B. & GILLESPSIE, J. «Contemporary Studies of the effectiveness of social work», British Journal of Social Work, vol. 22, 1992, p. 615-643.

MARTINSON, R. «What works? Questions and answers about prison reform», The Public Interest, vol. 10, 1974, p. 22-54.

MARTINSON, R. «New findings, new views: A note of caution regarding sentencing reform», Hofstra Law Review, vol. 7, 1979, p. 243-258.

MCGUIRE, J. «Interpreting treatment-outcome studies of anti-social behaviour: Combining meta-analyses and single-case designs», (Abstract) International Journal of Psychology, vol. 27, 1992, p. 446.

MCGUIRE, J., BROOMFIELD, C., ROBINSON, C. & ROWSON, B. «Short-term impact of probation programs: An evaluative study», International Journal of Offender Therapy and Comparative Criminology, vol. 39, 1995, p. 23-42.

MELTON, G., PETRILA, J., POYTHRESS, N. & SLOBOGIN, C. Psychological evaluations for the courts: A handbook for lawyers and mental health practitioners, 2e édition, New York, NY, Guilford Press, 1998.

MONCHER, F. J. &. PRINZ, R. J. «Treatment fidelity in outcome studies», Clinical Psychology Review, vol. 11, 1991, p. 247-266.

MOTIUK, L. L., SMILEY, C. & BLANCHETTE, K. «Programmes intensifs pour les délinquants violents : Enquête comparative», Forum, Recherche sur l'actualité correctionnelle, vol. 8, 1996, p. 10-11.

MULROW, C. D. «The medical review article: State of the science», Annals of Internal Medicine, vol. 106, 1987, p. 485-488.

PALMER, T. «Martinson re-visited », Journal of Research in Crime and Delinquency, vol. 12, 1975, p. 133-152.

PATTON, M. Q. How to use qualitative methods in evaluation, Newbury Park, CA, Sage, 1987.

PERSONS, J. B. &. SILBERSATZ, G. «Are the results of randomized controlled trials useful to psychotherapists?», Journal of Consulting and Clinical Psychology, vol. 66, 1998, p. 126-135.

PETROSINO, A. J., BORUCH, R. F., ROUNDING, C., MCDONALD, S. & CHALMERS, I. A Social, Psychological, Educational and Criminological Trials Register (SPECTR) to facilitate the preparation and maintenance of systematic reviews of social and educational interventions, Document de travail pour la réunion du Cochrane Collaboration, School of Public Policy, University College Londres, GB, juillet 1999.

PLATT, J. J., PERRY, G. M. & METZGER, D. S. «The evaluation of a heroin addiction treatment program within a correctional environment» dans Effective correctional treatment, P. Gendreau & R. R. Ross, édit., Toronto, ON, Butterworths, 1980.

POSAVAC, E. J. & CAREY, R. G. Program evaluation: Methods and case studies, 5e édition, Upper Saddle River, NJ, Prentice Hall, 1997.

PRIESTLEY, P., MCGUIRE, J., FLEGG, D., BARNITT, R., WELHAM, D. &. HEMSLEY, V. Social skills in prisons and the community: Problem-solving for offenders, Londres, GB, Routledge, 1984.

QUINSEY, V. L., HARRIS, G. T., RICE, M. E. & CORMIER, C. A. Violent offenders: Appraising and managing risk, Washington, DC, American Psychological Association, 1998.

ROBINSON, D. L'incidence du Programme d'apprentissage cognitif des competences sur la récidive après la mise en liberté chez les déliquants sous responsabilité fédérale au Canada, Rapport de recherche R-41, Ottawa, ON, Service correctionnel du Canada, 1995.

ROBINSON, D., GROSSMAN, M. & PORPORINO, F. J. Efficacité du Programme d'apprentissage cognitif des compétences du projet pilote au programme d'implantation national, Résumé de recherche B-07, Ottawa, ON, Service correctionnel du Canada, 1991.

ROBSON, C. Real world research: A resource for social scientists and practitioner-researchers, Oxford, GB, Blackwell, 1993.

ROSS, R. R., FABIANO, E. A. & EWLES., C. D. «Reasoning and rehabilitation», International Journal of Offender Therapy and Comparative Criminology, vol. 32, 1988, p. 29-35.

ROSS, R. R. & GENDREAU, P. (édit.), Effective correctional treatment, Toronto, ON, Butterworths, 1980.

RUSSELL, M. N. Clinical social work, Newbury Park, CA, Sage Publications, 1990.

SHAUGHNESSY, J. J. & ZECHMEISTER, E. B. Research methods in psychology, 4e édition, New York, NY, McGraw-Hill, 1997.

SHERMAN, L., GOTTFREDSON, D., MACKENZIE, D. L., ECK, J., REUTER, P. & BUSHWAY, S. Preventing crime: What works, what doesn't, what's promising, Washington, DC, Office of Justice Programs, 1997.

STECHER, B. M. & DAVIS, W. A. How to focus an evaluation, Newbury Park, CA, Sage, 1987.

UNDERDOWN, A. Strategies for effective offender supervision: Report of the HMIP what works project, Londres, GB, Home Office, 1998.

WEEKES, J. R., MILLSON, W. A. & LIGHTFOOT, O. «Facteurs influant sur le résultat du traitement des délinquants toxicomanes», Forum, Recherche sur l'actualité correctionnelle, vol. 7, 1995, p. 8-11.

ZAMBLE, E. & QUINSEY, V. L. The criminal recidivism process, Cambridge, GB, Cambridge University Press, 1997.

--------------------

Previous PageTop Of Page Table Of ContentsNext Page