Service correctionnel du Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Compendium 2000 des programmes correctionnels efficaces

Avertissement Cette page Web a été archivée dans le Web.

CHAPITRE 25

Cumul de la connaissance : La méta-analyse au service des cliniciens et des décideurs du secteur correctionnel

PAUL GENDREAU, CLAIRE GOGGIN et PAULA SMITH1


Les cliniciens et les décideurs du secteur correctionnel sont bombardés tous les ans par un nombre toujours croissant d'études de traitement et de prévision concernant les délinquants, dont les conclusions sont souvent contradictoires. La méta-analyse offre un moyen de surmonter les biais intrinsèques des techniques d'examen descriptives ou sommaires en normalisant le processus d'examen et en l'écartant du critère traditionnel des tests d'hypothèses pour le fonder sur les estimations ponctuelles (c.-à-d. les moyennes) et les intervalles de confiance. Ainsi, les cliniciens et les décideurs peuvent accorder plus de crédit aux conclusions des résumés quantitatifs et, partant, les intégrer dans le processus décisionnel. En même temps, il devient possible, de cette manière, de s'assurer que les politiques correctionnelles ont un fondement empirique plutôt qu'idéologique.

L'une des tâches les plus intimidantes des cliniciens et des décideurs du secteur correctionnel est de faire une synthèse raisonnable des masses de données de traitement et de prévision produites tous les ans. Bien sûr, ce problème n'est pas particulier au secteur correctionnel. Dans sa méta-analyse, Hunt (1997) brosse un tableau convaincant d'un monde des sciences sociales et de la recherche médicale dont le paysage semble, à certains moments, «[traduction] être envahi par un incessant feu croisé dans lequel les conclusions des nouveles études non seulement difèrent des vérités d'hier, mais se contredisent les unes les autres, souvent d'une manière flagrante» (p. 1). Dans le secteur correctionnel, il y a ainsi des données contradictoires sur l'efficacité des traitements par rapport aux stratégies disciplinaires (p. ex., camps de type militaire) ou sur la cruauté par rapport à l'utilité des prisons.

Est-il surprenant, dans ces conditions, que les législateurs soient perplexes quand, en collaboration avec les cliniciens et les décideurs, ils tentent de se baser sur les données pour élaborer des politiques rationnelles sur des questions de gestion des délinquants (voir Hunter & Schmidt, 1996) ?

SOURCES DE CONFUSION

À notre avis, cette confusion a de multiples sources (Gendreau, Goggin & Smith, 2000). Deux des plus importantes, l'idéologie et les méthodes traditionnelles d'examen de la documentation et de cumul de la connaissance, font l'objet du présent chapitre.

Idéologie

Dans les années 1950 et 1960, les spécialistes nord-américains des sciences sociales croyaient, avec beaucoup de naïveté et d'idéalisme, que nous étions une société éprise d'expérimentation (voir Campbell, 1969; voir également Gendreau & Ross, 1987). Ils étaient convaincus que les conclusions découlant d'évaluations bien conçues et bien exécutées pouvaient être transposées, plus ou moins telles quelles, dans la politique gouvernementale. Toutefois, la réalité s'est révélée autre, particulièrement dans le cas des services correctionnels, où les facteurs de contexte, tels que les idéologies politiques et professionnelles, ont fréquemment pris le dessus dans les politiques (Cullen & Gendreau, 2000; Gendreau, 1999; Gendreau & Ross, 1987).

Aux États-Unis, la popularité du mouvement «disciplinaire» dans le domaine correctionnel a coïncidé avec le retour aux valeurs conservatrices dans l'arène sociopolitique (Cullen & Gendreau, 1989). On a présumé que les politiques fondées sur l'idéologie qui en ont résulté -- recours accru aux prisons (camps de type militaire, peines d'emprisonnement plus longues), sanctions communautaires (surveillance électronique, dépistage des drogues) -- dissuaderaient efficacement les comportements criminels, même si cette hypothèse n'avait aucune base empirique. Ainsi, ces initiatives ont fait totale-ment abstraction des milliers d'études citées dans le domaine du châtiment psychologique et dans la littérature sociopsychologique, qui auraient rapidement révélé la vanité de telles stratégies (Gendreau, 1996a). De fait, plusieurs des programmes fondés sur l'idéologie disciplinaire -- thérapie par l'humiliation du travestissement, publication par les médias de l'identité et de la photo des personnes arrêtées pour des infractions reliées à la prostitution (John TV) et rétablissement de la peine du fouet dans les prisons (voir Gendreau, Goggin & Smith, 2000) -- frisaient l'incroyable.

Andrews et Bonta (1998) mentionnent d'innombrables cas dans lesquels des criminologues ont purement et simplement écarté la documentation concernant la personnalité et le traitement des délinquants, affirmant qu'elle n'avait aucune valeur, alors qu'une foule de données établissaient le contraire. Les différences d'interprétation de la littérature parmi les scientifiques ont de multiples raisons, dont la concurrence entre les diverses disciplines et leur recherche de gloire et des avantages correspondants, l'accès au finance-ment extérieur et un flagrant arrivisme (Gendreau, Goggin & Smith, 2000; Gendreau & Ross, 1979; Hunt, 1997). En fait, il y a toute une catégorie d'«universitaires» qui réussit particulièrement bien à déguiser son idéologie. Il y a lieu de mentionner, dans cette catégorie, les «entrepreneurs en politiques» et les «intellectuels de combat» qui excelent dans l'art de poser aux empiristes rationnels tout en servant leurs propres objectifs idéologiques sinon ceux des intérêts spéciaux qui commanditent leurs recherches (voir Krugman, 1994; Starobin, 1997).

Ce n'est pas facile pour le décideur ou le clinicien moyen qui se trouve confronté à ce fouilis confus et contradictoire. Par exemple, la plupart des cliniciens n'ont pas le temps de procéder à d'importants examens de la documentation. De plus, comme nous le mentionnons plus loin, la littérature de la recherche appliquée devient de plus en plus étendue et technique. Par ailleurs, les décideurs se retrouvent face à un défi d'un genre un peu différent. Dans le «bon vieux temps», les décideurs de haut niveau étaient souvent spécialisés dans les domaines dont ils étaient directement responsables et gardaient leurs fonctions assez longtemps pour comprendre tous les aspects et toutes les ramifications des théories et des preuves qui servaient de base à leurs décisions (Granatstein, 1982; Osbaldeston, 1989). Aujourd'hui, la plupart des décideurs ne passent que très peu des temps dans un même secteur (moins de trois ans en moyenne) et ont le plus souvent fait des études assez générales (Fulford, 1995). Un contrôle politique plus serré de la bureaucratie (Savoie, 1999) favorise vraisemblablement la voie idéologique et la mise au point de solutions miracles pour résoudre des problèmes pressants et souvent complexes.

Nous ne prétendons pas que l'idéologie soit devenue tellement insidieuse qu'elle paralyse les tentatives de cumul de la connaissance ni que certains aspects des positions idéologiques adoptées ne sont pas en fait assez «exacts» dans la mesure où ils se fondent sur des résultats de recherche. En fait, quelle que soit la tendance idéologique d'une culture donnée, les spécialistes des sciences sociales ont toujours essayé de trouver une certaine rationalité dans la littérature scientifique. Les moyens traditionnels de le faire posent cependant un problème majeur, surtout dans les domaines où les données sont particulièrement denses.

SURCHARGE D'INFORMATION ET EXAMEN DESCRIPTIF

Compte tenu de la quantité d'information disponible et du fait que les renseignements qu'on y trouve peuvent être contradictoires, il n'est pas surprenant que les cliniciens et les décideurs aient des idées différentes sur l'efficacité des programmes en milieu correctionnel.2 Une partie du problème réside dans la façon d'examiner la littérature, parce que la méthode de cumul de la connaissance influe de toute évidence sur les conclusions qu'on peut tirer et, partant, sur la formulation des politiques. Auparavant, les décideurs s'appuyaient sur des examens descriptifs pour prendre des decisions concernant la politique. En général, les résumés établis étaient de nature qualitative et se conformaient au processus suivant : le plus souvent, l'auteur se faisait une opinion en lisant quelques articles théoriques influents, examinait les éléments de preuve disponibles puis choisissait les résultats qui appuyaient sa position.

Les examens descriptifs peuvent convenir quand la documentation examinée est relativement petite (p. ex., de 5 à 10 études) ou purement qualitative. Toutefois, les critiques de cette approche ont noté plusieurs limites (Glass, McGaw & Smith, 1981; Redondo, Sanchez-Meca & Garrido, 1999; Rosenthal, 1991). La lacune la plus grave de l'examen descriptif est peut-être sa tendance à omettre des données clés. De ce fait, la portée de la documentation à l'étude est souvent limitée par les préjugés de celui ou celle qui l'examine. Il y a également une autre restriction : il est en pratique impossible de reproduire un examen descriptif. De plus, des concepts essentiels y sont souvent mal opérationnalisés. Redondo et ses collaborateurs (1999) ont également signalé que, dans l'esprit humain, la capacité de traitement systématique d'une multitude de méthodologies, de résultats, de caractéristiques d'études et d'éventuelles variables modératrices est limitée. On peut donc se rendre compte de la difficulté qu'il peut y avoir à résumer un grand nombre d'études (p. ex., de 30 à 200). Ce qui se produit en général (Gendreau & Ross, 1987), c'est que l'évaluateur favorise un petit sous-ensemble d'études qu'il «aime» particulièrement ou qu'il comprend mieux que les autres pour aboutir à des conclusions générales portant sur une documentation très abondante et souvent très complexe. Glass et al. (1981) présentent quelques exemples très convaincants de ce phénomène. Quand cinq éminents scientifiques ont procédé séparément à des examens descriptifs de la même littérature (efficacité de la psychothérapie par rapport à la pharmacothérapie), ils ont eu des points de vue divergents sur les études à inclure dans l'examen, sur les études à inscrire dans chacune des deux catégories de traitement et, bien entendu, sur la cohérence et l'importance des résultats. Bref, les examens descriptifs sont le plus souvent désespérément imprécis.

L'analyse quantitative sommaire est une autre approche, légèrement plus formelle, du cumul de la connaissance. Cette méthode consiste essentiellement à dresser un tableau de fréquence des effets statistiquement significatifs par rapport aux effets non significatifs dans un ensemble donné d'études, l'«effet gagnant» étant celui qui a la plus grande fréquence. Bien que cette technique semble simple et directe, la situation se complique lorsque la valeur de certains résultats statistiquement significatifs est plus élevée que celle de certains autres ou, ce qui est pire, lorsque la valeur de certains résultats non significatifs est plus élevée que celle des résultats désignés comme étant significatifs (la détermination de la signification statistique étant bien entendu intrinsèquement reliée à la taille des échantillons) !

Qu'est-ce que l'ampleur de l'effet ?

L'ampleur de l'effet ou la valeur de l'effet, expression aujourd'hui omniprésente dans la littérature de la méta-analyse, désigne tout simplement la taille du résultat obtenu dans une étude de prévision ou de traitement. Autrement dit, c'est l'importance de la corrélation entre une mesure du risque et un résultat ou la différence dans une mesure de résultat entre le groupe traité et le groupe témoin. Il existe plusieurs moyens de calculer l'ampleur de l'effet, mais celui que les chercheurs préfèrent, parce qu'il est facile à utiliser et à comprendre, est le coefficient de corrélation de Pearson r (Rosenthal, 1991). À moins que la base de données ne soit extrême d'une façon ou d'une autre (taux de base très élevé ou très bas, échantillons très petits), la valeur r, ou ampleur de l'effet, peut être prise telle quelle en toute sécurité (voir Cullen & Gendreau, 2000). Ainsi, par exemple, si une intervention cognitiviste auprès de délinquants produit des taux de récidive de 10 % par rapport à 30 % dans le groupe témoin, r est alors de 0,20 (différence de 20 % entre les deux groupes) ou très proche de cette valeur. De même, dans le cas d'une étude de prévision, le fait que l'INS-R prédit la récidive à r = 0,38 signifie simplement, en supposant un taux de base de 50 %, que le taux de récidive des délinquants qui ont un score élevé (au-dessus d'un plafond désigné) est de 69 % à comparer à 31 % (différence de 38 %) dans le cas de ceux qui ont obtenu un score bas.

Plusieurs auteurs ont conclu que, parce qu'ils s'appuient sur le test d'hypothèse, l'examen descriptif et l'analyse quantitative sommaire sont d'une utilité limitée et ont en fait nui au processus de cumul de la connaissance (Schmidt, 1996). Schmidt a signalé plusieurs idées fausses courantes découlant du test d'hypothèse, et notamment ce qui suit : un résultat statistiquement significatif prouve que les conclusions sont fiables et peuvent être reproduites; le niveau de signification constitue une estimation de l'importance de l'effet (c-à-d., p<0,01 est supérieur à p<0,05); si on n'a pas réussi à écarter l'hypothèse nulle (p>0,05), alors les résultats sont strictement attribuables au hasard et sont vraisemblablement nuls. Chacun de ces énoncés est erroné et peut mener à une interprétation complètement fausse de la nature d'une littérature donnée.

Supposons, pour illustrer, que nous soyons en présence de cinq études ayant toutes des échantillons assez petits (mettons 30, 40, 80, 20 et 60 sujets). Le traitement consiste en une intervention cognitiviste spécifique auprès de délinquants à risque élevé, effectuée dans des milieux différents et par des équipes différentes. Dans chaque étude, le chercheur note la réduction de la récidive et produit un coefficient de corrélation (r) reflétant des réductions respectives de 0,34, 0,30, 0,21, 0,40 et 0,23. L'effet moyen pour l'ensemble des programmes de traitement est r = 0,30. De toute évidence, les résultats établissent de façon cohérente que le traitement est efficace. Toutefois, en consultant une table des valeurs de r à différents niveaux de signification, il apparaît clairement qu'aucune des valeurs individuelles de r n'est significative au seuil p = 0,05 ! Un examen descriptif de ces résultats aboutirait inévitablement à la conclusion que l'intervention est inefficace et recommanderait aux décideurs de mettre un terme au programme.3 Nous avons en fait trouvé dans la littérature des cas où il avait été démontré que différentes mesures du risque avaient aussi bien prédit la récidive les unes que les autres, mais où certaines ont été déclarées sans valeur parce que leurs coefficients de corrélation n'étaient pas «significatifs» alors que d'autres l'étaient. Pourtant, la seule différence marquée entre les deux situations consistait en écarts mineurs entre la taille des échantillons.4

Pour mieux comprendre la littérature de la recherche :
Une synthèse de la recherche quantitative

Comment résoudre ce problème ? Il faut normaliser le processus d'examen et cesser d'axer l'analyse des données sur le test d'hypothèse traditionnel. Une révolution tranquille est en train de transformer les domaines de la médecine et de la psychologie depuis une vingtaine d'années, les scientifiques ayant commencé à synthétiser la littérature de la recherche d'une façon plus précise et plus quantitative en usant d'un procédé méthodologique connu sous le nom de méta-analyse. En fait, les techniques de synthèse quantitative sont utilisées depuis des années dans les sciences «exactes» (Hedges, 1987). Il faut noter cependant que notre objectif, dans ce chapitre, n'est pas de donner au lecteur une formation en méta-analyse, cette technique pouvant être, à l'occasion, très compliquée et très longue à exécuter (voir, par exemple, Cooper, 1997; Shadish, 1996), mais plutôt de lui permettre de mieux comprendre le processus.5 Fort heureusement, quand il s'agit des besoins des cliniciens et des décideurs, une méta-analyse élémentaire suffit dans la plupart des cas (Rosenthal, 1995). Dans le secteur correctionnel, comme dans la plupart des domaines appliqués, on se préoccupe rarement des effets subtils d'interactions d'ordre élevé, qu'il est souvent impossible d'interpréter. En fait, la formulation d'une politique rationnele sur des questions importantes telles que les traitements les plus indiqués pour réduire la récidive ou les mesures du risque qui prédisent le plus exactement celle-ci se fonde le plus souvent sur des conclusions empiriques (voir Gendreau, Little & Goggin, 1996).6

Qu'est-ce exactement qu'une méta-analyse ? Supposons qu'on veuille examiner les facteurs qui prédisent le mieux le rendement des étudiants de première année à l'université. Un échantillon représentatif de 100 étudiants du premier cycle est évalué. Pour chaque étudiant, on inscrit la note pondérée moyenne (NPM), le sexe, l'âge, la situation socio-économique de la famile, l'aptitude intellectuelle, les habitudes en matière d'étude, le genre de cours suivis, les méthodes de notation, etc. On peut facilement constater qu'il serait difficile d'aboutir de près ou de loin à une conclusion générale précise concernant la prévisibilité de la NPM sur la base des données d'un seul étudiant. Ainsi, si l'étudiant a une NPM élevée (mettons 4,0) et vient d'un «bon» milieu socio-économique, il pourrait être tentant de conclure que la corrélation entre les deux facteurs est nécessairement importante. Par ailleurs, on pourrait supposer après une étude de son relevé de notes, que la valeur de la NPM a été indûment influencée par le fait que l'étudiant a choisi des cours «faciles». Toutefois, après la compilation des résultats des facteurs ci-dessus pour tous les étudiants (n = 100), un tableau beaucoup plus clair se dégage parce que certains facteurs produiront vraisemblablement une plus forte corrélation avec la NPM que d'autres. Une analyse statistique plus poussée peut ensuite révéler lesquelles, parmi les corrélations les plus fortes, sont les plus importantes. C'est essentiellement là le rôle de la méta-analyse, sauf que celle-ci se concentre en général sur une étude plutôt que sur un individu comme «sujet». En règle générale, la méta-analyse permet de faire ce qui suit : grouper les études et les variables auxquelles on s'intéresse en fonction de dimensions données,7 exprimer les résultats recherchés (p. ex., la récidive) dans ces études sous une forme commune, connue sous le nom d'ampleur de l'effet, qui est le plus souvent le coefficient r de Pearson, calculer la moyenne des valeurs d'effet obtenues, faire une analyse statistique de ces ampleurs afin de déterminer si leurs variations sont en corrélation avec le type de variable considéré ou les caractéristiques de l'étude. On arrive, de cette façon, à mettre en évidence les incohérences dans un ensemble d'études apparemment sans liens et à souligner les caractéristiques qui produisent des résultats apparemment différents.

Le Tableau 25.1 montre un exemple de base de données méta-analytique dans sa forme la plus élémentaire. Ce table au très simple révèle une foule de renseignements. Nous y présentons les données de six études de traitement. Par souci de brièveté, nous donnons des renseignements sur deux très importantes variables modératrices (du moins en ce qui concerne le secteur correctionnel) : le niveau de risque des délinquants et la qualité du plan d'étude.

TABLEAU 25.1 Relation entre le traitement et la récidive pour un échantillon d'études

.
Étude no
Risque
Qualité
N
r  
ICr
.
1
F
F
52
-0,09  
-0,36 to 0,18
2
F
F
180
0,02  
-0,13 to 0,17
3
É
É
42
0,34*
0,07 to 0,61
4
É
F
82
0,22*
0,01 to 0,43
5
É
É
30
0,29  
-0,04 to 0,62
6
F
É
68
0,06  
-0,18 to 0,30
Total
454
0,14  
0,05 to 0,23
.

Remarque : Risque = niveau de risque des délinquants; Qualité = qualité du plan d'étude; F = faible; É = élevé; N = taille de l'échantillon de l'étude; r = coefficient de corrélation (ou ampleur de l'effet) entre l'âge et la récidive; ICr = intervalle de confiance de part et d'autre de r. *p<0,05.

Les études diffèrent considérablement les unes des autres par la taille de l'échantillon (nintervalle = 30 à 180) et par l'ampleur de l'effet (rintervalle = 0,09 à 0,34). Le lecteur se souviendra de notre examen des analyses quantitatives sommaires et des tests d'hypothèse. Seules deux des études du Tableau 25.1 (études nos 3 et 4) produisent un effet statistiquement significatif sur la récidive. Pourtant, les intervalles de confiance à 95 % (ICr) de chacune des six études se chevauchent, indiquant que les échantillons sont tirés du même paramètre de la population. Il est intéressant de comparer ces résultats avec la conclusion qu'on aurait tirée d'une analyse quantitative sommaire des effets significatifs (le traitement est inefficace).

L'utilisation de l'intervalle de confiance en méta-analyse est d'une importance capitale. Comme l'a signalé Schmidt (1996), beaucoup de gens croient à tort que le fait de tester l'hypothèse nulle limite également la probabilité des erreurs de type I (conclure faussement qu'il existe un effet) et de type II (conclure faussement qu'il n'existe aucun effet). En réalité, quand on procède au test d'hypothèse, on maintient les erreurs de type I au seuil de 5 % (p = 0,05), mais on ne peut pas être sûr d'exercer un contrôle équivalent sur les erreurs de type II. Le taux peut couramment être très élevé, souvent de l'ordre de 50 % (Cohen, 1988), surtout dans les études ayant un faible pouvoir statistique à cause de la petite taille de leur échantillon. Par contre, les intervalles de confiance présentent un grand avantage pour le cumul de la connaissance parce qu'ils maintiennent le taux d'erreur à 5 % (Schmidt, 1996). Autrement dit, c'est seulement dans 5 % des échantillons qu'on peut ne pas s'attendre à trouver le paramètre de la population ou la «vraie» valeur de l'effet.

Par conséquent, à part le fait qu'elle démontre quantitativement le degré de cohérence qui existe dans une masse donnée de documentation, la méta-analyse fournit également une estimation du degré de certitude d'un effet donné. Lorsque l'intervalle de confiance est très étendu, elle indique au décideur qu'il convient de se montrer prudent, que les conclusions obtenues au sujet d'une relation donnée devraient être considérées comme provisoires et que d'autres recherches sont nécessaires. Par contre, lorsque l'intervalle est étroit, comme dans le cas des récentes études sur le manque d'effet du temps passé en prison et des sanctions de sévérité moyenne sur la récidive (Gendreau, Goggin & Fulton, 2000; Gendreau, Goggin & Cullen, 1999), le décideur peut accorder beaucoup plus de crédit aux conclusions d'un examen et, par conséquent, aux lignes de conduite qui y sont recommandées.

Pour revenir au Tableau 25.1, on note que l'ampleur moyenne de l'effet est r = 0,14, ce qui représente une réduction de 14 % de la récidive, avec un IC de 0,05 à 0,23. De plus, en appliquant une procédure utile mise au point par Hedges et Olkin (1985), on peut pondérer les valeurs d'effet des études par la taille de leur échantillon et le nombre des ampleurs de l'effet en cause, ce qui, dans ce cas, donne une valeur moyenne de 0,10 avec un ICde 0,01 à 0,19.

Nous avons maintenant une idée beaucoup plus précise de l'utilité des traitements cognitivistes de notre exemple. De plus, nous pouvons examiner les variables modératrices intéressantes de notre base de données (c.-à-d., le niveau de risque des délinquants et la qualité du plan d'étude) et répéter les procédures mentionnées ci-dessus pour déterminer si elles produisent des effets différents sur la récidive. Dans notre cas, par exemple, le niveau de risque semble constituer une importante variable modératrice (rhaut = 0,28 par rapport à rbas = -0,003). En effet, notre traitement hypothétique entraîne une diminution de 28 % de la récidive parmi les délinquants à risque élevé par rapport à une augmentation approximative de 1 % parmi les délinquants à risque faible.

De «nouvelles» valeurs statistiques se sont récemment ajoutées à la panoplie du méta-analyste. Un groupe de ces valeurs comprend les indicateurs «à sécurité intégrée» (Gendreau, Smith & Goggin, 1999; Orwin, 1987; Rosenthal, 1991) qui aident à déterminer le degré de confiance qu'il est possible d'attribuer à l'effet moyen d'une série d'études. En effet, ces indicateurs estiment le nombre d'études supplémentaires ayant des effets moyens nuls, récupérables ou non, qui seraient nécessaires pour infirmer les conclusions d'une méta-analyse donnée.

Nous aimons également utiliser l'indicateur langage commun (CL) de l'ampleur de l'effet (McGraw & Wong, 1992). Par exemple, dans une méta-analyse dont les résultats devraient paraître sous peu, nous désignons, parmi deux mesures de risque, celle qui est la plus utile pour prédire la récidive, question qui intéresse de très près de nombreux responsables des prisons et des services de libération conditionnelle. Nous avons constaté que, même si les deux mesures avaient une certaine valeur prédictive en matière de récidive, l'une des deux était sensiblement supérieure à l'autre à cet égard (p<0,05). De toute évidence, une affirmation concernant la signification statistique n'est pas particulièrement utile aux décideurs dans ce contexte. L'indicateur CL, par ailleurs, est à la fois facile à calculer et facile à comprendre et peut être d'une utilité immédiate pour les administrateurs, leur fournissant une mesure probabiliste du rendement relatif de chacune de deux variables reliées à des résultats. Ainsi, dans le cas de la méta-analyse susmentionnée, l'indicateur CL révélait que l'une des deux mesures du risque produisait des coefficients de corrélation supérieurs dans 78 % des cas (Gendreau, Goggin & Smith, 1999). C'est là un exemple des limites inhérentes du test d'hypothèse et des avantages d'une information d'une nature plus pratique, dont il faut tenir compte pour prendre des décisions éclairées.

L'AVENIR DE LA MÉTA-ANALYSE

La méta-analyse est aujourd'hui la méthode d'examen la plus indiquée. Elle a permis des progrès sensibles de la connaissance dans un grand nombre de domaines (Hunt, 1997), y compris celui de la justice pénale (Gendreau et al., 2000). De fait, dans une analyse quantitative comparée des résultats d'examens descriptifs et méta-analytiques, Beaman (1991) a noté que les seconds ont surclassé les premiers d'environ 50 % en moyenne dans la description d'une foule de caractéristiques d'études, dont la nature et les conditions de la littérature examinée, la direction et l'importance de la valeur de l'effet ainsi que les relations entre les résultats et certaines variables modératrices particulières.

De plus, les résumés descriptifs tendent à sous-estimer l'ampleur d'un effet (Cooper & Rosenthal, 1980). Cela pourrait être dû au fait que les évaluateurs sont excessivement prudents dans leurs conclusions parce qu'ils ne peuvent pas compter sur des estimations quantitatives exactes de la valeur des effets.

Bien sûr, la démarche méta-analytique n'est pas une panacée. Quiconque s'est livré à une méta-analyse sait fort bien qu'il faut prendre un certain nombre de décisions subjectives complexes concernant le codage des études et le type d'analyse à effectuer. De plus, il y a des aspects de la méta-analyse qui, comme Cooper (1997, p. 179) l'a noté, «déroutent souvent les analystes de données les plus expérimentés». L'examen méta-analytique est parfois présenté comme l'ultime solution, mais, après en avoir effectué plusieurs dans le domaine de la littérature correctionnelle, nous avons conclu que la plupart des études examinées comportaient tant de lacunes essentielles qu'il est nécessaire d'entreprendre d'autres recherches primaires (voir, p. ex., Gendreau et al., 1996; Gendreau, Goggin & Smith, 1999) avant qu'il soit possible de présenter aux cliniciens et aux décideurs des résultats assez concluants. De plus, il y a des littératures qui comportent si peu d'études quantitatives qu'on n'a pas d'autre choix que de se contenter d'un examen descriptif pour le moment.

À notre avis, on ne peut pas éviter d'utiliser des synthèses quantitatives de la recherche pour susciter un respect des preuves concrètes qui fait cruellement défaut dans le secteur correctionnel. Comme nous l'avons noté par ailleurs (Gendreau, 1999), nous serions extrêmement satisfaits si seulement de 20 à 40 % de nos politiques se fondaient sur les résultats de démarches méta-analytiques.


1 Université du Nouveau-Bruswick, Centre for Criminal Justice Studies

2 Lorsque le premier auteur a commencé à travailler dans le secteur correctionnel, il y a 40 ans, la littérature était extrêmement réduite par rapport à ce qu'elle est aujourd'hui (Gendreau, 1996b). Il n'y avait en effet qu'un petit nombre de livres ou de revues à consulter pour se tenir au courant de l'actualité.

3 Avec les mêmes ampleurs de l'effet, un accroissement marginal (5 à 10 sujets seulement) de la taille de chacun des échantillons, produit des résultats très différents : les coefficients de corrélation deviennent tous statistiquement significatifs même si la valeur moyenne de l'effet demeure la même (r = 0,30).

4 Nous savons que, comme nous, certains chercheurs pondèrent les études par la taille de leur échantillon. Nous soutenons par ailleurs que ce n'est pas nécessairement là une procédure axiomatique puisque les études fondées sur de plus grands échantillons peuvent être d'une qualité méthodologique moindre (Gendreau, Goggin & Smith, 2000, p. 56).

5 On trouvera un examen plus détaillé de cette question dans les «livres de recettes» très conviviaux de la méta-analyse de Durlak (1995) et Wolf (1986).

6 Indépendamment du besoin qu'on a de politiques normalisées, il est facile d'admettre des exceptions à une importante politique si les circonstances le justifient (p. ex., si une mesure donnée du risque se révèle supérieure parmi un petit sous-échantillon de délinquants ou pour un genre particulier de résultat).

7 Les principales caractéristiques d'une étude qui sont couramment codées comprennent ce qui suit : le contexte de l'étude (pays, discipline de l'auteur, source de financement, année et type de publication), les caractéristiques de l'échantillon (âge, sexe, race et niveau de risque des délinquants), les variables particulières aux études de traitement (type de traitement, dosage du traitement, personnes qui l'administrent, milieu de traitement, parrainage du programme, durée d'existence du programme, fondement théorique du programme et rôle de l'évaluateur) et la méthodologie (comparabilité du groupe traité et du groupe témoin, taux d'attrition, type de résultats et durée du suivi).


BIBLIOGRAPHIE

ANDREWS, D. A. & BONTA, J. The psychology of criminal conduct, 2e édition, Cincinnati, OH, Anderson Press, 1998.

BEAMAN, A. L. «An empirical comparison of meta-analytic and traditional reviews», Personality and Social Psychology, Bulletin, vol. 17, 1991, p. 257.

CAMPBELL, D. T. «Reforms as experiments», American Psychologist, vol. 24, 1969, p. 409-428.

COHEN, J. Statistical power analysis for the behavioral sciences, Hillsdale, NJ, Lawrence Erlbaum, 1988.

COOPER, H. «Some finer points in meta-analysis» dans How science takes stock: The story of meta-analysis, M. Hunt édit., New York, NY, Russell Sage Foundation, p. 169-181, 1997.

COOPER, H. M. & ROSENTHAL, R. «Statistical versus traditional procedures for summarizing research findings», Psychological Bulletin, vol. 87, 1980, p. 442-449.

CULLEN, F. T. & GENDREAU, P. «The effectiveness of correctional treatment: Reconsidering the “nothing works” debate» dans The American prison: Issues in research and policy, L. Goodstein & D. L. MacKenzie, édit., New York, NY, Plenum, 1989, p. 23-44.

CULLEN, F. T. & GENDREAU, P. «Assessing correctional rehabilitation: Policy, practice, and prospects» dans National Institute of Justice criminal justice 2000: Changes in decision making and discretion in the criminal justice system, J. Horney, édit., Washington, DC, Department of Justice, National Institute of Justice, sous presse.

FULFORD, R. «Regarding Henry», Report on Business Magazine, vol. 91, octobre 1995, p. 67-74.

GENDREAU, P. «The principles of effective intervention with offenders» dans Choosing correctional interventions that work: Defining the demand and evaluating the supply, A. T. Harland, édit., Newbury Park, CA, Sage, 1996a, p. 117-130.

GENDREAU, P. «Offender rehabilitation: What we know and what needs to be done», Criminal Justice and Behavior, vol. 23, 1996b, p. 144-161.

GENDREAU, P. «Rational policies for reforming offenders», The ICCA Journal of Community Corrections, vol. 9, 1999, p. 16-20.

GENDREAU, P., GOGGIN, C. & CULLEN, F. The effects of prison sentences on recidivism, Ottawa, ON, Solliciteur général du Canada, 1999.

GENDREAU, P., GOGGIN, C. & FULTON, B. «Intensive supervision in probation and parole» dans Handbook of offender assessment and treatment, C. R. Hollin, édit., Chichester, GB, John Wiley, 2000, p. 195-204.

GENDREAU, P., GOGGIN, C. & SMITH, P. «Predicting recidivism: LSI-R vs. PCL-R», Canadian Psychology Abstracts, mai 1999, p. 40, 2a.

GENDREAU, P., GOGGIN, C. & SMITH, P. «Generating rational correctional policies: An introduction to advances in cumulating knowledge», Corrections Management Quarterly, vol. 4, 2000, p. 52-60.

GENDREAU, P., LITTLE, T. & GOGGIN, C. «A meta-analysis of adult offender recidivism: What works!», Criminology, vol. 34, 1996, p. 575-607.

GENDREAU, P. & ROSS, R. R. «Effective correctional treatment: Bibliotherapy for cynics», Crime and Delinquency, vol. 25, 1979, p. 463-489.

GENDREAU, P. & ROSS, R. R. «Revivification of rehabilitation: Evidence from 1980s», Justice Quarterly, vol. 4, 1987, p. 349-407.

GENDREAU, P., SMITH, P. & GOGGIN, C. Catching up is hard to do: A fail-safe statistic for policy-makers, Saint John, NB, Centre for Criminal Justice Studies, Université du Nouveau-Brunswick, manuscrit non publié, 1999.

GLASS, G., MCGRAW, B. & SMITH, M. L. Meta-analysis in social research, Beverly Hills, CA, Sage, 1981.

GRANATSTEIN, J. L. The Ottawa men: The civil service mandarins, 1937-1957, Toronto, ON, Oxford Press, 1982.

HEDGES, L. V. «How hard is hard science, how soft is soft science: The empirical cumulations of research», American Psychologist, vol. 42, 1987, p. 443-455.

HEDGES, L. V. & OLKIN, I. Statistical methods for meta-analysis, San Diego, CA, Academic Press, 1985.

HUNT, M. How science takes stock: The story of meta-analysis, New York, NY, Russell Sage Foundation, 1997.

HUNTER, J. E. & SCHMIDT, F. L. «Cumulative research knowledge and social policy formulation: The critical role of meta-analysis», Psychology, Public Policy, and Law, vol. 2, 1996, p. 324-347.

KRUGMAN, P. Peddling prosperity: Economic sense and nonsense in the age of diminished expectations, New York, NY, Norton, 1994.

MCGRAW, K. O. & WONG, S. P. «A common language effect size statistic», Psychological Bulletin, vol. 111, 1992, p. 361-365.

ORWIN, R. G. «A fail-safe N for effect size in meta-analysis», Journal of Educational Statistics, vol. 8, 1987, p. 157-159.

OSBALDESTON, G. Raffermir la responsabilité des sous-ministres, London, ON, National Centre for Management Research and Development, Centre national de recherche et de développement en administration, School of Business, University of Western Ontario, 1988.

REDONDO, S., SANCHEZ-MECA, J. & V. GARRIDO, V. «The influence of treatment programmes on the recidivism of juvenile and adult offenders: A European meta-analytic review», Psychology, Crime and Law, vol. 5, 1999, p. 251-278.

ROSENTHAL, R. Meta-analytic procedures for social research, Beverly Hills, CA, Sage, 1991.

ROSENTHAL, R. «Writing meta-analytic reviews», Psychological Bulletin, vol. 8, 1995, p. 183-192.

SAVOIE, D. J. Governing from the centre: The concentration of power in Canadian politics, Toronto, ON, University of Toronto Press, 1999.

SCHMIDT, F. «Statistical significance testing and cumulative knowledge in psychology: Implications for training of researchers», Psychological Methods, vol. 1, 1996, p. 115-129.

SHADISH, W. R. «Meta-analysis and the exploration of causal mediating processes: A primer of examples, methods, and issues», Psychological Bulletin, vol. 1, 1996, p. 47-65.

STAROBIN, P. «Word warriors», The Washingtonian, vol. 32, juillet 1997, p. 48-51 et p. 101-103.

WOLF, F. M. Meta-analysis: Quantitative methods for research synthesis, Newbury Park, CA, Sage, 1986.

--------------------

Previous PageTop Of Page Table Of ContentsNext Page