Aller au contenu
Registres de programmes probants

Registres de programmes probants

Où une communauté CTC trouve des programmes à l’efficacité démontrée : le registre européen Xchange, les registres nationaux et leur ancêtre américain.

Sommaire
  1. 01L’étape qui a besoin d’un registre
  2. 02Xchange : le registre européen
  3. 03Registres nationaux
  4. 04Blueprints : d’où viennent les critères
  5. 05Si votre pays n’a pas de registre

L’étape qui a besoin d’un registre

La quatrième phase de CTC demande à une communauté de choisir des interventions qui correspondent aux qu’elle a priorisés. Ce choix ne vaut que ce que vaut la liste dans laquelle il est fait. Un registre de programmes de prévention, chacun évalué selon des critères explicites de preuve, est ce qui rend cette étape possible, et c’est l’élément d’infrastructure qui fait défaut dans la plupart des pays européens.

Xchange : le registre européen

Xchange est le registre de prévention de l’Agence de l’Union européenne sur les drogues (EUDA), à Lisbonne. Il répertorie des interventions évaluées en Europe, avec une cotation du niveau de preuve, des informations sur les lieux de mise en œuvre, et les coordonnées des responsables de chaque programme.

Xchange est aussi, très directement, le registre que CTC a construit. Entre 2013 et 2015, le projet CTC European Network s’est donné pour tâche d’identifier les programmes de prévention et d’intervention précoce testés en Europe par une évaluation randomisée ou . Le Dartington Social Research Unit, au Royaume-Uni, a examiné chaque candidat selon les critères de preuve utilisés par  : spécificité de l’intervention, qualité de l’évaluation, impact de l’intervention et degré de préparation du système. Les résultats ont été classés selon leur efficacité en contexte européen et publiés dans Xchange. Le rapport du projet, What works in Europe, décrit ce processus et est disponible ici en PDF (17 mai 2016), avec le guide européen de mise en œuvre de CTC issu du même projet.

Pour une communauté européenne qui met en œuvre CTC, Xchange est donc le premier réflexe naturel : il a été conçu précisément pour cet usage.

Registres nationaux

Plusieurs pays tiennent leur propre registre, généralement avec un périmètre plus large que Xchange et des programmes adaptés au système national. Là où il en existe un, il a sa place aux côtés de Xchange dans la phase quatre.

  • Allemagne : la Grüne Liste Prävention, tenue par le Landespräventionsrat Niedersachsen, note les programmes selon trois niveaux de preuve et constitue le registre autour duquel s’organise le processus CTC allemand. Disponible en allemand uniquement.
  • Pays-Bas : la Databank Effectieve Jeugdinterventies, du Nederlands Jeugdinstituut (l’institut néerlandais de la jeunesse), l’un des registres les plus anciens et les plus complets d’Europe ; elle est issue de l’inventaire de programmes dont les projets pilotes CTC néerlandais avaient besoin en 2000. Disponible en néerlandais uniquement.
  • Suède : le Metodguiden du Socialstyrelsen (l’Agence nationale de la santé et des affaires sociales), qui couvre les méthodes utilisées dans les services sociaux. Disponible en suédois uniquement.
  • Royaume-Uni : le Foundations Guidebook, anciennement l’Early Intervention Foundation Guidebook, note les interventions destinées aux enfants et aux familles sur une échelle allant de « pas encore niveau 2 » au niveau 4, avec des mentions « plus ». En anglais.
  • Irlande : le What Works Ireland Evidence Hub du Department of Children, Disability and Equality, qui reprend ses entrées et ses cotations du Foundations Guidebook et a fait évaluer par Foundations une poignée de programmes irlandais selon les mêmes critères. En anglais.
  • Pologne : le System rekomendacji programów profilaktycznych i promocji zdrowia psychicznego (programyrekomendowane.pl), géré par le Centre national de prévention des addictions avec le Centre pour le développement de l’éducation et l’Institut de psychiatrie et de neurologie, note les programmes de prévention et de promotion de la santé mentale selon trois niveaux. CTC n’a pas encore été mis en œuvre en Pologne, mais le registre existe et serait prêt pour la phase quatre. Disponible en polonais uniquement.

Une remarque sur ce que ces registres ne contiennent pas : aucun des registres européens ou nationaux ne répertorie Communities That Care lui-même, et Blueprints le classe Promising (prometteur), en tant que système et non en tant que programme. Les registres évaluent des interventions circonscrites et manualisées ; CTC est le système d’exploitation qui sélectionne et installe ce type d’interventions, c’est pourquoi ses propres données probantes sont présentées sur la page consacrée aux données probantes.

Grüne Liste PräventionFig. 1

Comment un programme est noté.

Cinq critères d’admission, quatre étapes d’évaluation et une échelle d’étoiles de zéro à cinq : la procédure qui situe un programme de prévention sur l’un des trois niveaux d’efficacité.

Afficher le schéma

Ce qui entre en ligne de compte.

Avant toute notation vient l’admission. Cinq critères décident si une mesure a sa place dans la base de données en tant que programme de prévention évalué.

  1. Une mesure reproductible

    Seul ce qui peut être reproduit ailleurs et plus tard est admis. Cela suppose une ligne de conduite explicite, par exemple un écrit ou un descriptif de déroulement, un ou plusieurs objectifs mesurables, une durée limitée dans le temps pour chaque participant, et une mise en œuvre qui s’ajoute à l’offre de services déjà existante.

  2. Une orientation préventive

    Un programme de prévention agit avant que le comportement problématique n’apparaisse ou ne s’installe. La base de données retient les programmes qui relèvent de la ou de la et qui s’adressent soit à une population , soit à un groupe à risque élevé. La même procédure convient aux approches dès les premiers signes, ou tertiaires une fois le comportement installé ; elles ne correspondent simplement pas à l’orientation de CTC.

  3. Une évaluation issue de l’espace germanophone

    Au moins une étude d’évaluation scientifique du programme est disponible, issue de l’espace germanophone. Sans cette preuve, il n’y a pas d’admission dans la .

  4. Un lien avec les facteurs de risque et de protection

    Le programme réduit au moins un facteur de risque ou renforce au moins un facteur de protection. Seuls comptent les que la stratégie CTC identifie comme pertinents pour le comportement problématique à l’adolescence : violence, délinquance, consommation de substances, décrochage scolaire, grossesses précoces, dépression et anxiété.

  5. Applicable en Allemagne

    Le matériel, la formation et un accompagnement technique pendant la mise en œuvre sont disponibles dans le pays. Les programmes qui fonctionnent sans aucun soutien supplémentaire en sont dispensés.

Les trois niveaux d’efficacité.

  1. Niveau 1: « Effectiveness theoretically well-grounded » (efficacité théoriquement bien fondée)

    Le concept et la mise en œuvre satisfont à tous les critères, et au moins une évaluation au niveau de zéro étoile montre des résultats majoritairement positifs, par exemple une mesure avant et après la mesure sans groupe de comparaison.

  2. Niveau 2: « Probable Effectiveness » (efficacité probable)

    Le concept et la mise en œuvre satisfont à tous les critères, et au moins une étude d’évaluation notée d’une à trois étoiles montre des résultats majoritairement positifs, en règle générale une étude contrôlée sans . Le référentiel de critères imprime la mention abrégée « promising » (prometteur) à côté du nom de ce niveau.

  3. Niveau 3: « Proven Effectiveness » (efficacité prouvée)

    Le concept et la mise en œuvre satisfont à tous les critères, et au moins une étude d’évaluation notée à quatre ou cinq étoiles montre des résultats majoritairement positifs avec un au moins suffisant. Le devis comprend une mesure ultérieure, en règle générale six mois après la fin de l’intervention. Le référentiel de critères imprime la mention abrégée « effective » (efficace) à côté du nom de ce niveau.

  1. Étape 1 · Évaluation de la qualité conceptuelle et de mise en œuvre

    Le programme explique-t-il pourquoi il devrait fonctionner ?

    La première question est de savoir si un programme formule sa propre hypothèse sur son fonctionnement, et s’il peut être mis en œuvre proprement. Ce qui est demandé : un modèle écrit d’efficacité (une ), des consignes d’action qui en découlent, et les moyens dont une communauté a besoin pour l’introduire, à savoir le matériel, la formation, des coûts transparents et des instruments de contrôle de la qualité.

    1aQualité conceptuelle8 critères
    • Un modèle théoriquement bien défini nomme les mécanismes sous-jacents supposés et s’appuie sur des modèles théoriques scientifiquement reconnus.
    • Les méthodes et instruments utilisés sont théoriquement bien fondés.
    • L’analyse du problème, les facteurs modifiables, les objectifs, les groupes cibles et les méthodes forment un ensemble logique.
    • Le programme cible des facteurs de risque et de protection fondés sur la recherche.
    • Les groupes cibles sont décrits de façon complète et précise.
    • Les consignes de mise en œuvre et les manuels découlent clairement du modèle.
    • Les objectifs sont définis explicitement et sont mesurables.
    • Lorsque le programme a été développé hors d’Allemagne, le contexte d’origine et les adaptations réalisées sont décrits.
    1bQualité de la mise en œuvre6 critères
    • Les méthodes et instruments sont didactiquement bien conçus et décrits de façon intelligible.
    • Le matériel et les manuels nécessaires sont disponibles et à jour.
    • La formation et l’encadrement requis existent.
    • Les coûts engagés sont indiqués clairement.
    • Un accompagnement technique pendant la mise en œuvre est disponible.
    • Des instruments de contrôle de la qualité pendant la mise en œuvre sont disponibles.
    1cQualité de l’évaluation1 critères
    • Au moins une étude d’évaluation au niveau de zéro étoile avec des résultats majoritairement positifs.
    • Les trois premiers critères de qualité conceptuelle ne sont pas remplis

      « not included »

    • Certains critères pris isolément restent non remplis

      « on the threshold »

    • Tous les critères sont remplis

      Suiteavec l’étape 2

  2. Étape 2 · Évaluation du devis d’évaluation et de son poids probant

    Avec quelle certitude l’étude peut-elle attribuer un effet ?

    Chaque étude d’évaluation disponible reçoit un niveau de zéro à cinq étoiles. Ce qui compte, c’est la capacité de son devis à attribuer un changement au programme : l’assignation était-elle aléatoire (), le groupe de comparaison a-t-il été constitué par un devis ou suivi dans le temps comme un , et un en règle générale de six mois montre-t-il que l’effet perdure au-delà de la fin du programme ?

    • Moins de zéro étoile, c’est-à-dire seulement une analyse de la littérature et des documents ou un descriptif de déroulement

      « on the threshold »

    • De zéro à cinq étoiles

      Suiteavec l’étape 3

    Échelle d’étoiles des devis d’évaluation
    1. 5 étoile(s) sur 5
      • Essai contrôlé randomisé (RCT) avec suivi, en règle générale six mois

      Le niveau le plus élevé. Suffit pour le niveau 3 dès que le poids probant est au moins suffisant.

    2. 4 étoile(s) sur 5
      • Devis quasi expérimental (QED) avec suivi, en règle générale six mois
      • Devis de cohorte avec suivi, en règle générale six mois

      Atteint lui aussi le niveau 3 dès que le poids probant est au moins suffisant.

    3. Niveau seuil 3 : « Proven Effectiveness » (efficacité prouvée)
    4. 3 étoile(s) sur 5
      • RCT sans suivi
      • Devis quasi expérimental en contexte courant sans suivi
      • Devis de cohorte sans suivi

      Poids probant faible : l’effet est mesuré, sa persistance ne l’est pas.

    5. 2 étoile(s) sur 5
      • RCT clinique ou devis quasi expérimental clinique, avec ou sans suivi, hors contexte courant
      • Mesure avant et après la mesure avec un groupe témoin en contexte courant

      Poids probant préliminaire.

    6. 1 étoile(s) sur 5
      • Étude de référence ou étalonnage normatif
      • Étude de théorie du changement

      Poids probant préliminaire.

    7. Niveau seuil 2 : « Probable Effectiveness » (efficacité probable)
    8. 0 étoile(s) sur 5
      • Évaluation de la satisfaction des participants
      • Mesure avant et après la mesure sans groupe témoin
      • Étude d’atteinte des objectifs
      • Étude d’assurance qualité

      Aucun poids probant au sens du schéma, mais suffisant pour le niveau 1.

    9. Niveau seuil 1 : « Effectiveness theoretically well-grounded » (efficacité théoriquement bien fondée)
    10. Sous zéro étoile
      • Analyse de la littérature et des documents
      • Descriptif de déroulement

      Aucune affirmation sur l’efficacité n’est possible. Ce type de travail consigne ce qui s’est passé ; sans et sans mesure avant et après, aucun changement ne peut en être déduit.

    Poids probant à quatre et cinq étoiles
    1. poids probant faible

      Groupes d’intervention et témoin de moins de 20 personnes. Ou : aucune étude à quatre ou cinq étoiles issue de l’espace germanophone, mais une ou plusieurs études étrangères avec un poids probant au moins suffisant ; c’est alors la qui décide de la classification.

    2. poids probant suffisant

      Groupes d’intervention et témoin de 20 à 50 personnes et au moins une étude de ce type issue de l’espace germanophone. Ou : deux études ou plus à quatre ou cinq étoiles avec des groupes de moins de 20 personnes, issues de l’espace germanophone.

    3. poids probant fort

      Groupes d’intervention et témoin de plus de 50 personnes. Ou : deux études ou plus au poids probant suffisant, issues de l’espace germanophone, portant sur plusieurs dimensions.

    4. poids probant très fort

      Les conditions du poids probant fort, plus au moins une expérimentation de terrain à grande échelle dans l’espace germanophone. Ou : les conditions du poids probant fort, plus deux études étrangères ou plus au poids probant fort.

    de 1 à 3 étoiles: poids probant préliminaire à une ou deux étoiles, poids probant faible à trois · 0 étoile: aucun poids probant

    Transférabilité pour les programmes développés à l’étranger
    • transférabilité avérée

      Plusieurs études au poids probant au moins suffisant, issues de l’espace germanophone.

    • transférabilité probable

      Au moins une étude de ce type issue de l’espace germanophone.

      valeur seuil
    • transférabilité possible

      Aucune étude issue de l’espace germanophone, mais une justification suffisante à partir de groupes cibles et de circonstances comparables.

      niveau 1
    • incertaine

      Ni étude issue de l’espace germanophone, ni justification de ce type.

      « on the threshold »
  3. Étape 3 · Évaluation des résultats

    L’étude montre-t-elle un effet dans le sens souhaité ?

    Une étude compte lorsqu’elle documente ses résultats selon les standards scientifiques usuels. Là où il existe un , une calculée doit l’accompagner, le d de Cohen si possible. Au moins un est exigé dans une dimension pertinente du comportement et dans au moins un groupe cible ; là où un suivi a été effectué au moins six mois après la fin de l’intervention, au moins un effet positif doit y persister.

    • Majoritairement positif

      Admissionse poursuit avec l’étape 4

    • En partie positif et en partie négatif, ou peu clair

      « on the threshold »

    • Aucun effet ou effets négatifs

      « not included »

    Cinq degrés des résultats d’évaluation
    1. uniquement positif

      Un dans le sens souhaité pour chaque dimension mesurée.

    2. majoritairement positif

      Un effet significatif positif dans la majorité des dimensions mesurées. À partir de ce degré, la base de données émet une recommandation.

      Admission
    3. en partie positif et en partie négatif

      Les effets vont dans le sens indésirable pour plusieurs dimensions.

      « on the threshold »
    4. aucun effet

      Aucune des dimensions mesurées ne change de façon notable.

      « not included »
    5. largement négatif ou uniquement négatif

      Les dimensions mesurées vont majoritairement ou entièrement dans le sens indésirable.

      « not included »
  4. Étape 4 · Évaluation globale

    Trois évaluations forment un niveau.

    Ce n’est qu’ensemble que les trois évaluations donnent la classification : la qualité conceptuelle et de mise en œuvre, le niveau d’évaluation avec son , et le sens des résultats. Les niveaux 1 à 3 sont recommandés pour la mise en œuvre. À leurs côtés se trouvent les catégories « on the threshold » (au seuil) pour un tableau encore indécis, et « not included » (non inclus) là où il manque quelque chose d’essentiel ou où l’effet fait défaut.

    • Zéro étoile, majoritairement positif

      Niveau 1« Effectiveness theoretically well-grounded » (efficacité théoriquement bien fondée)

    • D’une à trois étoiles, majoritairement positif

      Niveau 2« Probable Effectiveness » (efficacité probable)

    • De quatre à cinq étoiles, poids probant au moins suffisant

      Niveau 3« Proven Effectiveness » (efficacité prouvée)

    Synthèse globale
    Synthèse globale de la grille d’évaluation : la qualité conceptuelle et de mise en œuvre, le niveau d’évaluation avec son poids probant, et les résultats d’évaluation donnent ensemble l’évaluation globale.
    ConceptNiveau d’évaluationRésultatsÉvaluation
    1a à 1c remplisde 4 à 5 étoiles, poids probant suffisant ou plusmajoritairement positifNiveau 3
    1a à 1c remplisde 1 à 3 étoiles, ou de 4 à 5 étoiles avec un poids probant seulement faiblemajoritairement positifNiveau 2
    1a à 1c remplis0 étoilemajoritairement positifNiveau 1
    1a à 1c partiellement remplisaucune évaluation, ou moins de 0 étoileen partie positif et négatif, ou peu clair« on the threshold »
    1a à 1c non remplistous les niveauxaucun effet ou effets négatifs« not included »
    • Niveau 3
      Concept
      1a à 1c remplis
      Niveau d’évaluation
      de 4 à 5 étoiles, poids probant suffisant ou plus
      Résultats
      majoritairement positif
    • Niveau 2
      Concept
      1a à 1c remplis
      Niveau d’évaluation
      de 1 à 3 étoiles, ou de 4 à 5 étoiles avec un poids probant seulement faible
      Résultats
      majoritairement positif
    • Niveau 1
      Concept
      1a à 1c remplis
      Niveau d’évaluation
      0 étoile
      Résultats
      majoritairement positif
    • « on the threshold »
      Concept
      1a à 1c partiellement remplis
      Niveau d’évaluation
      aucune évaluation, ou moins de 0 étoile
      Résultats
      en partie positif et négatif, ou peu clair
    • « not included »
      Concept
      1a à 1c non remplis
      Niveau d’évaluation
      tous les niveaux
      Résultats
      aucun effet ou effets négatifs
Sources
  1. Groeger-Roth, F., & Hasenpusch, B. (2011). Grüne Liste Prävention: Auswahl- und Bewertungskriterien für die CTC-Programm-Datenbank (Fassung vom 1.11.2011). Landespräventionsrat Niedersachsen. gruene-liste-praevention.de/communities-that-care/Media/Grne_Liste_Bewertungskriterien.pdf Dans la bibliothèque
  2. Veerman, J. W., & van Yperen, T. A. (2007). Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30(2), 212–221. doi.org/10.1016/j.evalprogplan.2007.01.011 Dans la bibliothèque
  3. Groeger-Roth, F., Hasenpusch, B. (2011). Die „Grüne Liste Prävention“. Effektive und erfolgversprechende Präventionsprogramme im Blick. forum-kriminalpraevention.de/files/1Forum-kriminalpraevention-webseite/pdf/2011-04/fk2011_4_grueneliste_praevention.pdf Dans la bibliothèque
  4. Gorenoi, V., Bremer, K., & Brender, R. (2024). Evidenzregister „Grüne Liste Prävention“: Modifikation der Bewertungskriterien auf Basis international relevanter Kategorisierungskonzepte. German Medical Science GMS Publishing House. doi.org/10.3205/24gmds685 Dans la bibliothèque
  5. Brender, R., Bremer, K., Kula, A., Groeger-Roth, F., & Walter, U. (2024). Evidenzregister Grüne Liste Prävention – Analyse der gelisteten wirksamkeitsgeprüften Programme. Das Gesundheitswesen, 86(07), 474–482. doi.org/10.1055/a-2308-7256 Dans la bibliothèque

Le référentiel de critères est publié par le Landespräventionsrat Niedersachsen (Conseil de prévention de la criminalité de Basse-Saxe) : Green List Prevention – Inclusion- and Rating-Criteria (PDF) (Version allemande du 1er novembre 2011, traduction anglaise du 15 janvier 2016)

Fig. 1Critères d’admission et de notation de la Grüne Liste Prävention (liste verte de prévention) d’après Groeger-Roth & Hasenpusch (2011). La figure suit la version allemande du 1er novembre 2011, qui répertorie encore les devis de cohorte ; les termes anglais sont ceux de la traduction officielle du 15 janvier 2016.

Blueprints : d’où viennent les critères

Blueprints for Healthy Youth Development, à l’université du Colorado à Boulder, est le registre américain aux côtés duquel CTC s’est développé, et celui dont l’examen européen a repris les critères de preuve. Il demeure le registre le plus exigeant du domaine : un programme n’atteint son niveau le plus élevé qu’avec au moins un de haute qualité assorti d’une réplication indépendante. De nombreux programmes de Blueprints n’ont ni adaptation ni détenteur de licence en Europe ; il s’agit donc davantage d’une référence en matière de critères que d’un catalogue où se servir, mais une communauté européenne qui veut savoir à quoi ressemblent les données probantes les plus solides a intérêt à le consulter.

Si votre pays n’a pas de registre

Utilisez Xchange, ainsi que les registres nationaux des pays voisins dont les systèmes ressemblent au vôtre : les programmes néerlandais et allemands ont souvent été adaptés d’un pays à l’autre. Documentez ensuite ce que vous avez choisi, et pourquoi. Une communauté qui consigne le raisonnement de son choix a déjà commencé à construire le registre qui manque à son pays.

Prochaines étapes

Pour aller plus loin

  • À propos de CTC

    Les cinq phases

    La place du registre dans le processus