Salt la conținut
Registre de programe bazate pe dovezi

Registre de programe bazate pe dovezi

Unde găsește o comunitate CTC programe cu efect dovedit: registrul european Xchange, registrele naționale și registrul american din care acestea provin.

Cuprins
  1. 01Pasul care are nevoie de un registru
  2. 02Xchange: registrul european
  3. 03Registre naționale
  4. 04Blueprints: de unde provine standardul
  5. 05Dacă țara dumneavoastră nu are un registru

Pasul care are nevoie de un registru

Faza 4 a procesului „Communities That Care” (CTC) îi cere unei comunități să aleagă intervenții care corespund pe care i-a stabilit ca prioritari. Această alegere este doar atât de bună cât este meniul din care se face. Un registru de programe de prevenire, fiecare analizat pe baza unor standarde explicite privind dovezile, este ceea ce face posibil acest pas și reprezintă elementul de infrastructură care lipsește în cele mai multe țări europene.

Xchange: registrul european

Xchange este registrul de programe de prevenire al Agenției Uniunii Europene privind Drogurile (EUDA, fostul Observator European pentru Droguri și Toxicomanie – EMCDDA), cu sediul la Lisabona. Acesta cuprinde intervenții evaluate în Europa, cu o apreciere a dovezilor, informații despre locurile în care au fost implementate și datele de contact ale deținătorilor programelor.

Registrul Xchange este totodată, în sens direct, registrul construit de CTC. Între 2013 și 2015, proiectul CTC European Network și-a propus să identifice programele de prevenire și de intervenție timpurie testate în Europa prin evaluări randomizate sau . Dartington Social Research Unit din Regatul Unit a analizat fiecare program candidat pe baza standardelor privind dovezile folosite de : specificitatea intervenției, calitatea evaluării, impactul intervenției și pregătirea sistemului. Rezultatele au fost clasificate în funcție de eficacitatea într-un context european și publicate în registrul Xchange. Raportul proiectului, What works in Europe, descrie procesul și este disponibil aici ca PDF (17 mai 2016), împreună cu European CTC Implementation Guide (ghidul european de implementare CTC), elaborat în cadrul aceluiași proiect.

Pentru o comunitate europeană care aplică sistemul CTC, registrul Xchange este așadar primul punct firesc de consultat: a fost conceput exact pentru această utilizare.

Registre naționale

Mai multe țări își administrează propriile registre, de obicei cu un domeniu mai larg decât Xchange și cu programe adaptate sistemului național. Acolo unde există un astfel de registru, el trebuie consultat în faza 4 alături de Xchange.

  • Germania: Grüne Liste Prävention (Lista verde a prevenirii), administrată de Consiliul pentru Prevenirea Criminalității din Saxonia Inferioară (Landespräventionsrat Niedersachsen), clasifică programele pe trei niveluri de dovezi și este registrul în jurul căruia este construit procesul CTC german. Numai în germană.
  • Țările de Jos: baza de date Databank Effectieve Jeugdinterventies a institutului Netherlands Youth Institute, unul dintre cele mai vechi și mai riguroase registre din Europa; s-a dezvoltat din inventarul de programe de care aveau nevoie proiectele-pilot CTC olandeze în 2000. Numai în neerlandeză.
  • Suedia: ghidul Metodguiden al Consiliului Național pentru Sănătate și Bunăstare (Socialstyrelsen), care acoperă metodele utilizate în serviciile sociale. Numai în suedeză.
  • Regatul Unit: Foundations Guidebook, fostul Early Intervention Foundation Guidebook, evaluează intervențiile pentru copii și familii de la „not yet level 2” (încă nu nivelul 2) până la nivelul 4, cu calificative suplimentare „plus”. În engleză.
  • Irlanda: What Works Ireland Evidence Hub al Departamentului pentru Copii, Dizabilități și Egalitate (Department of Children, Disability and Equality), care își preia înregistrările și evaluările din Foundations Guidebook și a solicitat organizației Foundations să evalueze după aceleași standarde câteva programe irlandeze. În engleză.
  • Polonia: sistemul System rekomendacji programów profilaktycznych i promocji zdrowia psychicznego (programyrekomendowane.pl), administrat de Centrul Național pentru Prevenirea Adicțiilor împreună cu Centrul pentru Dezvoltarea Educației și cu Institutul de Psihiatrie și Neurologie, clasifică programele de prevenire și de promovare a sănătății mintale pe trei niveluri. Sistemul CTC nu a fost încă implementat în Polonia, dar registrul există și ar fi pregătit pentru faza 4. Numai în poloneză.

O precizare despre ceea ce nu conțin aceste registre: niciunul dintre registrele europene sau naționale nu include „Communities That Care” ca atare, iar registrul Blueprints îl clasifică drept Promising (promițător), ca sistem și nu ca program. Registrele evaluează intervenții distincte, ; sistemul CTC este sistemul de operare care selectează și instalează astfel de intervenții, de aceea dovezile proprii sunt prezentate pe pagina despre dovezi.

Grüne Liste PräventionFig. 1

Cum este evaluat un program.

Cinci criterii de includere, patru pași de evaluare și o scală de stele de la zero la cinci: procedura care plasează un program de prevenire pe unul dintre cele trei niveluri de eficacitate.

Afișare schemă

Ce este luat în considerare.

Înainte de orice evaluare vine includerea. Cinci criterii decid dacă o măsură își are locul în baza de date ca program de prevenire evaluat.

  1. O măsură replicabilă

    Este inclus numai ceea ce poate fi repetat în alt loc și la un moment ulterior. Pentru aceasta sunt necesare un ghid de acțiune explicit, cum ar fi un scris sau o descriere a procedurii, unul sau mai multe obiective măsurabile, o durată limitată în timp pentru fiecare participant și o derulare suplimentară față de infrastructura de bază existentă a serviciilor.

  2. O orientare preventivă

    Un program de prevenire intervine înainte de apariția sau de consolidarea comportamentului problematic. Baza de date preia programe care acționează la nivelul sau al și care se adresează fie, în mod , întregii populații, fie, în mod , unui grup cu risc ridicat. Aceeași procedură se potrivește și abordărilor la primele semne sau abordărilor terțiare, odată ce un comportament s-a instalat; acestea pur și simplu nu corespund orientării sistemului CTC.

  3. O evaluare din spațiul de limbă germană

    Este disponibil cel puțin un studiu științific de evaluare a programului din spațiul de limbă germană. Fără aceste dovezi, programul nu este inclus în .

  4. O legătură cu factorii de risc și de protecție

    Programul reduce cel puțin un factor de risc sau întărește cel puțin un factor de protecție. Contează numai acei pe care strategia CTC îi identifică drept relevanți pentru comportamentele problematice ale adolescenților: violența, delincvența, consumul de substanțe, abandonul școlar, sarcina în adolescență, depresia și anxietatea.

  5. Implementabil în Germania

    Materialele, formarea și sprijinul tehnic pe durata implementării sunt disponibile în țară. Sunt exceptate programele care funcționează fără niciun sprijin suplimentar.

Cele trei niveluri de eficacitate.

  1. Nivelul 1: „Effectiveness theoretically well-grounded” (eficacitate fundamentată teoretic)

    Conceptul și implementarea îndeplinesc toate criteriile, iar cel puțin o evaluare la nivelul de zero stele arată rezultate preponderent pozitive, de exemplu o măsurare înainte și după intervenție, fără grup de comparație.

  2. Nivelul 2: „Probable Effectiveness” (eficacitate probabilă)

    Conceptul și implementarea îndeplinesc toate criteriile, iar cel puțin un studiu de evaluare notat cu una până la trei stele arată rezultate preponderent pozitive, de regulă un studiu controlat fără . Documentul de criterii tipărește forma scurtă „promising” (promițător) alături de denumirea acestui nivel.

  3. Nivelul 3: „Proven Effectiveness” (eficacitate dovedită)

    Conceptul și implementarea îndeplinesc toate criteriile, iar cel puțin un studiu de evaluare notat cu patru sau cinci stele arată rezultate preponderent pozitive, cu o cel puțin suficientă. Designul include o măsurare ulterioară, de regulă la șase luni după încheierea intervenției. Documentul de criterii tipărește forma scurtă „effective” (eficace) alături de denumirea acestui nivel.

  1. Pasul 1 · Evaluarea calității conceptuale și a calității implementării

    Explică programul de ce ar trebui să funcționeze?

    Prima întrebare este dacă un program își formulează propria ipoteză despre modul în care funcționează și dacă poate fi derulat corect. Se cer: un model scris al eficacității (o ), instrucțiuni de acțiune care decurg din acesta și mijloacele de care o comunitate are nevoie pentru a-l introduce, adică materiale, formare, costuri transparente și instrumente de control al calității.

    1aCalitatea conceptualăCriterii: 8
    • Un model bine definit teoretic numește mecanismele de bază presupuse și se sprijină pe modele teoretice recunoscute științific.
    • Metodele și instrumentele aplicate sunt bine fundamentate teoretic.
    • Analiza problemei, factorii modificabili, obiectivele, grupurile-țintă și metodele se leagă logic între ele.
    • Programul vizează factori de risc și de protecție identificați prin cercetare.
    • Grupurile-țintă sunt descrise cuprinzător și precis.
    • Instrucțiunile de implementare și manualele decurg clar din model.
    • Obiectivele sunt definite explicit și sunt măsurabile.
    • Dacă programul a fost dezvoltat în afara Germaniei, sunt descrise contextul original și adaptările făcute.
    1bCalitatea implementăriiCriterii: 6
    • Metodele și instrumentele sunt bine prelucrate didactic și descrise pe înțelesul tuturor.
    • Materialele și manualele necesare sunt disponibile și actualizate.
    • Formarea și instruirea necesare există.
    • Costurile implicate sunt prezentate clar.
    • Asistența tehnică pe durata implementării este disponibilă.
    • Instrumentele de control al calității pe durata implementării sunt disponibile.
    1cCalitatea evaluăriiCriterii: 1
    • Cel puțin un studiu de evaluare la nivelul de zero stele, cu rezultate preponderent pozitive.
    • Primele trei criterii ale calității conceptuale nu sunt îndeplinite

      „not included”

    • Unele criterii rămân neîndeplinite

      „on the threshold”

    • Toate criteriile sunt îndeplinite

      Continuarecu pasul 2

  2. Pasul 2 · Evaluarea designului de evaluare și a forței sale probante

    Cât de sigur poate atribui studiul un efect?

    Fiecare studiu de evaluare disponibil primește un nivel de la zero la cinci stele. Decisiv este cât de bine poate designul său să atribuie o schimbare programului: dacă repartizarea a fost aleatorie (), dacă grupul de comparație a fost format printr-un sau urmărit în timp, ca , și dacă o , de regulă după șase luni, arată că efectul durează și după încheierea programului.

    • Sub zero stele, adică doar o analiză a literaturii și a documentelor sau o descriere a procesului

      „on the threshold”

    • De la zero la cinci stele

      Continuarecu pasul 3

    Scala de stele a designurilor de evaluare
    1. 5 din 5 stele
      • Studiu controlat randomizat (RCT) cu măsurare de urmărire, de regulă după șase luni

      Nivelul cel mai înalt. Este suficient pentru nivelul 3 de îndată ce forța probantă este cel puțin suficientă.

    2. 4 din 5 stele
      • Design cvasiexperimental (QED) cu măsurare de urmărire, de regulă după șase luni
      • Design de cohortă cu măsurare de urmărire, de regulă după șase luni

      Atinge, de asemenea, nivelul 3 de îndată ce forța probantă este cel puțin suficientă.

    3. Prag pentru nivelul 3: „Proven Effectiveness” (eficacitate dovedită)
    4. 3 din 5 stele
      • RCT fără măsurare de urmărire
      • Design cvasiexperimental în condițiile practicii curente, fără măsurare de urmărire
      • Design de cohortă fără măsurare de urmărire

      Forță probantă slabă: efectul este măsurat, persistența sa nu.

    5. 2 din 5 stele
      • RCT clinic sau design cvasiexperimental clinic, cu sau fără măsurare de urmărire, în afara practicii curente
      • Măsurare înainte și după intervenție, cu grup de control, în condițiile practicii curente

      Forță probantă preliminară.

    6. 1 din 5 stele
      • Studiu de referință comparativă (benchmark) sau studiu cu norme de referință
      • Studiu de tip teoria schimbării

      Forță probantă preliminară.

    7. Prag pentru nivelul 2: „Probable Effectiveness” (eficacitate probabilă)
    8. 0 din 5 stele
      • Evaluarea satisfacției participanților
      • Măsurare înainte și după intervenție, fără grup de control
      • Studiu privind atingerea obiectivelor
      • Studiu de asigurare a calității

      Fără forță probantă în sensul schemei, dar suficient pentru nivelul 1.

    9. Prag pentru nivelul 1: „Effectiveness theoretically well-grounded” (eficacitate fundamentată teoretic)
    10. Sub zero stele
      • Analiza literaturii și a documentelor
      • Descrierea procesului

      Nu este posibilă nicio afirmație despre eficacitate. Astfel de lucrări consemnează ce s-a întâmplat; fără un și fără o măsurare înainte și după, din ele nu se poate deduce nicio schimbare.

    Forța probantă la patru și la cinci stele
    1. forță probantă slabă

      Grupuri de intervenție și de control cu mai puțin de 20 de persoane. Sau: niciun studiu cu patru sau cinci stele din spațiul de limbă germană, dar unul sau mai multe studii din străinătate cu forță probantă cel puțin suficientă; în acest caz, decide clasificarea.

    2. forță probantă suficientă

      Grupuri de intervenție și de control de 20–50 de persoane și cel puțin un studiu de acest tip din spațiul de limbă germană. Sau: două sau mai multe studii cu patru sau cinci stele, cu grupuri sub 20 de persoane, din spațiul de limbă germană.

    3. forță probantă puternică

      Grupuri de intervenție și de control de peste 50 de persoane. Sau: două sau mai multe studii cu forță probantă suficientă din spațiul de limbă germană, care au investigat mai multe dimensiuni.

    4. forță probantă foarte puternică

      Condițiile pentru forța probantă puternică, plus cel puțin un experiment de teren la scară largă în spațiul de limbă germană. Sau: condițiile pentru forța probantă puternică, plus două sau mai multe studii din străinătate cu forță probantă puternică.

    1–3 stele: forță probantă preliminară la una sau două stele, forță probantă slabă la trei · 0 stele: fără forță probantă

    Transferabilitatea programelor dezvoltate în străinătate
    • transferabilitate confirmată

      Mai multe studii cu forță probantă cel puțin suficientă din spațiul de limbă germană.

    • transferabilitate probabilă

      Cel puțin un astfel de studiu din spațiul de limbă germană.

      valoare-prag
    • transferabilitate posibilă

      Niciun studiu din spațiul de limbă germană, dar o justificare suficientă pe baza unor grupuri-țintă și a unor circumstanțe comparabile.

      nivelul 1
    • neclar

      Nici un studiu din spațiul de limbă germană, nici o astfel de justificare.

      „on the threshold”
  3. Pasul 3 · Evaluarea rezultatelor evaluării

    Arată studiul un efect în direcția dorită?

    Studiile contează atunci când își documentează rezultatele conform standardelor științifice uzuale. Acolo unde există un , acestora trebuie să li se adauge o calculată, de preferință d al lui Cohen. Se cere cel puțin un într-o dimensiune relevantă a comportamentului și la cel puțin un grup-țintă; acolo unde a existat o măsurare de urmărire la cel puțin șase luni după încheierea intervenției, cel puțin un efect pozitiv trebuie să persiste la acel moment.

    • Preponderent pozitive

      Includerese continuă cu pasul 4

    • Parțial pozitive și parțial negative sau neclare

      „on the threshold”

    • Niciun efect sau efecte negative

      „not included”

    Cinci grade ale rezultatelor evaluării
    1. numai pozitive

      Un în direcția dorită în fiecare dimensiune măsurată.

    2. preponderent pozitive

      Un efect semnificativ pozitiv în majoritatea dimensiunilor măsurate. De la acest grad, baza de date face o recomandare.

      Includere
    3. parțial pozitive și parțial negative

      Efectele din mai multe dimensiuni merg în direcția nedorită.

      „on the threshold”
    4. niciun efect

      Niciuna dintre dimensiunile măsurate nu se modifică în mod relevant.

      „not included”
    5. în mare parte negative sau numai negative

      Dimensiunile măsurate merg în cea mai mare parte sau în totalitate în direcția nedorită.

      „not included”
  4. Pasul 4 · Evaluarea globală

    Trei evaluări dau un nivel.

    Numai împreună cele trei evaluări dau clasificarea: calitatea conceptuală și a implementării, nivelul evaluării cu aferentă și direcția rezultatelor. Nivelurile 1–3 sunt recomandate pentru implementare. Alături de ele se află categoriile „on the threshold” (la limită), pentru o imagine încă nedecisă, și „not included” (neinclus), acolo unde lipsește ceva fundamental sau efectul nu apare.

    • Zero stele, preponderent pozitive

      Nivelul 1„Effectiveness theoretically well-grounded” (eficacitate fundamentată teoretic)

    • Una până la trei stele, preponderent pozitive

      Nivelul 2„Probable Effectiveness” (eficacitate probabilă)

    • Patru până la cinci stele, forță probantă cel puțin suficientă

      Nivelul 3„Proven Effectiveness” (eficacitate dovedită)

    Sinteza generală
    Sinteza generală a grilei de evaluare: calitatea conceptuală și a implementării, nivelul evaluării cu forța sa probantă și rezultatele evaluării dau împreună evaluarea globală.
    ConceptNivelul evaluăriiRezultateEvaluare
    1a–1c îndeplinite4–5 stele, forță probantă suficientă sau mai bunăpreponderent pozitiveNivelul 3
    1a–1c îndeplinite1–3 stele sau 4–5 stele cu forță probantă doar slabăpreponderent pozitiveNivelul 2
    1a–1c îndeplinite0 stelepreponderent pozitiveNivelul 1
    1a–1c parțial îndeplinitenicio evaluare sau sub 0 steleparțial pozitive și negative sau neclare„on the threshold”
    1a–1c neîndeplinitetoate nivelurileniciun efect sau efecte negative„not included”
    • Nivelul 3
      Concept
      1a–1c îndeplinite
      Nivelul evaluării
      4–5 stele, forță probantă suficientă sau mai bună
      Rezultate
      preponderent pozitive
    • Nivelul 2
      Concept
      1a–1c îndeplinite
      Nivelul evaluării
      1–3 stele sau 4–5 stele cu forță probantă doar slabă
      Rezultate
      preponderent pozitive
    • Nivelul 1
      Concept
      1a–1c îndeplinite
      Nivelul evaluării
      0 stele
      Rezultate
      preponderent pozitive
    • „on the threshold”
      Concept
      1a–1c parțial îndeplinite
      Nivelul evaluării
      nicio evaluare sau sub 0 stele
      Rezultate
      parțial pozitive și negative sau neclare
    • „not included”
      Concept
      1a–1c neîndeplinite
      Nivelul evaluării
      toate nivelurile
      Rezultate
      niciun efect sau efecte negative
Surse
  1. Groeger-Roth, F., & Hasenpusch, B. (2011). Grüne Liste Prävention: Auswahl- und Bewertungskriterien für die CTC-Programm-Datenbank (Fassung vom 1.11.2011). Landespräventionsrat Niedersachsen. gruene-liste-praevention.de/communities-that-care/Media/Grne_Liste_Bewertungskriterien.pdf În bibliotecă
  2. Veerman, J. W., & van Yperen, T. A. (2007). Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30(2), 212–221. doi.org/10.1016/j.evalprogplan.2007.01.011 În bibliotecă
  3. Groeger-Roth, F., Hasenpusch, B. (2011). Die „Grüne Liste Prävention“. Effektive und erfolgversprechende Präventionsprogramme im Blick. forum-kriminalpraevention.de/files/1Forum-kriminalpraevention-webseite/pdf/2011-04/fk2011_4_grueneliste_praevention.pdf În bibliotecă
  4. Gorenoi, V., Bremer, K., & Brender, R. (2024). Evidenzregister „Grüne Liste Prävention“: Modifikation der Bewertungskriterien auf Basis international relevanter Kategorisierungskonzepte. German Medical Science GMS Publishing House. doi.org/10.3205/24gmds685 În bibliotecă
  5. Brender, R., Bremer, K., Kula, A., Groeger-Roth, F., & Walter, U. (2024). Evidenzregister Grüne Liste Prävention – Analyse der gelisteten wirksamkeitsgeprüften Programme. Das Gesundheitswesen, 86(07), 474–482. doi.org/10.1055/a-2308-7256 În bibliotecă

Documentul de criterii este publicat de Consiliul pentru Prevenirea Criminalității din Saxonia Inferioară (Landespräventionsrat Niedersachsen): Green List Prevention – Inclusion- and Rating-Criteria (PDF) (Versiunea germană din 1 noiembrie 2011, traducerea engleză din 15 ianuarie 2016)

Fig. 1Criteriile de includere și de evaluare ale Grüne Liste Prävention (Lista verde a prevenirii), după Groeger-Roth și Hasenpusch (2011). Figura urmează versiunea germană din 1 noiembrie 2011, care include încă designurile de cohortă; termenii englezi sunt cei ai traducerii oficiale din 15 ianuarie 2016.

Blueprints: de unde provine standardul

Blueprints for Healthy Youth Development, de la Universitatea Colorado din Boulder, este registrul american alături de care s-a dezvoltat sistemul CTC și cel ale cărui standarde de dovezi au fost adoptate de analiza europeană. Rămâne cel mai exigent registru din domeniu: programele ajung la nivelul cel mai înalt numai cu cel puțin un de înaltă calitate și o replicare independentă. Multe programe din registrul Blueprints nu au o adaptare europeană sau un deținător de licență în Europa, așa că registrul este mai degrabă o referință pentru standarde decât o listă de cumpărături, dar o comunitate europeană care vrea să știe cum arată cele mai solide dovezi disponibile ar trebui să îl consulte.

Dacă țara dumneavoastră nu are un registru

Folosiți registrul Xchange și registrele naționale ale țărilor vecine ale căror sisteme seamănă cu al dumneavoastră: programele olandeze și germane au fost adesea adaptate de o parte și de alta a graniței. Apoi documentați ce ați ales și de ce. O comunitate care își consemnează raționamentul de selecție a început deja să construiască registrul de care țara sa duce lipsă.

Pașii următori

Citiți în continuare

  • Despre CTC

    Dovezi

    Dovezile privind sistemul CTC însuși

  • Despre CTC

    Cele cinci faze

    Unde se încadrează registrul în proces