Hoppa till innehållet
Evidensregister

Evidensregister

Här hittar en CTC-ort program med dokumenterad effekt: det europeiska registret Xchange, de nationella registren och det amerikanska register de härstammar från.

Innehåll
  1. 01Steget som kräver ett register
  2. 02Xchange: det europeiska registret
  3. 03Nationella register
  4. 04Blueprints: där kriterierna kommer ifrån
  5. 05Om ert land saknar register

Steget som kräver ett register

Den fjärde fasen i CTC ber lokalsamhället att välja insatser som matchar de det har prioriterat. Det valet är aldrig bättre än den meny det görs från. Ett register över preventionsprogram, vart och ett granskat mot uttryckliga evidenskriterier, är det som gör steget möjligt, och det är den del av infrastrukturen som de flesta europeiska länder saknar.

Xchange: det europeiska registret

Xchange är preventionsregistret hos Europeiska unionens narkotikabyrå (EUDA) i Lissabon. Det förtecknar insatser som har utvärderats i Europa, med en bedömning av evidensen, uppgifter om var de har genomförts och kontaktuppgifter till programägarna.

Xchange är också, i en direkt mening, det register som CTC byggde. Mellan 2013 och 2015 satte projektet CTC European Network sig för att identifiera program för prevention och tidiga insatser som hade prövats i Europa genom randomiserade eller kvasiexperimentella utvärderingar. Dartington Social Research Unit i Storbritannien granskade varje kandidat mot de evidenskriterier som används av : insatsens specificitet, utvärderingens kvalitet, insatsens effekt och systemets beredskap. Resultaten klassificerades efter effektivitet i en europeisk kontext och publicerades i Xchange. Projektets rapport, What works in Europe, beskriver processen och finns här som PDF (17 maj 2016), tillsammans med European CTC Implementation Guide från samma projekt.

För ett europeiskt lokalsamhälle som arbetar med CTC är Xchange därför det naturliga första stoppet: det utformades för exakt den här användningen.

Nationella register

Flera länder har egna register, vanligen med ett bredare uppdrag än Xchange och med program som anpassats till det nationella systemet. Där ett sådant finns hör det hemma vid sidan av Xchange i fas fyra.

  • Tyskland: Grüne Liste Prävention, som förvaltas av Landespräventionsrat Niedersachsen, delstaten Niedersachsens brottsförebyggande råd, graderar program i tre evidensnivåer och är det register som den tyska CTC-processen är uppbyggd kring. Endast på tyska.
  • Nederländerna: Databank Effectieve Jeugdinterventies hos Nederlands Jeugdinstituut, ett av Europas äldsta och mest grundliga register; det växte fram ur den programförteckning som de nederländska CTC-piloterna behövde 2000. Endast på nederländska.
  • Sverige: Socialstyrelsens Metodguiden, som omfattar metoder som används inom socialtjänsten. På svenska.
  • Storbritannien: Foundations Guidebook, tidigare Early Intervention Foundation Guidebook, graderar insatser för barn och familjer från ”ännu inte nivå 2” till nivå 4, med plusgrader. På engelska.
  • Irland: What Works Ireland Evidence Hub hos det irländska departementet för barn, funktionsnedsättning och jämlikhet (Department of Children, Disability and Equality), som hämtar sina poster och bedömningar från Foundations Guidebook och har låtit Foundations bedöma en handfull irländska program enligt samma kriterier. På engelska.
  • Polen: System rekomendacji programów profilaktycznych i promocji zdrowia psychicznego (programyrekomendowane.pl), som drivs av det nationella centrumet för beroendeprevention tillsammans med centrumet för utbildningsutveckling och institutet för psykiatri och neurologi, graderar program för prevention och främjande av psykisk hälsa på tre nivåer. CTC har ännu inte implementerats i Polen, men registret finns och skulle vara redo för fas fyra. Endast på polska.

En anmärkning om vad dessa register inte innehåller: inget av de europeiska eller nationella registren förtecknar Communities That Care självt, och Blueprints bedömer det som Promising, som ett system snarare än ett program. Register bedömer avgränsade, manualbaserade insatser; CTC är det operativsystem som väljer ut och installerar sådana insatser, och därför redovisas dess egen evidens i stället på evidenssidan.

Grüne Liste PräventionFig. 1

Så bedöms ett program.

Fem inklusionskriterier, fyra bedömningssteg och en stjärnskala från noll till fem: förfarandet som placerar ett preventionsprogram på en av tre effektivitetsnivåer.

Visa bedömningsschemat

Vad som över huvud taget beaktas.

Före varje bedömning kommer inkluderingen. Fem kriterier avgör om en insats hör hemma i databasen som ett utvärderat preventionsprogram.

  1. En repeterbar insats

    Bara det som kan upprepas på en annan plats och vid en senare tidpunkt inkluderas. Det kräver en tydlig handlingsanvisning, till exempel en skriftlig eller en processbeskrivning, ett eller flera mätbara mål, en för de enskilda deltagarna tidsbegränsad varaktighet, och att insatsen levereras utöver den befintliga grundläggande infrastrukturen av tjänster.

  2. En förebyggande inriktning

    Ett preventionsprogram sätter in innan problembeteendet uppstår eller blir etablerat. Databasen tar in program som arbetar på nivån för eller och som riktar sig antingen till en population eller till en grupp med förhöjd risk. Samma förfarande passar för arbetssätt som är vid de första tecknen, eller tertiära när ett beteende redan har etablerat sig; sådana passar helt enkelt inte med CTC:s inriktning.

  3. En utvärdering från det tyska språkområdet

    Minst en vetenskapligt grundad utvärderingsstudie av programmet finns tillgänglig från det tyska språkområdet. Utan den evidensen sker ingen inkludering i .

  4. En koppling till risk- och skyddsfaktorer

    Programmet minskar minst en riskfaktor eller stärker minst en skyddsfaktor. Bara de räknas som CTC-strategin pekar ut som relevanta för problembeteende hos ungdomar: våld, brottslighet, missbruk, avhopp från skolan, tonårsgraviditeter, depression och ångest.

  5. Genomförbart i Tyskland

    Material, utbildning och tekniskt stöd under genomförandet finns tillgängligt i landet. Program som drivs helt utan ytterligare stöd är undantagna.

De tre effektivitetsnivåerna.

  1. Nivå 1: Effectiveness theoretically well-grounded (verkan teoretiskt underbyggd)

    Koncept och genomförande uppfyller samtliga kriterier, och minst en utvärdering på nollstjärnenivå visar övervägande positiva resultat, till exempel en mätning före och efter insatsen utan jämförelsegrupp.

  2. Nivå 2: Probable Effectiveness (sannolik verkan)

    Koncept och genomförande uppfyller samtliga kriterier, och minst en utvärderingsstudie på en till tre stjärnor visar övervägande positiva resultat, som regel en kontrollerad studie utan . Kriteriedokumentet anger den korta beteckningen ”promising” (lovande) bredvid namnet på den här nivån.

  3. Nivå 3: Proven Effectiveness (bevisad verkan)

    Koncept och genomförande uppfyller samtliga kriterier, och minst en utvärderingsstudie på fyra eller fem stjärnor visar övervägande positiva resultat med minst tillräcklig . Designen omfattar en senare mätning, som regel sex månader efter att insatsen avslutats. Kriteriedokumentet anger den korta beteckningen ”effective” (effektivt) bredvid namnet på den här nivån.

  1. Steg 1 · Bedömning av konceptuell kvalitet och genomförandekvalitet

    Förklarar programmet varför det borde fungera?

    Den första frågan är om ett program anger sitt eget antagande om hur det verkar, och om det kan levereras på ett städat sätt. Det som krävs är en skriftlig verkansmodell (en ), handlingsanvisningar som följer av den, och de medel ett lokalsamhälle behöver för att införa den, nämligen material, utbildning, transparenta kostnader och instrument för kvalitetskontroll.

    1aKonceptuell kvalitet8 kriterier
    • En teoretiskt väldefinierad modell namnger de antagna bakomliggande mekanismerna och bygger på vetenskapligt erkända teoretiska modeller.
    • De metoder och instrument som används är teoretiskt väl underbyggda.
    • Analysen av problemet, de påverkbara faktorerna, målen, målgrupperna och metoderna hänger logiskt samman.
    • Programmet riktar sig mot forskningsbaserade risk- och skyddsfaktorer.
    • Målgrupperna beskrivs heltäckande och precist.
    • Anvisningar för genomförandet och manualer är tydligt härledda ur modellen.
    • Målen är explicit definierade och mätbara.
    • Om programmet utvecklades utanför Tyskland beskrivs det ursprungliga sammanhanget och de anpassningar som gjorts.
    1bGenomförandekvalitet6 kriterier
    • Metoderna och instrumenten är didaktiskt väl bearbetade och begripligt beskrivna.
    • Det material och de manualer som behövs finns tillgängliga och är aktuella.
    • Den utbildning och instruktion som krävs finns.
    • De kostnader som uppstår redovisas tydligt.
    • Tekniskt stöd finns tillgängligt under genomförandet.
    • Instrument för kvalitetskontroll under genomförandet finns tillgängliga.
    1cUtvärderingskvalitet1 kriterier
    • Minst en utvärderingsstudie på nollstjärnenivå med övervägande positiva resultat.
    • De tre första kriterierna för konceptuell kvalitet är inte uppfyllda

      not included

    • Enskilda kriterier förblir ouppfyllda

      on the threshold

    • Samtliga kriterier är uppfyllda

      fortsättvidare till steg 2

  2. Steg 2 · Bedömning av utvärderingsdesignen och dess tillförlitlighet

    Hur säkert kan studien tillskriva en effekt till programmet?

    Varje tillgänglig utvärderingsstudie tilldelas en nivå från noll till fem stjärnor. Det som avgör är hur väl dess design kan tillskriva en förändring till programmet: om fördelningen var slumpmässig (), om jämförelsegruppen bildades genom en design eller följdes över tid som en , och om en , som regel efter sex månader, visar att effekten består efter att programmet har avslutats.

    • Färre än noll stjärnor, det vill säga enbart en litteratur- och dokumentanalys eller en processbeskrivning

      on the threshold

    • Noll till fem stjärnor

      fortsättvidare till steg 3

    Stjärnskala för utvärderingsdesignerna
    1. 5 av 5 stjärnor
      • Randomiserad kontrollerad studie (RCT) med uppföljning, som regel sex månader

      Den högsta nivån. Räcker för nivå 3 så snart tillförlitligheten är minst tillräcklig.

    2. 4 av 5 stjärnor
      • Kvasiexperimentell design (QED) med uppföljning, som regel sex månader
      • Kohortdesign med uppföljning, som regel sex månader

      Når också nivå 3 så snart tillförlitligheten är minst tillräcklig.

    3. Gränsvärde 3: Proven Effectiveness (bevisad verkan)
    4. 3 av 5 stjärnor
      • RCT utan uppföljning
      • Kvasiexperimentell design i ordinarie verksamhet utan uppföljning
      • Kohortdesign utan uppföljning

      Svag tillförlitlighet: effekten mäts, dess varaktighet gör det inte.

    5. 2 av 5 stjärnor
      • Klinisk RCT eller klinisk kvasiexperimentell design, med eller utan uppföljning, inte i ordinarie verksamhet
      • Mätning före och efter insatsen med kontrollgrupp i ordinarie verksamhet

      Preliminär tillförlitlighet.

    6. 1 av 5 stjärnor
      • Riktmärkesstudie eller normreferensstudie
      • Förändringsteoristudie

      Preliminär tillförlitlighet.

    7. Gränsvärde 2: Probable Effectiveness (sannolik verkan)
    8. 0 av 5 stjärnor
      • Bedömning av deltagarnöjdhet
      • Mätning före och efter insatsen utan kontrollgrupp
      • Måluppfyllelsestudie
      • Kvalitetssäkringsstudie

      Ingen tillförlitlighet i schemats mening, men tillräckligt för nivå 1.

    9. Gränsvärde 1: Effectiveness theoretically well-grounded (verkan teoretiskt underbyggd)
    10. Under noll stjärnor
      • Litteratur- och dokumentanalys
      • Processbeskrivning

      Inget uttalande om verkan är möjligt. Sådant arbete registrerar vad som hände; utan en och utan en mätning före och efter kan ingen förändring härledas ur det.

    Tillförlitlighet vid fyra och fem stjärnor
    1. svag tillförlitlighet

      Interventions- och kontrollgrupper med färre än 20 personer. Eller: ingen studie på fyra eller fem stjärnor från det tyska språkområdet, men en eller flera studier från utlandet med minst tillräcklig tillförlitlighet; då avgör klassificeringen.

    2. tillräcklig tillförlitlighet

      Interventions- och kontrollgrupper på 20 till 50 personer och minst en studie av den typen från det tyska språkområdet. Eller: två eller fler studier på fyra eller fem stjärnor med grupper under 20 personer från det tyska språkområdet.

    3. stark tillförlitlighet

      Interventions- och kontrollgrupper på mer än 50 personer. Eller: två eller fler studier med tillräcklig tillförlitlighet från det tyska språkområdet som undersökte flera dimensioner.

    4. mycket stark tillförlitlighet

      Villkoren för stark tillförlitlighet, plus minst ett storskaligt fältexperiment i det tyska språkområdet. Eller: villkoren för stark tillförlitlighet, plus två eller fler studier från utlandet med stark tillförlitlighet.

    1 till 3 stjärnor: preliminär tillförlitlighet vid en eller två stjärnor, svag tillförlitlighet vid tre · 0 stjärnor: ingen tillförlitlighet

    Överförbarhet för program utvecklade utomlands
    • överförbarhet given

      Flera studier med minst tillräcklig tillförlitlighet från det tyska språkområdet.

    • överförbarhet sannolik

      Minst en sådan studie från det tyska språkområdet.

      gränsvärde
    • överförbarhet möjlig

      Ingen studie från det tyska språkområdet, men en tillräcklig motivering utifrån jämförbara målgrupper och omständigheter.

      nivå 1
    • oklar

      Varken en studie från det tyska språkområdet eller en sådan motivering.

      on the threshold
  3. Steg 3 · Bedömning av utvärderingsresultaten

    Visar studien en effekt i önskad riktning?

    Studier räknas när de dokumenterar sina resultat enligt vedertagna vetenskapliga standarder. Där en finns hör en beräknad till, Cohens d där det är möjligt. Minst en krävs i en relevant beteendedimension och i minst en målgrupp; där en uppföljning gjordes minst sex månader efter att insatsen avslutats måste minst en positiv effekt bestå där.

    • Övervägande positiva

      inkluderingfortsätt till steg 4

    • Delvis positiva och delvis negativa, eller oklara

      on the threshold

    • Inga effekter eller negativa effekter

      not included

    Fem betygsgrader för utvärderingsresultaten
    1. enbart positiva

      En i önskad riktning i varje uppmätt dimension.

    2. övervägande positiva

      En positiv signifikant effekt i majoriteten av de uppmätta dimensionerna. Från och med här ger databasen en rekommendation.

      inkludering
    3. delvis positiva och delvis negativa

      Effekter i flera dimensioner går i den icke önskade riktningen.

      on the threshold
    4. ingen effekt

      Ingen av de uppmätta dimensionerna förändras på ett meningsfullt sätt.

      not included
    5. till stor del negativa eller enbart negativa

      De uppmätta dimensionerna går mestadels eller helt i den icke önskade riktningen.

      not included
  4. Steg 4 · Samlad bedömning

    Tre bedömningar ger en nivå.

    Bara tillsammans ger de tre bedömningarna klassificeringen: konceptuell kvalitet och genomförandekvalitet, utvärderingsnivån med dess , och resultatens riktning. Nivåerna 1 till 3 rekommenderas för genomförande. Vid sidan av dem står kategorierna ”on the threshold” (i gränsområdet) för en bild som fortfarande är oavgjord, och ”not included” (inte upptaget) där något grundläggande saknas eller effekten uteblir.

    • Noll stjärnor, övervägande positiva

      Nivå 1Effectiveness theoretically well-grounded

    • En till tre stjärnor, övervägande positiva

      Nivå 2Probable Effectiveness

    • Fyra till fem stjärnor, minst tillräcklig tillförlitlighet

      Nivå 3Proven Effectiveness

    Samlad översikt
    Samlad översikt över bedömningsschemat: konceptuell kvalitet och genomförandekvalitet, utvärderingsnivån med dess tillförlitlighet, och utvärderingsresultaten ger tillsammans den samlade bedömningen.
    KonceptUtvärderingsnivåResultatBedömning
    1a till 1c uppfyllda4 till 5 stjärnor, tillräcklig tillförlitlighet eller bättreövervägande positivaNivå 3
    1a till 1c uppfyllda1 till 3 stjärnor, eller 4 till 5 stjärnor med enbart svag tillförlitlighetövervägande positivaNivå 2
    1a till 1c uppfyllda0 stjärnorövervägande positivaNivå 1
    1a till 1c delvis uppfylldaingen utvärdering, eller färre än 0 stjärnordelvis positiva och negativa, eller oklaraon the threshold
    1a till 1c inte uppfylldaalla nivåeringa eller negativa effekternot included
    • Nivå 3
      Koncept
      1a till 1c uppfyllda
      Utvärderingsnivå
      4 till 5 stjärnor, tillräcklig tillförlitlighet eller bättre
      Resultat
      övervägande positiva
    • Nivå 2
      Koncept
      1a till 1c uppfyllda
      Utvärderingsnivå
      1 till 3 stjärnor, eller 4 till 5 stjärnor med enbart svag tillförlitlighet
      Resultat
      övervägande positiva
    • Nivå 1
      Koncept
      1a till 1c uppfyllda
      Utvärderingsnivå
      0 stjärnor
      Resultat
      övervägande positiva
    • on the threshold
      Koncept
      1a till 1c delvis uppfyllda
      Utvärderingsnivå
      ingen utvärdering, eller färre än 0 stjärnor
      Resultat
      delvis positiva och negativa, eller oklara
    • not included
      Koncept
      1a till 1c inte uppfyllda
      Utvärderingsnivå
      alla nivåer
      Resultat
      inga eller negativa effekter
Källor
  1. Groeger-Roth, F., & Hasenpusch, B. (2011). Grüne Liste Prävention: Auswahl- und Bewertungskriterien für die CTC-Programm-Datenbank (Fassung vom 1.11.2011). Landespräventionsrat Niedersachsen. gruene-liste-praevention.de/communities-that-care/Media/Grne_Liste_Bewertungskriterien.pdf I biblioteket
  2. Veerman, J. W., & van Yperen, T. A. (2007). Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30(2), 212–221. doi.org/10.1016/j.evalprogplan.2007.01.011 I biblioteket
  3. Groeger-Roth, F., Hasenpusch, B. (2011). Die „Grüne Liste Prävention“. Effektive und erfolgversprechende Präventionsprogramme im Blick. forum-kriminalpraevention.de/files/1Forum-kriminalpraevention-webseite/pdf/2011-04/fk2011_4_grueneliste_praevention.pdf I biblioteket
  4. Gorenoi, V., Bremer, K., & Brender, R. (2024). Evidenzregister „Grüne Liste Prävention“: Modifikation der Bewertungskriterien auf Basis international relevanter Kategorisierungskonzepte. German Medical Science GMS Publishing House. doi.org/10.3205/24gmds685 I biblioteket
  5. Brender, R., Bremer, K., Kula, A., Groeger-Roth, F., & Walter, U. (2024). Evidenzregister Grüne Liste Prävention – Analyse der gelisteten wirksamkeitsgeprüften Programme. Das Gesundheitswesen, 86(07), 474–482. doi.org/10.1055/a-2308-7256 I biblioteket

Kriteriedokumentet publiceras av delstaten Niedersachsens brottsförebyggande råd (Landespräventionsrat Niedersachsen): Green List Prevention – Inclusion- and Rating-Criteria (PDF) (Tysk version 1 november 2011, engelsk översättning 15 januari 2016)

Fig. 1Inklusions- och bedömningskriterier för Grüne Liste Prävention (det tyska registret över utvärderade preventionsprogram) efter Groeger-Roth & Hasenpusch (2011). Figuren följer den tyska versionen av den 1 november 2011, som fortfarande räknar upp kohortdesignerna; de engelska termerna är hämtade från den officiella översättningen av den 15 januari 2016.

Blueprints: där kriterierna kommer ifrån

Blueprints for Healthy Youth Development vid University of Colorado Boulder är det amerikanska register som CTC växte upp jämsides med, och vars evidenskriterier den europeiska granskningen övertog. Det är fortfarande fältets mest krävande register: program når dess högsta nivå bara med minst en av hög kvalitet plus en oberoende replikation. Många Blueprints-program har ingen europeisk anpassning eller licensinnehavare, så det är mer en referens för kriterier än en inköpslista, men ett europeiskt lokalsamhälle som vill veta hur den starkaste tillgängliga evidensen ser ut bör läsa det.

Om ert land saknar register

Använd Xchange, och använd de nationella registren i grannländer vars system liknar ert: nederländska och tyska program har ofta anpassats över gränsen. Dokumentera sedan vad ni valde och varför. Ett lokalsamhälle som skriver ner skälen för sitt val har redan börjat bygga det register som landet saknar.

Nästa steg

Läs vidare

  • Om CTC

    Evidens

    Evidensen för CTC självt