Preskoči na sadržaj
Registri programa utemeljenih na dokazima

Registri programa utemeljenih na dokazima

Gdje CTC zajednica nalazi programe s dokazanim učinkom: europski registar Xchange, nacionalni registri i američki registar iz kojeg potječu.

Sadržaj
  1. 01Korak kojemu treba registar
  2. 02Xchange: europski registar
  3. 03Nacionalni registri
  4. 04Blueprints: odakle dolazi standard
  5. 05Ako vaša zemlja nema registar

Korak kojemu treba registar

Četvrta faza CTC-a traži od zajednice da odabere intervencije koje odgovaraju rizičnim i zaštitnim čimbenicima koje je odredila kao prioritet. Taj je izbor dobar onoliko koliko je dobar popis s kojeg se bira. Registar programa prevencije, u kojem je svaki program ocijenjen prema izričitim standardima dokaza, čini taj korak mogućim, i upravo je to dio infrastrukture koji većini europskih zemalja nedostaje.

Xchange: europski registar

Xchange je registar prevencije Agencije Europske unije za droge (EUDA) u Lisabonu. Navodi intervencije koje su evaluirane u Europi, s ocjenom dokaza, podacima o tome gdje su provedene i kontaktima nositelja programa.

Xchange je ujedno, u izravnom smislu, registar koji je CTC izgradio. Između 2013. i 2015. projekt CTC European Network krenuo je u prepoznavanje programa prevencije i rane intervencije koji su u Europi testirani randomiziranom ili kvazieksperimentalnom evaluacijom. Britanska istraživačka jedinica Dartington Social Research Unit ocijenila je svakog kandidata prema standardima dokaza koje koristi : specifičnost intervencije, kvaliteta evaluacije, učinak intervencije i spremnost sustava. Rezultati su razvrstani prema učinkovitosti u europskom kontekstu i objavljeni u Xchangeu. Izvješće projekta, What works in Europe, opisuje postupak i dostupno je ovdje kao PDF (17. svibnja 2016.), zajedno s europskim vodičem za provedbu CTC-a (European CTC Implementation Guide) iz istog projekta.

Za europsku zajednicu koja provodi CTC Xchange je stoga prirodna prva postaja: osmišljen je upravo za tu svrhu.

Nacionalni registri

Nekoliko zemalja vodi vlastite registre, obično šireg opsega od Xchangea i s programima prilagođenima nacionalnom sustavu. Gdje takav postoji, u četvrtoj fazi pripada uz Xchange.

  • Njemačka: Grüne Liste Prävention, koju vodi Vijeće za prevenciju Donje Saske (Landespräventionsrat Niedersachsen), ocjenjuje programe u tri razine dokaza i registar je oko kojeg je izgrađen njemački CTC proces. Samo na njemačkom.
  • Nizozemska: Databank Effectieve Jeugdinterventies Nizozemskog instituta za mlade (Nederlands Jeugdinstituut), jedan od najstarijih i najtemeljitijih registara u Europi; izrastao je iz popisa programa koji je nizozemskim CTC pilotima trebao 2000. Samo na nizozemskom.
  • Švedska: Metodguiden švedske Nacionalne uprave za zdravstvo i socijalnu skrb (Socialstyrelsen), koji obuhvaća metode koje se koriste u socijalnim službama. Samo na švedskom.
  • Ujedinjeno Kraljevstvo: Foundations Guidebook, prije Early Intervention Foundation Guidebook, ocjenjuje intervencije za djecu i obitelji na ljestvici od „još nije razina 2” do razine 4, uz ocjene s plusom. Na engleskom.
  • Irska: What Works Ireland Evidence Hub irskog Ministarstva za djecu, osobe s invaliditetom i ravnopravnost (Department of Children, Disability and Equality), koji unose i ocjene preuzima iz Foundations Guidebooka, a nekoliko je irskih programa dao organizaciji Foundations na procjenu prema istim standardima. Na engleskom.
  • Poljska: System rekomendacji programów profilaktycznych i promocji zdrowia psychicznego (programyrekomendowane.pl), koji vode Nacionalni centar za prevenciju ovisnosti, Centar za razvoj obrazovanja i Institut za psihijatriju i neurologiju, ocjenjuje programe prevencije i promicanja mentalnog zdravlja na tri razine. CTC u Poljskoj još nije proveden, ali registar postoji i bio bi spreman za četvrtu fazu. Samo na poljskom.

Napomena o tome što ti registri ne sadrže: nijedan od europskih ili nacionalnih registara ne navodi sam Communities That Care, a Blueprints ga ocjenjuje kao Promising (obećavajući), kao sustav, a ne kao program. Registri ocjenjuju zasebne intervencije s priručnikom; CTC je operativni sustav koji takve intervencije odabire i uvodi, pa se njegovi vlastiti dokazi prikazuju na stranici o dokazima.

Grüne Liste PräventionSl. 1

Kako se program ocjenjuje.

Pet kriterija uključivanja, četiri koraka ocjenjivanja i ljestvica zvjezdica od nula do pet: postupak koji program prevencije smješta na jednu od tri razine učinkovitosti.

Prikaži shemu

Što se uopće razmatra.

Prije svakog ocjenjivanja dolazi uključivanje. Pet kriterija odlučuje pripada li neka mjera u bazu podataka kao evaluirani program prevencije.

  1. Ponovljiva mjera

    Uključuje se samo ono što se može ponoviti na drugom mjestu i u kasnijem trenutku. To zahtijeva izričitu smjernicu za djelovanje, poput pisanog ili procesnog nacrta, jedan ili više mjerljivih ciljeva, trajanje koje je vremenski ograničeno za pojedine sudionike te provedbu uz postojeću temeljnu infrastrukturu usluga, a ne umjesto nje.

  2. Preventivna usmjerenost

    Program prevencije počinje prije nego što se problem u ponašanju pojavi ili učvrsti. Baza podataka uzima programe koji djeluju na razini ili i obraćaju se ili populaciji ili skupini povišenog rizika. Isti postupak odgovara i pristupima koji su pri prvim znakovima, odnosno tercijarnima kada se ponašanje već učvrstilo; oni jednostavno ne odgovaraju smjeru CTC-a.

  3. Evaluacija iz njemačkog govornog područja

    Iz njemačkog govornog područja dostupna je barem jedna znanstveno utemeljena evaluacijska studija programa. Bez tog dokaza nema uključivanja u .

  4. Poveznica s rizičnim i zaštitnim čimbenicima

    Program smanjuje barem jedan rizični čimbenik ili jača barem jedan zaštitni čimbenik. Broje se samo oni koje CTC strategija prepoznaje kao relevantne za probleme u ponašanju adolescenata: nasilje, delinkvencija, zlouporaba psihoaktivnih tvari, napuštanje škole, adolescentske trudnoće, depresija i anksioznost.

  5. Provediva u Njemačkoj

    Materijali, edukacija i stručna podrška tijekom provedbe dostupni su u toj zemlji. Izuzeti su programi koji se provode bez ikakve dodatne podrške.

Tri razine učinkovitosti.

  1. Razina 1: Effectiveness theoretically well-grounded

    Koncept i provedba ispunjavaju sve kriterije, a barem jedna evaluacija na razini nula zvjezdica pokazuje pretežno pozitivne rezultate, primjerice mjerenje prije i poslije mjere bez usporedne skupine.

  2. Razina 2: Probable Effectiveness

    Koncept i provedba ispunjavaju sve kriterije, a barem jedna evaluacijska studija s jednom do tri zvjezdice pokazuje pretežno pozitivne rezultate, u pravilu kontrolirana studija bez . Kriterijski dokument uz naziv ove razine navodi skraćeni naziv „promising” (obećavajuće).

  3. Razina 3: Proven Effectiveness

    Koncept i provedba ispunjavaju sve kriterije, a barem jedna evaluacijska studija s četiri ili pet zvjezdica pokazuje pretežno pozitivne rezultate uz barem dostatnu . Dizajn uključuje naknadno mjerenje, u pravilu šest mjeseci nakon završetka intervencije. Kriterijski dokument uz naziv ove razine navodi skraćeni naziv „effective” (učinkovito).

  1. Korak 1 · Ocjena konceptualne kvalitete i kvalitete provedbe

    Objašnjava li program zašto bi trebao djelovati?

    Prvo je pitanje iznosi li program vlastitu pretpostavku o tome kako djeluje i može li se provoditi uredno. Traži se: pisani model djelovanja (), upute za postupanje koje iz njega proizlaze te sredstva koja zajednici trebaju za njegovo uvođenje, odnosno materijali, edukacija, transparentni troškovi i instrumenti kontrole kvalitete.

    1aKonceptualna kvaliteta8 kriterija
    • Teorijski dobro definiran model imenuje pretpostavljene temeljne mehanizme i oslanja se na znanstveno priznate teorijske modele.
    • Primijenjene metode i instrumenti teorijski su dobro utemeljeni.
    • Analiza problema, promjenjivih čimbenika, ciljeva, ciljnih skupina i metoda logički su povezane.
    • Program je usmjeren na rizične i zaštitne čimbenike utemeljene na istraživanjima.
    • Ciljne skupine opisane su sveobuhvatno i precizno.
    • Upute za provedbu i priručnici jasno su izvedeni iz modela.
    • Ciljevi su izričito definirani i mjerljivi.
    • Ako je program razvijen izvan Njemačke, opisani su izvorni kontekst i provedene prilagodbe.
    1bKvaliteta provedbe6 kriterija
    • Metode i instrumenti didaktički su dobro obrađeni i razumljivo opisani.
    • Potrebni materijali i priručnici dostupni su i ažurni.
    • Postoji potrebna edukacija i osposobljavanje.
    • Nastali troškovi jasno su navedeni.
    • Tijekom provedbe dostupna je stručna podrška.
    • Tijekom provedbe dostupni su instrumenti kontrole kvalitete.
    1cKvaliteta evaluacije1 kriterija
    • Barem jedna evaluacijska studija na razini nula zvjezdica s pretežno pozitivnim rezultatima.
    • Prva tri kriterija konceptualne kvalitete nisu ispunjena

      not included

    • Pojedini kriteriji ostaju neispunjeni

      on the threshold

    • Svi su kriteriji ispunjeni

      nastavaks korakom 2

  2. Korak 2 · Ocjena dizajna evaluacije i njegove sigurnosti dokaza

    Koliko sigurno studija može pripisati učinak?

    Svakoj dostupnoj evaluacijskoj studiji dodjeljuje se razina od nula do pet zvjezdica. Odlučuje to koliko dobro njezin dizajn može promjenu pripisati programu: je li raspodjela bila nasumična (), je li usporedna skupina oblikovana dizajnom ili praćena kroz vrijeme kao , te pokazuje li nakon u pravilu šest mjeseci da učinak traje i nakon završetka programa.

    • Manje od nula zvjezdica, odnosno samo analiza literature i dokumenata ili opis procesa

      on the threshold

    • Nula do pet zvjezdica

      nastavaks korakom 3

    Ljestvica zvjezdica za dizajne evaluacije
    1. 5 od 5 zvjezdica
      • Randomizirano kontrolirano istraživanje (RCT) s praćenjem, u pravilu nakon šest mjeseci

      Najviša razina. Dovoljna za razinu 3 čim je sigurnost dokaza barem dostatna.

    2. 4 od 5 zvjezdica
      • Kvazieksperimentalni dizajn (QED) s praćenjem, u pravilu nakon šest mjeseci
      • Kohortni dizajn s praćenjem, u pravilu nakon šest mjeseci

      Također dosiže razinu 3 čim je sigurnost dokaza barem dostatna.

    3. Granična razina 3: Proven Effectiveness
    4. 3 od 5 zvjezdica
      • RCT bez praćenja
      • Kvazieksperimentalni dizajn u redovitom kontekstu, bez praćenja
      • Kohortni dizajn bez praćenja

      Slaba sigurnost dokaza: učinak je izmjeren, njegova postojanost nije.

    5. 2 od 5 zvjezdica
      • Klinički RCT ili klinički kvazieksperimentalni dizajn, s praćenjem ili bez njega, izvan redovitog konteksta
      • Mjerenje prije i poslije mjere, s kontrolnom skupinom, u redovitom kontekstu

      Preliminarna sigurnost dokaza.

    6. 1 od 5 zvjezdica
      • Studija s referentnom vrijednošću (benchmark) ili normativna studija
      • Studija teorije promjene

      Preliminarna sigurnost dokaza.

    7. Granična razina 2: Probable Effectiveness
    8. 0 od 5 zvjezdica
      • Procjena zadovoljstva sudionika
      • Mjerenje prije i poslije mjere, bez kontrolne skupine
      • Studija ostvarenja ciljeva
      • Studija osiguranja kvalitete

      Nema sigurnosti dokaza u smislu ove sheme, ali dovoljno za razinu 1.

    9. Granična razina 1: Effectiveness theoretically well-grounded
    10. Ispod nula zvjezdica
      • Analiza literature i dokumenata
      • Opis procesa

      Izjava o učinkovitosti nije moguća. Takav rad bilježi što se dogodilo; bez i bez mjerenja prije i poslije, iz njega se ne može izvesti nikakva promjena.

    Sigurnost dokaza pri četiri i pet zvjezdica
    1. slaba sigurnost dokaza

      Interventna i kontrolna skupina s manje od 20 osoba. Ili: nijedna studija s četiri ili pet zvjezdica iz njemačkog govornog područja, ali jedna ili više studija iz inozemstva s barem dostatnom sigurnošću dokaza; tada o razvrstavanju odlučuje .

    2. dostatna sigurnost dokaza

      Interventna i kontrolna skupina od 20 do 50 osoba te barem jedna takva studija iz njemačkog govornog područja. Ili: dvije ili više studija s četiri ili pet zvjezdica sa skupinama manjim od 20 osoba iz njemačkog govornog područja.

    3. snažna sigurnost dokaza

      Interventna i kontrolna skupina s više od 50 osoba. Ili: dvije ili više studija s dostatnom sigurnošću dokaza iz njemačkog govornog područja koje su obuhvatile više dimenzija.

    4. vrlo snažna sigurnost dokaza

      Uvjeti za snažnu sigurnost dokaza, uz barem jedan veliki terenski eksperiment iz njemačkog govornog područja. Ili: uvjeti za snažnu sigurnost dokaza, uz dvije ili više studija iz inozemstva sa snažnom sigurnošću dokaza.

    1 do 3 zvjezdice: preliminarna sigurnost dokaza pri jednoj ili dvije zvjezdice, slaba sigurnost dokaza pri tri · 0 zvjezdica: nema sigurnosti dokaza

    Prenosivost za programe razvijene u inozemstvu
    • prenosivost postoji

      Više studija s barem dostatnom sigurnošću dokaza iz njemačkog govornog područja.

    • prenosivost vjerojatna

      Barem jedna takva studija iz njemačkog govornog područja.

      granična vrijednost
    • prenosivost moguća

      Nema studije iz njemačkog govornog područja, ali postoji dostatno obrazloženje iz usporedivih ciljnih skupina i okolnosti.

      razina 1
    • nejasno

      Nema ni studije iz njemačkog govornog područja ni takvog obrazloženja.

      on the threshold
  3. Korak 3 · Ocjena rezultata evaluacije

    Pokazuje li studija učinak u željenom smjeru?

    Studije se uzimaju u obzir kada svoje rezultate dokumentiraju prema uobičajenim znanstvenim standardima. Gdje postoji , uz nju ide izračunata , po mogućnosti Cohenov d. Traži se barem jedan u relevantnoj dimenziji ponašanja i u barem jednoj ciljnoj skupini; gdje je praćenje provedeno barem šest mjeseci nakon završetka intervencije, tamo barem jedan pozitivan učinak mora biti postojan.

    • Pretežno pozitivno

      uključenonastavak s korakom 4

    • Djelomično pozitivno i djelomično negativno, ili nejasno

      on the threshold

    • Bez učinka ili negativni učinci

      not included

    Pet ocjena rezultata evaluacije
    1. samo pozitivno

      u željenom smjeru u svakoj mjerenoj dimenziji.

    2. pretežno pozitivno

      Pozitivan značajan učinak u većini mjerenih dimenzija. Od ove točke registar daje preporuku.

      uključeno
    3. djelomično pozitivno i djelomično negativno

      Učinci u više dimenzija idu u neželjenom smjeru.

      on the threshold
    4. bez učinka

      Nijedna od mjerenih dimenzija ne mijenja se značajno.

      not included
    5. pretežno negativno ili samo negativno

      Mjerene dimenzije idu većinom ili u potpunosti u neželjenom smjeru.

      not included
  4. Korak 4 · Cjelokupna ocjena

    Tri ocjene čine jednu razinu.

    Razvrstavanje proizlazi tek iz sve tri ocjene zajedno: konceptualne kvalitete i kvalitete provedbe, razine evaluacije s njezinom te smjera rezultata. Razine 1 do 3 preporučuju se za provedbu. Uz njih stoje kategorije „on the threshold” (na granici) za sliku koja je još neodređena te „not included” (nije uključeno) gdje nešto temeljno nedostaje ili se učinak ne pojavljuje.

    • Nula zvjezdica, pretežno pozitivno

      Razina 1Effectiveness theoretically well-grounded

    • Jedna do tri zvjezdice, pretežno pozitivno

      Razina 2Probable Effectiveness

    • Četiri do pet zvjezdica, barem dostatna sigurnost dokaza

      Razina 3Proven Effectiveness

    Ukupni pregled
    Ukupni pregled matrice ocjenjivanja: konceptualna kvaliteta i kvaliteta provedbe, razina evaluacije sa svojom sigurnošću dokaza te rezultati evaluacije zajedno daju cjelokupnu ocjenu.
    KonceptRazina evaluacijeRezultatiOcjena
    1a do 1c ispunjeno4 do 5 zvjezdica, dostatna sigurnost dokaza ili boljapretežno pozitivnoRazina 3
    1a do 1c ispunjeno1 do 3 zvjezdice, ili 4 do 5 zvjezdica sa samo slabom sigurnošću dokazapretežno pozitivnoRazina 2
    1a do 1c ispunjeno0 zvjezdicapretežno pozitivnoRazina 1
    1a do 1c djelomično ispunjenobez evaluacije, ili manje od 0 zvjezdicadjelomično pozitivno i negativno, ili nejasnoon the threshold
    1a do 1c nije ispunjenosve razinebez učinka ili negativni učincinot included
    • Razina 3
      Koncept
      1a do 1c ispunjeno
      Razina evaluacije
      4 do 5 zvjezdica, dostatna sigurnost dokaza ili bolja
      Rezultati
      pretežno pozitivno
    • Razina 2
      Koncept
      1a do 1c ispunjeno
      Razina evaluacije
      1 do 3 zvjezdice, ili 4 do 5 zvjezdica sa samo slabom sigurnošću dokaza
      Rezultati
      pretežno pozitivno
    • Razina 1
      Koncept
      1a do 1c ispunjeno
      Razina evaluacije
      0 zvjezdica
      Rezultati
      pretežno pozitivno
    • on the threshold
      Koncept
      1a do 1c djelomično ispunjeno
      Razina evaluacije
      bez evaluacije, ili manje od 0 zvjezdica
      Rezultati
      djelomično pozitivno i negativno, ili nejasno
    • not included
      Koncept
      1a do 1c nije ispunjeno
      Razina evaluacije
      sve razine
      Rezultati
      bez učinka ili negativni učinci
Izvori
  1. Groeger-Roth, F., & Hasenpusch, B. (2011). Grüne Liste Prävention: Auswahl- und Bewertungskriterien für die CTC-Programm-Datenbank (Fassung vom 1.11.2011). Landespräventionsrat Niedersachsen. gruene-liste-praevention.de/communities-that-care/Media/Grne_Liste_Bewertungskriterien.pdf U knjižnici
  2. Veerman, J. W., & van Yperen, T. A. (2007). Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30(2), 212–221. doi.org/10.1016/j.evalprogplan.2007.01.011 U knjižnici
  3. Groeger-Roth, F., Hasenpusch, B. (2011). Die „Grüne Liste Prävention“. Effektive und erfolgversprechende Präventionsprogramme im Blick. forum-kriminalpraevention.de/files/1Forum-kriminalpraevention-webseite/pdf/2011-04/fk2011_4_grueneliste_praevention.pdf U knjižnici
  4. Gorenoi, V., Bremer, K., & Brender, R. (2024). Evidenzregister „Grüne Liste Prävention“: Modifikation der Bewertungskriterien auf Basis international relevanter Kategorisierungskonzepte. German Medical Science GMS Publishing House. doi.org/10.3205/24gmds685 U knjižnici
  5. Brender, R., Bremer, K., Kula, A., Groeger-Roth, F., & Walter, U. (2024). Evidenzregister Grüne Liste Prävention – Analyse der gelisteten wirksamkeitsgeprüften Programme. Das Gesundheitswesen, 86(07), 474–482. doi.org/10.1055/a-2308-7256 U knjižnici

Kriterijski dokument objavljuje Vijeće za prevenciju Donje Saske (Landespräventionsrat Niedersachsen): Green List Prevention – Inclusion- and Rating-Criteria (PDF) (njemačko izdanje 1. studenoga 2011., engleski prijevod 15. siječnja 2016.)

Sl. 1Kriteriji uključivanja i ocjenjivanja za Grüne Liste Prävention (Zelenu listu prevencije) prema Groeger-Rothu i Hasenpuschu (2011.). Prikaz slijedi njemačko izdanje od 1. studenoga 2011., koje još uvijek navodi kohortne dizajne; engleski nazivi preuzeti su iz službenog prijevoda od 15. siječnja 2016.

Blueprints: odakle dolazi standard

Blueprints for Healthy Youth Development, pri Sveučilištu Colorado u Boulderu, američki je registar uz koji se CTC razvijao i onaj čije je standarde dokaza europski pregled preuzeo. I dalje je najzahtjevniji registar u ovom području: programi dosežu njegovu najvišu razinu samo s najmanje jednim visokokvalitetnim randomiziranim istraživanjem i neovisnom replikacijom. Mnogi programi iz Blueprintsa nemaju europsku prilagodbu ni nositelja licence, pa je on više mjerilo standarda nego katalog za odabir, ali europska zajednica koja želi znati kako izgledaju najsnažniji dostupni dokazi trebala bi ga pročitati.

Ako vaša zemlja nema registar

Koristite Xchange, a uz njega i nacionalne registre susjednih zemalja čiji sustavi nalikuju vašemu: nizozemski i njemački programi često su prilagođavani preko granice. Zatim dokumentirajte što ste odabrali i zašto. Zajednica koja bilježi obrazloženje svojeg odabira već je počela graditi registar koji njezinoj zemlji nedostaje.

Sljedeći koraci

Čitajte dalje

  • O CTC-u

    Dokazi

    Dokazi za sam CTC

  • O CTC-u

    Pet faza

    Gdje je mjesto registra u procesu