Saltar para o conteúdo
Registos de evidência

Registos de evidência

Onde uma comunidade CTC encontra programas com efeito comprovado: o registo europeu Xchange, os registos nacionais e o registo norte-americano de que descendem.

Índice
  1. 01A etapa que precisa de um registo
  2. 02Xchange: o registo europeu
  3. 03Registos nacionais
  4. 04Blueprints: de onde vem o padrão
  5. 05Se o seu país não tem registo

A etapa que precisa de um registo

A quarta fase do CTC pede a uma comunidade que escolha intervenções que correspondam aos que priorizou. Essa escolha vale tanto quanto o leque de opções de onde é feita. Um registo de programas de prevenção, cada um avaliado segundo padrões explícitos de evidência, é o que torna esta etapa possível, e é a peça de infraestrutura que falta à maioria dos países europeus.

Xchange: o registo europeu

Xchange é o registo de prevenção da Agência da União Europeia para as Drogas (EUDA), em Lisboa. Reúne intervenções avaliadas na Europa, com uma classificação da evidência, informação sobre onde foram implementadas, e contactos dos responsáveis pelos programas.

O Xchange é também, muito diretamente, o registo que o CTC construiu. Entre 2013 e 2015, o projeto CTC European Network propôs-se identificar programas de prevenção e de intervenção precoce que tivessem sido testados na Europa através de avaliação aleatorizada ou . A Dartington Social Research Unit, no Reino Unido, avaliou cada candidato face aos padrões de evidência usados pela : especificidade da intervenção, qualidade da avaliação, impacto da intervenção e prontidão do sistema. Os resultados foram classificados quanto à eficácia num contexto europeu e publicados no Xchange. O relatório do projeto, What works in Europe, descreve o processo e está disponível aqui em PDF (17 de maio de 2016), juntamente com o European CTC Implementation Guide do mesmo projeto.

Para uma comunidade europeia que conduz um processo CTC, o Xchange é, por isso, o ponto de partida natural: foi concebido exatamente para este fim.

Registos nacionais

Vários países mantêm os seus próprios registos, geralmente com um âmbito mais alargado do que o Xchange e com programas adaptados ao sistema nacional. Onde exista um, deve ser usado a par do Xchange na quarta fase.

  • Alemanha: a Grüne Liste Prävention, mantida pelo Landespräventionsrat Niedersachsen, classifica os programas em três níveis de evidência e é o registo em torno do qual o processo CTC alemão está construído. Apenas em alemão.
  • Países Baixos: a Databank Effectieve Jeugdinterventies do Nederlands Jeugdinstituut (o instituto neerlandês da juventude), um dos registos mais antigos e mais exaustivos da Europa; nasceu do inventário de programas de que os projetos-piloto CTC neerlandeses precisaram em 2000. Apenas em neerlandês.
  • Suécia: o Metodguiden da Socialstyrelsen (a autoridade nacional sueca para a saúde e os serviços sociais), que abrange métodos usados nos serviços sociais. Apenas em sueco.
  • Reino Unido: o Foundations Guidebook, anteriormente o Early Intervention Foundation Guidebook, classifica intervenções para crianças e famílias desde «ainda não nível 2» até ao nível 4, com graus intermédios assinalados com um sinal de mais. Em inglês.
  • Irlanda: o What Works Ireland Evidence Hub do Department of Children, Disability and Equality, que retira as suas entradas e classificações do Foundations Guidebook e fez avaliar pela Foundations um pequeno número de programas irlandeses segundo os mesmos padrões. Em inglês.
  • Polónia: o System rekomendacji programów profilaktycznych i promocji zdrowia psychicznego (programyrekomendowane.pl), gerido pelo Centro Nacional de Prevenção das Dependências em conjunto com o Centro para o Desenvolvimento da Educação e o Instituto de Psiquiatria e Neurologia, classifica programas de prevenção e de promoção da saúde mental em três níveis. O CTC ainda não foi implementado na Polónia, mas o registo existe e estaria pronto para a quarta fase. Apenas em polaco.

Uma nota sobre o que estes registos não contêm: nenhum dos registos europeus ou nacionais lista o próprio Communities That Care, e a Blueprints classifica-o como Promising (promissor), enquanto sistema e não enquanto programa. Os registos classificam intervenções delimitadas e manualizadas; o CTC é o sistema operativo que seleciona e instala esse tipo de intervenções, razão pela qual a sua própria evidência é apresentada, em vez disso, na página de evidência.

Grüne Liste PräventionFig. 1

Como um programa é avaliado.

Cinco critérios de inclusão, quatro etapas de avaliação e uma escala de estrelas de zero a cinco: o procedimento que coloca um programa de prevenção num de três níveis de eficácia.

Ver o esquema

O que é sequer considerado.

Antes de qualquer avaliação vem a inclusão. Cinco critérios decidem se uma medida pertence à base de dados como um programa de prevenção avaliado.

  1. Uma medida replicável

    Só é incluído o que pode ser repetido noutro lugar e numa data posterior. Isso exige uma orientação de ação explícita, como um escrito ou um roteiro processual, um ou mais objetivos mensuráveis, uma duração limitada no tempo para cada participante, e uma oferta que se soma à infraestrutura básica de serviços já existente.

  2. Uma orientação preventiva

    Um programa de prevenção começa antes de o comportamento-problema surgir ou se instalar. A base de dados aceita programas que atuam ao nível da ou da e se dirigem a uma população ou a um grupo com risco elevado. O mesmo procedimento serve abordagens perante os primeiros sinais, ou terciárias quando um comportamento já se instalou; essas simplesmente não correspondem à orientação do CTC.

  3. Uma avaliação do espaço de língua alemã

    Está disponível pelo menos um estudo de avaliação com base científica do programa proveniente do espaço de língua alemã. Sem essa evidência, não há inclusão na .

  4. Uma ligação a fatores de risco e de proteção

    O programa reduz pelo menos um fator de risco ou reforça pelo menos um fator de proteção. Só contam os que a estratégia do CTC identifica como relevantes para o comportamento-problema na adolescência: violência, delinquência, abuso de substâncias, abandono escolar, gravidez na adolescência, depressão e ansiedade.

  5. Implementável na Alemanha

    Estão disponíveis no país materiais, formação e apoio técnico durante a implementação. Programas que funcionam sem qualquer apoio adicional estão isentos.

Os três níveis de eficácia.

  1. Nível 1: Effectiveness theoretically well-grounded [eficácia teoricamente fundamentada]

    O conceito e a implementação cumprem todos os critérios, e pelo menos uma avaliação ao nível de zero estrelas mostra resultados predominantemente positivos, por exemplo uma medição antes e depois da medida sem grupo de comparação.

  2. Nível 2: Probable Effectiveness [eficácia provável]

    O conceito e a implementação cumprem todos os critérios, e pelo menos um estudo de avaliação a uma a três estrelas mostra resultados predominantemente positivos, em regra um estudo controlado sem . O documento de critérios imprime a forma abreviada «promising» (promissor) junto ao nome deste nível.

  3. Nível 3: Proven Effectiveness [eficácia comprovada]

    O conceito e a implementação cumprem todos os critérios, e pelo menos um estudo de avaliação a quatro ou cinco estrelas mostra resultados predominantemente positivos com pelo menos suficiente. O desenho inclui uma medição posterior, em regra seis meses após o fim da intervenção. O documento de critérios imprime a forma abreviada «effective» (eficaz) junto ao nome deste nível.

  1. Passo 1 · Avaliação da qualidade concetual e de implementação

    O programa explica por que razão deve funcionar?

    A primeira questão é se um programa formula o seu próprio pressuposto sobre como funciona, e se pode ser aplicado de forma limpa. O que se pede: um modelo escrito de eficácia (uma ), instruções de ação que dele decorram, e os meios de que uma comunidade precisa para o introduzir, a saber, materiais, formação, custos transparentes e instrumentos de controlo da qualidade.

    1aQualidade concetual8 critérios
    • Um modelo teoricamente bem definido nomeia os mecanismos subjacentes pressupostos e apoia-se em modelos teóricos cientificamente reconhecidos.
    • Os métodos e instrumentos aplicados estão bem fundamentados teoricamente.
    • A análise do problema, os fatores modificáveis, os objetivos, os grupos-alvo e os métodos articulam-se de forma lógica.
    • O programa está orientado para fatores de risco e de proteção com base científica.
    • Os grupos-alvo são descritos de forma abrangente e precisa.
    • As instruções de implementação e os manuais decorrem claramente do modelo.
    • Os objetivos são definidos explicitamente e são mensuráveis.
    • Quando o programa foi desenvolvido fora da Alemanha, descrevem-se o contexto original e as adaptações feitas.
    1bQualidade de implementação6 critérios
    • Os métodos e instrumentos estão didaticamente bem elaborados e descritos de forma inteligível.
    • Os materiais e manuais necessários estão disponíveis e atualizados.
    • Existe a formação e a instrução necessárias.
    • Os custos envolvidos estão claramente discriminados.
    • Está disponível apoio técnico durante a implementação.
    • Estão disponíveis instrumentos de controlo da qualidade durante a implementação.
    1cQualidade da avaliação1 critérios
    • Pelo menos um estudo de avaliação ao nível de zero estrelas com resultados predominantemente positivos.
    • Os três primeiros critérios de qualidade concetual não são cumpridos

      «not included»

    • Critérios pontuais permanecem por cumprir

      «on the threshold»

    • Todos os critérios são cumpridos

      continuarcom o passo 2

  2. Passo 2 · Avaliação do desenho de avaliação e da sua força probatória

    Com que segurança o estudo consegue atribuir um efeito?

    A cada estudo de avaliação disponível é atribuído um nível de zero a cinco estrelas. O que decide é a capacidade do seu desenho para atribuir uma mudança ao programa: se a designação foi aleatória (), se o grupo de comparação foi formado por um desenho ou acompanhado ao longo do tempo como um , e se um , em regra aos seis meses, mostra que o efeito perdura para além do fim do programa.

    • Menos de zero estrelas, ou seja, apenas uma análise de literatura e de documentos ou uma descrição do processo

      «on the threshold»

    • Zero a cinco estrelas

      continuarcom o passo 3

    Escala de estrelas dos desenhos de avaliação
    1. 5 de 5 estrelas
      • Ensaio controlado e aleatorizado (RCT) com seguimento, em regra aos seis meses

      O nível mais alto. Basta para o nível 3 assim que a força probatória for pelo menos suficiente.

    2. 4 de 5 estrelas
      • Desenho quase-experimental (QED) com seguimento, em regra aos seis meses
      • Desenho de coorte com seguimento, em regra aos seis meses

      Também alcança o nível 3 assim que a força probatória for pelo menos suficiente.

    3. Limiar do nível 3: Proven Effectiveness [eficácia comprovada]
    4. 3 de 5 estrelas
      • RCT sem seguimento
      • Desenho quase-experimental em contexto de rotina sem seguimento
      • Desenho de coorte sem seguimento

      Força probatória fraca: o efeito é medido, a sua persistência não.

    5. 2 de 5 estrelas
      • RCT clínico ou desenho quase-experimental clínico, com ou sem seguimento, fora do contexto de rotina
      • Medição antes e depois da medida com grupo de controlo em contexto de rotina

      Força probatória preliminar.

    6. 1 de 5 estrelas
      • Estudo de referência ou de comparação normativa
      • Estudo de teoria da mudança

      Força probatória preliminar.

    7. Limiar do nível 2: Probable Effectiveness [eficácia provável]
    8. 0 de 5 estrelas
      • Avaliação da satisfação dos participantes
      • Medição antes e depois da medida sem grupo de controlo
      • Estudo de cumprimento de objetivos
      • Estudo de garantia da qualidade

      Sem força probatória no sentido do esquema, mas suficiente para o nível 1.

    9. Limiar do nível 1: Effectiveness theoretically well-grounded [eficácia teoricamente fundamentada]
    10. Abaixo de zero estrelas
      • Análise de literatura e de documentos
      • Descrição do processo

      Não é possível qualquer afirmação sobre eficácia. Este tipo de trabalho regista o que aconteceu; sem um e sem uma medição antes e depois, não é possível derivar dele qualquer mudança.

    Força probatória a quatro e cinco estrelas
    1. força probatória fraca

      Grupos de intervenção e de controlo com menos de 20 pessoas. Ou: nenhum estudo a quatro ou cinco estrelas do espaço de língua alemã, mas um ou mais estudos do estrangeiro com força probatória pelo menos suficiente; nesse caso, a decide a classificação.

    2. força probatória suficiente

      Grupos de intervenção e de controlo de 20 a 50 pessoas e pelo menos um estudo deste tipo do espaço de língua alemã. Ou: dois ou mais estudos a quatro ou cinco estrelas com grupos de menos de 20 pessoas do espaço de língua alemã.

    3. força probatória forte

      Grupos de intervenção e de controlo com mais de 50 pessoas. Ou: dois ou mais estudos com força probatória suficiente do espaço de língua alemã que inquiriram várias dimensões.

    4. força probatória muito forte

      As condições para força probatória forte, mais pelo menos uma experiência de campo de grande escala no espaço de língua alemã. Ou: as condições para força probatória forte, mais dois ou mais estudos do estrangeiro com força probatória forte.

    1 a 3 estrelas: força probatória preliminar a uma ou duas estrelas, força probatória fraca a três · 0 estrelas: nenhuma força probatória

    Transferibilidade para programas desenvolvidos no estrangeiro
    • transferibilidade comprovada

      Vários estudos com força probatória pelo menos suficiente do espaço de língua alemã.

    • transferibilidade provável

      Pelo menos um estudo desse tipo do espaço de língua alemã.

      valor-limiar
    • transferibilidade possível

      Nenhum estudo do espaço de língua alemã, mas uma justificação suficiente a partir de grupos-alvo e circunstâncias comparáveis.

      nível 1
    • pouco clara

      Nem um estudo do espaço de língua alemã nem tal justificação.

      «on the threshold»
  3. Passo 3 · Avaliação dos resultados da avaliação

    O estudo mostra um efeito na direção pretendida?

    Os estudos contam quando documentam os seus resultados segundo os padrões científicos habituais. Onde existe um , deve acompanhá-los um calculado, o d de Cohen sempre que possível. Pede-se pelo menos um numa dimensão relevante do comportamento e em pelo menos um grupo-alvo; onde foi feito um seguimento pelo menos seis meses após o fim da intervenção, pelo menos um efeito positivo tem de persistir aí.

    • Predominantemente positivo

      inclusãocontinuar com o passo 4

    • Parcialmente positivo e parcialmente negativo, ou pouco claro

      «on the threshold»

    • Sem efeitos ou com efeitos negativos

      «not included»

    Cinco graus dos resultados da avaliação
    1. apenas positivo

      Um na direção pretendida em todas as dimensões medidas.

    2. predominantemente positivo

      Um efeito significativo positivo na maioria das dimensões medidas. A partir daqui, a base de dados formula uma recomendação.

      inclusão
    3. parcialmente positivo e parcialmente negativo

      Os efeitos em várias dimensões vão na direção indesejada.

      «on the threshold»
    4. sem efeito

      Nenhuma das dimensões medidas muda de forma significativa.

      «not included»
    5. sobretudo negativo ou apenas negativo

      As dimensões medidas vão, na maioria ou na totalidade, na direção indesejada.

      «not included»
  4. Passo 4 · Avaliação global

    Três avaliações formam um nível.

    Só as três avaliações em conjunto dão a classificação: a qualidade concetual e de implementação, o nível de avaliação com a sua , e a direção dos resultados. Os níveis 1 a 3 são recomendados para implementação. A par destes ficam as categorias «on the threshold» (no limiar), para um quadro ainda indefinido, e «not included» (não incluído), quando falta algo fundamental ou o efeito não se verifica.

    • Zero estrelas, predominantemente positivo

      Nível 1Effectiveness theoretically well-grounded [eficácia teoricamente fundamentada]

    • Uma a três estrelas, predominantemente positivo

      Nível 2Probable Effectiveness [eficácia provável]

    • Quatro a cinco estrelas, força probatória pelo menos suficiente

      Nível 3Proven Effectiveness [eficácia comprovada]

    Síntese global
    Síntese global da grelha de avaliação: a qualidade concetual e de implementação, o nível de avaliação com a sua força probatória, e os resultados da avaliação dão em conjunto a avaliação global.
    ConceitoNível de avaliaçãoResultadosAvaliação
    1a a 1c cumpridos4 a 5 estrelas, força probatória suficiente ou melhorpredominantemente positivoNível 3
    1a a 1c cumpridos1 a 3 estrelas, ou 4 a 5 estrelas apenas com força probatória fracapredominantemente positivoNível 2
    1a a 1c cumpridos0 estrelaspredominantemente positivoNível 1
    1a a 1c parcialmente cumpridossem avaliação, ou menos de 0 estrelasparcialmente positivo e negativo, ou pouco claro«on the threshold»
    1a a 1c não cumpridostodos os níveissem efeitos ou com efeitos negativos«not included»
    • Nível 3
      Conceito
      1a a 1c cumpridos
      Nível de avaliação
      4 a 5 estrelas, força probatória suficiente ou melhor
      Resultados
      predominantemente positivo
    • Nível 2
      Conceito
      1a a 1c cumpridos
      Nível de avaliação
      1 a 3 estrelas, ou 4 a 5 estrelas apenas com força probatória fraca
      Resultados
      predominantemente positivo
    • Nível 1
      Conceito
      1a a 1c cumpridos
      Nível de avaliação
      0 estrelas
      Resultados
      predominantemente positivo
    • «on the threshold»
      Conceito
      1a a 1c parcialmente cumpridos
      Nível de avaliação
      sem avaliação, ou menos de 0 estrelas
      Resultados
      parcialmente positivo e negativo, ou pouco claro
    • «not included»
      Conceito
      1a a 1c não cumpridos
      Nível de avaliação
      todos os níveis
      Resultados
      sem efeitos ou com efeitos negativos
Fontes
  1. Groeger-Roth, F., & Hasenpusch, B. (2011). Grüne Liste Prävention: Auswahl- und Bewertungskriterien für die CTC-Programm-Datenbank (Fassung vom 1.11.2011). Landespräventionsrat Niedersachsen. gruene-liste-praevention.de/communities-that-care/Media/Grne_Liste_Bewertungskriterien.pdf Na biblioteca
  2. Veerman, J. W., & van Yperen, T. A. (2007). Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30(2), 212–221. doi.org/10.1016/j.evalprogplan.2007.01.011 Na biblioteca
  3. Groeger-Roth, F., Hasenpusch, B. (2011). Die „Grüne Liste Prävention“. Effektive und erfolgversprechende Präventionsprogramme im Blick. forum-kriminalpraevention.de/files/1Forum-kriminalpraevention-webseite/pdf/2011-04/fk2011_4_grueneliste_praevention.pdf Na biblioteca
  4. Gorenoi, V., Bremer, K., & Brender, R. (2024). Evidenzregister „Grüne Liste Prävention“: Modifikation der Bewertungskriterien auf Basis international relevanter Kategorisierungskonzepte. German Medical Science GMS Publishing House. doi.org/10.3205/24gmds685 Na biblioteca
  5. Brender, R., Bremer, K., Kula, A., Groeger-Roth, F., & Walter, U. (2024). Evidenzregister Grüne Liste Prävention – Analyse der gelisteten wirksamkeitsgeprüften Programme. Das Gesundheitswesen, 86(07), 474–482. doi.org/10.1055/a-2308-7256 Na biblioteca

O documento de critérios é publicado pelo Conselho de Prevenção da Criminalidade da Baixa Saxónia (Landespräventionsrat Niedersachsen): Grüne Liste Prävention – Critérios de Inclusão e de Avaliação (PDF) (Versão alemã de 1 de novembro de 2011, tradução inglesa de 15 de janeiro de 2016)

Fig. 1Critérios de inclusão e de avaliação da Grüne Liste Prävention, segundo Groeger-Roth & Hasenpusch (2011). A figura segue a versão alemã de 1 de novembro de 2011, que ainda inclui os desenhos de coorte; os termos baseiam-se na tradução inglesa oficial de 15 de janeiro de 2016.

Blueprints: de onde vem o padrão

Blueprints for Healthy Youth Development, na University of Colorado Boulder, é o registo norte-americano ao lado do qual o CTC cresceu, e aquele cujos padrões de evidência a revisão europeia adotou. Continua a ser o registo mais exigente da área: os programas só alcançam o seu nível mais elevado com pelo menos um de alta qualidade e uma réplica independente. Muitos programas do Blueprints não têm adaptação europeia nem detentor de licença na Europa, pelo que funciona mais como referência de padrões do que como lista de opções, mas uma comunidade europeia que queira saber como é a evidência mais forte disponível deve consultá-lo.

Se o seu país não tem registo

Use o Xchange, e use os registos nacionais de países vizinhos cujos sistemas se assemelham ao seu: os programas neerlandeses e alemães têm sido frequentemente adaptados além-fronteiras. Depois, documente o que escolheu e porquê. Uma comunidade que documenta as razões da sua escolha já começou a construir o registo que falta ao seu país.

Próximos passos

Continuar a ler

  • Sobre o CTC

    Evidência

    A evidência sobre o próprio CTC

  • Sobre o CTC

    As cinco fases

    Onde o registo se insere no processo