Saltar al contenido
Registros de evidencia

Registros de evidencia

Dónde encuentra una comunidad CTC programas de eficacia probada: el registro europeo Xchange, los registros nacionales y el registro estadounidense del que proceden.

Contenido
  1. 01El paso que necesita un registro
  2. 02Xchange: el registro europeo
  3. 03Registros nacionales
  4. 04Blueprints: de dónde viene el estándar
  5. 05Si su país no tiene registro

El paso que necesita un registro

La cuarta fase de CTC pide a la comunidad que elija intervenciones acordes con los que ha priorizado. Esa elección vale lo que valga el catálogo del que se parte. Un registro de programas de prevención, cada uno evaluado con arreglo a estándares de evidencia explícitos, es lo que hace posible este paso, y es la pieza de infraestructura que falta en la mayoría de los países europeos.

Xchange: el registro europeo

Xchange es el registro de prevención de la Agencia de la Unión Europea sobre Drogas (EUDA), con sede en Lisboa. Recoge intervenciones evaluadas en Europa, con una calificación de la evidencia, información sobre dónde se han implementado y datos de contacto de los responsables del programa.

Xchange es también, en un sentido directo, el registro que construyó CTC. Entre 2013 y 2015, el proyecto CTC European Network se propuso identificar programas de prevención e intervención temprana que hubieran sido evaluados en Europa mediante ensayos aleatorizados o cuasiexperimentales. La Dartington Social Research Unit, en el Reino Unido, evaluó cada candidato con arreglo a los estándares de evidencia empleados por : especificidad de la intervención, calidad de la evaluación, impacto de la intervención y preparación del sistema. Los resultados se clasificaron según su eficacia en un contexto europeo y se publicaron en Xchange. El informe del proyecto, What works in Europe, describe el proceso y está disponible aquí en PDF (17 de mayo de 2016), junto con la European CTC Implementation Guide del mismo proyecto.

Para una comunidad europea que aplica CTC, Xchange es, por tanto, la primera parada natural: se diseñó exactamente para este uso.

Registros nacionales

Varios países mantienen sus propios registros, por lo general con un ámbito más amplio que Xchange y con programas adaptados al sistema nacional. Donde existe uno, debe consultarse junto con Xchange en la fase cuatro.

  • Alemania: la Grüne Liste Prävention, mantenida por el Consejo de Prevención de la Delincuencia de Baja Sajonia, califica los programas en tres niveles de evidencia y es el registro en torno al cual se articula el proceso de CTC en Alemania. Solo en alemán.
  • Países Bajos: la Databank Effectieve Jeugdinterventies del Instituto Neerlandés de la Juventud, uno de los registros más antiguos y más completos de Europa; nació del inventario de programas que los pilotos neerlandeses de CTC necesitaban en 2000. Solo en neerlandés.
  • Suecia: la Metodguiden del Consejo Nacional de Salud y Bienestar Social (Socialstyrelsen), que recoge métodos utilizados en los servicios sociales. Solo en sueco.
  • Reino Unido: la Foundations Guidebook, antes Early Intervention Foundation Guidebook, califica las intervenciones para niños y familias desde «todavía no nivel 2» hasta el nivel 4, con grados «plus». En inglés.
  • Irlanda: el What Works Ireland Evidence Hub del Departamento de Infancia, Discapacidad e Igualdad, que toma sus entradas y calificaciones de la Foundations Guidebook y ha hecho evaluar por Foundations un puñado de programas irlandeses con arreglo a los mismos estándares. En inglés.
  • Polonia: el System rekomendacji programów profilaktycznych i promocji zdrowia psychicznego (programyrekomendowane.pl), gestionado por el Centro Nacional de Prevención de las Adicciones junto con el Centro para el Desarrollo de la Educación y el Instituto de Psiquiatría y Neurología, califica los programas de prevención y de promoción de la salud mental en tres niveles. CTC todavía no se ha implementado en Polonia, pero el registro existe y estaría listo para la fase cuatro. Solo en polaco.

Una nota sobre lo que estos registros no contienen: ninguno de los registros europeos o nacionales incluye a Communities That Care en sí, y Blueprints lo califica como Promising («prometedor»), como sistema y no como programa. Los registros califican intervenciones delimitadas y manualizadas; CTC es el sistema operativo que selecciona e instala ese tipo de intervenciones, razón por la cual su propia evidencia se presenta, en cambio, en la página de evidencia.

Grüne Liste PräventionFig. 1

Cómo se valora un programa.

Cinco criterios de inclusión, cuatro pasos de valoración y una escala de estrellas de cero a cinco: el procedimiento que sitúa un programa de prevención en uno de tres niveles de eficacia.

Mostrar el esquema

Qué entra siquiera en consideración.

Antes de cualquier valoración está la inclusión. Cinco criterios deciden si una medida forma parte del registro como programa de prevención evaluado.

  1. Una medida replicable

    Solo se incluye lo que puede repetirse en otro lugar y en otro momento. Eso exige una guía de actuación explícita, como un escrito o un esquema del procedimiento, uno o más objetivos medibles, una duración limitada en el tiempo para cada participante, y una prestación que se añade a la infraestructura básica de servicios ya existente.

  2. Una orientación preventiva

    Un programa de prevención actúa antes de que la conducta problemática aparezca o se consolide. El registro admite programas que trabajan en el nivel de o y se dirigen a una población o a un grupo con riesgo elevado. El mismo procedimiento sirve para enfoques ante los primeros signos, o terciarios una vez que la conducta ya se ha instalado; sencillamente, esos no encajan con la orientación de CTC.

  3. Una evaluación procedente del ámbito de habla alemana

    Existe al menos un estudio de evaluación científico del programa procedente del ámbito de habla alemana. Sin esa evidencia no hay inclusión en la .

  4. Una relación con los factores de riesgo y de protección

    El programa reduce al menos un factor de riesgo o refuerza al menos un factor de protección. Solo cuentan los que la estrategia de CTC identifica como relevantes para la conducta problemática en la adolescencia: la violencia, la delincuencia, el abuso de sustancias, el abandono escolar, los embarazos adolescentes, la depresión y la ansiedad.

  5. Implementable en Alemania

    En el país se dispone de materiales, formación y apoyo técnico durante la implementación. Quedan exentos los programas que funcionan sin ningún apoyo adicional.

Los tres niveles de eficacia.

  1. Nivel 1: Effectiveness theoretically well-grounded

    El concepto y la implementación cumplen todos los criterios, y al menos una evaluación en el nivel de cero estrellas muestra resultados mayoritariamente positivos, por ejemplo una medición antes y después de la intervención sin grupo de comparación.

  2. Nivel 2: Probable Effectiveness

    El concepto y la implementación cumplen todos los criterios, y al menos un estudio de evaluación de una a tres estrellas muestra resultados mayoritariamente positivos, por regla general un estudio controlado sin . El documento de criterios imprime junto al nombre de este nivel la fórmula abreviada «promising» (prometedor).

  3. Nivel 3: Proven Effectiveness

    El concepto y la implementación cumplen todos los criterios, y al menos un estudio de evaluación de cuatro o cinco estrellas muestra resultados mayoritariamente positivos con una al menos suficiente. El diseño incluye una medición posterior, por regla general seis meses después de que termine la intervención. El documento de criterios imprime junto al nombre de este nivel la fórmula abreviada «effective» (eficaz).

  1. Paso 1 · Valoración de la calidad conceptual y de implementación

    ¿Explica el programa por qué debería funcionar?

    La primera pregunta es si un programa formula su propia hipótesis sobre cómo funciona, y si puede implementarse de forma limpia. Se pide: un modelo de eficacia por escrito (una ), instrucciones de actuación que se deriven de él, y los medios que una comunidad necesita para introducirlo, es decir, materiales, formación, costes transparentes e instrumentos de control de calidad.

    1aCalidad conceptual8 criterios
    • Un modelo teóricamente bien definido nombra los mecanismos subyacentes que se suponen y se apoya en modelos teóricos reconocidos científicamente.
    • Los métodos e instrumentos aplicados están teóricamente bien fundamentados.
    • El análisis del problema, los factores modificables, los objetivos, los grupos destinatarios y los métodos forman un conjunto coherente.
    • El programa se dirige a factores de riesgo y de protección respaldados por la investigación.
    • Los grupos destinatarios se describen de forma completa y precisa.
    • Las instrucciones de implementación y los manuales se derivan con claridad del modelo.
    • Los objetivos están definidos de forma explícita y son medibles.
    • Cuando el programa se desarrolló fuera de Alemania, se describen el contexto original y las adaptaciones realizadas.
    1bCalidad de la implementación6 criterios
    • Los métodos e instrumentos están bien elaborados didácticamente y se describen de forma comprensible.
    • Los materiales y manuales necesarios están disponibles y actualizados.
    • Existe la formación e instrucción necesarias.
    • Los costes que genera se detallan con claridad.
    • Se dispone de apoyo técnico durante la implementación.
    • Se dispone de instrumentos de control de calidad durante la implementación.
    1cCalidad de la evaluación1 criterios
    • Al menos un estudio de evaluación en el nivel de cero estrellas con resultados mayoritariamente positivos.
    • No se cumplen los tres primeros criterios de la calidad conceptual

      not included

    • Quedan sin cumplir criterios sueltos

      on the threshold

    • Se cumplen todos los criterios

      continúacon el paso 2

  2. Paso 2 · Valoración del diseño de evaluación y de su certeza

    ¿Con qué seguridad puede el estudio atribuir un efecto?

    A cada estudio de evaluación disponible se le asigna un nivel de cero a cinco estrellas. Lo que decide es la capacidad del diseño para atribuir un cambio al programa: si la asignación fue aleatoria (), si el grupo de comparación se formó mediante un diseño o se siguió en el tiempo como , y si un , por regla general a los seis meses, muestra que el efecto se mantiene más allá del final del programa.

    • Menos de cero estrellas, es decir, solo un análisis de literatura y documentos o una descripción del proceso

      on the threshold

    • De cero a cinco estrellas

      continúacon el paso 3

    Escala de estrellas de los diseños de evaluación
    1. 5 de 5 estrellas
      • Ensayo controlado aleatorizado (ECA) con seguimiento, habitualmente a los seis meses

      El nivel más alto. Basta para el nivel 3 en cuanto la certeza es al menos suficiente.

    2. 4 de 5 estrellas
      • Diseño cuasiexperimental con seguimiento, habitualmente a los seis meses
      • Diseño de cohortes con seguimiento, habitualmente a los seis meses

      También alcanza el nivel 3 en cuanto la certeza es al menos suficiente.

    3. Nivel límite 3: Proven Effectiveness
    4. 3 de 5 estrellas
      • ECA sin seguimiento
      • Diseño cuasiexperimental en un contexto habitual sin seguimiento
      • Diseño de cohortes sin seguimiento

      Certeza baja: el efecto se mide, pero no su persistencia.

    5. 2 de 5 estrellas
      • ECA clínico o diseño cuasiexperimental clínico, con o sin seguimiento, fuera de un contexto habitual
      • Medición antes y después de la intervención con grupo de control en un contexto habitual

      Certeza preliminar.

    6. 1 de 5 estrellas
      • Estudio de referencia o comparación con normas
      • Estudio de teoría del cambio

      Certeza preliminar.

    7. Nivel límite 2: Probable Effectiveness
    8. 0 de 5 estrellas
      • Evaluación de la satisfacción de los participantes
      • Medición antes y después de la intervención sin grupo de control
      • Estudio de consecución de objetivos
      • Estudio de garantía de calidad

      Sin certeza en el sentido del esquema, pero suficiente para el nivel 1.

    9. Nivel límite 1: Effectiveness theoretically well-grounded
    10. Por debajo de cero estrellas
      • Análisis de literatura y documentos
      • Descripción del proceso

      No permite ninguna afirmación sobre la eficacia. Este tipo de trabajo registra lo ocurrido; sin y sin una medición antes y después, no puede derivarse de él ningún cambio.

    Certeza en las evaluaciones de cuatro y cinco estrellas
    1. certeza baja

      Grupos de intervención y de control con menos de 20 personas. O bien: ningún estudio de cuatro o cinco estrellas procedente del ámbito de habla alemana, pero uno o más estudios del extranjero con una certeza al menos suficiente; en ese caso decide la clasificación la .

    2. certeza suficiente

      Grupos de intervención y de control de 20 a 50 personas y al menos un estudio de este tipo procedente del ámbito de habla alemana. O bien: dos o más estudios de cuatro o cinco estrellas con grupos de menos de 20 personas procedentes del ámbito de habla alemana.

    3. certeza alta

      Grupos de intervención y de control de más de 50 personas. O bien: dos o más estudios con certeza suficiente procedentes del ámbito de habla alemana que preguntaron por varias dimensiones a la vez.

    4. certeza muy alta

      Las condiciones de la certeza alta, más al menos un experimento de campo a gran escala en el ámbito de habla alemana. O bien: las condiciones de la certeza alta, más dos o más estudios del extranjero con certeza alta.

    de 1 a 3 estrellas: certeza preliminar con una o dos estrellas, certeza baja con tres · 0 estrellas: sin certeza

    Transferibilidad de programas desarrollados en el extranjero
    • transferibilidad dada

      Varios estudios con una certeza al menos suficiente procedentes del ámbito de habla alemana.

    • transferibilidad probable

      Al menos un estudio de este tipo procedente del ámbito de habla alemana.

      valor límite
    • transferibilidad posible

      Ningún estudio procedente del ámbito de habla alemana, pero sí una justificación suficiente a partir de grupos destinatarios y circunstancias comparables.

      nivel 1
    • transferibilidad incierta

      Ni un estudio procedente del ámbito de habla alemana ni una justificación de ese tipo.

      on the threshold
  3. Paso 3 · Valoración de los resultados de la evaluación

    ¿Muestra el estudio un efecto en la dirección deseada?

    Cuentan los estudios que documentan sus resultados conforme a los estándares científicos habituales. Donde existe un , debe figurar también un calculado, a ser posible la d de Cohen. Se pide al menos un en una dimensión relevante de la conducta y en al menos un grupo destinatario; cuando se realizó un seguimiento al menos seis meses después de que terminara la intervención, al menos un efecto positivo debe mantenerse en ese momento.

    • Mayoritariamente positivo

      inclusióncontinuar con el paso 4

    • En parte positivo y en parte negativo, o poco claro

      on the threshold

    • Sin efectos o con efectos negativos

      not included

    Cinco grados de los resultados de la evaluación
    1. solo positivo

      Un en la dirección deseada en todas las dimensiones medidas.

    2. mayoritariamente positivo

      Un efecto significativo positivo en la mayoría de las dimensiones medidas. A partir de aquí, el registro emite una recomendación.

      inclusión
    3. en parte positivo y en parte negativo

      Los efectos van en la dirección no deseada en varias dimensiones.

      on the threshold
    4. sin efecto

      Ninguna de las dimensiones medidas cambia de forma relevante.

      not included
    5. mayoritariamente negativo o solo negativo

      Las dimensiones medidas van, en su mayoría o en su totalidad, en la dirección no deseada.

      not included
  4. Paso 4 · Valoración global

    Tres valoraciones dan un nivel.

    Solo juntas dan las tres valoraciones la clasificación: la calidad conceptual y de implementación, el nivel de evaluación con su , y la dirección de los resultados. Los niveles 1 a 3 se recomiendan para su implementación. Junto a ellos están las categorías «on the threshold» [en el límite], para un panorama todavía indeciso, y «not included» [no incluido], cuando falta algo fundamental o el efecto no llega a producirse.

    • Cero estrellas, mayoritariamente positivo

      Nivel 1Effectiveness theoretically well-grounded

    • De una a tres estrellas, mayoritariamente positivo

      Nivel 2Probable Effectiveness

    • De cuatro a cinco estrellas, certeza al menos suficiente

      Nivel 3Proven Effectiveness

    Sinopsis general
    Sinopsis general de la matriz de valoración: la calidad conceptual y de implementación, el nivel de evaluación con su certeza y los resultados de la evaluación dan juntos la valoración global.
    ConceptoNivel de evaluaciónResultadosValoración
    1a a 1c cumplidosde 4 a 5 estrellas, certeza suficiente o mejormayoritariamente positivosNivel 3
    1a a 1c cumplidosde 1 a 3 estrellas, o de 4 a 5 estrellas con solo certeza bajamayoritariamente positivosNivel 2
    1a a 1c cumplidos0 estrellasmayoritariamente positivosNivel 1
    1a a 1c cumplidos en partesin evaluación, o menos de 0 estrellasen parte positivos y negativos, o poco claroson the threshold
    1a a 1c no cumplidostodos los nivelessin efectos o con efectos negativosnot included
    • Nivel 3
      Concepto
      1a a 1c cumplidos
      Nivel de evaluación
      de 4 a 5 estrellas, certeza suficiente o mejor
      Resultados
      mayoritariamente positivos
    • Nivel 2
      Concepto
      1a a 1c cumplidos
      Nivel de evaluación
      de 1 a 3 estrellas, o de 4 a 5 estrellas con solo certeza baja
      Resultados
      mayoritariamente positivos
    • Nivel 1
      Concepto
      1a a 1c cumplidos
      Nivel de evaluación
      0 estrellas
      Resultados
      mayoritariamente positivos
    • on the threshold
      Concepto
      1a a 1c cumplidos en parte
      Nivel de evaluación
      sin evaluación, o menos de 0 estrellas
      Resultados
      en parte positivos y negativos, o poco claros
    • not included
      Concepto
      1a a 1c no cumplidos
      Nivel de evaluación
      todos los niveles
      Resultados
      sin efectos o con efectos negativos
Fuentes
  1. Groeger-Roth, F., & Hasenpusch, B. (2011). Grüne Liste Prävention: Auswahl- und Bewertungskriterien für die CTC-Programm-Datenbank (Fassung vom 1.11.2011). Landespräventionsrat Niedersachsen. gruene-liste-praevention.de/communities-that-care/Media/Grne_Liste_Bewertungskriterien.pdf En la biblioteca
  2. Veerman, J. W., & van Yperen, T. A. (2007). Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30(2), 212–221. doi.org/10.1016/j.evalprogplan.2007.01.011 En la biblioteca
  3. Groeger-Roth, F., Hasenpusch, B. (2011). Die „Grüne Liste Prävention“. Effektive und erfolgversprechende Präventionsprogramme im Blick. forum-kriminalpraevention.de/files/1Forum-kriminalpraevention-webseite/pdf/2011-04/fk2011_4_grueneliste_praevention.pdf En la biblioteca
  4. Gorenoi, V., Bremer, K., & Brender, R. (2024). Evidenzregister „Grüne Liste Prävention“: Modifikation der Bewertungskriterien auf Basis international relevanter Kategorisierungskonzepte. German Medical Science GMS Publishing House. doi.org/10.3205/24gmds685 En la biblioteca
  5. Brender, R., Bremer, K., Kula, A., Groeger-Roth, F., & Walter, U. (2024). Evidenzregister Grüne Liste Prävention – Analyse der gelisteten wirksamkeitsgeprüften Programme. Das Gesundheitswesen, 86(07), 474–482. doi.org/10.1055/a-2308-7256 En la biblioteca

El documento de criterios está publicado por el Consejo de Prevención de la Delincuencia de Baja Sajonia (Landespräventionsrat Niedersachsen): Grüne Liste Prävention – Criterios de inclusión y valoración (PDF) (Versión alemana del 1 de noviembre de 2011, traducción inglesa del 15 de enero de 2016)

Fig. 1Criterios de inclusión y valoración de la Grüne Liste Prävention [«lista verde de prevención»], según Groeger-Roth & Hasenpusch (2011). La figura sigue la versión alemana del 1 de noviembre de 2011, que todavía recoge los diseños de cohortes; los términos en inglés son los de la traducción oficial del 15 de enero de 2016.

Blueprints: de dónde viene el estándar

Blueprints for Healthy Youth Development, en la University of Colorado Boulder, es el registro estadounidense junto al que creció CTC, y cuyos estándares de evidencia adoptó la revisión europea. Sigue siendo el registro más exigente del campo: los programas solo alcanzan su nivel máximo con al menos un de alta calidad más una réplica independiente. Muchos programas de Blueprints no cuentan con adaptación europea ni con titular de licencia, por lo que es más una referencia de estándares que un catálogo del que elegir, pero una comunidad europea que quiera saber cómo es la evidencia disponible más sólida debería consultarlo.

Si su país no tiene registro

Utilice Xchange, y utilice los registros nacionales de países vecinos cuyos sistemas se parezcan al suyo: los programas neerlandeses y alemanes se han adaptado con frecuencia al otro lado de la frontera. Después, documente qué eligió y por qué. Una comunidad que deja constancia de sus razones de selección ya ha empezado a construir el registro que le falta a su país.

Próximos pasos

Siga leyendo

  • Sobre CTC

    Evidencia

    La evidencia sobre el propio CTC