Por qué cuarenta empleos después de un curso no prueban su éxito

Introducción

Un programa ficticio de formación admite a cien personas. Sesenta terminan y cuarenta encuentran trabajo. El defensor del programa puede celebrar los cuarenta empleos y su crítico señalar las cuarenta personas que no terminaron. Ninguno ha demostrado todavía cuántos empleos produjo la formación.

Contar un resultado y atribuirlo son dos tareas distintas.

Una política merece ser juzgada por el cambio que aporta, por su coste y por quién queda atendido. Las cifras de actividad son necesarias para seguir su ejecución. Para atribuir un resultado hace falta además una comparación defendible con lo que habría ocurrido sin la intervención.

La ayuda anunciada todavía tiene que convertirse en un servicio

Las guías de la Comisión Europea distinguen preparación, adopción, implementación, aplicación y evaluación Better Regulation Guidelines, SWD(2021) 305 final [2]. En el supuesto, anunciar formación gratuita no equivale a haber aprobado sus condiciones, disponer de centros y docentes o impartir los cursos. Cada paso puede abrir o cerrar posibilidades para quien necesita formarse.

La OCDE recomienda considerar alternativas, responsables y recursos en el diseño regulatorio Regulatory Impact Assessment (2020) [1]. Trasladado a este caso inventado, una decisión bien intencionada puede fallar si nadie dispone de capacidad para ejecutarla. Comprobar cuántas personas acceden y terminan ayuda a localizar ese problema. Es información de ejecución, antes de atribuir efectos sobre el empleo.

Lo que se paga puede cambiar lo que se hace

Si el programa paga a los centros por matrícula, recompensa captar alumnos. Ese diseño no recompensa de la misma manera que lleguen al final o aprendan. Es una hipótesis sobre el incentivo, no una constatación de lo que hicieron centros reales.

Pagar por inserciones laborales puede acercar el incentivo al objetivo y crear otro problema: seleccionar a quienes ya tenían más opciones de encontrar empleo. La respuesta no es elegir un indicador que parezca definitivo. Es juzgar qué conducta promueve, a quién puede dejar fuera y si el resultado medido corresponde a la mejora perseguida.

Una misma cifra de empleo puede proceder de un programa que incorpora personas con muchas dificultades o de otro que selecciona a las que ya tenían buenas oportunidades. En el supuesto no conocemos esa composición. Por eso no podemos tratar a todos los participantes como intercambiables ni confundir un resultado alto con una atención mejor a quienes necesitaban más ayuda.

Juzgar la política exige hacer visible la prioridad elegida: cuánto peso damos al empleo total, al acceso de quienes parten con desventaja y a los recursos utilizados. La comparación causal y ese juicio de prioridades responden preguntas distintas.

El esfuerzo exigido también se reparte

La formación no agota lo que importa al juzgar una política. Otro caso hipotético permite verlo: una administración exige una declaración mensual que ocupa cuatro horas a cada empresa. El tiempo formal es el mismo para un taller pequeño y para una gran compañía. Su capacidad para repartirlo entre varias personas o apartarlo de la actividad habitual puede ser muy diferente. Ese trabajo necesario para cumplir el requisito es un coste de cumplimiento.

La información también podría beneficiar a clientes o facilitar una comprobación pública. La comparación debe incorporar ambas caras y el trabajo de las oficinas que la reciben. Simplificar el trámite podría reducir esfuerzo sin renunciar al objetivo. Suprimirlo podría ahorrar tiempo y perder información útil. Ninguno de esos resultados se deduce de la buena intención del anuncio.

Aquí eficacia significa conseguir el objetivo y eficiencia relaciona ese resultado con los recursos empleados. Una mejora puede ser real y resultar demasiado costosa, o dejar fuera a quienes tienen dificultades para usar un trámite digital. Son criterios de juicio distintos del problema causal de los cuarenta empleos, y deben hacerse visibles para discutir la decisión completa.

Cuarenta empleos no equivalen a cuarenta empleos creados

Las cien matrículas describen participación y las sesenta finalizaciones ayudan a seguir la ejecución. Los cuarenta empleos son un resultado posterior. La caja de herramientas de la Comisión distingue esos niveles y advierte que el seguimiento no identifica por sí solo causalidad Better regulation toolbox, capítulo 5, herramienta 43 (2025) [3].

Si esas mismas personas hubieran encontrado trabajo sin el curso, el dato de cuarenta no probaría un efecto neto sobre su empleo. Si el programa hubiera mejorado sus oportunidades, necesitaríamos una comparación que permitiera sostenerlo. La OCDE propone considerar ese escenario sin intervención, el contrafactual Reviewing the Stock of Regulation: Best practice principles (2020) [4].

Comparar participantes con personas que nunca quisieron formarse puede mezclar el efecto del programa con diferencias previas. También puede haber nuevas contrataciones en la zona durante el periodo. En el ejemplo no disponemos de una comparación suficiente: podemos afirmar que hubo cien matrículas, sesenta finalizaciones y cuarenta empleos posteriores. No podemos afirmar que la formación creara cuarenta empleos.

Defender una política sin exagerar su efecto

Carol H. Weiss distinguió varios usos de la investigación. Uno busca resolver una decisión con evidencia. Otro aporta razones a una postura política ya defendida. Este segundo uso no le parecía ilegítimo por sí mismo. Señalaba el problema en la «distorsión e interpretación errónea» de los resultados (traducción propia) [5] (pp. 427 y 429). Tener una posición no obliga a deformar las pruebas para sostenerla.

La objeción más fuerte es que una decisión pública no siempre puede esperar una evaluación perfecta. Es cierto. Los datos de participación y ejecución permiten detectar obstáculos y actuar mientras mejora la información. Su utilidad no depende de presentarlos como una prueba causal que todavía no son.

Defendemos apoyar o corregir una política por razones explícitas, manteniendo la diferencia entre lo que ha hecho y lo que podemos atribuirle. Una formación puede merecer apoyo por abrir una oportunidad que antes faltaba. Para defenderla por esa razón no hace falta convertir cada empleo posterior en un empleo creado por ella.

En el caso, los cuarenta empleos deben registrarse como resultado posterior. Anunciarlos como cuarenta empleos creados excede la evidencia del supuesto. Esa honestidad debe exigirse también a la política que preferimos. Así se puede defender su propósito y discutir su coste o su diseño sin hacer pasar la preferencia por una demostración de eficacia.