Evaluar el Impacto de la Capacitación en el Desempeño del Personal

D. Miguel Ángel Soto Vidal Ambassador Sci-Co para Chile de la Universidad Naciones Unidas UNU/ViE (Vicerrectoría Internacional Europea con sede en Alemania). Director de Extensión IPLA y Académico de la FVRUC de la Pontificia Universidad Católica de Chile.

Director y Auditor Líder de Qualitycert (Consultores en Desarrollo de Certificaciones Empresariales, Desarrollo e Implementación de Sistemas de Gestión  de Calidad SGC, Seguridad y Salud Ocupacional SGSSO, Medioambiente SGA  e Integral SGI. Aplicación de Normativas ISO 9000 - ISO 14000 - OHSAS 18000 – SA 8000– N.Ch. 2728 –        N.Ch. 2909 – ISO 30300 - Certificacion de competencias laborales y capacitacion ISO 17024 - certificacion profesional RR.HH. ASQ / Iso 10015)


 

Introducción

A través de todo el mundo, las organizaciones de planificación familiar invierten una parte significativa de sus fondos así como el tiempo de su personal en actividades de capacitación, con la esperanza de mejorar la eficacia y eficiencia de sus programas. Sin embargo en muchos casos no es muy claro si la capacitación ha sido realmente efectiva o si los problemas específicos de desempeño pueden ser resueltos mediante la capacitación.

Dada la asignación considerable de los ya escasos recursos a la capacitación, los administradores de planificación familiar deben preguntarse regularmente si a través de los esfuerzos de capacitación está n logrando los resultados que desean. Los administradores deben saber qué partes del programa de capacitación son efectivas, cuá les no lo son o son irrelevantes y cómo se podría mejorar la capacitación para ayudar al personal a transferir sus nuevas habilidades del aula a sus puestos de trabajo.

La presente edición de Actualidad Gerencial en Planificación Familiar introduce la Evaluación del Impacto de la Capacitación (EIC), un proceso diseñado para ayudar a los administradores a identificar y fortalecer las conexiones entre la capacitación y el desempeño del personal. En la presente edición se describen los beneficios que se derivan de una Evaluación del Impacto de la Capacitación utilizando un enfoque de equipo conduciendo al lector paso a paso a través del proceso de EIC. En la presente edición también se ofrecen sugerencias prá cticas para recopilar, analizar e interpretar datos referentes al desempeño de los participantes capacitados una vez que vuelven a sus puestos de trabajo. Concluye con sugerencias referentes a la forma en la que los administradores pueden utilizar la información para ofrecer recomendaciones a los encargados de tomar decisiones con el fin de mejorar los cursos de capacitación o de buscar soluciones de tipo administrativo para los problemas de desempeño.

Los Editores

Volver al principio de página

En qué Consiste la Evaluación de la Capacitación

La capacitación del personal implica diversos costos: el costo de los recursos necesarios para preparar y ofrecer los cursos de capacitación, el costo para la organización participante por concepto de viajes y alojamiento y el costo del personal que se aleja de sus puestos de trabajo. Para justificar estos costos, los administradores deberá n sentirse seguros de que la capacitación que está n proporcionando, o los cursos a los cuá les asiste su personal, jugará n un papel importante en lo que respecta al desempeño del personal. Necesitan saber que los miembros del personal a su cargo no solamente han adquirido nuevos conocimientos, actitudes y habilidades en los cursos de capacitación, sino que pueden ponerlos en prá ctica una vez que regresen a su puestos de trabajo.

Existen muchos tipos de evaluaciones para el desarrollo y administración de programas de capacitación de alta calidad que asegurará n los resultados que requieren los administradores. Estos incluyen:

  • Evaluaciones de las necesidades;

  • Evaluaciones de base;

  • Evaluaciones de los insumos;

  • Evaluaciones del proceso;

  • Evaluaciones de los resultados;

  • Evaluaciones del impacto (que se emplean para evaluar el desempeño individual en el trabajo, el desempeño de la organización, el desempeño del programa y los indicadores demográ ficos y de salud).

Las organizaciones de capacitación o los programas de capacitación a nivel de una organización má s grande generalmente evalú an los conocimientos, actitudes y habilidades de base (CAH), y llevan a cabo evaluaciones de los insumos, el proceso y los resultados. Las evaluaciones de las necesidades se hacen con poca frecuencia y por lo general se efectú an con el propósito de diseñar un curso nuevo o para llevar adelante un curso de gran escala en plena ejecución. A menudo, años después de una evaluación inicial de las necesidades, se sigue dictando el mismo curso, a pesar de que los cambios implementados podrían sugerir que se lleve a cabo una nueva evaluación de las necesidades o que se proceda a la revisión del curso. Las evaluaciones de impacto, a pesar de la importancia que tienen, rara vez se llevan a cabo.

Aná lisis del impacto de la capacitación sobre el desempeño individual. El impacto deseado de la capacitación a largo plazo es mejorar el desempeño a nivel de la organización y del programa y por ú ltimo, contribuir al logro de las metas demográ ficas y de salud a nivel nacional. Es difícil demostrar una conexión directa entre la capacitación y estos resultados a largo plazo debido al hecho de que muchos factores ajenos a la capacitación también desempeñan un papel importante. Sin embargo, es posible demostrar el impacto de la capacitación en lo que respecta a las habilidades y al desempeño del personal. Por este motivo, la EIC enfoca el primer nivel de impacto—el desempeño del personal capacitado en sus puestos de trabajo—asumiendo que eldesempeño individual adecuado llevará a un mejor desempeño a nivel de la organización y del programa así como la prestación de mejores servicios para los clientes y eventualmente realizará una contribución significativa para lograr las metas demográ ficas y de salud deseadas.

Hay muchas razones por qué las organizaciones se han resistido a evaluar el efecto de al capacitación sobre el desempeño en el trabajo: los costos para llevar adelante este tipo de evaluaciones rara vez son cubiertos por proyectos financiados por donaciones; los administradores y el personal de las organizaciones que ofrecen cursos de capacitación y las organizaciones de servicio generalmente no cuentan con la capacidad para llevar a cabo este tipo de evaluaciones; muchas organizaciones se muestran reticentes a descubrir las deficiencias a nivel de su organización; y generalmente los administradores se sienten intimidados por el tiempo y dinero que se requiere para remediar dichas deficiencias. Tanto las organizaciones que ofrecen capacitación como las organizaciones de servicio generalmente creen que es má s fá cil seguir haciendo lo que siempre han hecho. Como comentaba un capacitador, "Estamos tan ocupados llevando a cabo la capacitación, que no tenemos tiempo para pensar en cambiarla!"

La EIC intenta resolver estas preocupaciones. El punto central de la presente edición es proporcionar una descripción detallada del proceso de EIC. Se ofrecen técnicas prá cticas para la implementación de cada paso del proceso, desde la identificación de patrones de desempeño hasta la institución de cambios a nivel de la capacitación de la organización en sí, así como a nivel del entorno. La presente edición también presenta la factibilidad y el valor de la evaluacióninterna de tipo participativo y concluye con las formas en las que se puede efectuar un seguimiento del proceso EIC y mantenerlo.

Los editores invitados para esta edición son Ann Buxbaum, Sylvia Vriesendorp y Ellen Eiseman. Ann Buxbaum está Asociada al Programa de Población de Management Sciences for Health (MSH). Sylvia Vriesendorp es la Capacitadora y Especialista en Desarrollo Organizacional de mayor jerarquía del proyecto FPMD de MSH, y Ellen Eiseman es asesora de los Programas de Capacitación en AVSC International. Los editores desean agradecer las contribuciones de seis organizaciones de planificación familiar de Bangladesh por su participación en el desarrollo y pruebas de campo de esta metodología. Muchos de los ejemplos en esta edición fueron extraídos de sus experiencias mutuas. Estas organizaciones incluyen: AVSC International/Dhaka, Concerned Women for Family Planning, la Asociación de Planificación Familiar de Bangladesh, el Servicio de Planificación Familiar y el Centro de Capacitación de Pathfinder International/Dhaka y The Asia Foundation.

Volver al principio de página

Tipos de Evaluación de la Capacitación

Hay muchas formas en las que pueden evaluar la capacitación. La presente edición de Actualidad Gerencial toma como punto central un nivel de evaluación de impacto y un efecto de la capacitación.

Tipo de Evaluación

Propósito

Evaluación de las necesidades

Identificar los conocimientos, actitudes y habilidades (CAH) necesarias para un desempeño aceptable en el trabajo

Evaluación de base

Determinar los niveles de CAH de los participantes antes de la capacitación

Evaluación de los insumos

Evaluar los elementos asociados con la capacitación: costos, selección de los capacitadores y participantes, planes de estudio, lugar, materiales

Evaluación del proceso

Llevar a cabo evaluaciones periódicas durante el período de capacitación y adaptar el horario, el contenido y el enfoque si fuera necesario.

Evaluación de los resultados

Evaluar los CAH nuevos o mejorados después de la capacitación

Evaluación del impacto

Determinar el efecto de la capacitación sobre:

  • el desempeño individual en el trabajo (la aplicación de nuevos conocimientos, actitudes y habilidades en el trabajo; un trabajo que cumple o sobrepasa los requerimientos profesionales y organizativos)

  • el desempeño organizacional (la calidad de los servicios, la satisfacción de los clientes)

  • el desempeño del programa (el uso de métodos anticonceptivos modernos, años-pareja de protección)

  • Los indicadores demográ ficos y de salud a nivel regional o nacional (reducción de las tasas de nacimiento, fertilidad, mortalidad infantil y mortalidad materna)

Volver al principio de página

El Empleo de Recursos Internos para Llevar a Cabo la Evaluación

Cuando las organizaciones desean realizar una evaluación de impacto a menudo recurren a expertos extranjeros basá ndose en la creencia de que solamente los expertos extranjeros pueden brindar una experiencia objetiva y no parcializada que produzca resultados confiables. Sin embargo muchos administradores han aprendido que la evaluación externa no garantiza que las recomendaciones será n apropiadas, y esto se debe en parte a que los extranjeros no siempre pueden comprender las realidades del lugar de trabajo y las necesidades de capacitación de una organización en particular en el corto período de tiempo que se les concede para llevar a cabo su evaluación.

Existe un apoyo creciente a nivel de la comunidad evaluadora para la realización de evaluaciones participativas que permiten que los interesados evalú en sus propios logros [Feuerstein], empleando a expertos externos para casos especiales (por ejemplo para el muestreo) solamente cuando sea necesario. En el á rea de la capacitación, los interesados clave incluyen a los administradores y al personal de la organización o programa de capacitación y los administradores y el personal de las organizaciones que envían a su personal a los cursos de capacitación. La evaluación de un programa de capacitación a través de un proceso participativo que incluya representantes de ambas organizaciones ofrece beneficios importantes:

  • La evaluación interna cuesta menos que la contratación de peritos extranjeros.A medida que las agencias de financiamiento recortan su apoyo, las organizaciones tendrá n que recurrir a sus propios fondos para las evaluaciones.

  • Cuando los capacitadores participan en las evaluaciones de impacto, se familiarizan con las condiciones de trabajo de la gente a la que está n capacitando.Las organizaciones de capacitación también pueden utilizar los resultados de la EIC para diseñar cursos de capacitación en el futuro.

  • La EIC puede ser incorporada a las actividades de supervisión y monitoreo de rutina. Las organizaciones que prestan servicios pueden instituir evaluaciones regulares, dirigidas, de pequeña escala con el objeto de revisar los informes referentes a los problemas encontrados en el campo o para confirmar que ciertos elementos específicos de un curso han tenido éxito y deben ser replicados en otros cursos.

  • Las organizaciones que envían a su personal para ser capacitado comprenden mejor qué es lo que la capacitación puede y no puede lograr. Pueden utilizar esta información para tener una idea má s clara en cuá nto a sus expectativas para las actividades de capacitación futuras.

    Volver al principio de página

    Formación de un Equipo Interno de Evaluación

    El equipo de evaluación deberá incluir representantes de las organizaciones de capacitación o del programa de capacitación y de la organización que presta servicios (u organización que se beneficia de la capacitación). Si fuera posible, uno o má s de los participantes deberá ser parte delequipo para que se tome en cuenta su perspectiva y experiencia durante el proceso. Si decide incluir un experto cuyas aptitudes se consideren esenciales para un aspecto del proceso de EIC en particular (por ejemplo un experto en estadística), el rol de esa persona y sus responsabilidades deben estar claramente definidos a satisfacción de cada uno de los miembros del equipo. Esta aclaración asegurará que el proceso se mantenga bajo el control de las organizaciones participantes.

    Este equipo inter-organizacional tiene un valor particular cuando la evaluación revela que existe la necesidad de implementar mejoras en cualquiera de las organizaciones. Si tanto las organizaciones de capacitación como las de servicios han participado en el proceso de EIC en su integridad y han llegado a acuerdos en lo que respecta a los objetivos y recomendaciones eventuales, estará n má s dispuestas a aceptar las sugerencias planteadas y a realizar cambios que valgan la pena. Si el tiempo y la distancia no permiten una relación de trabajo conjunto entre las dos organizaciones, cualquiera de las organizaciones tendrá que llevar a cabo la EIC por su propia cuenta. Esto presenta algú n riesgo de que la organización que no participe podría no aceptar de lleno todos los hallazgos y recomendaciones. Pero si cada paso del proceso está bien documentado y se mantiene informada a la otra organización, se puede minimizar este riesgo.

    Volver al principio de página

    Llevar a Cabo una Evaluación del Impacto de la Capacitación

    Existen varias razones para llevar a cabo una EIC. Podría tratarse de una EIC para:

    • Evaluar un curso nuevo de capacitación a fin de ver si éste ha llenado las expectativas;

    • Evaluar un curso existente cuya efectividad podría haber disminuido a lo largo del tiempo, tal como ocurre cuando se han dado cambios considerables en el medio externo;

    • Identificar las tareas y temas para los que se requiere una nueva capacitación;

    • Responder a las dudas referentes a la utilidad de un curso de capacitación expresadas por una organización que envió su personal a una capacitación;

    • Resolver los problemas del desempeño detectados a través del monitoreo de rutina de las actividades de campo, la supervisión del personal u otras observaciones en el lugar del trabajo.

    Cuando existen una o má s de estas razones, la EIC puede ser iniciada por el administrador de cualquiera de las organizaciones, los capacitadores, los supervisores del personal capacitado o los funcionarios del programa. El proceso funcionará en forma má s fluida si los miembros de su equipo de EIC representan los puntos de vista de todas las partes interesadas. Los miembros del equipo deberá n familiarizarse con el contenido y la metodología del programa o curso decapacitación a ser evaluado así como con los requisitos generales de trabajo de los participantes. Estos pueden explicar qué tipo de trabajo realizan y discutir las razones para iniciar una EIC, aclarando cuá les son sus expectativas con respecto al proceso y solicitando cualquier apoyo necesario.

    Para llevar a cabo una evaluación a conciencia del impacto de la capacitación, necesariamente se deberá n seguir todos los pasos del proceso de EIC. El proceso de EIC es un ciclo que conecta continuamente el desempeño en el trabajo con la capacitación. Antes de empezar, deberá revisar la información referente al desempeño en el trabajo directamente en el mismo lugar de trabajo, que generalmente se puede obtener de los informes de monitoreo o supervisión. Esta información le sugerirá las á reas de desempeño a ser consideradas en la evaluación.

    Volver al principio de página

    La Conexión entre el Desempeño y la Capacitación: El Proceso de EIC

    Información del Lugar de Trabajo

    Monitoreo rutinario del programa 

    Supervisión rutinaria del personal 

    Observaciones en el lugar del trabajo

    Identificación de los Aspectos de Desempeño

    • Definir y analizar las tareas má s críticas
    • Seleccionar los indicadores de un desempeño aceptable, inaceptable y excelente

    Se ofrece un nuevo Curso de Capacitación

    y/o se implementan cambios a nivel de la organización

    Recopilación de Información


    • Desarrollar los instrumentos

    • Identificar la muestra

    • Probar y revisar los instrumentos

    • Seleccionar a los evaluadores

    • Recopilar la información referente a los factores del desempeño

    • Implementar inmediatamente las medidas correctivas

    Implementación de Cambios

    • Obtener el apoyo de la organización para implementar los cambios

    • Identificar y manejar cualquier resistencia potencial

    • Efectuar cambios en el contenido, la metodología, o la logística de la capacitación y en la selección de participantes

    • Aclarar cuá les son las expectativas antes de la aceptable, inaceptable y

      capacitación excelente

    • Cambiar los procedimientos o sistemas organizacionales

    • Reforzar el apoyo de la comunidad hacia los programas
    Aná lisis de la Información

    • Ver ejemplos de desempeño

    Informe Referente a los Hallazgos

    • Preparar el informe

    • Formular recomendaciones

    • Difundir a las audiencias apropiadas

    • Obtener retroalimentación de las audiencias apropiadas

    Interpretación de la Información

    • Evaluar los factores de la capacitación que influyen en el desempeño

    • Evaluar los factores no vinculados a la capacitación (de tipo organizacional o del entorno)

    Volver al principio de página

    PASO 1:

    Identificación de los Aspectos de Desempeño en el Trabajo

    El primer paso del ciclo, la identificación de los aspectos referentes al desempeño, debería comenzar varios meses después de haber ofrecido el curso. Este paso contempla dos metas:

    • desarrollar una comprensión clara de las labores clave relacionadas con el trabajo;

    • llegar a un acuerdo sobre los indicadores de desempeño: aceptable, inaceptable y excelente para cada tarea.

      Volver al principio de página

    Definición de Tareas Clave Relacionadas con el Trabajo

    Para iniciar el proceso de EIC deberá decidir cuá les son las á reas de desempeño que se enfocará n en la evaluación. Para lograrlo deberá :

    • Revisar las descripciones de los cargos del personal que ha sido capacitado para identificar sus responsabilidades primarias. Podría ser necesario crear, actualizar o revisar las descripciones de los cargos.

    • Hacer una lista de otras tareas clave que no estén incluidas en las descripciones de los cargos pero que sean consideradas importantes por los supervisores y administradores. Resaltar cualquier tarea donde la calidad del desempeño de los participantes ha sido ampliamente cuestionada.

    • Revisar los objetivos del curso de capacitación y su contenido y elaborar una lista de todas las tareas que fueron cubiertas en el curso.

    • De esta lista de tareas, se deben escoger un má ximo de cinco que sean las má s críticas para el desempeño de los participantes.

    • Analizar cada una de las cinco tareas e identificar los está ndares profesionales u organizacionales y las expectativas para un desempeño aceptable; los elementos clave sin los cuá les la tarea no puede llevarse a cabo en forma efectiva; y los conocimientos, actitudes y habilidades que se requieren para realizar estas tareas.

    Es ú til elaborar una lista separada de las tareas importantes que no fueron cubiertas en el curso de capacitación, para no evaluar el desempeño de dichas tareas durante esta actividad de EIC. Ambas organizaciones deseará n volver a revisar la lista posteriormente para determinar si esas tareas han sido cubiertas en algú n otro curso, o son enseñadas regularmente por la organización de servicios, o no se enseñan sistemá ticamente en total y tal vez sea necesario incorporarlas a los cursos planificados para el futuro.

    Volver al principio de página

    Selección de Indicadores y Determinación de Está ndares

    Una vez que se hayan especificado las principales tareas del cargo de un participante se deberá n seleccionar los indicadores. Los indicadores constituyen evidencias susceptibles de medición y observación de que un participante está llevando a cabo las tareas para las cuales fue capacitado. Los indicadores responden a la pregunta, "¿Qué es lo que veríamos u oiríamos en el lugar de trabajo que demostraría que la persona capacitada está cumpliendo con los requerimientos de dicha tarea?" Para poder responder a esta pregunta para cada tarea, usted. y sus colegas necesitará n elaborar una lista de todas las pruebas de desempeño aceptable en las que puedan pensar, basá ndose en los está ndares de desempeño y en las pautas identificadas durante el aná lisis de la tarea. Luego, para cada tarea, seleccione dos indicadores susceptibles de medición u observación que usted crea que proporcionan la prueba má s convincente de un desempeño aceptable.

    Cada indicador deberá ajustarse a está ndares específicos y precisos de niveles de desempeño que se adecuen a las expectativas de la organización. Estos está ndares generalmente se expresan como un nú mero o porcentaje, tal como ocurre con el nú mero de respuestas correctas requeridas en un examen, el porcentaje de procedimientos ejecutados correctamente durante las sesiones clínicas o de consejería, o el nú mero de visitas del cliente durante las cuales el participante capacitado ofrece un servicio específico. Para cada indicador, necesitará identificar los está ndares—el rango dentro del cual el desempeño se considera aceptable, por debajo del cual eldesempeño es inaceptable y por encima del cual el desempeño se considera excelente. El cuadro de la pá gina siguiente muestra algunos ejemplos de indicadores y está ndares seleccionados.

    Volver al principio de página

    Ejemplos de Indicadores y Está ndares

    Tarea

    Indicadores

    Está ndares

    Para los trabajadores de campo:

    Referencia a los servicios de planificación familiar y de SMI

    El trabajador de campo capacitado refiere má s clientes a los diferentes servicios de la clínica que antes de la capacitación.

    Por lo menos 15% má s clientes referidos en seis meses después de la capacitación que en los seis meses previos a la misma.

    Para supervisores:

    Capacitación del personal

    El supervisor capacitado proporciona una asistencia má s efectiva en el trabajo durante las visitas de supervisión que antes de la capacitación.

    En forma regular convoca y realiza discusiones de grupo con respecto a los asuntos que son de importancia para los supervisados.

    Para administradores:

    Movilización de recursos para la sustentabilidad

    El sistema para el cobro de tarifas por los servicios prestados ya está operando.

    Por lo menos 50% de todos los clientes paga por los servicios que recibe.

    Volver al principio de página

    Paso 2:

    Recopilación de Información

    Después de haberse puesto de acuerdo con respecto a los indicadores y está ndares para calificar el desempeño como aceptable, inaceptable y excelente, estará listo para recopilar la información que mostrará la medida en la cual el desempeño de los participantes se ajusta a los indicadores y está ndares. Para hacerlo, necesitará :

    • desarrollar instrumentos para recopilar información;

    • probar y revisar sus instrumentos;

    • determinar su muestra para la evaluación;

    • seleccionar y preparar a los evaluadores;

    • recopilar la información.

    Volver al principio de página

    Desarrollo de Instrumentos

    Existen muchas fuentes de datos referentes al desempeño de los empleados en sus puestos de trabajo así como diversas formas de obtener esta información. Se deberían escoger las técnicas e instrumentos má s apropiados para cada indicador en base a lo que está tratando de estudiar y los recursos disponibles. Las técnicas bá sicas son las entrevistas (con los participantes, los clientes, los supervisores o administradores ya sea en forma individual o en grupo), exá menes (tomados a los participantes), observaciones (de los participantes que generalmente se relacionan conclientes reales o simulados) y la revisión de documentos. Después de escoger las técnicas que reú nan los mejores requisitos para sus necesidades de evaluación, estará listo para diseñar los instrumentos apropiados: un cuestionario oral o escrito, un formulario de examen, una guía para las entrevistas y/o una lista de verificación.

    Cualquiera que sean los instrumentos que escoja, estos deberá n ser vá lidos y confiables. Un instrumento vá lido mide en forma precisa lo que desea medir. Por ejemplo, para probar la habilidad de los participantes para insertar correctamente dispositivos intrauterinos una medida vá lida sería observar al participante mientras realiza el procedimiento en una cliente real o en un modelo en vez de repetir de memoria los pasos del procedimiento. El tiempo extra que se invierta para hacer la observación valdrá la pena en lo que concierne a la validez de la misma.

    Un instrumento confiable dará los mismos datos o datos similares aun cuando sea utilizado por diferentes personas, siempre y cuando éstas hayan recibido la misma capacitación para la utilización del mismo. También demostrará su consistencia a lo largo del tiempo si la capacitación no ha cambiado entre la primera y segunda evaluación. Por ejemplo, si un evaluador determina a partir de un ejercicio de simulación que el participante respeta el derecho del cliente a la privacidad y otro evaluador llega a una conclusión opuesta, el instrumento no constituye una medida confiable del comportamiento del participante capacitado.

    A medida que diseñe los instrumentos, deseará evitar algunos problemas comú nmente encontrados. Algunos instrumentos son demasiados largos para ser empleados fá cilmente por los evaluadores. Asegú rese de mantener sus instrumentos lo má s breves posible, incluyendo solamente los puntos necesarios para obtener la información que está buscando. Asegú rese de que existan instrucciones claras y precisas para utilizar el instrumento. Algunos instrumentos son de difícil comprensión para la persona que debe responder. Utilice palabras simples que tengan un solo significado. Si el idioma preferido del entrevistado es diferente al suyo, asegú rese que los diferentes puntos hayan sido traducidos correctamente al idioma de dicha persona.

    Volver al principio de página

    Técnicas e Instrumentos de Evaluación

    Técnica de Evaluación

    Tipo de Instrumento

    Cómo se Emplea

    Qué Evalú a

    Ventajas

    Desventajas

    Entrevista (individuo o grupo)

    Cuestionario

    Escrito u oral

    Auto-administrado

    Actitudes

    Opiniones

    Experiencia reportada y practica

    Fá cil de administrar

    Puede ser administrado a grupos grandes

    Puede generar información cualitativa y cuantitativa

    Las respuestas pueden ser ampliadas y aclaradas

    Se puede efectuar un sondeo con respecto a temas má s delicados

    Puede ser costoso y requerir de mucho tiempo

    No puede estar seguro de que las preguntas han sido bien comprendidas

    Los entrevistados deben saber leer y escribir para poder completar el cuestionario auto-administrado

    Es posible que los entrevistados digan lo que ellos creen que el evaluador desea oír

    Las preguntas pueden reflejar la parcialidad de los evaluadores

    Es difícil analizar los datos

    Volver al principio de página

    Técnicas e Instrumentos de Evaluación

    Técnica de

    Evaluación

    Tipo de

    Instrumento

    Como se

    Emplea

    Qué evalú a

    Ventajas

    Desventajas

    Examen

    Formulario o cuestionario

    Escrito u oral

    Conocimiento s

    Aptitud

    Bajo costo

    Fá cil de administrar

    Puede ser administrado a grupos grandes

    Es fá cil analizar las respuestas

    Los participantes deben saber leer y escribir para tomar el examen escrito

    Es posible que no refleje adecuada-mente las habilidades o el comporta-miento real en el trabajo

    Podría parecer amenazador para los participantes

    Observación

    Pautas

    Lista de verificación

    Observación y anotación (desempeño real, simulación, actuación de papeles, cintas de video etc.)

    Habilidad

    Desempeño

    Actitudes

    Puede demostrar el comporta-miento real

    Genera información cualitativa y cuantitativa

    Es costoso y consume mucho tiempo

    Requiere de una capacitación exhaustiva de los evaluadores

    Puede inducir cambios de comportamien to en el momento de la observación

    Revisión de Documentos

    Lista de verificación

    Cuestionario

    Revisión de los expedientes (expedientes de los clientes y del personal, formularios de estadísticas de servicios, archivo de incidentes críticos)

    Desempeño

    Cumplimiento con requerimiento s legales o profesionales

    Conveniente

    Evita sobrecargar al personal con requerimiento s adicionales durante la visita

    Si está bien llevado, dará como resultado datos objetivos

    Si los expedientes está n escritos a mano, es posible que sean difíciles de leer

    Podrían ser incompletos, inexactos o muy generalizados

    Los expedientes podrían estar mal organizados y obstaculizar la bú squeda de los documentos relevantes

    Los informes médicos deberá n ser leídos por un experto

    Cómo Probar y Revisar los Instrumentos

    Aun cuando los instrumentos hayan sido diseñados cuidadosamente, surgirá n sorpresas cuando se los emplee por primera vez. Las preguntas y los procedimientos que parecían estar absolutamente claros algunas veces pueden confundir o causar ansiedad a la persona que está siendo entrevistada. La mejor manera de reducir al mínimo las sorpresas desagradables es que losmiembros del equipo de evaluación prueben los instrumentos con un pequeño grupo de participantes, preferentemente en má s de un lugar. La prueba puede servir de base para revisar los instrumentos—y, ocasionalmente los indicadores o está ndares. La prueba deberá imitar lo mas próximamente posible los arreglos que se hará n para la verdadera EIC: la elaboración cuidadosa de un cronograma, el envío de cartas a los distintos lugares así como explicaciones a modo de introducción para explicar qué es la EIC a los directores del proyecto, participantes y otras personas que pudieran estar involucradas.

    Si es posible se debería trabajar en parejas durante la prueba, de la misma manera que se hará durante la EIC final. Esto permitirá que una persona se concentre en las respuestas y en recoger comentarios interesantes o pistas visuales sin tener que detener el proceso mientras escribe. También servirá para confirmar las observaciones e impresiones.

    Debido a que las pruebas preliminares aumentan el costo de la evaluación de impacto y consumen un tiempo valioso, por lo general se omiten. Pero estas pruebas son importantes, ya que si los instrumentos no está n bien diseñados no producirá n información confiable, el aná lisis e interpretación de los resultados presentará n fallas y cualquiera de las conclusiones o decisiones sobre la capacitación o el apoyo organizativo será n dudosas. Para reducir el costo tanto en lo que respecta al tiempo de trabajo del personal como al dinero propiamente dicho, sin comprometer la oportunidad de aprendizaje, se debería buscar diferentes formas de combinar estas pruebas con otras actividades organizacionales.

    Volver al principio de página

    Cómo...

    Diseñar un Instrumento de Evaluación Eficiente

    1.Responda a las siguientes preguntas a fin de escoger las mejores metodologías e instrumentos para sus propósitos:

    • ¿Qué metodologías pueden mostrar con mayor exactitud si el desempeño especificado en este indicador está presente o ausente y la medida en la cual los está ndares de desempeño calificados como aceptables, inaceptables y excelentes se está n cumpliendo?

    • ¿Puede usted diseñar uno de sus instrumentos para que abarque má s de un indicador?

    • ¿Qué pautas y qué tipo de capacitación requerirá n los evaluadores para emplear los instrumentos en forma efectiva?

    2.Elabore un formulario de registro que incluya una lista de las preguntas bá sicas a ser formuladas o los comportamientos a ser observados, y que proporcione el espacio suficiente para escribir las respuestas u observaciones. Incluya espacios para el nombre y cargo del participante, el lugar de la evaluación, la fecha de la visita de evaluación, el nombre y las fechas del curso de capacitación así como el nombre del evaluador.

    3.Pruebe el instrumento con varios participantes. Revise las respuestas para ver si está obteniendo la información necesaria. Si es posible, haga que má s de un evaluador utilice el instrumento y compare las experiencias y resultados.

    • ¿Confirmó la prueba que los indicadores demuestran un desempeño aceptable, inaceptable o excelente?

    • ¿Es vá lido y confiable cada uno de los puntos de cada instrumento?

    • ¿Qué ideas necesitará revisar? Decida si tiene que volver a probar cierto punto.

    • ¿Estaban los evaluadores en condiciones de administrar los instrumentos en la forma que fueron diseñados? Si no es así, ¿que pautas o capacitación adicionales requieren?

    • ¿Tenía suficiente tiempo disponible para viajar y llevar a cabo otras actividades en el lugar?

    • ¿Los comentarios de introducción explicaron el proceso de EIC, transmitieron los mensajes deseados y crearon un ambiente relajado y no amenazante?

    • ¿Se respetó la privacidad durante las pruebas, entrevistas y observaciones?

    • ¿Los evaluadores consideraron que los formularios eran adecuados?

    4.Revise los resultados y realice nuevas pruebas hasta que esté seguro que cada instrumento le proporciona lo que necesita saber.

    Volver al principio de página

    Determinación de la Muestra

    El hecho de escoger el nú mero correcto de participantes a ser evaluados ilustra el dilema entre lo prá ctico y lo riguroso. Aunque todos está n de acuerdo en que "siempre es mejor contar con un mayor nú mero de participantes" la pregunta que debe hacerse es, "¿Cuá ntos participantes será n suficientes para obtener resultados que sean susceptibles a una generalización?" Por lo tanto, para llevar a cabo una EIC, necesitará identificar unamuestra, un subconjunto representativo de personas escogidas del grupo de todos los participantes que han completado recientemente un curso de capacitación. Si su muestra está bien diseñada, puede estar razonablemente seguro de que lo que aprenda de las pruebas, entrevistas y observaciones de las personas incluidas en la muestra refleja con bastante exactitud lo que aprendería de toda la población de participantes. Existen cuatro factores a ser considerados al decidir cuá n grande debería ser una muestra.

    Tamaño de la población de participantes. Cuanto má s grande sea el nú mero de participantes que está evaluando, mayor deberá ser el nú mero de personas en su muestra. Para los propósitos de una EIC, generalmente no es necesario o prá ctico utilizar una fórmula estadística, pero puede determinar el tamaño de su muestra refiriéndose a la siguiente tabla.

    Selección del Tamaño de la Muestra

    Tamaño de la Población de Participantes

    Tamaño de la Muestra

    50 o menos

    Por lo menos 50%

    51 a 100

    35% a 50%

    101 a 200

    20% a 35%

    Má s de 200

    10% a 20%

    Volver al principio de página

    Variaciones a nivel de la población de participantes. Las diferencias en las características dentro de una misma población que podrían afectar los resultados de la evaluación se denominan variables. Si piensa que existen variables entre los participantes que podrían afectar el desempeño, deberá asegurarse que la muestra incluya un nú mero razonable de personas con cada una de estas variables. Esto se puede lograr a través de unmuestreo estratificado. Para estratificar una muestra:

    • Decida cuá les piensa que son las características o variables que podrían afectar el desempeño de un participante después del evento de capacitación (género, ubicación geográ fica, nivel de educación, nivel socio-económico de la comunidad donde trabaja, tipo de trabajo, condiciones de trabajo, edad, grupo étnico);

    • Determine qué proporción del nú mero total de participantes refleja cada variable. Luego defina una muestra separada para cada variable utilizando la tabla presentada anteriormente para determinar el tamaño de cada muestra. Esto le permitirá comparar el desempeño de los participantes que representan variables contrastantes (por ejemplo, hombre/mujer, rural/urbano).

    Debido a que el muestreo estratificado requiere de la preparación de una muestra separada para cada variable que fue identificada, esto puede aumentar mucho el tamaño total de su muestra. De modo que solo debería escoger variables que el equipo de EIC considere clave en lo que respecta al desempeño en el trabajo. Si el nú mero de participantes que se toma en cuenta es pequeño, no sería prá ctico estratificarlo, ya que cada muestra sería muy pequeña para producir información vá lida y confiable.

    Volver al principio de página

    Cómo Escoger una Muestra del Tamaño Adecuado y con las Variables Apropiadas

    El siguiente ejemplo ilustra cómo escoger una muestra que refleje la variación existente en toda la población de personas que se está n capacitando.

    Si los informes de campo sugieren que los individuos que se está n capacitando y trabajan para diferentes organizaciones tienen condiciones de trabajo muy diferentes que afectan su desempeño, usted podría preparar una muestra para cada organización. Si 215 participantes trabajan para un total de tres organizaciones (127 personas en la Organización A, 58 en la Organización B y 30 en la Organización C), debería referirse a la tabla titulada "Selección del Tamaño de la Muestra" e identificar tres muestras: por lo menos 25 (20%) de la Organización A, por lo menos 20 (35%) de la Organización B y por lo menos 15 (50%) de la Organización C. Si una cuarta organización hubiera mandado solamente algunas personas al curso, usted podría visitar a todos los integrantes del grupo o eliminarlos completamente de la evaluación, dependiendo de la opinión que tenga usted en cuanto a cuá n diferentes son estos individuos de los de las otras organizaciones.

    Precisión. El grado de precisión que se requiere de una evaluación depende de cuá n importante sea identificar los efectos menores que podrían generalizarse dentro de un contexto má s amplio. Debido al hecho que la EIC considera los comportamientos humanos, no puede ser tan precisacomo algunos estudios de ciencias bá sicas, pero la muestra debe ser lo suficientemente grande para convencer a un observador objetivo que vale la pena actuar en base a los resultados. Recuerde que el propósito má s importante de la EIC es demostrar que la gente que ha sido capacitada realmente está haciendo lo que se le ha enseñado, y si no fuera así, descubrir las posibles causas y sugerir acciones correctivas.

    Factibilidad. Al diseñar su estudio es posible que se vea forzado a comprometer la generalidad de los resultados futuros a fin de lograr un diseño que sea factible dados los recursos y el tiempo disponibles. Lo que es má s importante aú n es identificar una muestra que se aproxime lo má s posible al tamaño de muestra recomendado y que represente las variables importantes presentes en la población de individuos que se está n capacitando que podría estar vinculada a su evaluación y podría llevarse a cabo con los recursos disponibles. El Dr. Scholl, un experto cuyo trabajo se ha centrado en la evaluación de la capacitación en Asia, Africa y América Latina, apoya este punto de vista al declarar que "si el tamaño mínimo de una muestra estadística es mayor a lo que es factible o económicamente posible llevar a cabo, es posible que los evaluadores de la capacitación se vean forzados a llegar a un compromiso utilizando una muestra má s pequeña y aceptando los resultados que todavía podrían ser ú tiles, aun cuando no puedan ser utilizados para llegar a conclusiones vá lidas desde un punto de vista ‘estadístico’ ".

    Se puede equilibrar la necesidad de obtener resultados precisos y la factibilidad mediante la determinación de una muestra que se aproxime lo má s posible al tamaño de muestra recomendado, que represente las variables significativas de la población de individuos que seestá n capacitando que podría estar vinculada a su desempeño y le permita realizar la evaluación con los recursos disponibles.

    Volver al principio de página

    Cómo Determinar Su Muestra para una EIC

    Las respuestas a las siguientes preguntas le ayudará a determinar su muestra para una EIC.

    1.¿Cuá ntos eventos de capacitación está considerando para esta EIC? (
    Por ejemplo: ¿Solamente el ú ltimo curso? ¿Todos los cursos ofrecidos en el ú ltimo año? Todos los cursos ofrecidos desde el inicio de este tipo de capacitación? ¿Algú n otro grupo de cursos?

    2.¿Cuá ntas personas participaron en el evento o eventos de capacitación que usted está evaluando?

    3.De acuerdo a la tabla de la pá gina 10, ¿alrededor de cuá ntos participantes del curso de capacitación está n incluidos en su muestra para la EIC?

    4.¿Cuá les son las características o variables principales que diferencian a los participantes uno de otro, y cuá les de estas variables considera usted que es má s probable que afecten su desempeño?

    5.¿Cuá ntos participantes representan cada una de las variables? ¿Cuá ntas personas necesitará incluir en una muestra estratificada para cada variable?

    6.¿Qué recursos requerirá n los evaluadores para evaluar la muestra recomendada de participantes capacitados?

    7.¿Cómo puede usted combinar el proceso de EIC con las actividades cotidianas de la organización o encontrar otras formas de lograr un uso má s eficiente de los recursos disponibles para las visitas de campo de una EIC?

    8.Considerando sus respuestas a las preguntas del 1 al 7, ¿cuá l es la muestra má s grande y factible de participantes capacitados que puede cubrir en esta EIC?

    Volver al principio de página

    Selección y Preparación de Evaluadores

    Aun los instrumentos bien diseñados pueden producir información deficiente si los evaluadores no los utilizan cuidadosamente y emplean su buen juicio en la forma menos parcializada posible. Para ayudar a mantener la objetividad, es ú til dejar que los evaluadores trabajen en parejas—incluyendo una persona de la organización o programa y una de la organización de servicios. En aquellos casos en los que no es posible lograr un buen nivel de colaboración entre las organizaciones, cada organización debe trabajar con sus propios evaluadores y crear un ambiente en el cual se esperen evaluaciones honestas. Una EIC participativa funcionará solamente si cada una de las organizaciones involucradas desea saber la verdad y utilizar los hallazgos de la EIC para prestar mejores servicios de planificación familiar.

    Una vez que haya escogido a los evaluadores, debe capacitarlos y proporcionarles alguna experiencia prá ctica en lo que respecta a la administración de cada instrumento antes de comenzar la evaluación. Para las pruebas, cuestionarios, observaciones, revisiones de expedientes, y preguntas cerradas de las entrevistas, los evaluadores deberían estar en condiciones de seguir las instrucciones exactamente y no introducir sus propias ideas. Cuando una entrevista incluye preguntas abiertas, la capacitación de los evaluadores debe incluir técnicas para el sondeo o para ayudar al entrevistado a ir má s allá de su respuesta inicial y expresar sus propias ideas con mayor detalle. Los evaluadores deben estar también capacitados para registrar la información cuidadosamente y en forma inmediata con el objeto de manejar los requisitos logísticos e interpersonales de una visita de EIC ademá s de manejar con tacto y eficacia las situaciones inesperadas.

    Podría darse una situación especial cuando los evaluadores está n observando a un participante capacitado en su puesto de trabajo. Si ven que el individuo realiza un procedimiento en forma incorrecta o proporciona información inexacta a un cliente, podría ser difícil seguir manteniendo su papel de observadores neutrales. En las situaciones donde el incumplimiento con los está ndares podría tener consecuencias graves para la salud, tales como los está ndares para la inserción de los DIU o los procedimientos asépticos, los evaluadores deberían seguir su ética profesional y solicitar una corrección en ese mismo instante. Cuando intervienen, deberían anotar en el formulario las circunstancias de su intervención y la forma de la misma.

    Volver al principio de página

    Recopilación de Información para la EIC

    Cuando haya capacitado a sus evaluadores para que utilicen los instrumentos, éstos estará n listos para recopilar la información necesaria para una EIC. Su principal preocupación en este punto será de tipo logístico, tal como encontrar las oportunidades para economizar combinando la EIC con otras visitas regulares de la organización (particularmente las visitas rutinarias de supervisión y control), programar las visitas de modo que se pueda observar a la gente en un día normal de trabajo e informar a los administradores con respecto a las necesidades de los evaluadores antes del día de la visita. El cuadro de la pá gina siguiente proporciona algunas sugerencias en cuanto a la forma de planificar y organizar los procesos de recopilación de información.

    Con posterioridad a cada visita para la recopilación de información usted debería formular las siguientes preguntas a los evaluadores y administradores de las clínicas en cada lugar para asegurarse de que se hayan cumplido los planes:

    • ¿Se disponía del tiempo suficiente para viajes y actividades en el lugar?

    • ¿Los comentarios iniciales comunicaban el mensaje deseado y creaban un ambiente confortable y no amenazante?

    • ¿Se respetaba la privacidad durante las pruebas, entrevistas y observaciones?

    • ¿Los evaluadores pensaban que los formularios eran fá ciles de llenar?

    • ¿La información provista por el personal con posterioridad a la visita era informativa y exacta?

    Si las respuestas a estas preguntas revelan problemas, discú talos inmediatamente y efectú e los ajustes necesarios a los procedimientos para las visitas posteriores.

    Volver al principio de página

    Continuara...............

    http://erc.msh.org/readroom/espanol/perform.htm

Vistas: 9058

Comentario

¡Tienes que ser miembro de Red de Innovación y Emprendimiento UC para agregar comentarios!

Únete a Red de Innovación y Emprendimiento UC

English Translation

Redes Sociales I&E

Síguenos también en nuestras redes sociales: 

 FB EmprendeUC 

Twitter EmprendeUC

Canal de
Youtube EmprendeUC

LinkedIn EmprendeUC

Jump Chile 2013

© 2014   Creada por PIE EAUC.

Insignias  |  Informar un problema  |  Términos de servicio