Ciencia 12 min lectura

Evaluación de competencias multi-evaluador: cuando el assessment no alcanza

El assessment psicométrico te dice cómo es la persona. La evaluación multi-evaluador te dice qué tan buena es haciendo lo que el rol exige. Cuándo necesitás una, cuándo necesitás la otra, y cómo se combinan.

Clara Bellini

Clara Bellini

Head of People Science

Compartir:
Evaluación de competencias multi-evaluador: cuando el assessment no alcanza
Competencias Multi-Evaluador Inter-Rater Reliability Structured Interviews Assessment

Un assessment psicométrico bien construido te dice cómo es la persona. No te dice qué tan buena es haciendo lo que el rol exige.

Esa frase es incómoda para alguien que trabaja en People Science. Trabajamos toda la carrera demostrando la validez predictiva de los assessments, defendiendo OCEAN contra escépticos, calibrando modelos. Pero hay un punto donde el assessment, por sí solo, llega a un techo. Y ese techo es donde aparece la evaluación de competencias multi-evaluador.

Este post es sobre dónde está ese techo, por qué existe, y cómo se combinan ambas capas en un sistema de scoring que respeta la evidencia.


La diferencia conceptual: rasgo vs comportamiento observado

Un assessment psicométrico mide rasgos disposicionales: tendencias estables a comportarse de cierta forma. Alguien con alta Conscientiousness va a tender a ser organizado, planificado, confiable.

Una evaluación de competencias mide comportamiento observado en un dominio específico: qué tan bien hace esta persona X cosa concreta, juzgado por personas que la vieron hacerlo.

Las dos son útiles. Las dos miden cosas distintas. Confundirlas es uno de los errores más comunes en HR.

Schmidt y Hunter (1998), en su meta-análisis de 85 años de investigación en selection, encontraron que los tests cognitivos (GMA) tienen validez predictiva de r=.51 sobre job performance, y los tests de personalidad —específicamente Conscientiousness— alrededor de r=.31. Pero las structured interviews alcanzan r=.51, y las work sample tests llegan a r=.54. Es decir: las evaluaciones que se acercan al comportamiento concreto del rol predicen al menos tan bien como los tests, y a veces mejor.

La conclusión operativa: si podés combinar ambos, lo hacés. Si tenés que elegir, depende del rol.


Los dos modos del módulo de competencias

La plataforma maneja la evaluación de competencias en dos modos. La separación no es arbitraria: refleja la distinción anterior.

Modo soft: competencias inferidas

Algunas competencias —comunicación, adaptabilidad, orientación al cliente, manejo de conflicto— tienen una relación estable con los rasgos OCEAN y los valores configurados. No perfecta, pero suficientemente robusta como para inferir un score.

El motor mapea, a través de una tabla calibrada, qué combinación de rasgos OCEAN + adherencia a valores predice cada competencia soft. El resultado es un score 0-100 que se calcula automáticamente a partir del assessment del candidato, sin requerir evaluadores humanos.

Esto es útil para:

  • Roles generalistas donde el assessment es suficientemente predictivo
  • Etapas tempranas del funnel donde no podés pagar el costo de evaluadores humanos
  • Competencias intrínsecamente disposicionales (curiosidad, resiliencia, empatía)

Modo technical: competencias evaluadas por humanos

Otras competencias —SQL avanzado, negociación de contratos enterprise, diseño de arquitectura distribuida— no se infieren. Hay que verlas. Para esas, el módulo permite invitar evaluadores humanos que asignan un score y dejan una nota cualitativa. El sistema calcula el promedio.

Esto es útil para:

  • Roles técnicos donde la habilidad específica es crítica
  • Roles seniors donde la experiencia concreta pesa más que la disposición
  • Competencias dominio-específicas donde el assessment no tiene señal

Cómo se combinan: required_level por rol

Acá está el componente que ata todo. Para cada rol, la empresa define un set de competencias requeridas con sus respectivos required_level. Por ejemplo:

CompetenciaModoRequired Level
Comunicación escritaSoft70
Trabajo en equipoSoft65
SQL avanzadoTechnical80
Diseño de pipelines de datosTechnical75
AdaptabilidadSoft60

El candidato recibe un score por cada competencia. Las soft vienen automáticas del assessment. Las technical, del promedio de evaluadores. El gap entre score y required_level es la métrica relevante: si el candidato saca 85 en SQL avanzado y el required es 80, hay un margen positivo. Si saca 65, hay un gap de 15 puntos que se reportará al hiring manager.

El fit final del candidato se compone entonces de tres capas:

  1. OCEAN fit contra el perfil ideal del rol
  2. Valores fit contra los valores configurados de la empresa
  3. Competency fit, promedio ponderado de soft + technical, contra los required_level

Si querés ver el módulo en detalle: /funcionalidades/evaluaciones-competencias.


Por qué multi-evaluador es no-negociable en technical

Cuando una sola persona evalúa una competencia técnica, estás midiendo dos cosas: la habilidad del candidato y el sesgo del evaluador. Y no podés separarlas.

La literatura sobre inter-rater reliability en entrevistas estructuradas es contundente. Kuncel, Klieger, Connelly y Ones (2013), en un meta-análisis publicado en el Journal of Applied Psychology, demostraron que el uso de mechanical combination (promedio o algoritmo) de múltiples evaluadores mejora significativamente la validez predictiva sobre holistic judgment (un evaluador único decide). El efecto era robusto en distintos tipos de selección.

La razón es estadística básica: el ruido individual se cancela cuando promediás múltiples mediciones independientes. El sesgo del evaluador A se compensa parcialmente con el sesgo del evaluador B, siempre que los sesgos no sean correlacionados sistemáticamente (de ahí la importancia de diversificar el panel).

Highhouse (2008) llevó este argumento más allá en “Stubborn Reliance on Intuition and Subjectivity in Employee Selection”, documentando cómo los managers persisten en confiar en juicio individual a pesar de la evidencia consistente sobre la superioridad de procesos estructurados y multi-evaluador.

El módulo implementa esto haciendo que:

  • Cada evaluación técnica permita invitar a múltiples evaluadores
  • Cada evaluador asigne su score independientemente, sin ver los scores de los demás
  • El sistema calcule el promedio y reporte la dispersión (si hay alta varianza entre evaluadores, es una señal a investigar)
  • Cada score venga con su nota cualitativa, para que el promedio no oculte el razonamiento

Cuándo usar soft, cuándo technical, cuándo ambos

La pregunta operativa más frecuente es esta. La respuesta corta: depende del peso que tiene la habilidad técnica específica en el éxito del rol.

Tipo de rolSoftTechnicalPor qué
Customer service juniorSuficienteOpcionalEl assessment + valores cubren la mayor parte de la varianza
Sales generalistaSuficienteOpcionalDisposiciones predicen bien performance comercial
Desarrollador semi-seniorRecomendadoCríticoHabilidad técnica concreta tiene que verse, no inferirse
Data engineer seniorRecomendadoCríticoLo mismo, con más peso técnico
Manager con equipo a cargoCríticoRecomendadoLas soft pesan mucho, pero competencias de gestión observadas suman
Director / VPCríticoCríticoCombinación obligatoria — el riesgo de un mal hire es muy alto

La regla general que damos a los clientes: cuanto más senior es el rol y más técnico-específico es el output, más peso debe tener la capa technical multi-evaluador. Cuanto más generalista y disposicional, más alcanza con la capa soft.


Lo que la combinación habilita: insights por aplicación

Más allá del score final, la combinación de ambas capas genera insights que ninguna por separado puede:

  • Detección de gaps específicos. “Este candidato tiene buen OCEAN fit y valores alineados, pero su SQL avanzado está 12 puntos por debajo del required. Recomendación: contratar y plan de upskilling, o pasar.”
  • Detección de over-qualification. “Saca 95 en una competencia con required 70. ¿Lo aburrirá el rol?”
  • Calibración de panels. “El evaluador X consistentemente puntúa 15 puntos por debajo del resto del panel. Hay que revisar su calibración.”
  • Plan de desarrollo post-hire. “Las dos competencias con menor score se vuelven los focos del onboarding y los primeros 90 días.”

Ninguno de estos insights se obtiene solo con un assessment. Y ninguno se obtiene solo con entrevistas técnicas sin un assessment que dé el baseline disposicional. La combinación es lo que los habilita.


El argumento contra la “intuición experta”

Hay una resistencia recurrente al multi-evaluador estructurado, y es importante nombrarla: “yo, con 20 años de experiencia, sé en 10 minutos si la persona sirve”. Es probablemente la frase más cara de la industria.

La evidencia es consistente: la confianza en intuición experta correlaciona débilmente con la precisión real de las decisiones de hiring. Highhouse lo llamó “stubborn reliance”. El multi-evaluador estructurado no reemplaza la experiencia: la ancla en un proceso donde el sesgo individual se diluye y el razonamiento queda explícito y auditable.

Si tu organización quiere defender una decisión de no-hire en seis meses, tener tres evaluaciones con notas cualitativas es muy distinto a tener “el director sintió que no encajaba”.


Cómo encaja con el resto

Las competencias son una de las cuatro capas del motor de scoring de Talen.to: OCEAN, Valores, Competencias y Arquetipos. El hub post tiene el mapa completo. Y si querés entender cómo los arquetipos calibrados con datos reales se conectan con todo esto, te dejo el deep dive de arquetipos.


Implementalo con nosotros

Si estás contratando roles seniors o técnicos solo con assessment, o solo con entrevistas, te estás perdiendo varianza predictiva importante. Te ayudamos a definir los required_level por rol, armar panels de evaluadores y conectar la capa soft con la technical para que el fit score final refleje las dos.

Agendá una demo de 15 minutos y te muestro el módulo funcionando sobre un rol real.


¿Preguntas? Escribime a clara@talen.to.

Sigue explorando

Sobre el autor

Clara Bellini

Clara Bellini

Marketing Director

Marketing Director @ Talen.to. Antes agencia, ahora producto. Creo en data > intuición y cultura > todo.

Perfiles OCEAN+ relacionados

Descubri que dimensiones de personalidad buscar en cada rol.

Artículos Relacionados

Talen.to

¿Listo para mejorar tu hiring?

Comienza a evaluar culture fit con ciencia. Miles de empresas ya confían en Talen.to.