Datos que no bastan

Una cuenta de electricidad puede aumentar aunque todo funcione con normalidad. En invierno usamos más calefacción; en verano, más aire acondicionado. El monto puede estar bien calculado y el consumo correctamente registrado. Aun así, podemos sacar una conclusión equivocada.

Si la cuenta de agosto supera la de julio, sabemos cuánto cambió lo que pagamos, pero no necesariamente el porqué. Pudo aumentar el consumo, cambiar la tarifa o ambas cosas. Y si queremos saber si el consumo es anormal, comparar dos meses consecutivos puede ser una mala referencia, porque el consumo eléctrico suele seguir patrones estacionales.

Comparar con el mismo mes del año anterior no siempre es la solución. Pueden haber cambiado la temperatura, la cantidad de personas en la vivienda, los equipos utilizados o el tiempo que alguien pasa trabajando desde casa. La comparación adecuada depende de la pregunta que se quiera responder.

¿Queremos saber cuánto aumentó la cuenta? ¿Si estamos consumiendo más energía? ¿Si ese consumo es inusual para esta época? ¿O si existe un aparato defectuoso? Son preguntas distintas y pueden requerir datos, comparaciones o contextos distintos.

Algo parecido ocurre con los promedios: imaginemos dos áreas que completan diez proyectos cada una con un atraso promedio de diez días.

En la primera, los diez proyectos terminan diez días tarde. En la segunda, nueve cumplen el plazo y uno acumula cien días de atraso. El promedio es exactamente el mismo, pero las dos áreas difícilmente tengan el mismo problema.

En la primera podría existir un problema general de planificación o capacidad. En la segunda hay un caso excepcional que necesita explicación. El promedio es correcto en ambos casos; por sí solo, no muestra cómo se distribuyen los resultados.

En términos simples, la dispersión describe cuánto se separan los valores de un conjunto alrededor de su centro. Existen distintas formas de medirla, pero aquí basta con una idea: dos grupos con el mismo promedio pueden distribuirse de maneras muy diferentes.

El proyecto con cien días de atraso es un outlier, o valor atípico: una observación alejada del comportamiento general del conjunto. Eso no significa que sea un error ni que deba eliminarse. Puede ser un error de registro, una circunstancia excepcional o el caso que más necesitamos comprender. Lo excepcional no es automáticamente ruido.

El mismo problema aparece en las organizaciones cuando se confunde lo que podemos medir con lo que queremos conocer. Una empresa puede registrar con precisión la presencia física, los accesos, el tiempo conectado, las reuniones realizadas o las tareas cerradas.

Sin embargo, ninguna de esas métricas permite saber por sí sola si un equipo se coordinó mejor, comprendió una decisión difícil o produjo un trabajo de mayor calidad. Se puede asistir a todas las reuniones sin resolver un desacuerdo, cerrar muchas tareas menores mientras la principal sigue bloqueada o permanecer conectado durante horas sin avanzar.

A veces hemos medido con gran precisión algo distinto de aquello que realmente queríamos saber.

El problema se vuelve más difícil cuando una métrica se convierte en objetivo. Si premiamos la cantidad de tareas cerradas, aparecen incentivos para dividir el trabajo en tareas más pequeñas. Si valoramos el tiempo conectado, aumentan los motivos para permanecer visible. El registro puede seguir siendo correcto, pero perder calidad como indicador de aquello que pretendíamos medir.

Nada de esto vuelve inútiles los datos. Obliga a tratarlos con más cuidado: preguntarnos qué se midió, qué quedó fuera, contra qué estamos comparando, qué valores se apartan del resto y qué supuestos sostienen nuestra interpretación.

Esta misma tensión aparece en Crimen Telemático: los registros pueden ser precisos y, aun así, no bastar para explicar lo ocurrido.

Antes de preguntar qué dicen los datos, conviene preguntar qué les estamos pidiendo que respondan.

¿Qué dato de tu trabajo o de tu vida cotidiana parece importante hasta que te preguntas qué está midiendo realmente?