Siempre que definimos una métrica o KPI es importante preguntarse dos preguntas:
1. ¿Es una métrica válida?
Para determinar esto, debemos saber que una métrica no es válida si:
– Algunos escenarios te acercan al resultado ideal pero no avanzan en la métrica.
– Algunos escenarios te llevan a alcanzar tu métrica objetivo, pero en realidad te alejan de tu resultado ideal.
– Los resultados alcanzados con la métrica no son materialmente importantes para su negocio.
2. ¿Es factible, es decir, qué tan fácil / difícil es medirlo?
Tomemos el ejemplo de los comienzos de Netflix.
Netflix, Inc. (Netflix), fue constituida el 29 de agosto de 1997, por Marc Randolph y Reed Hastings. La compañía americana nace cuando Reed Hasting alquiló Apolo 13 en la conocida cadena de videoclubs Blockbuster y al devolverla con unos días de retraso, tuvo que hacerse cargo de 40$ de penalización.
Netflix comenzó operaciones ofreciendo suscripciones que permitían alquileres inmediatos a sus clientes.
En un principio, una de sus hipótesis era que una experiencia más simple de sus usuarios mejoraría la retención (métrica de alto nivel), que era una de sus métricas más importantes.
Pero, ¿cómo se mide esa “simplicidad”? Y ¿cómo demuestras que esa hipótesis mejora la retención?
El equipo de Netflix comenzó a explorar los datos del servicio al cliente: “¿Por qué los miembros llaman o envían correos electrónicos a Netflix con preguntas o quejas?” “¿En qué enlaces hacen clic cuando visitan las páginas de ayuda?” “¿Dónde se confunden los clientes?”
Con esta data analizada, decidieron ejecutar el siguiente plan de acción:
- Hablaron con los nuevos usuarios en sesiones individuales y grupos focales.
- Pidieron a un pequeño grupo de usuarios que escribieran un diario describiendo su actividad semanal en la plataforma.
- Analizaron los datos existentes para el flujo de registro de nuevos miembros, así como sus primeras semanas con el servicio.
Después de estos ejercicios, el equipo se dio cuenta de que había un punto de confusión entre los nuevos usuarios: el primer servicio de DVD por correo de Netflix requería que los clientes crearan una lista ordenada de películas que les gustaría recibir por correo.
Sin embargo, algunos de los nuevos usuarios no eran capaces de agregar ningún video a su «cola» de Netflix. Algunos otros eligieron un plan, ingresaron la información de su tarjeta de crédito y luego preguntaron: «¿Y ahora qué?» Además, la idea de agregar al menos tres títulos a su “cola” confundía mucho a los nuevos clientes.
El equipo de Netflix identificó que simplificar el proceso de registro facilitaría a los clientes la creación de una lista de películas.
La métrica simple (proxy) que idearon fue: «El porcentaje de nuevos usuarios que agregan al menos tres títulos a su cola durante su primera sesión».
Después de hacer que el registro fuera más simple, el equipo de Netflix pudo constatar que el 70% de los nuevos usuarios habían agregado al menos tres títulos a su cola durante su primera sesión. A finales de año, después de una serie de experimentos rápidos, pudieron aumentar este porcentaje al 90%. Durante el mismo período, impulsaron la retención del primer mes del 88% al 90%: tanto la métrica de nivel superior (retención) como la métrica de proxy «simple» se habían movido juntas. Estaban correlacionadas.
Aprendizaje:
El uso directo de una métrica de alto nivel como la retención para todos los proyectos puede no ser siempre factible.
Las métricas de nivel inferior (proxy) son más fáciles y rápidas de mover que una métrica de compromiso de alto nivel. Idealmente, mover una métrica de proxy válida mejorará la métrica de alto nivel (por ejemplo, retención para Netflix), lo que demuestra una correlación entre los dos. Más tarde, será posible probar la causalidad a través de una prueba A / B.
