En sus comienzos, Netflix decidió que quería centrarse en la tasa mensual de retención de clientes (churn) como su métrica principal del negocio (alto nivel). Esto significó que cada estrategia o característica nueva del producto o de la empresa debía tener como objetivo mover directa o indirectamente la aguja dentro de esa métrica. Es decir, el propósito final de todas las acciones realizadas dentro de la empresa estaban encaminadas a retener a sus clientes actuales.

Sin embargo, usar la retención como métrica para todos los proyectos no es factible para una startup pues, en general, es un indicador muy difícil de alterar. Además, probar una mejora de retención de una característica o servicio de producto recién implementada requiere pruebas A / B a gran escala. ¡Y mucho tiempo en validar e interpretar los resultados!

Por eso, existen otro tipo de métricas de nivel inferior (llamadas métricas de proxy) que son mucho más fáciles y rápidas de mover (en comparación con las métricas de alto nivel como la retención).  Las métricas de proxy están directamente relacionadas con una característica del producto y, por lo tanto, son más fáciles de medir. 

Idealmente, mover un proxy mejorará la métrica de alto nivel (por ejemplo, retención para Netflix), demostrando una correlación entre los dos. Más tarde, puede probar la causalidad mediante una prueba A / B.

¿Cómo hizo Netflix para mejorar su producto y terminar convirtiéndose en el gigante que es hoy en día?

Primero, estableció su hipótesis de alto nivel: “Crear una experiencia altamente personalizada mejorará la retención”. Luego identificaron un montón de métricas proxy y realizaron una lluvia de ideas sobre proyectos / características de productos para mover estos indicadores. Estos son algunos ejemplos de proxys que utilizó Netflix para mejorar la retención de sus usuarios:

– % de miembros que agregan al menos un miembro a su lista de «Amigos» dentro de los seis meses. La suposición era que la métrica de proxy de Friends necesitaba superar el 20% para lograr una mejora significativa de la retención.

– % de miembros que transmiten al menos 15 minutos de video en un mes.

– % de miembros que agregan al menos seis DVD a su cola en un mes (facilitan a los miembros encontrar y agregar películas a su lista).

– % de nuevos miembros que califican al menos 50 películas en sus primeras seis semanas con el servicio. Esta métrica fue el proxy que utilizó Netflix para posteriormente canalizar sus esfuerzos de personalización.

De esta manera, una vez que un aumento en la métrica proxy refleja un aumento en la métrica de nivel superior (en este caso, retención), se establece la correlación y se intenta medir el impacto.  Así, Netflix puede ejecutar una prueba A / B con o sin esa proxy para averiguar si es la realmente responsable de aumentar la retención.

Aprendizaje:

Tratar de medir directamente una métrica de nivel superior en todo el producto puede ser difícil cuando el producto tiene tantas partes móviles como Netflix. Te aconsejamos definir métricas de proxy de nivel inferior y luego establecer su relación con la métrica de nivel superior para conseguir un enfoque más riguroso.