El tip del 27 de diciembre del 2022

(Este consejo fue adaptado de “A Refresher on A/B Testing”, de Amy Gallo).

Las pruebas A/B se han vuelto una manera popular de evaluarlo todo, desde el diseño de sitios web hasta ofertas en internet y descripciones de productos. Sin embargo, muchos gerentes no diseñan estos experimentos con cuidado y dependen de software que les permite rastrear cientos de parámetros.

El problema es que si observas una cantidad tan amplia de parámetros, corres el riesgo de ver lo que los expertos en estadística llaman correlaciones falsas. En otras palabras, cuantas más cosas midas, es más probable que veas fluctuaciones aleatorias.

No estás haciendo una pregunta útil como “¿Qué está pasando con esta variable en específico?”, sino que estás preguntando “¿Qué cambios generales estoy viendo?” Así que diseña una prueba mejor decidiendo qué parámetros vas a observar antes de llevar a cabo un experimento.

Limítate a algunos parámetros. Si sabes exactamente en qué variable estás interesado y cómo la medirás, tienes una probabilidad mucho mayor de ver (e informar) resultados significativos.