Qué es un test A/B y cómo hacerlo bien: hipótesis, muestra y resultados

Un test A/B es un experimento que divide al azar el tráfico entre dos versiones de una página, correo o anuncio para saber, con datos reales, cuál logra mejor una métrica definida de antemano. Bien hecho, reemplaza la discusión de opiniones por evidencia. Mal hecho, produce “ganadores” que al implementarse no mueven nada. La diferencia está en el proceso: hipótesis, muestra, duración y lectura.

Cómo funciona un experimento A/B

La versión actual se llama control (A) y la versión con el cambio, variante (B). Cada visitante se asigna al azar a una de las dos y se mantiene en ella durante todo el experimento. Como ambos grupos navegan en el mismo período, con las mismas campañas y la misma estacionalidad, la diferencia en resultados se puede atribuir al cambio.

Existen variantes del método:

Tipo	Qué compara	Cuándo usarlo
A/B	Una versión contra otra	La mayoría de los casos
A/B/n	Control contra varias variantes	Tienes tráfico alto y varias ideas del mismo tipo
Multivariado	Combinaciones de varios elementos a la vez	Tráfico muy alto y quieres medir interacciones
Split URL	Dos páginas con URL distinta	Rediseños completos o cambios de plantilla

Si tienes dudas, parte por A/B. Cada variante adicional divide el tráfico y alarga el test.

Paso 1: una hipótesis que valga la pena probar

Una buena hipótesis sigue la estructura: “Si cambiamos X, esperamos Y, porque Z”.

• Mala: “Probemos el botón en verde”.
• Buena: “Si mostramos el costo de despacho en la ficha de producto, esperamos más inicios de checkout, porque en las grabaciones de sesión vemos usuarios que abandonan al descubrir ese costo en el carro”.

El “porque” es lo que convierte un test en aprendizaje. Si la variante pierde, igual sabes algo sobre tus clientes. Las mejores hipótesis salen de datos: embudos de Google Analytics, grabaciones de sesiones, mapas de calor, encuestas en el sitio, preguntas que recibe el equipo de ventas.

Para decidir qué probar primero, puntúa cada idea por impacto esperado, confianza en que funcione y facilidad de implementación. Es el mismo criterio que usamos en nuestro servicio de CRO para ordenar el backlog de experimentos.

Paso 2: define la métrica principal

Elige una sola métrica para declarar el ganador, y decídela antes de lanzar. Suele ser la tasa de conversión del objetivo que te importa (compra, lead, registro). Agrega métricas de control para vigilar efectos no deseados: una variante puede subir los registros y bajar el ticket promedio.

Evita elegir la métrica después de ver los datos. Si mides diez métricas, alguna mostrará una diferencia “significativa” por puro azar.

Paso 3: calcula el tamaño de muestra

El tamaño de muestra depende de cuatro variables:

• Tasa de conversión actual del control.
• Efecto mínimo detectable: la mejora más pequeña que te interesa confirmar.
• Nivel de confianza: la convención es 95 %.
• Potencia estadística: la convención es 80 %.

Cualquier calculadora de muestra de las plataformas de experimentación hace el cálculo con esos datos. La regla práctica: cuanto más baja tu tasa de conversión y más pequeño el efecto que buscas, más visitantes necesitas. Detectar una mejora de 5 % relativo exige muchísimo más tráfico que detectar una de 30 %.

Si el cálculo te dice que necesitas seis meses de tráfico, no lances el test así. Aumenta el efecto (prueba un cambio más audaz) o mide una métrica más frecuente.

Paso 4: lanza y no toques nada

Durante el experimento:

• No modifiques las versiones ni cambies la distribución de tráfico.
• Corre semanas completas para cubrir la diferencia entre días hábiles y fines de semana.
• Evita coincidir con eventos atípicos (Cyber, Black Friday) salvo que el test sea justamente para esas fechas.
• Revisa el primer día que la división sea cercana al 50/50. Si un grupo recibe notoriamente más visitas de lo esperado, hay un error técnico (se llama desajuste de proporción de muestra) y el resultado no es confiable.

Paso 5: lee el resultado con rigor

El error más común es mirar el test todos los días y detenerlo apenas aparece un ganador. Las diferencias fluctúan mucho al principio; si paras en el primer pico, multiplicas los falsos positivos. Espera a completar la muestra calculada.

Al cerrar, revisa:

1. Significancia: ¿la diferencia supera el umbral que fijaste?
2. Intervalo de confianza: una mejora “de 8 %” con un intervalo que va de 0,5 % a 15 % es mucho menos segura de lo que parece.
3. Segmentos: mira móvil y escritorio, tráfico nuevo y recurrente, pero no declares ganadores por segmento si no los planificaste; úsalos para generar la siguiente hipótesis.
4. Impacto en negocio: traduce la mejora a ingresos o leads al mes.

Documenta cada test: hipótesis, capturas, resultado y aprendizaje. Con el tiempo, ese registro vale más que cualquier ganador individual.

Tests A/B en anuncios y en el sitio

Los experimentos no son exclusivos de la web. Google Ads y Meta tienen herramientas para probar pujas, audiencias y creatividades con grupos divididos. La lógica es la misma, con una diferencia: en publicidad el algoritmo de entrega también influye, así que los tests de plataforma miden rendimiento dentro del canal, no necesariamente impacto incremental en ventas. Para esa pregunta existen los tests de incrementalidad, que explicamos en incrementalidad vs. ROAS.

Probar landing pages tiene un efecto directo sobre la inversión en medios: si la tasa de conversión sube, el costo por adquisición baja sin tocar las campañas. Por eso la experimentación es parte central de cualquier estrategia de performance, como explicamos en nuestra guía de performance marketing.

Errores que invalidan un test

• Probar sin hipótesis: si la variante gana, no sabes por qué ni cómo replicarlo.
• Parar antes de tiempo porque “ya se ve claro”.
• Cambiar varias cosas a la vez en un A/B simple y luego atribuir el resultado a una sola.
• Ignorar la estacionalidad: comparar una semana de liquidación con una normal.
• No verificar la implementación: una variante que carga más lento o se ve rota en móviles pierde por razones técnicas.
• Declarar ganadores por segmento que no estaban en el plan.

Herramientas

Google Optimize dejó de funcionar el 30 de septiembre de 2023. Hoy las opciones más usadas son plataformas dedicadas como VWO, Optimizely, AB Tasty o Convert, que se integran con Google Analytics 4 para analizar resultados. Si tu equipo de desarrollo tiene capacidad, la división de tráfico en el servidor evita el parpadeo que a veces producen las herramientas del lado del navegador.

Cómo seguir

Un programa de experimentación rinde cuando es constante: un backlog priorizado, uno o dos tests corriendo siempre y un registro de aprendizajes. En Sprint LATAM combinamos análisis cuantitativo, investigación con usuarios y experimentos en el sitio y en los anuncios dentro de nuestro trabajo de optimización de conversión y de growth. Si quieres saber qué probar primero en tu sitio, hablemos de la conversión de tu sitio.