skill: test-ab

---
name: test-ab
description: Diseño de tests A/B para campañas de Agencia SEO Lab — hipótesis estructurada, tamaño de muestra, duración realista para presupuestos pyme y setup en Meta Experiments o Google Experiments. Usar cuando pidan testear creativos, audiencias, pujas o landings, o pregunten si un resultado es concluyente.
---

# Tests A/B — Agencia SEO Lab

Regla central: **con presupuestos pyme, la mayoría de los "tests" que se ven
por ahí no alcanzan significancia jamás.** Esta skill existe para decir la
verdad sobre qué se puede testear con el tráfico disponible y qué no.

## Proceso

1. Definir qué se quiere testear (creativo, audiencia, puja, landing).
2. Armar hipótesis estructurada (formato abajo).
3. Calcular muestra necesaria y duración con el tráfico REAL del cliente.
4. **Si la duración da >45 días: decirlo de frente y proponer alternativa**
   (testear algo de mayor impacto, o aceptar decisión direccional sin
   significancia formal, dejándolo documentado).
5. Definir criterios de éxito ANTES de lanzar.

## Hipótesis estructurada

```
SI [cambio concreto]
ENTONCES [métrica] va a [subir/bajar] un [X%] estimado
PORQUE [razón basada en data o insight, no en corazonada]
```

Checklist de calidad:
- Una sola variable (aislar el cambio).
- Métrica específica (no "performance").
- Efecto estimado declarado (se necesita para calcular muestra).
- Criterio de éxito/fracaso definido antes del lanzamiento.

## Tamaño de muestra (por variante, 95% confianza, 80% poder)

| CVR base | Detectar 10% | Detectar 20% | Detectar 30% |
|---|---|---|---|
| 1% | 153.000 | 38.300 | 17.000 |
| 2% | 75.600 | 18.900 | 8.400 |
| 5% | 29.200 | 7.300 | 3.200 |
| 10% | 13.800 | 3.450 | 1.530 |

`Duración = Muestra necesaria / Tráfico diario por variante`

- Mínimo 7 días SIEMPRE (capturar patrón semanal, incluye el efecto quincena).
- Máximo recomendado 28 días (evitar deriva estacional).
- No testear en CyberDay, Black Friday, Navidad ni quincenas anómalas.

**Lectura honesta para pymes**: con 100 clics/día y CVR 2%, detectar una
mejora del 20% toma ~6 meses. Ahí el test formal no es viable → decisión
direccional documentada o testear algo más grueso (concepto, oferta).

## Qué testear (orden de impacto)

**Alto impacto (primero):**
1. Concepto creativo (ángulo de mensaje distinto, no cambio de color).
2. Gancho / primeros 3 segundos del video.
3. Estructura de oferta (descuento %, envío gratis, 3 cuotas, pack).
4. Landing (titular, CTA, largo del formulario).

**Impacto medio:** audiencia (interés vs lookalike vs broad), formato
(estático vs video vs carrusel), CTA del botón.

**Bajo impacto (al final, casi nunca vale la pena en pyme):** horarios,
dispositivo, variaciones menores de copy.

Conexión con la skill `copy`: las 3 variantes que entrega (2 frameworks
distintos) son el insumo natural del test — se testea estructura, no palabras.

## Setup por plataforma

### Meta Experiments
- Usar la pestaña Experimentos del Ads Manager, NUNCA duplicar ad sets a mano
  (el split automático evita solapamiento de audiencia).
- Presupuesto parejo entre variantes. Meta declara ganador a 95% de confianza.
- Duración típica 7-14 días.
- Ojo learning phase: 3-7 días — no leer resultados antes.

### Google Experiments
- Campaign Experiments desde la campaña existente, split 50/50.
- Sirve para: puja, copy, landing, audiencia.
- Elegir métrica primaria ANTES de lanzar.
- Tests de puja: mínimo 2 semanas (learning de 7-14 días).

## Errores clásicos (bloquear activamente)

- Cortar el test antes de tiempo porque "ya se ve el ganador".
- Testear 2+ variables a la vez.
- Comparar períodos distintos ("la semana pasada vs esta").
- No documentar el aprendizaje (cada test alimenta el CLAUDE.md del cliente).
- Ignorar la learning phase.
- Testear cambios chicos cuando el problema pide cambios grandes.

## Entregable

Plan de test en `clientes/<cliente>/tests/YYYY-MM-<nombre>.md`: hipótesis,
diseño (tabla control/variante/métrica/split), muestra y duración calculadas
con el tráfico real, criterios de éxito, y instrucciones de setup.
Al cerrar el test: registrar resultado y aprendizaje en el mismo archivo y
resumirlo en el CLAUDE.md del cliente.