Libro
Libro público de pruebas
Un lugar para leer una hipótesis, la variante, el reparto, la probabilidad bayesiana de un ganador, la regla de parada, la decisión y la evidencia.
En castellano claro
Un experimento muestra dos versiones de un siguiente paso y mira cuál se pulsa. Este sitio no hará esa prueba hasta que esté aprobada en el repositorio. Hasta entonces todo el mundo ve la página de siempre.
El consentimiento decide a quién se puede contar. La elección de medición vive en este navegador. Después de aceptar, el navegador también escribe una cookie de consentimiento que el edge puede ver. Sin esa cookie, el edge asigna el control, no escribe una cookie de asignación y no cuenta la visita. Una cookie se escribe solo para una prueba que está en marcha de verdad.
La probabilidad es una lectura bayesiana de dos tasas de cara o cruz. El intervalo de credibilidad es la banda en la que esas tasas probablemente están. La regla de parada se niega a nombrar un ganador antes de que la muestra y el calendario digan que la lectura tiene edad suficiente. Cuando la muestra es pequeña, la decisión es la frase “Todavía no hay datos suficientes.”
Cada cambio de estado se hashea, y cada hash incluye el anterior. La raíz es una huella corta de toda la lista. Puedes comprobar una entrada en esta página. Una entrada cambiada no va a coincidir.
Modo de demostración. KV o Upstash no está configurado, así que los conteos en vivo no se guardan. El experimento real muestra ceros. La sección de ejemplo está etiquetada como datos de ejemplo.
Esta petición desde el edge: control, no contada, no_consent.
Experimento real. Está configurado y no está en marcha.
Next step after a lab
After a lab, a next-step link that says Packages is clicked more often than a next-step link that says Another lab.
- Estado
- En espera de aprobación
- Variantes
- Another lab (control) → /lab/recommendationsPackages (packages) → /packages
- Reparto de tráfico
- El 20.0% de las visitas con consentimiento entra en la prueba, repartido por peso. El 10.0% es holdout y siempre ve el control. El resto ve el control y no se cuenta. Sin consentimiento, todo el mundo ve el control y no se cuenta.
- Regla de parada
- Beta-binomial con una priori uniforme. Un ganador necesita 200 exposiciones en cada brazo, 14 días y al menos un 95% de probabilidad de que una tasa sea mayor. Una muestra más pequeña nunca gana.
- Decisión
- Todavía no hay datos suficientes.
Evidencia
Holdout. 0 exposiciones, 0 conversiones.
Another lab. 0 exposiciones, 0 conversiones.
Packages. 0 exposiciones, 0 conversiones.
Another lab: media 50.0%, intervalo del 95% 2.5%–97.5%
Packages: media 50.0%, intervalo del 95% 2.5%–97.5%
Packages abriría la página de contacto. Another lab abriría el laboratorio de recomendaciones. Esos enlaces no se añaden a las páginas del laboratorio mientras este experimento espera aprobación.
Registro de Merkle
Raíz del experimento real. Comprueba una entrada aquí, o pega una.
2bcf83edc26f86de6e3262deec5b830134d2aae67fb9062bfd8d58dd372a629f
configured
c174282d6c44abdebe8bdfc74c804433af560812125308310a8c8f97fa7fda31
awaiting_approval
b1b34cf4e5fdc66d7ce996c3ba7c75c0bc429d990270e3622a81e57a8e818b6d
Comprobación causal
Todavía no hay datos suficientes.
La comparación del holdout necesita la muestra mínima en el holdout y en el grupo expuesto. La eliminación de Markov de este experimento todavía no tiene conteos de recorrido.
Datos de ejemplo. Estos conteos no son el tráfico de este sitio.
Example: next step after a lab
Example only. A Packages link is clicked more often than Another lab.
- Estado
- En espera de aprobación
- Variantes
- Another lab (control) → /lab/recommendationsPackages (packages) → /packages
- Reparto de tráfico
- El 20.0% de las visitas con consentimiento entra en la prueba, repartido por peso. El 10.0% es holdout y siempre ve el control. El resto ve el control y no se cuenta. Sin consentimiento, todo el mundo ve el control y no se cuenta.
- Regla de parada
- Beta-binomial con una priori uniforme. Un ganador necesita 200 exposiciones en cada brazo, 14 días y al menos un 95% de probabilidad de que una tasa sea mayor. Una muestra más pequeña nunca gana.
- Decisión
- Ganador: Packages
Evidencia
Holdout. 200 exposiciones, 18 conversiones.
Another lab. 400 exposiciones, 40 conversiones.
Packages. 400 exposiciones, 72 conversiones.
Another lab: media 10.2%, intervalo del 95% 7.4%–13.3%
Packages: media 18.2%, intervalo del 95% 14.5%–22.1%. Probabilidad de que esta tasa sea mayor: 99.9%.
Datos de ejemplo. No es el tráfico de este sitio.
Comprobación causal de ejemplo
Conversión del holdout 9.0%. Conversión expuesta 14.0%. Diferencia 5.0%.
Eliminación de Markov en este ejemplo
Probabilidad de llegar a contacto desde el laboratorio, y la misma probabilidad con un paso eliminado. Un efecto positivo significa que ese paso ayudaba.
- another-lab: 24.0% → 33.3% (-9.3%)
- packages: 24.0% → 8.0% (+16.0%)
Ejemplo de eliminación compartido
Datos de ejemplo. La misma eliminación que dibuja el laboratorio de atribución causal. Probabilidad base de convertir, y luego la parte de la caída que corresponde a cada página al quitarla.
- home: 39.3%
- lab: 26.2%
- consent: 9.8%
- packages: 24.6%
Test A/B en el edge, atribución causal, analítica verificable son los ejemplos trabajados. Este libro es la puerta en vivo.
Registro de ejemplo
5308acd15fc9c8abfa6d5903e71af688d846283aaa2bd4cbeebd80aa403a0c6b
example_configured
8fbb0aaf872266f1272db40904f5b7554d86fabee56b798315f517d46ad85f76
example_counts
d8aea25391184390c25d8aff9c75d32a4d0e49eb18d48f4b8b3261eb5b39591b
Sugiere una hipótesis
En el chat del sitio, empieza el mensaje con “Hypothesis:” o “Hipótesis:”. El mismo puntuador corre ahí. Solo un cambio en experiments/approved.json, hecho por Neil, puede encender una prueba.
El laboratorio de experimentos es una demo aparte de A/B y de bandit.
RecorridoCómo lo hicimosMostrarOcultar
El ajuste de proveedor de ejemplo está marcado abajo. Los números de eVar y de event son ejemplos. Este laboratorio no llama a Adobe.
El libro es una página pública. El edge asigna una variante solo después del consentimiento y solo cuando experiments/approved.json marca el experimento como aprobado y en marcha. Los conteos viven en KV o Upstash cuando esas variables están puestas. Si no, la página dice que está en modo de demostración y los números de muestra se etiquetan como datos de ejemplo.
Leer el archivo de aprobación
isLive es verdadero solo cuando el estado del catálogo es running, la fila no es un ejemplo y approved.json tiene ese id con approved en true. La prueba del siguiente paso no cumple eso, así que no corre.
Asignar antes de pintar
El proxy lee la cookie de consentimiento. Sin ella, o con Global Privacy Control, la visita es control y no se cuenta, y no se escribe una cookie de asignación. Una prueba en marcha reparte un id de visitante entre un holdout, una tajada de prueba del 20 por ciento o el resto sin contar.
Rechazar un ganador temprano
El posterior es un beta-binomial con una priori uniforme. La decisión sigue siendo “Todavía no hay datos suficientes.” hasta que cada brazo tiene la muestra mínima y la prueba lleva el mínimo de días, aunque un brazo haya convertido siempre.
Hashear cada cambio de estado
configured y awaiting_approval son entradas de un registro de solo añadir. Cada hash cubre el hash anterior. La página muestra la raíz de Merkle y comprueba una entrada en el navegador.
Puntuar ideas sin publicarlas
El formulario y un mensaje del chat que empieza por Hipótesis: guardan solo el texto. La puntuación es una rúbrica. El trabajo nocturno sigue apagado salvo EXPERIMENT_AGENT=1, y un ganador abre un pull request en borrador solo si EXPERIMENT_REPO_TOKEN está puesto. Nada se fusiona.
Del código
Puerta simplificada. La función real también rechaza las filas de ejemplo.
export function isLive(experiment, file) {
if (experiment.example) return false
if (experiment.status !== "running") return false
return file.experiments.some((entry) => entry.id === experiment.id && entry.approved === true)
}Regla de parada simplificada. Una muestra corta o pequeña vuelve antes de nombrar un ganador.
if (!sampleReady || !timeReady) {
return { label: "Not enough data yet.", winnerId: null }
}Google y Adobe
Después de Aceptar, un experimento en marcha encola experiment_conversion con experiment_id y variant. Adobe es un ejemplo de los mismos campos. Este sitio no llama a Adobe.
Cuando una prueba está en marcha de verdad, un clic en su llamada a la acción encola experiment_conversion después de Aceptar. experiment_id y variant son los parámetros. Este sitio no llama a gtag('set'). La prueba sembrada no está en marcha, así que ese push no se dispara.
Forma del push. Se envía solo después de Aceptar y solo para una asignación en marcha.
dataLayer.push({
event: "experiment_conversion",
experiment_id: "lab-next-step",
variant: "packages",
conversion_name: "packages_click",
})Implementación de ejemplo. Este sitio no llama a Adobe. eVar41, prop41 y event41 son números de variable de ejemplo.
Payload de alloy de ejemplo. _example no es un inquilino real.
alloy("sendEvent", {
xdm: {
eventType: "web.webinteraction.linkClicks",
_example: { experimentId: "lab-next-step", variant: "packages" },
},
})Hit de ejemplo. Estos números de variable no están configurados en este sitio.
s.eVar41 = "lab-next-step"
s.prop41 = "packages"
s.events = "event41"
s.tl(true, "o", "experiment_conversion")Traducción
Cada campo del laboratorio, el nombre en GA4 y la variable de Adobe de ejemplo. El alcance es la parte que suele perderse en la traducción.
Experimento
GA4. experiment_id
Adobe. eVar41, ejemplo
Alcance. Evento. Un id de prueba, no un id de visitante.
Variante
GA4. variant
Adobe. prop41, ejemplo
Alcance. Evento. control, packages, o el control del holdout.
Conversión
GA4. conversion_name en experiment_conversion
Adobe. event41, ejemplo
Alcance. Evento. packages_click o lab_click.
Consentimiento
GA4. El push se omite cuando el consentimiento está apagado.
Adobe. Tampoco hay llamada a Adobe.
Alcance. El edge no cuenta una visita sin la cookie de consentimiento.