Entender
Calculadora de significancia para un test A/B
Calculadora de significancia para un test A/B. El experimento de reparto parejo ya cuenta impresiones y conversiones. Esta página convierte esas dos filas en un valor p, un intervalo, una probabilidad de que B vaya por delante y una estimación del tamaño de muestra.
Entender el laboratorioCómo usarlo y por qué querrías hacerlo
Por qué querrías hacerlo
Dos conteos de brazos se vuelven un valor p de dos proporciones, un intervalo sin agrupar, una probabilidad de que B vaya por delante y una estimación del tamaño de muestra. Después de Aceptar se encola el origen de los datos, no el valor p.
Cómo usarlo
- Usa los brazos almacenados, o pasa a la muestra etiquetada.
- La prueba compara las dos tasas.
- Los sorteos Beta estiman la probabilidad de que B vaya por delante.
- La línea de tamaño de muestra son impresiones por brazo. El valor p se queda aquí.
Conteos A/B
Estas son las filas de reparto parejo del laboratorio de experimentos.
Leyendo la tabla del experimento…
Qué significan los números
- El valor p supone que las dos tasas son iguales. Es la probabilidad de una brecha al menos así de grande bajo ese supuesto. No es la probabilidad de que B sea mejor.
- El intervalo es la tasa de B menos la tasa de A, más y menos 1.96 veces el error estándar sin agrupar. Unos 95 de cada 100 repeticiones de este mismo test producirían un intervalo que cubre la brecha real.
- La probabilidad usa un sorteo Beta(1 + conversions, 1 + impressions − conversions) por brazo, 4,000 veces. Es la parte de los sorteos en la que la tasa de B es más alta. Los 1 son una a priori plana.
- Visitantes por brazo para una potencia del 80% en un test bilateral al 5%: (1.96 + 0.84)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)². p₁ es la tasa del brazo A, o el 4% cuando esa tasa sigue en cero. p₂ es p₁ más el incremento que escribes.
Unas 1861 impresiones por brazo.
RecorridoCómo lo hicimosMostrarOcultar
El ajuste de proveedor de ejemplo está marcado abajo. Los números de eVar y de event son ejemplos. Este laboratorio no llama a Adobe.
El laboratorio de significancia convierte dos conteos de brazos en un valor p de dos proporciones, un intervalo sin agrupar, una probabilidad Beta de que B vaya por delante y una estimación del tamaño de muestra. Después de Aceptar encola significance_view con data_source, y el laboratorio no llama a Adobe.
Leer los brazos almacenados o la muestra etiquetada
La página carga /api/significance. Cuando el payload dice thin, pasa a sampleArms: 48 y 72 conversiones en 1.200 impresiones. Esas filas no son la base de datos.
Probar las dos tasas
twoProportion divide las conversiones por las impresiones, las agrupa para una puntuación z y usa una cola normal bilateral para el valor p. El intervalo usa el error estándar sin agrupar por 1,96.
Sortear muestras Beta para la probabilidad
probabilityToBeat sortea cada brazo 4.000 veces con sampleBeta y devuelve la parte de sorteos en la que B es más alta. Menos de una impresión en cualquier brazo devuelve null.
Estimar impresiones por brazo
sampleSizePerArm usa la tasa del brazo A, o el 4 por ciento cuando esa tasa sigue en cero, más el incremento escrito en la página. La fórmula es la potencia habitual del 80 por ciento y un tamaño bilateral del 5 por ciento.
Enviar el origen, no el valor p
Después de Aceptar, y después de que el payload haya cargado, significance_view lleva data_source sample o stored. Las tasas, el valor p, el intervalo y la probabilidad se quedan en la página.
Del código
z agrupada para el valor p, error sin agrupar para el intervalo. Los brazos vacíos devuelven null.
if (armA.impressions < 1 || armB.impressions < 1) return empty
const rateA = armA.conversions / armA.impressions
const rateB = armB.conversions / armB.impressions
const difference = rateB - rateA
const pooled = (armA.conversions + armB.conversions) / (armA.impressions + armB.impressions)
const se = Math.sqrt(pooled * (1 - pooled) * (1 / armA.impressions + 1 / armB.impressions))
const z = se === 0 ? 0 : difference / se
const pValue = se === 0 ? 1 : 2 * (1 - normalCdf(Math.abs(z)))
const seDiff = Math.sqrt((rateA * (1 - rateA)) / armA.impressions + (rateB * (1 - rateB)) / armB.impressions)
return {
rateA,
rateB,
difference,
z,
pValue,
ciLow: difference - Z_ALPHA * seDiff,
ciHigh: difference + Z_ALPHA * seDiff,
}Cuatro mil sorteos Beta. La parte en la que B es más alta es la probabilidad de la página.
function probabilityToBeat(armA: ArmCount, armB: ArmCount) {
if (armA.impressions < 1 || armB.impressions < 1) return null
let wins = 0
const draws = 4000
for (let index = 0; index < draws; index += 1) {
if (sampleBeta(armB.impressions, armB.conversions) > sampleBeta(armA.impressions, armA.conversions)) wins += 1
}
return wins / draws
}Google y Adobe
Google encola significance_view después de Aceptar. Adobe es un ejemplo de los mismos campos.
Después de Aceptar, y después de que los conteos del experimento hayan cargado, el laboratorio encola significance_view. data_source es sample o stored. Las tasas, el valor p, el intervalo y la probabilidad no son parámetros. Esto se encola solo después de Aceptar. Este sitio no llama a Adobe.
Forma simplificada del objeto encolado después de Aceptar. Registra cualquier parámetro nuevo como dimensión personalizada con alcance de evento. Este sitio no llama a gtag('set').
dataLayer.push({
event: "significance_view",
data_source: "stored",
})Implementación de ejemplo. Este sitio no llama a Adobe. eVar102, prop102 y event102 son números de variable de ejemplo. En Launch, un elemento de datos lee el valor y una regla lo envía cuando el valor cambia. En el report suite, habilita eVar102 con asignación Most Recent y haz que expire en el hit. Una processing rule no hace falta si el elemento de datos se mapea directo a esa eVar.
Payload de alloy de ejemplo. _example es un esquema de relleno, no un inquilino real.
alloy("sendEvent", {
xdm: {
eventType: "web.webinteraction.linkClicks",
_example: {
significanceSource: "stored",
},
},
})Hit de ejemplo. eVar102 tiene alcance de hit en este ejemplo. prop102 muere en el mismo hit.
s.eVar102 = "stored"
s.prop102 = "stored"
s.events = "event102"
s.linkTrackVars = "eVar102,prop102,events"
s.linkTrackEvents = "event102"
s.tl(true, "o", "significance_view")Traducción
Cada campo del laboratorio, el nombre en GA4 y la variable de Adobe de ejemplo. El alcance es la parte que suele perderse en la traducción.
Origen de los datos
GA4. Parámetro data_source en significance_view. Los valores son sample o stored.
Adobe. eVar102 de ejemplo, expira en el hit.
Alcance. Evento. Una propiedad de usuario recordaría sample después de que el visitante mire los conteos almacenados.
Valor p
GA4. No se envía.
Adobe. prop102 de ejemplo. No escribas el valor p en una prop. No se envía.
Alcance. Un cálculo en la página. No es una métrica de hit ni una propiedad de la visita.
Probabilidad de que B supere a A
GA4. No se envía. Es la parte de 4.000 sorteos Beta.
Adobe. eVar102 de ejemplo. No se envía.
Alcance. Una cuota calculada para esta vista. No es un valor de evento.
Impresiones por brazo
GA4. No se envía. sampleSizePerArm se queda en la página.
Adobe. prop102 de ejemplo. No se envía.
Alcance. Un número de planificación. No es una propiedad de usuario ni un hit.
Recomendado a continuación
Por qué estas propuestasLeyendo las transiciones de recorrido…