Concept
Baseline, antes y después, esperado frente a real: ¿cuándo es suficiente la muestra?
Cómo compara VisibAI la métrica antes y después de un cambio y qué requisitos exige.
Baseline#
La línea base: el valor de la métrica antes del cambio, sacado de mediciones comparables.
Antes y después#
VisibAI compara la métrica antes y después de la fecha del cambio, solo con mediciones comparables.
Esperado frente a real#
- Esperado: lo que predijo el predictor al empezar, congelado.
- Real: lo que se observó después.
Así se ve si el predictor acertó, y el predictor aprende de ello.
¿Cuándo es suficiente la muestra?#
Un experimento necesita mediciones suficientes a cada lado del cambio. Si no las hay, el resultado se marca como insuficiente: no sacamos conclusiones con pocos datos.
Cómo se lee el resultado#
- Probable: la diferencia supera el margen de variación normal.
- No concluyente: no lo supera. Puede que no haya cambio, o que haga falta más ventana o más muestra.
Updated on
Was this article helpful?
Thanks for your feedback.
Related articles
Experimentos¿Por qué VisibAI no afirma causalidad? ¿Qué significa «observado tras»?Por qué los experimentos muestran qué pasó después de un cambio, no qué lo causó. Visibilidad en IA (AI Rank)¿Qué significa «no comparable»?Cuándo una medición se compara con las anteriores y cuándo no, y por qué importa. ¿Qué pasaría si…? (Predictor)¿Qué es el prior y el posterior? ¿Cómo aprende el predictor?El predictor parte de un supuesto general y lo ajusta con los resultados de tus acciones.
Didn’t find your answer?
Write to us and we will reply. If you have an account, use “Contact us” in the dashboard: it reaches us with your account context.