01 / Metrics & Maturity
Medimos aquello que queremos mejorar
Uno de los principios fundamentales del IA-BDF es que las métricas no son un mecanismo de control, sino una herramienta para comprender, mejorar y evolucionar el sistema de generación de valor.
Sin embargo, existe una realidad ampliamente observada en la gestion organizacional: las métricas no solo describen el comportamiento del sistema; también lo modifican.
Tell me how you measure me, and I will tell you how I will behave.
Cuando una organización decide medir algo, inevitablemente envía un mensaje a todas las personas acerca de que considera importante.
- Si una empresa mide únicamente velocidad, las personas optimizarán velocidad.
- Si únicamente mide cumplimiento, optimizarán cumplimiento.
- Si únicamente mide reducción de costos, optimizarán costos.
- Si mide simultáneamente la calidad de las decisiones, el aprendizaje, el uso efectivo de la IA, la confiabilidad y el flujo, el comportamiento colectivo comenzará a orientarse hacia esas capacidades.
Las métricas, por tanto, no son neutrales. Son uno de los mecanismos más poderosos para influir en la evolución del sistema.
Este principio está alineado con las ideas de Eliyahu Goldratt sobre el impacto de las métricas en el comportamiento organizacional y con la visión sistémica de W. Edwards Deming, quien defendía que las mediciones deben utilizarse para comprender y mejorar el sistema, no únicamente para controlar personas.
02 / Punto de partida
Qué se mide normalmente
Durante muchos años el desarrollo de software se evaluó mediante indicadores como:
Todos ellos continúan siendo útiles. Pero fueron diseñados para responder otra pregunta:
¿Qué tan eficientemente construimos software?
En la era de la Inteligencia Artificial el principal cuello de botella dejó de ser construir software. Ahora el desafío consiste en decidir correctamente qué construir, aprender rápidamente del mercado y transformar ese aprendizaje en impacto de negocio.
Por esta razón el IA-BDF mide el sistema completo y no únicamente la ejecución del desarrollo.
03 / Balance del sistema
Por qué medir múltiples dimensiones
Los sistemas complejos rara vez pueden optimizarse mediante una única métrica.
Velocidad sin uso
Un equipo puede entregar muy rápido y construir funcionalidades que nadie utiliza.
Experimentos sin confianza
Otro puede experimentar constantemente, pero generar soluciones poco confiables.
Calidad sin aprendizaje
Otro puede producir software de excelente calidad técnica, pero tardar meses en validar una hipótesis.
Cada uno optimiza una parte del sistema mientras deteriora otra. El IA-BDF evita este problema observando simultáneamente las capacidades que determinan la generación sostenible de valor.
04 / Vision ejecutiva
Por qué utilizar un índice compuesto
Las organizaciones necesitan observar cientos de indicadores operativos. Sin embargo, la alta dirección necesita responder una pregunta mucho más simple:
¿Está mejorando nuestro sistema?
Para responder esta pregunta, el IA-BDF utiliza índices compuestos. Un índice compuesto integra múltiples indicadores en una única medida, permitiendo evaluar el sistema de manera equilibrada y evitando optimizaciones locales.
El objetivo no es reemplazar las métricas individuales. Su propósito es ofrecer una visión ejecutiva del estado general del sistema.
05 / Modelo de medición
Las cinco dimensiones del IA-BDF
El framework evalúa cinco dimensiones fundamentales.
Decision Quality
Evalúa la calidad de las decisiones sobre qué construir.
- % de iniciativas con hipótesis claramente definidas.
- % de apuestas que generan impacto medible.
Learning & Experimentation
Evalúa la velocidad y calidad del aprendizaje organizacional.
- Experimentos ejecutados.
- % de experimentos que producen aprendizajes accionables.
AI Leverage
Evalúa que tanto la Inteligencia Artificial amplifica la capacidad del sistema.
- % del trabajo realizado con asistencia de IA.
- Tiempo desde la idea hasta el primer prototipo funcional.
Quality & Trust
Evalúa la confiabilidad de las soluciones construidas.
- Cobertura de pruebas.
- Incidentes críticos.
- Validaciones de seguridad.
- Evidencia de pruebas exploratorias.
Flow
Evalúa la velocidad real del sistema.
- Lead Time end-to-end.
- Tiempo desde la hipótesis hasta la decisión.
- Trabajo bloqueado por dependencias.
06 / Adaptación contextual
Las métricas no son el objetivo
Cada dimensión puede medirse mediante múltiples indicadores. El IA-BDF no impone una lista única de métricas. Cada organización puede seleccionar los indicadores que mejor representen su contexto.
Por ejemplo, la dimensión Decision Quality puede medirse así:
| Indicador | Pod | Ecosistema | Organización |
|---|---|---|---|
| % de iniciativas con hipótesis completas | Hipótesis del Pod | Apuestas del Ecosistema | Iniciativas estratégicas |
| % de iniciativas que alcanzan el criterio de éxito | Experimentos exitosos | Apuestas exitosas | Iniciativas exitosas |
La dimensión permanece exactamente igual. Lo único que cambia es el nivel donde se observa el sistema.
07 / Madurez
Qué es la madurez
La madurez representa la capacidad del sistema para generar impacto de forma consistente.
- No mide personas.
- No mide desempeño individual.
- No evalúa el cumplimiento de un proceso.
- Evalúa la capacidad colectiva para tomar buenas decisiones, aprender, aprovechar la IA, construir con confianza y mantener un flujo sostenible.
Cada una de las cinco dimensiones se evalúa utilizando una escala común.
| Nivel | Significado |
|---|---|
| 1 | Reactivo |
| 2 | Básico |
| 3 | Funcional |
| 4 | Orientado al impacto |
| 5 | AI-Native |
08 / Fórmula
Cálculo de la madurez
La madurez del sistema se calcula mediante la siguiente expresión:
Madurez =
(Decision x 0.25) +
(Learning x 0.20) +
(AI x 0.20) +
(Quality & Trust x 0.20) +
(Flow x 0.15)
El resultado siempre estará comprendido entre 1 y 5.
Ejemplo de cálculo de la madurez
Supongamos un Pod con la siguiente evaluación:
| Dimension | Nivel |
|---|---|
| Decision Quality | 4 |
| Learning & Experimentation | 3 |
| AI Leverage | 5 |
| Quality & Trust | 4 |
| Flow | 3 |
Aplicando la fórmula:
Madurez = (4 x 0.25) + (3 x 0.20) + (5 x 0.20) + (4 x 0.20) + (3 x 0.15)
Madurez = 3.85
Este resultado indica que el Pod posee un nivel de madurez cercano al Nivel 4 (Orientado al impacto) y que sus principales oportunidades de mejora se encuentran en acelerar el aprendizaje y optimizar el flujo.
09 / Delivery Agility Index
Qué resultados produce el sistema
Mientras la madurez responde:
¿Qué tan capaz es nuestro sistema?
El Delivery Agility Index responde:
¿Qué resultados está produciendo actualmente ese sistema?
El DAI es un indicador ejecutivo compuesto que integra información proveniente de la madurez organizacional, los resultados del negocio, la satisfacción de colaboradores y clientes, y la capacidad de aprendizaje mediante experimentación.
Cada componente se normaliza en un rango entre 0 y 1. Ningún componente puede aportar más de 1, aunque supere el objetivo establecido. Esto garantiza que ninguna dimensión domine el índice y mantiene el equilibrio entre todas las capacidades del sistema.
10 / Componentes
Componentes del Delivery Agility Index
| Componente | Peso |
|---|---|
| Equipos con madurez >= Nivel 3 | 20% |
| Equipos AI-Native (Nivel 5) | 10% |
| eNPS | 10% |
| Resultados de negocio alcanzados | 25% |
| NPS de productos o servicios | 15% |
| Experimentos ejecutados | 10% |
| Experimentos exitosos | 10% |
La suma de todos los componentes produce un valor entre 0 y 1.
11 / Experimentación
La normalización de los experimentos
El componente de experimentación se calcula mediante:
Valor = min(Experimentos ejecutados / Objetivo anual, 1)
El valor de referencia de 1.000 experimentos por año no representa un estándar universal. Corresponde a un parámetro inicial de normalización sugerido para organizaciones de gran tamaño.
Empresas digitales altamente orientadas a la experimentación, como Amazon, Microsoft, Google, Booking.com o Netflix, ejecutan desde miles hasta decenas de miles de experimentos al año sobre sus diferentes productos y servicios.
Por esta razón, el IA-BDF no considera 1.000 experimentos como una meta obligatoria, sino como un valor de referencia para iniciar la medición.
Cada organización debería definir su objetivo anual de experimentación de acuerdo con su tamaño, contexto y nivel de madurez.
12 / Ejemplo de cálculo
Ejemplo de cálculo del DAI
Organización
Una empresa define un objetivo anual de 1.000 experimentos. Al cierre del primer trimestre obtiene:
| Indicador | Valor |
|---|---|
| Equipos con madurez >= 3 | 82% |
| Equipos AI-Native | 28% |
| eNPS | 74 |
| Resultados de negocio | 91% |
| NPS clientes | 76 |
| Experimentos ejecutados | 260 |
| Experimentos exitosos | 68% |
Normalización del componente de experimentación:
260 / 1000 = 0.26
Resultado:
DAI = 0.20x0.82 + 0.10x0.28 + 0.10x0.74 + 0.25x0.91 + 0.15x0.76 + 0.10x0.26 + 0.10x0.68
DAI = 0.7015
Ecosistema
Un Ecosistema conformado por cinco Pods define un objetivo anual de 250 experimentos. Durante el primer trimestre ejecuta 68 experimentos.
68 / 250 = 0.272
Aplicando exactamente la misma fórmula se obtiene su DAI utilizando los indicadores propios del Ecosistema.
Pod
Un Pod define un objetivo anual de 50 experimentos. Durante el trimestre ejecuta 14 experimentos.
14 / 50 = 0.28
El cálculo es exactamente el mismo. Lo único que cambia es la escala del sistema observado.
13 / Flight Levels
Un mismo modelo para todos los Flight Levels
Uno de los principios del IA-BDF es utilizar el mismo modelo de medición en toda la organización.
Las cinco dimensiones, el modelo de madurez y el Delivery Agility Index pueden calcularse para un Pod, un Ecosistema o una organización completa.
La diferencia no está en el modelo de medición. La diferencia está en el alcance del sistema observado y en los parámetros de referencia definidos para cada nivel.
Pod
Observa el aprendizaje, el flujo y los resultados del equipo que ejecuta experimentos.
Ecosistema
Integra el desempeño de varios Pods y sus apuestas compartidas.
Organización
Permite una lectura ejecutiva del sistema completo y su evolución.