Maturity & Metrics

Delivery Agility Index

Un mismo modelo para todos los Flight Levels: primero el problema, luego el modelo y finalmente cómo calcularlo.

01 / Metrics & Maturity

Medimos aquello que queremos mejorar

Uno de los principios fundamentales del IA-BDF es que las métricas no son un mecanismo de control, sino una herramienta para comprender, mejorar y evolucionar el sistema de generación de valor.

Sin embargo, existe una realidad ampliamente observada en la gestion organizacional: las métricas no solo describen el comportamiento del sistema; también lo modifican.

Tell me how you measure me, and I will tell you how I will behave.

Cuando una organización decide medir algo, inevitablemente envía un mensaje a todas las personas acerca de que considera importante.

Idea clave: Las métricas cuentan la historia de aquello que realmente le importa a la organización.
  • Si una empresa mide únicamente velocidad, las personas optimizarán velocidad.
  • Si únicamente mide cumplimiento, optimizarán cumplimiento.
  • Si únicamente mide reducción de costos, optimizarán costos.
  • Si mide simultáneamente la calidad de las decisiones, el aprendizaje, el uso efectivo de la IA, la confiabilidad y el flujo, el comportamiento colectivo comenzará a orientarse hacia esas capacidades.

Las métricas, por tanto, no son neutrales. Son uno de los mecanismos más poderosos para influir en la evolución del sistema.

Este principio está alineado con las ideas de Eliyahu Goldratt sobre el impacto de las métricas en el comportamiento organizacional y con la visión sistémica de W. Edwards Deming, quien defendía que las mediciones deben utilizarse para comprender y mejorar el sistema, no únicamente para controlar personas.

02 / Punto de partida

Qué se mide normalmente

Durante muchos años el desarrollo de software se evaluó mediante indicadores como:

Velocity Story Points Lead Time Throughput Cumplimiento del Sprint Say / Do Defectos Disponibilidad

Todos ellos continúan siendo útiles. Pero fueron diseñados para responder otra pregunta:

¿Qué tan eficientemente construimos software?

En la era de la Inteligencia Artificial el principal cuello de botella dejó de ser construir software. Ahora el desafío consiste en decidir correctamente qué construir, aprender rápidamente del mercado y transformar ese aprendizaje en impacto de negocio.

Por esta razón el IA-BDF mide el sistema completo y no únicamente la ejecución del desarrollo.

03 / Balance del sistema

Por qué medir múltiples dimensiones

Los sistemas complejos rara vez pueden optimizarse mediante una única métrica.

01

Velocidad sin uso

Un equipo puede entregar muy rápido y construir funcionalidades que nadie utiliza.

02

Experimentos sin confianza

Otro puede experimentar constantemente, pero generar soluciones poco confiables.

03

Calidad sin aprendizaje

Otro puede producir software de excelente calidad técnica, pero tardar meses en validar una hipótesis.

Cada uno optimiza una parte del sistema mientras deteriora otra. El IA-BDF evita este problema observando simultáneamente las capacidades que determinan la generación sostenible de valor.

04 / Vision ejecutiva

Por qué utilizar un índice compuesto

Las organizaciones necesitan observar cientos de indicadores operativos. Sin embargo, la alta dirección necesita responder una pregunta mucho más simple:

¿Está mejorando nuestro sistema?

Para responder esta pregunta, el IA-BDF utiliza índices compuestos. Un índice compuesto integra múltiples indicadores en una única medida, permitiendo evaluar el sistema de manera equilibrada y evitando optimizaciones locales.

El objetivo no es reemplazar las métricas individuales. Su propósito es ofrecer una visión ejecutiva del estado general del sistema.

05 / Modelo de medición

Las cinco dimensiones del IA-BDF

El framework evalúa cinco dimensiones fundamentales.

25%

Decision Quality

Evalúa la calidad de las decisiones sobre qué construir.

  • % de iniciativas con hipótesis claramente definidas.
  • % de apuestas que generan impacto medible.
20%

Learning & Experimentation

Evalúa la velocidad y calidad del aprendizaje organizacional.

  • Experimentos ejecutados.
  • % de experimentos que producen aprendizajes accionables.
20%

AI Leverage

Evalúa que tanto la Inteligencia Artificial amplifica la capacidad del sistema.

  • % del trabajo realizado con asistencia de IA.
  • Tiempo desde la idea hasta el primer prototipo funcional.
20%

Quality & Trust

Evalúa la confiabilidad de las soluciones construidas.

  • Cobertura de pruebas.
  • Incidentes críticos.
  • Validaciones de seguridad.
  • Evidencia de pruebas exploratorias.
15%

Flow

Evalúa la velocidad real del sistema.

  • Lead Time end-to-end.
  • Tiempo desde la hipótesis hasta la decisión.
  • Trabajo bloqueado por dependencias.
Regla del sistema: Si cualquiera de estas cinco dimensiones falla, el sistema completo pierde efectividad.

06 / Adaptación contextual

Las métricas no son el objetivo

Cada dimensión puede medirse mediante múltiples indicadores. El IA-BDF no impone una lista única de métricas. Cada organización puede seleccionar los indicadores que mejor representen su contexto.

Por ejemplo, la dimensión Decision Quality puede medirse así:

Indicador Pod Ecosistema Organización
% de iniciativas con hipótesis completas Hipótesis del Pod Apuestas del Ecosistema Iniciativas estratégicas
% de iniciativas que alcanzan el criterio de éxito Experimentos exitosos Apuestas exitosas Iniciativas exitosas

La dimensión permanece exactamente igual. Lo único que cambia es el nivel donde se observa el sistema.

07 / Madurez

Qué es la madurez

La madurez representa la capacidad del sistema para generar impacto de forma consistente.

  • No mide personas.
  • No mide desempeño individual.
  • No evalúa el cumplimiento de un proceso.
  • Evalúa la capacidad colectiva para tomar buenas decisiones, aprender, aprovechar la IA, construir con confianza y mantener un flujo sostenible.

Cada una de las cinco dimensiones se evalúa utilizando una escala común.

Nivel Significado
1Reactivo
2Básico
3Funcional
4Orientado al impacto
5AI-Native

08 / Fórmula

Cálculo de la madurez

La madurez del sistema se calcula mediante la siguiente expresión:

Madurez =
  (Decision x 0.25) +
  (Learning x 0.20) +
  (AI x 0.20) +
  (Quality & Trust x 0.20) +
  (Flow x 0.15)

El resultado siempre estará comprendido entre 1 y 5.

Ejemplo de cálculo de la madurez

Supongamos un Pod con la siguiente evaluación:

Dimension Nivel
Decision Quality4
Learning & Experimentation3
AI Leverage5
Quality & Trust4
Flow3

Aplicando la fórmula:

Madurez = (4 x 0.25) + (3 x 0.20) + (5 x 0.20) + (4 x 0.20) + (3 x 0.15)
Madurez = 3.85

Este resultado indica que el Pod posee un nivel de madurez cercano al Nivel 4 (Orientado al impacto) y que sus principales oportunidades de mejora se encuentran en acelerar el aprendizaje y optimizar el flujo.

09 / Delivery Agility Index

Qué resultados produce el sistema

Mientras la madurez responde:

¿Qué tan capaz es nuestro sistema?

El Delivery Agility Index responde:

¿Qué resultados está produciendo actualmente ese sistema?

El DAI es un indicador ejecutivo compuesto que integra información proveniente de la madurez organizacional, los resultados del negocio, la satisfacción de colaboradores y clientes, y la capacidad de aprendizaje mediante experimentación.

Cada componente se normaliza en un rango entre 0 y 1. Ningún componente puede aportar más de 1, aunque supere el objetivo establecido. Esto garantiza que ninguna dimensión domine el índice y mantiene el equilibrio entre todas las capacidades del sistema.

10 / Componentes

Componentes del Delivery Agility Index

Componente Peso
Equipos con madurez >= Nivel 320%
Equipos AI-Native (Nivel 5)10%
eNPS10%
Resultados de negocio alcanzados25%
NPS de productos o servicios15%
Experimentos ejecutados10%
Experimentos exitosos10%

La suma de todos los componentes produce un valor entre 0 y 1.

11 / Experimentación

La normalización de los experimentos

El componente de experimentación se calcula mediante:

Valor = min(Experimentos ejecutados / Objetivo anual, 1)

El valor de referencia de 1.000 experimentos por año no representa un estándar universal. Corresponde a un parámetro inicial de normalización sugerido para organizaciones de gran tamaño.

Empresas digitales altamente orientadas a la experimentación, como Amazon, Microsoft, Google, Booking.com o Netflix, ejecutan desde miles hasta decenas de miles de experimentos al año sobre sus diferentes productos y servicios.

Por esta razón, el IA-BDF no considera 1.000 experimentos como una meta obligatoria, sino como un valor de referencia para iniciar la medición.

Cada organización debería definir su objetivo anual de experimentación de acuerdo con su tamaño, contexto y nivel de madurez.

Regla de comparabilidad: Ese objetivo debe permanecer estable durante todo el año y revisarse únicamente al inicio del siguiente ciclo anual. Modificar continuamente la meta modificaría también el comportamiento del sistema, dificultando la comparación de resultados entre períodos.

12 / Ejemplo de cálculo

Ejemplo de cálculo del DAI

Organización

Una empresa define un objetivo anual de 1.000 experimentos. Al cierre del primer trimestre obtiene:

Indicador Valor
Equipos con madurez >= 382%
Equipos AI-Native28%
eNPS74
Resultados de negocio91%
NPS clientes76
Experimentos ejecutados260
Experimentos exitosos68%

Normalización del componente de experimentación:

260 / 1000 = 0.26

Resultado:

DAI = 0.20x0.82 + 0.10x0.28 + 0.10x0.74 + 0.25x0.91 + 0.15x0.76 + 0.10x0.26 + 0.10x0.68
DAI = 0.7015

Ecosistema

Un Ecosistema conformado por cinco Pods define un objetivo anual de 250 experimentos. Durante el primer trimestre ejecuta 68 experimentos.

68 / 250 = 0.272

Aplicando exactamente la misma fórmula se obtiene su DAI utilizando los indicadores propios del Ecosistema.

Pod

Un Pod define un objetivo anual de 50 experimentos. Durante el trimestre ejecuta 14 experimentos.

14 / 50 = 0.28

El cálculo es exactamente el mismo. Lo único que cambia es la escala del sistema observado.

13 / Flight Levels

Un mismo modelo para todos los Flight Levels

Uno de los principios del IA-BDF es utilizar el mismo modelo de medición en toda la organización.

Las cinco dimensiones, el modelo de madurez y el Delivery Agility Index pueden calcularse para un Pod, un Ecosistema o una organización completa.

La diferencia no está en el modelo de medición. La diferencia está en el alcance del sistema observado y en los parámetros de referencia definidos para cada nivel.

P

Pod

Observa el aprendizaje, el flujo y los resultados del equipo que ejecuta experimentos.

E

Ecosistema

Integra el desempeño de varios Pods y sus apuestas compartidas.

O

Organización

Permite una lectura ejecutiva del sistema completo y su evolución.

Resultado: Todos los niveles hablan un mismo lenguaje de desempeño, aprendizaje y evolución, facilitando la comparación, la toma de decisiones y la mejora continua del sistema completo.