La Inteligencia Artificial tropieza en la práctica empresarial con un 45% de fracaso.

La inteligencia artificial (IA) ha avanzado significativamente en los últimos años, logrando superar exámenes de alto nivel y resolver problemas matemáticos complejos. Sin embargo, un reciente estudio de Databricks revela una desconexión significativa entre las capacidades de los agentes de IA en entornos académicos y su rendimiento en tareas empresariales del mundo real.

Databricks ha desarrollado un nuevo punto de referencia llamado OfficeQA, diseñado para evaluar la capacidad de los agentes de IA para manejar documentos complejos y responder a preguntas basadas en datos empresariales. A diferencia de los puntos de referencia existentes, que se centran en habilidades abstractas, OfficeQA simula las tareas que las empresas realmente necesitan que los agentes de IA realicen.

Según el estudio, incluso los mejores agentes de IA logran menos del 45% de precisión en tareas que reflejan cargas de trabajo empresariales reales. Esto expone una brecha crítica entre los puntos de referencia académicos y la realidad empresarial.

El equipo de Databricks identificó que las evaluaciones actuales de IA tienen deficiencias significativas desde la perspectiva empresarial. Por ejemplo, el punto de referencia HLE (Humanity’s Last Exam) requiere conocimientos de nivel doctoral en diversas áreas, mientras que ARC-AGI evalúa el razonamiento abstracto a través de la manipulación visual de cuadrículas coloreadas. Aunque estos puntos de referencia avanzan en las capacidades de la IA, no reflejan el trabajo diario en las empresas.

Una de las principales razones de esta desconexión es que las empresas necesitan que los agentes de IA manejen documentos complejos, como informes financieros y regulatorios, que contienen tablas anidadas, gráficos y figuras. Estos documentos a menudo se revisan y reeditan, lo que significa que existen múltiples respuestas válidas según la fecha de publicación.

Para crear un punto de referencia significativo, Databricks utilizó los Boletines del Tesoro de EE. UU., publicados durante ocho décadas, que contienen información financiera y económica compleja. El conjunto de datos abarca aproximadamente 89,000 páginas y presenta desafíos como imágenes escaneadas, estructuras de tablas jerárquicas y datos temporales.

Los resultados de las pruebas de OfficeQA son contundentes. Incluso los modelos más avanzados, como Claude Opus 4.5 Agent y GPT-5.1 Agent, lograron solo un 37.4% y un 43.5% de precisión, respectivamente, cuando se les proporcionaron documentos PDF sin procesar. Sin embargo, su rendimiento mejoró notablemente cuando se les proporcionaron versiones preprocesadas de los documentos.

El estudio también identificó tres hallazgos clave para las implementaciones empresariales de IA:

1. La parsers sigue siendo un bloqueador fundamental: Las tablas complejas con encabezados anidados y formatos inusuales a menudo producen valores desalineados.
2. La versión de los documentos crea ambigüedad: Los documentos financieros y regulatorios se revisan y reedita, lo que significa que existen múltiples respuestas válidas según la fecha de publicación.
3. El razonamiento visual es una brecha: Aproximadamente el 3% de las preguntas requieren la interpretación de gráficos o cuadros, donde los agentes actuales fallan sistemáticamente.

Para las empresas que planean implementar sistemas de agentes de IA para manejar documentos complejos, OfficeQA ofrece una evaluación realista. Los resultados sugieren que es crucial evaluar la complejidad de los documentos y planificar soluciones de procesamiento personalizadas para superar las limitaciones actuales de la IA.