Los «tres veces menos errores»: cuando la empresa es juez y parte

Por qué la validación independiente sigue siendo la gran ausente en las promesas corporativas de la inteligencia artificial

Te invito a imaginar por un instante una escena común en la investigación biomédica. Un laboratorio farmacéutico convoca a los medios para anunciar que ha desarrollado un medicamento capaz de reducir a una tercera parte las complicaciones de una patología compleja. Al solicitar el protocolo del ensayo clínico, descubres que el laboratorio diseñó el cuestionario, seleccionó a los pacientes bajo criterios no revelados, administró el compuesto a puerta cerrada y evaluó él mismo las respuestas en sus propias instalaciones, sin permitir que auditores externos examinen los datos brutos. En medicina, un anuncio semejante no superaría la primera ronda de revisión por pares. En la industria del software corporativo, sin embargo, suele convertirse de inmediato en titular de prensa.

El 15 de septiembre de 2026, Salesforce y NVIDIA hicieron público mediante un comunicado corporativo el lanzamiento de Koa, presentado como el primer modelo de razonamiento especializado en gestión de relaciones con clientes para su plataforma Agentforce. Según la documentación técnica distribuida por la empresa, Koa es el resultado de someter el modelo Nemotron 3 Super de NVIDIA a un proceso de postentrenamiento alimentado con datos sintéticos derivados de veintisiete años de flujos de trabajo en CRM, asegurando la no utilización de registros directos de clientes. En esa misma presentación, Salesforce afirmó que su modelo igualó o superó a los sistemas líderes de la industria en su propio banco de pruebas interno, cometiendo «tres veces menos errores».

A mi juicio, cuando leemos una afirmación tan rotunda, lo primero que debemos hacer como observadores rigurosos es separar los hechos comprobables de los recursos de persuasión comercial.

El examen que preparó el propio alumno

Mira lo que ocurre con la métrica central del anuncio. La expresión «tres veces menos errores» suena precisa, casi matemática. Pero en ciencia experimental, una tasa de error carece de significado si no conocemos con exactitud la naturaleza del banco de pruebas, la distribución de las tareas evaluadas y los modelos específicos contra los cuales se midió el desempeño.

Salesforce evaluó a Koa en un entorno diseñado por sus propios ingenieros. No estamos ante una batería de pruebas pública, estandarizada e independiente, como las que la comunidad académica utiliza para comparar modelos fundacionales, sino ante un instrumento propietario concebido para medir habilidades que la misma empresa definió de antemano. Si yo redacto las preguntas de un examen basándome en el temario exacto que acabo de memorizar, es natural que obtenga una calificación superior a la de un estudiante brillante que fue preparado para responder preguntas de cultura general.

El argumento a favor de la empresa no es trivial y merece ser presentado con toda su fuerza: los modelos de frontera generalistas suelen fallar en los flujos empresariales porque no comprenden las dependencias lógicas de una base de datos relacional corporativa, como actualizar una oportunidad de venta, coordinar aprobaciones jerárquicas o respetar reglas complejas de facturación. Un modelo generalista puede redactar un poema impecable o resolver una integral, pero se atraganta cuando debe decidir si un descuento comercial requiere la firma del director regional o del contralor financiero. Salesforce sostiene, con razón práctica, que para evaluar un asistente de CRM se necesita un banco de pruebas adaptado a la realidad del CRM.

El problema radica en que, al mantener ese banco de pruebas bajo reserva y no detallar contra qué versiones exactas de otros modelos se midió, la afirmación de los «tres veces menos errores» deja de ser un dato científico verificable y se convierte en una declaración de parte.

El espejismo de los datos sintéticos

El segundo pilar técnico del anuncio es la utilización de datos sintéticos inspirados en casi tres décadas de experiencia operativa, subrayando que no se emplearon registros privados de clientes. Esta formulación busca resolver una tensión evidente: la necesidad de entrenar un modelo con patrones realistas sin vulnerar los acuerdos de confidencialidad ni la privacidad de las corporaciones que alojan su información en la plataforma.

Desde la perspectiva de la ingeniería de datos, el uso de datos sintéticos es una solución elegante. Permite generar millones de escenarios hipotéticos —desde reclamos de garantías hasta cancelaciones de contratos— sin exponer un solo nombre ni una cifra confidencial. Ahora bien, los datos sintéticos tienen una limitación intrínseca que la literatura científica ha documentado con amplitud: reflejan fielmente las hipótesis de quienes programan los generadores, pero rara vez capturan las anomalías imprevistas, los errores humanos de captura y el desorden estructural del mundo real.

Cuando un modelo se entrena con datos sintéticos perfectamente estructurados y luego se evalúa contra un banco de pruebas sintético diseñado por el mismo equipo, el riesgo de sobreajuste conceptual es altísimo. El sistema aprende a resolver con maestría los problemas que sus creadores imaginaron, pero su rendimiento ante la ambigüedad caótica de una interacción humana real sigue siendo una incógnita que solo se despejará cuando el piloto actual dé paso a la disponibilidad general prevista para el invierno de 2026 en regiones de Estados Unidos.

La frontera del perímetro de confianza

El anuncio subraya asimismo que Salesforce conservará los pesos del modelo y ejecutará la inferencia dentro de su denominado «perímetro de confianza». En términos sencillos, esto significa que las consultas de las empresas no saldrán hacia servidores de terceros para ser procesadas, un aspecto donde la colaboración técnica con el hardware de NVIDIA resulta determinante.

Para el director de sistemas de una multinacional o para el oficial de cumplimiento de una entidad bancaria, este diseño representa una ventaja tangible. Reduce la superficie de ataque, simplifica la gobernanza y evita que la información sensible viaje a través de múltiples intermediarios. Es una decisión arquitectónica sólida que atiende a exigencias regulatorias legítimas.

Sin embargo, esta misma estructura refuerza el cerramiento del sistema. Al operar dentro de un perímetro cerrado y propietario, el escrutinio independiente se vuelve prácticamente imposible para el usuario final. El cliente debe confiar en la palabra del proveedor tanto en lo relativo a la seguridad como en lo concerniente a la supuesta reducción de errores. En la práctica, el usuario delega no solo la ejecución de sus procesos de negocio, sino también la métrica con la que juzga si el sistema funciona bien o mal.

El valor del escepticismo metodológico

La ingeniería biomédica me enseñó hace muchos años que los avances tecnológicos genuinos no temen a la validación externa; al contrario, la buscan. Cuando un fabricante de dispositivos médicos desarrolla un algoritmo para detectar anomalías electrocardiográficas, no le basta con afirmar que su red neuronal supera a los cardiólogos en una prueba interna: debe someter su desarrollo a paneles independientes, publicar la sensibilidad y especificidad en revistas arbitradas y contrastar su herramienta frente a bases de datos abiertas.

La inteligencia artificial aplicada a los negocios terminará recorriendo el mismo camino de madurez. La fase de los anuncios espectaculares basados en métricas internas cumplirá su ciclo a medida que las empresas usuarias exijan auditorías de desempeño reproducibles y contratos de nivel de servicio vinculados a resultados empíricos, no a comunicados de prensa.

Salesforce y NVIDIA poseen la capacidad técnica y los recursos para construir herramientas de razonamiento de primer nivel. Koa podría ser un paso significativo en la automatización de procesos complejos de negocio. Pero mientras las pruebas de rendimiento sigan siendo diseñadas, ejecutadas y calificadas exclusivamente por el vendedor, la prudencia aconseja tratar las cifras promocionales como lo que son: promesas comerciales que esperan confirmación en el terreno de los hechos.

¿Estamos dispuestos a exigir a las herramientas informáticas que gestionan nuestras empresas el mismo rigor de comprobación independiente que le exigimos a cualquier otra tecnología crítica de nuestras vidas?

Lo que la noticia no dice

La noticia no explica cuáles fueron los modelos líderes utilizados en la comparación ni los parámetros específicos del banco de pruebas interno. Tampoco aclara quién audita la calidad de los datos sintéticos ni qué porcentaje de error persiste en flujos de trabajo no estandarizados. Se omite deliberadamente que, al no existir un estándar abierto para evaluar razonamiento en CRM, la cifra de «tres veces menos errores» es una métrica autodefinida que ningún competidor o cliente puede replicar de forma independiente en sus propios servidores.

Conclusiones

1. Salesforce y NVIDIA anunciaron Koa el 15 de septiembre de 2026 como un modelo de razonamiento especializado en tareas de CRM para Agentforce, actualmente en fase piloto.
2. El modelo fue entrenado sobre la base de Nemotron 3 Super utilizando datos sintéticos generados a partir de flujos de trabajo históricos para evitar el uso de información directa de clientes.
3. La ejecución de la inferencia dentro del perímetro de confianza de Salesforce ofrece ventajas de privacidad y gobernanza corporativa, pero restringe la posibilidad de auditorías externas independientes.
4. La afirmación de superar a otros modelos con tres veces menos errores se basa exclusivamente en un banco de pruebas interno y no en evaluaciones estandarizadas de la industria.
5. Cuando la empresa evaluadora es la misma que comercializa el producto, las cifras de rendimiento deben considerarse hipótesis comerciales y no certezas científicas demostradas.

Dr. Jose A. Cisneros, MD.Ph.D — drcisneros.com