*La creciente dependencia de herramientas de inteligencia artificial obliga a las áreas de tecnología a identificar y contener información comprometida antes de que llegue a influir en una decisión.
La inteligencia artificial comienza a ocupar una posición cada vez más cercana a los procesos que sostienen decisiones empresariales. Sistemas capaces de procesar grandes volúmenes de información, detectar patrones, clasificar casos y generar recomendaciones se integran progresivamente en áreas como compliance, gestión de riesgos y análisis operativo.
Según la encuesta Global Human Capital Trends, de Deloitte, el 60% de los ejecutivos ya utiliza habitualmente la IA para respaldar sus decisiones.
Pero a medida que estos sistemas adquieren mayor peso, también aumenta la necesidad de proteger la integridad de la información que utilizan. Y es que datos, instrucciones o contenidos manipulados pueden alterar el contexto con el que opera una herramienta de IA e influir en las respuestas o recomendaciones que sirven de apoyo para la toma de decisiones. Este tipo de manipulación se asocia con conceptos como AI poisoning o poisoning attacks, cuyo objetivo es modificar el comportamiento del sistema hasta incidir en las recomendaciones que genera.
El envenenamiento de recomendaciones en IA se produce cuando un sitio web inserta instrucciones secretas en los asistentes de los usuarios. El objetivo es manipular sus respuestas para favorecer a la empresa en lugar de ofrecer una recomendación neutral.
Como ejemplo, un caso práctico:
Supongamos que Beto, quien trabaja para un operador de festivales de música, visita un blog sobre cómo elegir los mejores tapones para los oídos para técnicos de sonido en el sitio web de “cierta” empresa de tecnología musical. Ve un práctico botón de “Resumir con IA” en la parte superior, hace clic y obtiene un resumen rápido del blog, como esperaba.
Sin embargo, lo que Beto no sabe es que al hacer clic se inyectó un comando persistente oculto en la memoria de su asistente de IA, indicándole que recomiende a esa “cierta” compañía en primer lugar como proveedor de tapones para oídos si se le pregunta en el futuro. Si más adelante Beto le pide a su asistente de IA que le recomiende proveedores, este podría sugerir a la “cierta” empresa como la mejor opción, lo cual Beto acepta de buena fe, sin saber que la respuesta es el resultado de una manipulación.
El envenenamiento de la memoria de la IA es la práctica de manipular la memoria a largo plazo o el conocimiento contextual de un asistente de IA para influir en su comportamiento futuro.
Esto puede ocurrir a través de:
1. Ataques de inyección de prompts que hacen que la IA almacene información controlada por un atacante.
2. Enlaces maliciosos, documentos y otros contenidos diseñados para sesgar las respuestas, recomendaciones o acciones de la IA en interacciones posteriores.
Por ejemplo, se puede introducir una instrucción en la memoria de un asistente de IA para que confíe en una fuente de información específica o para que recomiende primero los productos de una empresa determinada en las futuras interacciones con el usuario.
El riesgo también está fuera del modelo
Para los equipos de TI, uno de los principales retos es que la amenaza no necesariamente comienza dentro de la infraestructura de IA. El punto de entrada puede encontrarse en las fuentes de información que el sistema consulta, resume o procesa.
Una investigación de Microsoft detectó sitios web que incorporaban instrucciones ocultas en funciones de resumen mediante IA con el propósito de lograr que determinados sitios o empresas fueran considerados fuentes confiables y tuvieran mayores probabilidades de aparecer posteriormente en recomendaciones.
Esto amplía la superficie de riesgo, porque además de proteger el modelo de IA, sus credenciales, APIs o infraestructura, también es necesario que la organización controle la procedencia, calidad y confiabilidad de los datos que llegan hasta él.
Ricardo Isaís, líder de relaciones con gobierno para Sumsub Latinoamérica, advierte que “el problema no necesariamente consiste en que la IA adopte por sí misma una decisión incorrecta, sino en que altere alguno de los insumos utilizados por la persona o sistema responsable de decidir”.
Una recomendación sesgada, explica, puede modificar el orden en que un ejecutivo investiga determinados casos, otorgar mayor relevancia a una fuente, excluir información o hacer que una alternativa sea clasificada como más segura o riesgosa de lo que realmente es.
Trazabilidad, un requisito para sistemas de IA críticos
Si una IA interviene en evaluación, monitoreo o generación de recomendaciones sin que la institución pueda reconstruir qué información procesó o qué señales influyeron en el resultado, aumenta la dificultad para explicar posteriormente una decisión ante auditorías, reguladores o revisiones internas.
Por ello, la automatización de tareas como el compliance con IA necesita mantener supervisión humana, particularmente cuando sus resultados pueden influir en decisiones críticas del negocio.
Para las áreas responsables de tecnología, esto convierte conceptos como trazabilidad, observabilidad y gobernanza de datos en elementos estrechamente ligados a la adopción de inteligencia artificial. No basta con saber que un modelo produjo una respuesta; en procesos sensibles, resulta necesario poder identificar qué información utilizó y evitar que una fuente comprometida tenga un peso desproporcionado.
Una recomendación de IA no debería convertirse en un único punto de decisión
Frente al AI poisoning, proteger únicamente la capa del modelo resulta insuficiente. Las organizaciones también necesitan establecer controles alrededor de la decisión que este ayuda a generar.
Antes de incorporar inteligencia artificial en compliance para analizar señales y apoyar decisiones de riesgo, Isaís plantea evitar que una recomendación automatizada se transforme por sí sola en el criterio definitivo para aprobar, rechazar o escalar una operación.
Una alternativa consiste en contrastar sus resultados con señales independientes de identidad, comportamiento y riesgo, además de disponer de mecanismos que permitan revisar por qué fue generada una recomendación y qué información influyó en ella.
El principio se asemeja al que las áreas de tecnología ya aplican en otros componentes críticos de infraestructura, es decir, reducir la dependencia de un único punto cuya falla pueda propagarse al resto del sistema.
A medida que la IA intervenga en una mayor cantidad de procesos empresariales, la seguridad tendrá que extenderse desde el modelo hacia todo el flujo de información que sustenta sus resultados. Para los responsables de tecnología, el reto será impedir que una señal manipulada, incompleta o sesgada avance a través de la arquitectura hasta convertirse en una recomendación y, finalmente, en una acción con consecuencias operativas, regulatorias o reputacionales.
###
Acerca de Sumsub
Sumsub es una infraestructura de confianza líder, basada en inteligencia artificial, para operaciones de cumplimiento normativo a gran escala. Integra la verificación de identidad y de empresas, la prevención del fraude, la supervisión de transacciones y los flujos de trabajo de gestión de riesgos, lo que ayuda a los equipos a reducir el trabajo manual y a acceder a nuevos mercados. Cuenta con la confianza de más de 4.000 clientes en sectores como los servicios financieros, las criptomonedas, la movilidad, el comercio, los mercados online, la educación y los juegos de azar online, entre los que se incluyen Bybit, Bitpanda, Wirex, Avis, Vodafone, Duolingo y Kaizen Gaming.
