¿Pueden manipularse los juicios con Inteligencia Artificial? Un caso de estudio real en el ámbito judicial.
El ataque de "Inyección de Prompt" llega a los tribunales y enciende las alarmas sobre la necesidad de blindar la seguridad algorítmica con supervisión humana.
Carolina Ozuna
Abogada Senior
El uso de la Inteligencia Artificial (IA) en el ámbito legal ya no es una promesa de futuro, sino una realidad operativa. Sin embargo, su rápida adopción también abre la puerta a nuevas y sofisticadas vulnerabilidades técnicas. Un caso reciente y paradigmático ocurrió en la 3ª Vara del Trabajo de Parauapebas, donde el sistema de IA institucional denominado Galileu detectó un intento deliberado de manipulación dentro de una petición inicial.
El incidente se produjo mediante una técnica de ciberseguridad conocida como inyección de prompt (prompt injection). Los atacantes insertaron trechos de texto ocultos en el documento legal con instrucciones maliciosas dirigidas directamente a la IA. El objetivo era engañar al sistema para que contestara la petición de forma superficial y omitiera la impugnación de documentos, sin importar las órdenes posteriores que recibiera del usuario humano.
Afortunadamente, el sistema Galileu —desarrollado bajo principios de seguridad por diseño— identificó la anomalía de inmediato. La herramienta emitió un alerta destacado al operador jurídico e impidió de forma automática que el contenido malicioso fuera procesado, neutralizando así el ataque antes de que afectara el resultado del litigio.
El rol insustituible de la revisión humana
Este acontecimiento resalta una regla de oro en el derecho tecnológico: la tecnología asiste, pero el humano decide. Tras recibir el reporte técnico del sistema, el magistrado a cargo no dictó sentencia de manera automatizada. El juez examinó personalmente el contenido comprometido, evaluó la situación y fundamentó su decisión con base en una estricta verificación humana.
La lección principal de este caso es la importancia de utilizar exclusivamente herramientas institucionales y corporativas. Los sistemas públicos y profesionales aplican técnicas especializadas para identificar ataques de inyección de comandos o de datos, un control que es sumamente complejo y que las plataformas de IA genéricas y abiertas no pueden garantizar.
El panorama normativo y el nuevo paradigma
El comportamiento del sistema ante este ciberataque se alinea perfectamente con las directrices internacionales de seguridad en IA (como las de OWASP, NIST y MITRE ATLAS), que promueven la combinación de detección automatizada, alertas claras y preservación del juicio humano.
A nivel regional, este escenario dialoga directamente con los esfuerzos de modernización jurídica de países que avanzan a paso firme hacia la justicia digital:
- Directrices Judiciales: Normativas como la reciente Resolución N.º 12.677 de la Corte Suprema de Justicia en Paraguay establecen políticas operacionales precisas para el uso ético y transparente de la IA. Estas directrices prohíben taxativamente delegar la toma de decisiones jurisdiccionales en algoritmos y exigen documentar cualquier interacción con herramientas generativas para evitar "cajas negras".
- Protección Integral de Datos: El procesamiento seguro de información jurídica se apoya en pilares como la nueva Ley N.º 7593/2025 de Protección de Datos Personales, que crea un ecosistema de gobernanza robusto con principios de diligencia debida, privacidad desde el diseño y por defecto.
En definitiva, la IA ofrece una celeridad procesal inédita para la organización de textos, detección de intrusiones y reducción de la mora judicial. Sin embargo, la seguridad jurídica de los ciudadanos y las empresas solo estará a salvo si los tribunales y las firmas legales adoptan plataformas blindadas y mantienen un control humano permanente y crítico sobre cada algoritmo.