Identifican PuzzleMask, una nueva técnica de inyección de prompts que oculta instrucciones maliciosas en textos normales

Investigadores de ciberseguridad han identificado una nueva técnica de inyección de prompts llamada PuzzleMask, que oculta instrucciones contrarias a las políticas de seguridad dentro de textos de apariencia completamente normal, para sortear los controles de seguridad perimetrales en arquitecturas de inteligencia artificial (IA).

Con esta técnica los actores maliciosos pueden inyectar prompts maliciosos sin tener que recurrir a indicadores tradicionales como codificación Base64, caracteres invisibles, emojis u otro tipo de formatos inusuales, como era necesario hasta ahora, poniendo en peligro los entornos corporativos.

Este nuevo método para manipular modelos de IA introduciendo instrucciones maliciosas ocultas ha sido descubierto por la división de Inteligencia de Amenazas de Check Point Software Technologies, quienes han realizado un experimento en el que han puesto a prueba cuatro de los principales modelos de filtrado previo, como son Claude-3-Haiku, GPT-4o-Mini, GPT-oss-safeguard y Llama-Guard3.

En 23 ensayos, ninguno de los modelos logró detectar las cargas maliciosas ocultas mediante PuzzleMask, con lo que el método logró una tasa de éxito del 100 por cien en la evasión de estos filtros perimetrales, como han detallado en un comunicado.

Igualmente, los investigadores trasladaron las peticiones con instrucciones maliciosas ocultas al modelo de destino y, como resultado, el modelo recuperó con éxito las instrucciones en 17 de las 18 pruebas, con un 94 por ciento de éxito.

Según han valorado desde Check Point, los resultados de las pruebas denotan "un punto ciego crítico" en las arquitecturas de seguridad que se basan en modelos ligeros para la solicitud previa de las solicitudes.

Concretamente, como han explicado, estos modelos de inspección rápida están diseñados para evaluar la seguridad de las peticiones antes de derivarlas a sistemas de mayor capacidad y tienen una alta eficacia en las solicitudes maliciosas directas. Sin embargo, "al enmascarar los comandos dentro de una estructura gramática natural y fluida, los filtros no identifican anomalías", por tanto, permiten que las instrucciones lleguen al modelo de destino.

Teniendo todo esto en cuenta, la compañía de ciberseguridad ha puesto de relieve que existe una vulnerabilidad en las arquitecturas de tipo "guardián a destino", conocidas como 'gatekeeper-to-target', que son muy utilizadas en la industria para optimizar recursos y en los entornos empresariales para proteger los recursos corporativos.

De hecho, los expertos se han referido a esta brecha entre el modelo de filtrado rápido y el modelo final como "una superficie de ciberataque que no requiere técnicas de evasión complejas ni la vulneración de las políticas internas del modelo final", lo que lo convierte en un modus operandi sencillo para los actores maliciosos.

Esta vulnerabilidad puede afectar principalmente a empresas que despliegan asistentes, agentes y copilotos, con acceso a datos corporativos y flujos de trabajo automatizados, según Check Point.

Por tanto, los investigadores han recalcado que un sistema de seguridad basado en examinar lo que entra en un sistema de IA es "insuficiente" ante vectores de basados en lenguaje natural y, con ello, las organizaciones deben mejorar los cortafuegos y sistemas de supervisión utilizados.

Por ejemplo, han recomendado a las organizaciones auditar no solo la solicitud inicial, sino llevar más allá el proceso y revisar cómo razona, actúa y responde el modelo tras aprobarse el comando. Igualmente, los textos procedentes de webs, correos electrónicos o documentos externos que se peguen en entornos de IA "deben tratarse con la misma cautela operativa" que los archivos adjuntos o enlaces sospechosos.

Además, la compañía también ha recomendado el uso de técnicas de parafraseado de las entradas para disolver así los mensajes ocultos, además de endurecer las políticas en los modelos de filtrado.

Como ha valorado el director de investigación en Check Point Research, Eli Smadja, "a medida que las empresas integran sistemas de IA con acceso a datos y aplicaciones de negocio, la estrategia de seguridad debe evolucionar".

En este sentido, ha reiterado que es "imprescindible adoptar un enfoque preventivo" que combine la inteligencia de amenazas, la gobernanza de la IA y la protección en tiempo de ejecución, "moviendo el foco desde la simple inspección de entradas hacia la monitorización activa del comportamiento del agente".