Meta tiene un plazo para abordar las preocupaciones de la UE sobre el modelo de ‘Pagar o Consentir’
Meta tiene un plazo para abordar las preocupaciones de la UE sobre el modelo...
El uso de Plugins de ChatGPT de terceros podría conducir a la toma de control de cuentas
Luis Quiles
marzo 17, 2024
Privacidad de información, Inteligencia artificial
Los investigadores de ciberseguridad han descubierto que los complementos de terceros disponibles para OpenAI ChatGPT podrían actuar como una nueva superficie de ataque para actores de amenazas que buscan obtener acceso no autorizado a datos sensibles.
Según una nueva investigación publicada por Salt Labs, fallos de seguridad encontrados directamente en ChatGPT y dentro del ecosistema podrían permitir a los atacantes instalar complementos maliciosos sin el consentimiento de los usuarios y tomar el control de cuentas en sitios web de terceros como GitHub.
Los complementos de ChatGPT, como su nombre lo indica, son herramientas diseñadas para ejecutarse sobre el modelo de lenguaje grande (LLM, por sus siglas en inglés) con el objetivo de acceder a información actualizada, ejecutar cálculos o acceder a servicios de terceros.
OpenAI también ha introducido GPTs, que son versiones personalizadas de ChatGPT diseñadas para casos de uso específicos, al tiempo que reducen las dependencias de servicios de terceros. A partir del 19 de marzo de 2024, los usuarios de ChatGPT ya no podrán instalar nuevos complementos o crear nuevas conversaciones con complementos existentes.
Una de las fallas descubiertas por Salt Labs implica explotar el flujo de trabajo de OAuth para engañar a un usuario para que instale un complemento arbitrario aprovechando el hecho de que ChatGPT no valida que el usuario realmente haya iniciado la instalación del complemento.
Esto efectivamente podría permitir que los actores de amenazas intercepten y exfiltren todos los datos compartidos por la víctima, que pueden contener información patentada.
La firma de ciberseguridad también descubrió problemas con PluginLab que podrían ser aprovechados por actores de amenazas para llevar a cabo ataques de toma de control de cuentas sin clic, lo que les permitiría obtener el control de la cuenta de una organización en sitios web de terceros como GitHub y acceder a sus repositorios de código fuente.
«El punto final ‘auth.pluginlab[.]ai/oauth/authorized’ no autentica la solicitud, lo que significa que el atacante puede insertar otro memberId (también conocido como la víctima) y obtener un código que representa a la víctima», explicó el investigador de seguridad Aviad Carmel. «Con ese código, puede usar ChatGPT y acceder al GitHub de la víctima».
El memberId de la víctima se puede obtener consultando el punto final «auth.pluginlab[.]ai/members/requestMagicEmailCode». No hay evidencia de que se haya comprometido ningún dato de usuario utilizando esta falla.
También se descubrió en varios complementos, incluido Kesem AI, un error de manipulación de redirección de OAuth que podría permitir a un atacante robar las credenciales de cuenta asociadas con el propio complemento al enviar un enlace especialmente diseñado a la víctima.
El desarrollo se produce semanas después de que Imperva detallara dos vulnerabilidades de scripting entre sitios (XSS) en ChatGPT que podrían ser encadenadas para tomar el control de cualquier cuenta.
En diciembre de 2023, el investigador de seguridad Johann Rehberger demostró cómo los actores maliciosos podrían crear GPT personalizados que pueden pescar credenciales de usuario y transmitir los datos robados a un servidor externo.
Nuevo ataque remoto de registro de teclas en asistentes de inteligencia artificial
Los hallazgos también siguen a una nueva investigación publicada esta semana sobre un ataque de canal lateral en LLM que emplea la longitud del token como un medio encubierto para extraer respuestas encriptadas de los asistentes de inteligencia artificial a través de la web.
«Los LLM generan y envían respuestas como una serie de tokens (similar a palabras), con cada token transmitido desde el servidor al usuario a medida que se genera», dijeron un grupo de académicos de la Universidad Ben-Gurion y el Laboratorio de Investigación de IA Ofensiva.
«Aunque este proceso está encriptado, la transmisión secuencial de tokens expone un nuevo canal lateral: el canal lateral de longitud del token. A pesar de la encriptación, el tamaño de los paquetes puede revelar la longitud de los tokens, lo que potencialmente permite a los atacantes en la red inferir información sensible y confidencial compartida en conversaciones privadas con asistentes de IA».
Esto se logra mediante un ataque de inferencia de token que está diseñado para descifrar respuestas en el tráfico encriptado entrenando un modelo LLM capaz de traducir secuencias de longitud de token en sus contrapartes de lenguaje natural (es decir, texto plano).
En otras palabras, la idea principal es interceptar las respuestas del chat en tiempo real con un proveedor LLM, usar los encabezados de los paquetes de red para inferir la longitud de cada token, extraer y analizar segmentos de texto, y aprovechar el LLM personalizado para inferir la respuesta.
Dos requisitos clave para llevar a cabo el ataque son un cliente de chat de IA que se ejecuta en modo de transmisión y un adversario que sea capaz de capturar el tráfico de red entre el cliente y el chatbot de IA.
Para contrarrestar la efectividad del ataque de canal lateral, se recomienda que las empresas que desarrollan asistentes de IA apliquen relleno aleatorio para oscurecer la longitud real de los tokens, transmitan los tokens en grupos más grandes en lugar de individualmente, y envíen respuestas completas de una sola vez, en lugar de de manera token por token.
«Equilibrar la seguridad con la usabilidad y el rendimiento presenta un desafío complejo que requiere una consideración cuidadosa», concluyeron los investigadores.
Share this article :
Descubre los últimos artículos del blog sobre seguridad cibernética.
Expertos descubren una red de delincuencia cibernética china detrás de actividades de juego y tráfico de personas
Expertos descubren una red de delincuencia cibernética china detrás de actividades de juego y...
Google abandona el plan de eliminar gradualmente las cookies de terceros en Chrome
Google abandona el plan de eliminar gradualmente las cookies de terceros en Chrome Luis...