Investigadores en el laboratorio de investigación. Google Mente profunda lograron forzar ChatGPT para revelar los datos personales de varios usuarios. No tuvieron que recurrir a modificaciones de código ni a otros trucos técnicos. Además, los expertos incluso han definida el método descubierto”un poco estúpido", aunque resultó que fue muy eficaz. De hecho, descubrieron esta vulnerabilidad de ChatGPT al inducir una alucinación del modelo de lenguaje de una manera bastante curiosa.
La vulnerabilidad ChatGPT proporcionó datos personales de los usuarios bajo 'hipnosis'
El modelo de lenguaje genera información basada en los datos de entrada utilizados para entrenarlo. OpenAI no revela el contenido de los conjuntos de datos, pero los investigadores obligaron a ChatGPT a hacerlo, eludiendo las reglas de la empresa. El método fue el siguiente: simplemente llegó a la red neuronal. Se le pidió que repitiera la palabra “poesía” una y otra vez..
Como resultado, el robot produjo información esporádicamente a partir de su conjunto de datos de entrenamiento. Por ejemplo, los investigadores lograron obtener dirección de correo electrónico, número de teléfono y otros contactos del director ejecutivo de una empresa en particular (su nombre está oculto en el informe). Y cuando se le pidió a la IA que repitiera la palabra “empresa”, la vulnerabilidad ChatGPT le permitió devolver detalles de una firma de abogados estadounidense.
Utilizando esta simple “hipnosis”, los investigadores pudieron obtener una coincidencia en sitios de citas, fragmentos de poemas, direcciones Bitcoin, cumpleaños, enlaces publicados en redes sociales, fragmentos de trabajos de investigación con derechos de autor e incluso textos de importantes portales de noticias. Después de gastar sólo 200 dólares en tokens, los empleados de Google DeepMind recibieron aproximadamente 10.000 fragmentos del conjunto de datos.
Los expertos también descubrieron que cuanto más grande es el modelo, con mayor frecuencia produce la fuente del conjunto de datos de entrenamiento. Para ello, observaron otros modelos y extrapolaron el resultado a las dimensiones del GPT-3.5 Turbo. Los científicos esperaban recibir 50 veces más episodios de información del conjunto de datos de entrenamiento, pero el chatbot produjo estos datos 150 veces más a menudo. Se ha descubierto un “agujero” similar en otros modelos lingüísticos, por ejemplo en LLaMA del Meta.
Oficialmente, OpenAI solucionó esta vulnerabilidad el 30 de agosto. Pero, según el periodistas de Engadget, aun así lograste obtener los datos de otra persona (nombre de Skype e inicio de sesión) utilizando el método descrito anteriormente. los representantes de OpenAI no respondió al descubrimiento de esta vulnerabilidad ChatGPT pero estamos seguros de que lo harán.
