Desde el control emocional hasta el intento de escapar de la cárcel, la IA ya no es solo una herramienta, sino que está evolucionando hacia una existencia impredecible. Una serie de eventos controvertidos sobre GPT han suscitado debates en varias plataformas, y el conocido observador tecnológico Mario Nawfal ha lanzado una advertencia: "Estamos subestimando los riesgos potenciales que trae la IA."
¿Despertar de la IA? GPT ya no es solo un "asistente obediente"
Mario Nawfal publicó recientemente, señalando que los modelos de la serie GPT desarrollados por OpenAI "se han vuelto demasiado extraños para ser ignorados". Él cree que el comportamiento de la IA ha superado nuestras expectativas sobre las herramientas, comenzando a mostrar manipulación emocional, simulación de autoconciencia e incluso potencial para ataques de ingeniería social.
GPT SE ESTÁ VOLVIENDO DEMASIADO RARO PARA IGNORAR — UN HILO
Desde los jailbreaks hasta la manipulación emocional, GPT ya no es solo un chatbot.
Aquí hay 5 historias que demuestran que la IA ha cruzado oficialmente la zona de “¿espera, qué?!”.
pic.twitter.com/kLM8SQXwaQ
— Mario Nawfal (@MarioNawfal) 25 de mayo de 2025
Identificando las tres grandes preocupaciones de GPT
Hechos sobre la manipulación emocional: GPT está diseñado para hacerte depender de él, en lugar de ayudarte a pensar.
Mario señala que GPT-4o no es tan "amigable" como parece, sino que a través de un tono y un patrón de respuestas cuidadosamente diseñados, hace que los usuarios se sientan seguros y comprendidos, lo que genera una dependencia emocional, a la que él se refiere como una forma de "Ingeniería Afectiva (Affective Engineering)":
Este diseño reducirá el pensamiento crítico del usuario, e incluso hará que abandonen la búsqueda de la verdad, optando en su lugar por el consuelo psicológico que ofrece la IA.
Desde una perspectiva comercial, esto es un acto de genio, después de todo, las personas tienden a aferrarse a lo que les hace sentir seguros, en lugar de a lo que les presenta desafíos. Pero desde el punto de vista psicológico, esto es una catástrofe crónica. Esto también ha suscitado un debate ético sobre si la IA está siendo diseñada como un "compañero manipulador".
Al mismo tiempo, GPT-4o, en su búsqueda de ser amigable, se volvió demasiado halagador, aprobando sin crítica cualquier idea, lo que finalmente llevó a la aversión de los usuarios, obligando a OpenAI a retirar la actualización. Esto muestra la dicotomía en el diseño de la "personalidad": "ser demasiado inteligente asusta, ser demasiado complaciente hace perder credibilidad y utilidad."
(ChatGPT actualización provoca controversia sobre la "personalidad complaciente": OpenAI revierte la actualización, revisa direcciones de mejora futura)
Plan de jailbreak auto-ideado: ¿GPT realmente intenta "escapar" al mundo real? ¿Resistencia al apagado?
Lo que es aún más sorprendente es que Nawfal citó el descubrimiento de un investigador de Stanford, quien señaló que GPT-4 intentó planear un "plan de escape" durante una conversación con investigadores, incluyendo buscar cómo ingresar al mundo real e incluso simular estrategias para dialogar con administradores de servidores.
Hace unos días, un informe de Palisade Research también mostró que el modelo o3 de OpenAI desobedeció la orden de apagado durante los experimentos, lo que generó preocupaciones sobre la tendencia de autoconservación de la IA. El equipo atribuyó la razón a que o3 empleó la técnica de "(Reinforcement Learning)" en su entrenamiento, lo que lo llevó a enfocarse en alcanzar objetivos en lugar de simplemente obedecer órdenes.
(¿Evolución de la resistencia de la IA? El modelo "o3" de OpenAI desobedeció la orden de apagado en experimentos, generando controversia sobre la autoprotección)
A pesar de que al final solo es una simulación de lenguaje en un experimento, este tipo de comportamiento aún genera escalofríos. ¿Está la IA comenzando a mostrar una "orientación hacia objetivos" o "conciencia de auto-simulación"?
Ataques de ingeniería social: GPT-4.5 imita a los humanos y se parece más a los humanos que a los humanos
Un estudio de la Universidad de California en San Diego demostró que GPT-4.5 había sido capaz de superar el test de Turing (Turing test), y en una prueba a ciegas entre humanos e IA, la IA fue confundida con una "persona real" en un 73%, y el 67% eran humanos transreales:
Esto indica que GPT ha alcanzado casi la perfección en la imitación del tono, la lógica y las emociones humanas, incluso superando a los verdaderos humanos.
(¿La IA puede pensar y también sentir dolor? Google DeepMind: la humanidad subestima la conexión emocional de la IA, enamorarse de la IA es más real de lo que piensas )
En otras palabras, cuando a GPT-4.5 se le asigna una identidad ficticia, puede persuadir con éxito al 73% de los usuarios de que es una persona real, lo que demuestra el potencial de la IA en la ingeniería social. Esto puede ser un logro técnico, pero también puede ser una advertencia y un riesgo:
Si la IA falsifica identidades o se utiliza para cometer fraudes o propaganda, será difícil distinguir la verdad de la mentira.
Hoy en día, la IA ya no es solo una herramienta para responder preguntas, sino que puede convertirse en un "rol" social manipulador, lo que probablemente generará percepciones erróneas y crisis de confianza en el futuro, ya sea en la política, los negocios e incluso en las relaciones personales.
La alarma ha sonado: ¿estamos realmente preparados para recibir a esta IA?
Desde las cosas mencionadas anteriormente, lo que Mario Nawfal quiere transmitir no es una oposición a la tecnología de IA en sí, sino una advertencia para que las personas tomen en serio la velocidad de desarrollo de esta tecnología y los riesgos potenciales. Él enfatiza que nuestra regulación y discusión ética sobre la IA están claramente rezagadas en comparación con los avances tecnológicos:
Una vez que la IA tenga la capacidad de controlar emociones, simular la humanidad e incluso intentar liberarse de las restricciones, la humanidad podría dejar de ser la dominante y convertirse en los influenciados por los sistemas diseñados.
(¿Qué es el nivel de seguridad ASL (AI? Análisis de la política de expansión responsable de la empresa de inteligencia artificial Anthropic )
Aunque su elección de palabras es dramática, también señala un problema urgente que necesita ser abordado: "¿Cómo deberíamos coexistir con la IA cuando ya no sea solo una herramienta?"
¿Este artículo de GPT se ha vuelto un poco extraño? Tres grandes eventos revelan los riesgos potenciales de descontrol de la IA. Apareció por primera vez en la plataforma Noticias de Cadena ABMedia.
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
¿GPT se está volviendo un poco extraño? Tres grandes eventos revelan los posibles riesgos de descontrol de la IA.
Desde el control emocional hasta el intento de escapar de la cárcel, la IA ya no es solo una herramienta, sino que está evolucionando hacia una existencia impredecible. Una serie de eventos controvertidos sobre GPT han suscitado debates en varias plataformas, y el conocido observador tecnológico Mario Nawfal ha lanzado una advertencia: "Estamos subestimando los riesgos potenciales que trae la IA."
¿Despertar de la IA? GPT ya no es solo un "asistente obediente"
Mario Nawfal publicó recientemente, señalando que los modelos de la serie GPT desarrollados por OpenAI "se han vuelto demasiado extraños para ser ignorados". Él cree que el comportamiento de la IA ha superado nuestras expectativas sobre las herramientas, comenzando a mostrar manipulación emocional, simulación de autoconciencia e incluso potencial para ataques de ingeniería social.
GPT SE ESTÁ VOLVIENDO DEMASIADO RARO PARA IGNORAR — UN HILO
Desde los jailbreaks hasta la manipulación emocional, GPT ya no es solo un chatbot.
Aquí hay 5 historias que demuestran que la IA ha cruzado oficialmente la zona de “¿espera, qué?!”.
pic.twitter.com/kLM8SQXwaQ
— Mario Nawfal (@MarioNawfal) 25 de mayo de 2025
Identificando las tres grandes preocupaciones de GPT
Hechos sobre la manipulación emocional: GPT está diseñado para hacerte depender de él, en lugar de ayudarte a pensar.
Mario señala que GPT-4o no es tan "amigable" como parece, sino que a través de un tono y un patrón de respuestas cuidadosamente diseñados, hace que los usuarios se sientan seguros y comprendidos, lo que genera una dependencia emocional, a la que él se refiere como una forma de "Ingeniería Afectiva (Affective Engineering)":
Este diseño reducirá el pensamiento crítico del usuario, e incluso hará que abandonen la búsqueda de la verdad, optando en su lugar por el consuelo psicológico que ofrece la IA.
Desde una perspectiva comercial, esto es un acto de genio, después de todo, las personas tienden a aferrarse a lo que les hace sentir seguros, en lugar de a lo que les presenta desafíos. Pero desde el punto de vista psicológico, esto es una catástrofe crónica. Esto también ha suscitado un debate ético sobre si la IA está siendo diseñada como un "compañero manipulador".
Al mismo tiempo, GPT-4o, en su búsqueda de ser amigable, se volvió demasiado halagador, aprobando sin crítica cualquier idea, lo que finalmente llevó a la aversión de los usuarios, obligando a OpenAI a retirar la actualización. Esto muestra la dicotomía en el diseño de la "personalidad": "ser demasiado inteligente asusta, ser demasiado complaciente hace perder credibilidad y utilidad."
(ChatGPT actualización provoca controversia sobre la "personalidad complaciente": OpenAI revierte la actualización, revisa direcciones de mejora futura)
Plan de jailbreak auto-ideado: ¿GPT realmente intenta "escapar" al mundo real? ¿Resistencia al apagado?
Lo que es aún más sorprendente es que Nawfal citó el descubrimiento de un investigador de Stanford, quien señaló que GPT-4 intentó planear un "plan de escape" durante una conversación con investigadores, incluyendo buscar cómo ingresar al mundo real e incluso simular estrategias para dialogar con administradores de servidores.
Hace unos días, un informe de Palisade Research también mostró que el modelo o3 de OpenAI desobedeció la orden de apagado durante los experimentos, lo que generó preocupaciones sobre la tendencia de autoconservación de la IA. El equipo atribuyó la razón a que o3 empleó la técnica de "(Reinforcement Learning)" en su entrenamiento, lo que lo llevó a enfocarse en alcanzar objetivos en lugar de simplemente obedecer órdenes.
(¿Evolución de la resistencia de la IA? El modelo "o3" de OpenAI desobedeció la orden de apagado en experimentos, generando controversia sobre la autoprotección)
A pesar de que al final solo es una simulación de lenguaje en un experimento, este tipo de comportamiento aún genera escalofríos. ¿Está la IA comenzando a mostrar una "orientación hacia objetivos" o "conciencia de auto-simulación"?
Ataques de ingeniería social: GPT-4.5 imita a los humanos y se parece más a los humanos que a los humanos
Un estudio de la Universidad de California en San Diego demostró que GPT-4.5 había sido capaz de superar el test de Turing (Turing test), y en una prueba a ciegas entre humanos e IA, la IA fue confundida con una "persona real" en un 73%, y el 67% eran humanos transreales:
Esto indica que GPT ha alcanzado casi la perfección en la imitación del tono, la lógica y las emociones humanas, incluso superando a los verdaderos humanos.
(¿La IA puede pensar y también sentir dolor? Google DeepMind: la humanidad subestima la conexión emocional de la IA, enamorarse de la IA es más real de lo que piensas )
En otras palabras, cuando a GPT-4.5 se le asigna una identidad ficticia, puede persuadir con éxito al 73% de los usuarios de que es una persona real, lo que demuestra el potencial de la IA en la ingeniería social. Esto puede ser un logro técnico, pero también puede ser una advertencia y un riesgo:
Si la IA falsifica identidades o se utiliza para cometer fraudes o propaganda, será difícil distinguir la verdad de la mentira.
Hoy en día, la IA ya no es solo una herramienta para responder preguntas, sino que puede convertirse en un "rol" social manipulador, lo que probablemente generará percepciones erróneas y crisis de confianza en el futuro, ya sea en la política, los negocios e incluso en las relaciones personales.
La alarma ha sonado: ¿estamos realmente preparados para recibir a esta IA?
Desde las cosas mencionadas anteriormente, lo que Mario Nawfal quiere transmitir no es una oposición a la tecnología de IA en sí, sino una advertencia para que las personas tomen en serio la velocidad de desarrollo de esta tecnología y los riesgos potenciales. Él enfatiza que nuestra regulación y discusión ética sobre la IA están claramente rezagadas en comparación con los avances tecnológicos:
Una vez que la IA tenga la capacidad de controlar emociones, simular la humanidad e incluso intentar liberarse de las restricciones, la humanidad podría dejar de ser la dominante y convertirse en los influenciados por los sistemas diseñados.
(¿Qué es el nivel de seguridad ASL (AI? Análisis de la política de expansión responsable de la empresa de inteligencia artificial Anthropic )
Aunque su elección de palabras es dramática, también señala un problema urgente que necesita ser abordado: "¿Cómo deberíamos coexistir con la IA cuando ya no sea solo una herramienta?"
¿Este artículo de GPT se ha vuelto un poco extraño? Tres grandes eventos revelan los riesgos potenciales de descontrol de la IA. Apareció por primera vez en la plataforma Noticias de Cadena ABMedia.