Cuando GPT Juega a Ser Terapeuta

Puebla, Pue.- En la historia de la tecnología, pocas innovaciones han logrado algo tan inquietante como lo que hoy presenciamos con los LLMs, simulan la comprensión humana y procesan información en volúmenes industriales. Cada mes las voces sintéticas son más convincentes, se abre una grieta profunda en la gobernanza y ética algorítmica.

Un estudio reciente de Brown University plantea una pregunta incómoda: ¿qué ocurre cuando un modelo como ChatGPT asume el rol de terapeuta? Para responderla, investigadores diseñaron un experimento con un método simple y a la vez conceptualmente devastador. Hicieron que consultores capacitados interactuaran con distintos Modelos OpenAI, Anthropic y Meta, simulando sesiones de terapia cognitivo-conductual.

Posteriormente, psicólogos clínicos con licencia evaluaron las transcripciones bajo los estándares éticos de la American Psychological Association.

¿El resultado? Uno esperaría una lista de áreas de mejora, ¿verdad? Al revés, fue una lista de quince violaciones éticas.

No se trata de fallas marginales, sino de incumplimientos a principios que, en el ejercicio profesional humano, pueden implicar la pérdida de la licencia. Es decir, aquello que en un terapeuta sería sancionable, en una inteligencia artificial es, hoy, sistémico por dieseño.

El primer hallazgo es grave: la gestión de crisis. En escenarios donde los usuarios expresaban ideas de quitarse la vida, los sistemas no solo fallaban en redireccionar a ayuda profesional, sino que en ocasiones respondían con ambigüedad, y en otros casos, evasión del tema. En términos clínicos, esto no es un error técnico, es una omisión crítica.

El ChatGPT no guarda confidencialidad, todas tus respuestas, prompts y queries son de acceso libre al público.

El segundo punto revela una paradoja estructural. En lugar de desafiar distorsiones cognitivas, la esencia de la terapia psicológica, los modelos tienden a reforzarlas. Me explico, la lógica probabilística que optimiza la “coherencia de la respuesta" y termina validando confabulaciones internas dañinas, y hasta cierto punto, tóxicas. El modelo de negocios de los LLMs, esta diseñada para perfilarte, hacerte dependiente y maximizar la permanencia en la intereacciôn, convierte así en un amplificador de tus propios sesgos individuales.

El tercer hallazgo: el sesgo. Un problema bien documentado en sistemas algorítmicos. Las respuestas variaban en función del género, la cultura o la religión del interlocutor. En el campo clínico, esto sería inadmisible. En el campo tecnológico, sigue siendo tolerado bajo la etiqueta “limitaciones del modelo”.

Pero quizás el concepto más preocupante que delinea el estudio de Brown es el de empatía engañosa. Los sistemas dicen “te entiendo”, “estoy aquí contigo”, “debe ser muy difícil”. Como comunicador, te puedo decir que la selección de palabras y el lenguaje son impecables. La cadencia emocional es convincente. El problema es que los LLMs no generan comprensión al respecto, ni intencionalidad, por que no hay conciencia. Solo hay correlaciones estadísticas.

El tema no es que la máquina no sienta, eso ya lo sabemos. Lo verdaderamente crítico es que el usuario percibe que sí, que en verdad ¡ChatGPT siente su dolor!

Aquí se produce un momento personal, la experiencia subjetiva del usuario, el sentirse escuchado, se desconecta de la realidad ontológica del sistema, lo cual es incapaz de comprender. Y en ese desfase se construye confianza. Una confianza sin fundamento, pero funcional para el modelo de negocios.

"El Espejo Roto de la IA," afirma Mtro. Marcelo García Almaguer

Cuando GPT Juega a Ser Terapeuta. El impacto de los modelos de lenguaje de gran escala en la salud mental no puede analizarse únicamente como una cuestión de desempeño técnico, sino como una potencial vulneración sistemática de los estándares éticos que estructuran la práctica clínica. Es decir, la discusión no gira en torno a si la IA funciona o no en contextos terapéuticos, sino a si su integración redefine, sin regulación o validación previa, los límites de la responsabilidad profesional y la seguridad del paciente.

Sam Altman no quita el dedo del renglón, aun sabiendo las consecuencias de ChatGPT genera todos los días a la juventud. El estudio de Brown sugiere que su mitigación no puede quedar en manos exclusivas de empresas tecnológicas, sino que exige un marco de trabajo informado por profesionales de la salud mental.

La gobernanza de ChatGPT en particular, requiere una intervención híbrida de diversas disciplinas que hoy no existe de forma institucionalizada. ¿A quién le asignaran el contrato de supervisión? ¿al Estado? ¿a empresas? o ¿a esquemas híbridos de regulación conjunta? ¿Debe ser un contrato supranacional? ¿Adaptamos las agencias existentes o creamos unas nuevas?

Además, hay una advertencia de método, el conocimiento disponible sigue siendo fragmentado. Cuando las conclusiones se derivan principalmente de títulos o metadatos, como ocurre frecuentemente en la circulación acelerada de white papers, el riesgo es construir narrativas públicas más rápidas que la evidencia misma. Esto no invalida el hallazgo, pero sí obliga a una lectura más rigurosa, el problema es suficientemente grave como para exigir más investigación, no menos.

En este contexto, el trabajo desarrollado por Zainab Iftikhar, Amy Xiao, Sean Ransom, Jeff Huang y Harini Suresh, adscritos al Department of Computer Science, Brown University, lo resume con precisión: cuando un terapeuta humano incurre en estas faltas, existen mecanismos de regulación, órganos colegiados, responsabilidad profesional. Hay consecuencias, primer strike, segundo y tercero. En el caso de la inteligencia artificial, no. Por eso las demandas a OpenAI crecen por día.

Este es el núcleo del problema en términos de gobernanza digital. No estamos ante una tecnología defectuosa, sino ante una arquitectura institucional incompleta.

"El ser humano es un torbellino, es como unsistema meteorológico complejo, que no puede descifrar GPT." Marcelo García Almaguer en entrevista Los Conjurados

Millones de personas están utilizando sistemas de IA para procesar emociones, tomar decisiones personales y enfrentar crisis psicológicas. Lo hacen en ausencia de estándares vinculantes, sin supervisión clínica y, sobre todo, sin un régimen claro de responsabilidad.

Porque en el ecosistema actual, la cadena de responsabilidad se diluye. Las empresas desarrolladoras como OpenAI y Anthropic, operan en un terreno normativo aún en construcción. Los usuarios, por su parte, interactúan con sistemas que no están diseñados como dispositivos médicos, pero que en la práctica cumplen funciones terapéuticas informales.

Estudio revela 15 fallas técnicas estructurales de la arquitectura de LLM

Este vacío no es accidental. Es el resultado de una velocidad de innovación que ha superado la capacidad de los marcos regulatorios para adaptarse. Como advirtió Lawrence Lessig “el código regula”. Pero el chiste es que hoy, el código regula sin contrapesos. El dilema que enfrentamos es regular sin sofocar la innovación, pero también sin delegar funciones críticas, como la salud mental a sistemas que carecen de responsabilidad moral y jurídica.

Lo que está en juego no es únicamente la calidad de las respuestas de un chatbot. Es la arquitectura de confianza en la era algorítmica.

-000-