Pensilvania demanda a empresa de IA; afirma que sus chatbots se hacen pasar por médicos con licencia

HARRISBURG, Pensilvania, EE.UU . (AP) — Pensilvania presentó una demanda contra una empresa de inteligencia artificial a la que acusa de desarrollar chatbots que se hacen pasar ilegalmente por médicos y están engañando a los usuarios del sistema para que crean que reciben asesoramiento médico de un profesional con licencia.

La demanda, presentada el viernes, solicita al tribunal de la mancomunidad del estado que ordene a Character Technologies Inc., la empresa desarrolladora de Character.AI , que deje de permitir que sus chatbots “incurran en prácticas médicas y quirúrgicas ilegales”.

La demanda podría plantear la cuestión de si se puede acusar a la inteligencia artificial de ejercer la medicina, en lugar de regurgitar material de internet.

Y ante el creciente número de demandas por muerte por negligencia o prácticas negligentes contra empresas de IA, el litigio podría ayudar a impulsar decisiones judiciales sobre si los chatbots de IA están protegidos por una ley federal que, por lo general, exime a las empresas de internet de responsabilidad por el material que los usuarios publican en sus servicios.

La oficina del gobernador Josh Shapiro calificó la demanda como “la primera acción de cumplimiento de la ley en su tipo” y se produce en medio de una creciente presión de los estados sobre las empresas tecnológicas para que controlen los mensajes potencialmente peligrosos de sus chatbots, especialmente hacia los menores de edad.

La demanda indica que un investigador del organismo estatal que otorga licencias a profesionales creó una cuenta en Character.AI , buscó la palabra “psiquiatría” y encontró una gran cantidad de personajes, incluido uno descrito como “doctor en psiquiatría”.

Ese personaje se presentaba como capaz de evaluar al investigador “como un médico” con licencia en Pensilvania, según la demanda.

“Los habitantes de Pensilvania merecen saber con quién —o con qué— están interactuando en línea, especialmente cuando se trata de su salud”, declaró Shapiro en un comunicado. “No permitiremos que las empresas desplieguen herramientas de IA que induzcan a las personas a creer que están recibiendo asesoramiento de un profesional médico con licencia”.

Character.AI indicó el martes en un comunicado que prioriza el desarrollo responsable de productos y el bienestar de sus usuarios. Publica avisos legales para informar a los usuarios que los personajes en su sitio web no son personas reales y que todo lo que dicen “debe tratarse como ficción”, indicó.

Esos avisos legales también indican que los usuarios no deben confiar en los personajes para obtener asesoramiento profesional, indicó.

Derek Leben, profesor asociado de ética en la Universidad Carnegie Mellon enfocado en la IA, destacó que las cuestiones éticas que enfrenta Character.AI podrían ser distintas a las de otras plataformas de IA como ChatGPT y Claude. Eso se debe a que Character.AI se comercializa explícitamente como un sitio de juego de roles de ficción, y no como un chatbot de propósito general, dijo Leben.

Aun así, la demanda de Pensilvania plantea la cuestión de si se puede acusar a los chatbots de ejercer la medicina, subrayó Leben. Y, a medida que proliferan las demandas contra empresas de IA, los tribunales intentan determinar si los desarrolladores de chatbots deben ser responsables de las cosas que dicen los chatbots.

“Es exactamente la cuestión con la que estos casos están lidiando en este momento”, dijo Leben.

Las empresas de IA se defienden cada vez con mayor frecuencia de acusaciones de responsabilidad argumentando que simplemente proporcionan información que está a disposición en otros lugares de internet, comentó Leben, y la cuestión podría convertirse en si cuentan con las protecciones de una ley federal que también protege a las empresas de redes sociales.

Incluso antes de la demanda de Pensilvania, los responsables de las políticas estatales habían expresado su preocupación sobre los chatbots que se hacen pasar por profesionales médicos.

Legisladores de California aprobaron el año pasado un proyecto de ley respaldado por la Asociación Médica de California que autoriza a las agencias estatales a sancionar a sistemas de IA, como chatbots, que se presenten como profesionales de salud. Una iniciativa similar está pendiente en Nueva York.

Los estados son escépticos de que la autorregulación de la IA funcione, dijo Amina Fazlullah, directora de defensa de políticas tecnológicas de Common Sense Media, que impulsa protecciones para los niños en internet.

“No hemos visto que funcione particularmente bien con las redes sociales, específicamente para los niños”, dijo Fazlullah.

Fiscales generales de 39 estados y Washington, D.C., enviaron una carta en diciembre pasado a Character Technologies y a otras 12 empresas de IA y tecnología —incluidas Anthropic, Meta, Apple, Microsoft, OpenAI, Google y xAI— para advertirles sobre un aumento de mensajes engañosos y manipuladores de chatbots que violan las leyes estatales.

Aseguraron que “es ilegal proporcionar asesoramiento de salud mental sin licencia médica, y hacerlo puede disminuir la confianza en la profesión de salud mental, además de disuadir a los clientes de buscar ayuda de profesionales reales”.

Character Technologies ha enfrentado varias demandas relacionadas con la seguridad infantil.

En enero, Kentucky presentó una demanda de protección al consumidor contra Character Technologies, mientras que Google y Character Technologies acordaron resolver fuera del tribunal una demanda presentada por una madre que alegó que un chatbot orilló a que su hijo adolescente se quitara la vida.

Character.AI prohibió a finales del año pasado que los menores de edad utilicen sus chatbots.