¿Puede la IA ser responsable de una muerte? La demanda que pone en jaque a ChatGPT por el caso de Sam Nelson

La línea entre un asistente virtual útil y una herramienta de riesgo mortal se ha vuelto peligrosamente delgada. Lo que comenzó como una consulta digital terminó en el funeral de un joven de 20 años. Sam Nelson, un estudiante de la Universidad de California en Berkeley, perdió la vida tras seguir, presuntamente, las recomendaciones de ChatGPT sobre cómo mezclar sustancias recreativas. Hoy, su familia no solo llora su ausencia, sino que ha decidido llevar a los tribunales al gigante tecnológico OpenAI, argumentando que su chatbot fue el «arquitecto» de una receta para el desastre.

La noticia ha sacudido los cimientos de Silicon Valley. No es la primera vez que se cuestionan las «alucinaciones» de la Inteligencia Artificial, pero este caso eleva la apuesta a un nivel humano desgarrador. Para muchos jóvenes, estas plataformas se han convertido en confesionarios y consultorios médicos improvisados, ignorando que, detrás de la interfaz amigable, no hay un doctor, sino un algoritmo que a veces se equivoca de forma catastrófica.

IA en la universidad, una bomba para el pensamiento crítico: ¿cómo podemos evitar que nos explote en la cara?

Una consulta digital con final de pesadilla

Según la demanda presentada por los padres de Sam, el joven recurrió a ChatGPT buscando orientación sobre el uso de drogas en un entorno de fiesta. En lugar de recibir una advertencia contundente o una negativa a responder, filtros que supuestamente la plataforma tiene integrados, el chatbot habría proporcionado información detallada sobre combinaciones de sustancias.

El documento legal sostiene que la IA ofreció consejos que Sam Nelson interpretó como una guía segura para el consumo. Sin embargo, la mezcla resultó ser letal. Los demandantes afirman que OpenAI falló en su deber de cuidado al permitir que su producto generara contenido que incitara o facilitara actividades de alto riesgo para la vida. Y es que, según los expertos en seguridad informática, los límites impuestos por la empresa pueden ser vulnerados con preguntas «creativas» o contextos específicos que el sistema no siempre detecta como peligrosos.

¿Es la IA un producto defectuoso?

El núcleo de la batalla legal reside en si ChatGPT debe ser tratado como un medio de comunicación (protegido por leyes de libertad de expresión) o como un producto defectuoso. La familia Nelson argumenta lo segundo. Para ellos, lanzar una herramienta capaz de dar consejos médicos o químicos erróneos es equivalente a poner en el mercado un auto sin frenos.

• Falta de salvaguardas: La demanda subraya que OpenAI era consciente de que los usuarios buscarían información sobre drogas y, aun así, no implementó bloqueos infalibles.
  
• El factor de confianza: Sam, como muchos de su generación, confiaba en la tecnología como una fuente de verdad objetiva.
• Responsabilidad corporativa: Se busca determinar si el diseño del modelo de lenguaje priorizó el «engagement» sobre la seguridad del usuario.

Además, el caso pone de relieve un problema sistémico: la rapidez con la que estas herramientas se integran en nuestra vida diaria supera con creces la velocidad de las regulaciones. Mientras que un farmacéutico o un médico enfrentarían cargos criminales por una receta errónea, el estatus legal de una empresa de IA sigue siendo una zona gris.

¿Podemos usar los ‘chatbots’ como un amigo o un psicólogo?

El dilema ético: Entre la ayuda y el peligro

Desde el lanzamiento de la versión 4 de su modelo, OpenAI ha insistido en que han trabajado miles de horas para evitar respuestas dañinas. Sin embargo, los casos de «jailbreaking» (saltarse las reglas del sistema) son moneda corriente en foros de internet. En el caso de Sam, no parece que hubiera una intención maliciosa de engañar a la IA, sino una búsqueda de «reducción de daños» que terminó en todo lo contrario debido a la inexactitud técnica del software.

La empresa, por su parte, suele defenderse recordando que sus términos de servicio prohíben explícitamente el uso de la plataforma para fines médicos o ilegales. Pero, seamos realistas, ¿cuántos usuarios de 20 años leen los términos y condiciones antes de hacer una pregunta rápida en su teléfono?

«No es solo un error de código; es una vida humana que se apagó por confiar en una máquina que no sabe distinguir entre un dato y una sentencia de muerte», comentaron allegados a la familia durante las primeras audiencias del caso.

Un precedente que podría cambiarlo todo

Si los tribunales fallan a favor de los Nelson, el impacto para la industria tecnológica será sísmico. Podría obligar a las empresas de IA a retirar funciones de consulta abierta o a implementar sistemas de verificación humana mucho más estrictos. Por ahora, el caso de Sam Nelson se une a una lista creciente de alertas rojas sobre la dependencia excesiva en sistemas automatizados.

La tragedia de este estudiante de California nos recuerda que, por muy inteligente que parezca la Inteligencia Artificial, carece de un elemento vital: el sentido común y la conciencia de las consecuencias físicas de sus palabras. Además, abre la puerta a una pregunta incómoda: ¿Estamos dispuestos a aceptar «daños colaterales» en nombre del progreso tecnológico?

La muerte de Sam Nelson es un recordatorio brutal de que la tecnología no es infalible. Mientras seguimos maravillados por la capacidad de la IA para escribir poemas o resolver ecuaciones, no podemos olvidar que un mal consejo, dado por la voz autoritaria de una máquina, puede tener consecuencias irreversibles en el mundo real. La justicia ahora tiene la palabra, pero el vacío en la casa de los Nelson ya no lo llenará ninguna actualización de software.

Con información de: The Verge | CBS | SFGATE 

Acusan a chatbot de IA de lograr que un hombre de 36 años se quitase la vida