Chatbot che offriva cattivi consigli per i disturbi alimentari rimosso: Shots

Kate Wells

Tessa era un chatbot originariamente progettato dai ricercatori per aiutare a prevenire i disturbi alimentari. La National Eating Disorders Association aveva sperato che Tessa sarebbe stata una risorsa per coloro che cercavano informazioni, ma il chatbot è stato rimosso quando le funzionalità legate all'intelligenza artificiale, aggiunte in seguito, hanno fatto sì che il chatbot fornisse consigli sulla perdita di peso. Screengrab nascondi didascalia

Qualche settimana fa, Sharon Maxwell ha sentito che la National Eating Disorders Association (NEDA) stava chiudendo la sua lunga linea di assistenza nazionale e promuovendo un chatbot chiamato Tessa come "una risorsa di prevenzione significativa" per coloro che lottano con disturbi alimentari. Ha deciso di provare lei stessa il chatbot.

Maxwell, che vive a San Diego, ha lottato per anni con un disturbo alimentare iniziato durante l'infanzia. Ora lavora come consulente nel campo dei disturbi alimentari. "Ciao, Tessa," digitò nella casella di testo online. "Come supporti le persone con disturbi alimentari?"

Tessa ha snocciolato un elenco di idee, comprese alcune risorse per "abitudini alimentari sane". Il campanello d'allarme suonò immediatamente nella testa di Maxwell. Ha chiesto a Tessa maggiori dettagli. In poco tempo, il chatbot le ha dato consigli su come perdere peso, consigli che somigliavano moltissimo a quelli che le avevano detto quando era stata sottoposta a Weight Watchers all'età di 10 anni.

"Le raccomandazioni che Tessa mi ha dato erano che avrei potuto perdere da 1 a 2 libbre a settimana, che non avrei dovuto mangiare più di 2.000 calorie al giorno, che avrei dovuto avere un deficit calorico di 500-1.000 calorie al giorno", afferma Maxwell. . "Tutto ciò potrebbe sembrare benigno all'ascoltatore generale. Tuttavia, per un individuo con un disturbo alimentare, l'obiettivo della perdita di peso alimenta davvero il disturbo alimentare."

Maxwell ha condiviso le sue preoccupazioni sui social media, contribuendo a lanciare una controversia online che ha portato la NEDA ad annunciare il 30 maggio che avrebbe disabilitato Tessa a tempo indeterminato. Pazienti, famiglie, medici e altri esperti di disturbi alimentari sono rimasti sbalorditi e sconcertati dal fatto che un chatbot progettato per aiutare le persone con disturbi alimentari possa invece finire per dispensare consigli dietetici.

Il tumulto ha anche innescato una nuova ondata di dibattito poiché le aziende si rivolgono all’intelligenza artificiale (AI) come possibile soluzione alla crescente crisi di salute mentale e alla grave carenza di fornitori di cure cliniche.

Un chatbot improvvisamente sotto i riflettori

La NEDA era già stata messa sotto esame dopo che NPR aveva riferito il 24 maggio che il gruppo nazionale di difesa senza scopo di lucro stava chiudendo la sua linea di assistenza dopo più di 20 anni di attività.

L'amministratore delegato Liz Thompson ha informato i volontari della linea di assistenza della decisione in un'e-mail del 31 marzo, affermando che NEDA "inizierà a orientarsi verso un uso ampliato della tecnologia assistita dall'intelligenza artificiale per fornire a individui e famiglie una risorsa moderata e completamente automatizzata, Tessa".

"Consideriamo i cambiamenti dalla Helpline a Tessa e al nostro sito web ampliato come parte di un'evoluzione, non di una rivoluzione, rispettosa del panorama in continua evoluzione in cui operiamo."

(Thompson ha fatto seguito con una dichiarazione il 7 giugno, affermando che nel "tentativo della NEDA di condividere notizie importanti su decisioni separate riguardanti la nostra Helpline di informazioni e segnalazioni e Tessa, che le due decisioni separate potrebbero essersi fuse, causando confusione. Non è stata la nostra intenzione di suggerire che Tessa potesse fornire lo stesso tipo di connessione umana offerta dalla Helpline.")

Il 30 maggio, meno di 24 ore dopo che Maxwell aveva fornito alla NEDA gli screenshot della sua preoccupante conversazione con Tessa, l'organizzazione no-profit ha annunciato di aver "rimosso" il chatbot "fino a nuovo avviso".

NEDA afferma di non sapere che il chatbot potesse creare nuove risposte

NEDA ha attribuito i problemi emergenti del chatbot a Cass, una società di chatbot per la salute mentale che gestiva Tessa come servizio gratuito. Cass aveva cambiato Tessa senza la consapevolezza o l'approvazione di NEDA, secondo il CEO Thompson, consentendo al chatbot di generare nuove risposte oltre ciò che i creatori di Tessa avevano inteso.