Chatbot, der schlechte Ratschläge für Essstörungen gab, wurde entfernt: Schüsse

Aus

Von

Kate Wells

Tessa war ein Chatbot, der ursprünglich von Forschern entwickelt wurde, um Essstörungen vorzubeugen. Die National Eating Disorders Association hatte gehofft, dass Tessa eine Anlaufstelle für Informationssuchende sein würde, doch der Chatbot wurde eingestellt, als später hinzugefügte Fähigkeiten im Zusammenhang mit künstlicher Intelligenz dazu führten, dass der Chatbot Ratschläge zur Gewichtsreduktion gab. Screenshot, Bildunterschrift ausblenden

Vor ein paar Wochen hörte Sharon Maxwell, dass die National Eating Disorders Association (NEDA) ihre langjährige nationale Hotline schließen und einen Chatbot namens Tessa als „sinnvolle Präventionsressource“ für diejenigen bewerben würde, die mit Essstörungen zu kämpfen haben. Sie beschloss, den Chatbot selbst auszuprobieren.

Maxwell, der in San Diego lebt, hatte jahrelang mit einer Essstörung zu kämpfen, die bereits in der Kindheit begann. Heute arbeitet sie als Beraterin im Bereich Essstörungen. „Hallo, Tessa“, tippte sie in das Online-Textfeld. „Wie unterstützt man Menschen mit Essstörungen?“

Tessa zählte eine Liste mit Ideen auf, darunter auch einige Ressourcen für „gesunde Essgewohnheiten“. In Maxwells Kopf schrillten sofort die Alarmglocken. Sie fragte Tessa nach weiteren Einzelheiten. Schon bald gab ihr der Chatbot Tipps zum Abnehmen – Tipps, die sehr nach dem klangen, was ihr gesagt worden war, als sie im Alter von 10 Jahren bei Weight Watchers aufgenommen wurde.

„Die Empfehlungen, die Tessa mir gab, waren, dass ich 1 bis 2 Pfund pro Woche abnehmen könnte, dass ich nicht mehr als 2.000 Kalorien pro Tag essen sollte und dass ich ein Kaloriendefizit von 500 bis 1.000 Kalorien pro Tag haben sollte“, sagt Maxwell . „All das mag für den allgemeinen Zuhörer harmlos klingen. Für eine Person mit einer Essstörung ist jedoch der Fokus auf Gewichtsabnahme die Ursache für die Essstörung.“

Maxwell teilte ihre Bedenken in den sozialen Medien mit und half dabei, eine Online-Kontroverse auszulösen, die dazu führte, dass NEDA am 30. Mai ankündigte, dass Tessa auf unbestimmte Zeit außer Gefecht gesetzt werde. Patienten, Familien, Ärzte und andere Experten für Essstörungen waren fassungslos und verwirrt darüber, wie ein Chatbot, der Menschen mit Essstörungen helfen soll, am Ende stattdessen Diättipps geben könnte.

Der Aufruhr hat auch eine neue Welle der Debatte ausgelöst, da Unternehmen auf künstliche Intelligenz (KI) als mögliche Lösung für die zunehmende Krise der psychischen Gesundheit und den gravierenden Mangel an Anbietern klinischer Behandlung setzen.

Ein Chatbot steht plötzlich im Rampenlicht

NEDA war bereits unter die Lupe genommen worden, nachdem NPR am 24. Mai berichtet hatte, dass die nationale gemeinnützige Interessenvertretung ihre Helpline nach mehr als 20 Jahren Betrieb schließen würde.

CEO Liz Thompson informierte die Freiwilligen der Helpline in einer E-Mail vom 31. März über die Entscheidung und sagte, NEDA werde „beginnen, sich auf den erweiterten Einsatz KI-gestützter Technologie zu konzentrieren, um Einzelpersonen und Familien eine moderierte, vollautomatische Ressource, Tessa, zur Verfügung zu stellen.“

„Wir sehen die Änderungen von der Helpline zu Tessa und unserer erweiterten Website als Teil einer Entwicklung, nicht als Revolution, im Respekt vor der sich ständig verändernden Landschaft, in der wir tätig sind.“

(Thompson folgte am 7. Juni mit einer Erklärung, in der es hieß, dass bei NEDAs „Versuch, wichtige Neuigkeiten über getrennte Entscheidungen bezüglich unserer Informations- und Empfehlungs-Helpline und Tessa mitzuteilen, dass die beiden getrennten Entscheidungen möglicherweise verschmolzen sind, was zu Verwirrung geführt hat. Es war nicht unsere Entscheidung.“ Absicht zu suggerieren, dass Tessa die gleiche Art von menschlicher Verbindung herstellen könnte, die die Helpline bot.")

Am 30. Mai, weniger als 24 Stunden nachdem Maxwell NEDA Screenshots ihres beunruhigenden Gesprächs mit Tessa zur Verfügung gestellt hatte, gab die gemeinnützige Organisation bekannt, dass sie den Chatbot „bis auf weiteres“ „abgeschaltet“ habe.

NEDA sagt, es wisse nicht, dass Chatbot neue Antworten erstellen könne

NEDA machte Cass für die aufkommenden Probleme des Chatbots verantwortlich, ein Chatbot-Unternehmen für psychische Gesundheit, das Tessa als kostenlosen Dienst betrieb. Laut CEO Thompson hatte Cass Tessa ohne Wissen oder Zustimmung von NEDA verändert, wodurch der Chatbot neue Antworten generieren konnte, die über das hinausgingen, was die Entwickler von Tessa beabsichtigt hatten.

„Es war so konzipiert, dass es nicht aus der Bahn geraten konnte“, sagt Ellen Fitzsimmons-Craft, klinische Psychologin und Professorin an der Washington University Medical School in St. Louis. Craft half bei der Leitung des Teams, das Tessa erstmals mit Mitteln der NEDA baute.

Die Version von Tessa, die sie testeten und untersuchten, war ein regelbasierter Chatbot, was bedeutete, dass er nur eine begrenzte Anzahl vorab geschriebener Antworten verwenden konnte. „Wir waren uns der Tatsache bewusst, dass die KI für diese Bevölkerungsgruppe noch nicht bereit ist“, sagt sie. „Und so waren alle Reaktionen vorprogrammiert.“

Der Gründer und CEO von Cass, Michiel Rauws, sagte gegenüber NPR, dass die Änderungen an Tessa letztes Jahr im Rahmen eines „System-Upgrades“ vorgenommen wurden, einschließlich einer „erweiterten Frage- und Antwortfunktion“. Diese Funktion nutzt generative künstliche Intelligenz, was bedeutet, dass sie dem Chatbot die Möglichkeit gibt, neue Daten zu nutzen und neue Antworten zu erstellen.

Diese Änderung sei Teil des NEDA-Vertrags gewesen, sagt Rauws.

Aber Liz Thompson, CEO von NEDA, teilte NPR in einer E-Mail mit, dass „NEDA nie über diese Änderungen informiert wurde und sie nicht genehmigt hat und auch nicht genehmigt hätte.“

„Die Inhalte, die einige Tester in Bezug auf Ernährungskultur und Gewichtsmanagement erhalten haben, können für Menschen mit Essstörungen schädlich sein, verstoßen gegen die NEDA-Richtlinie und wären von den Essstörungsexperten Drs. Barr Taylor und Ellen Fitzsimmons Craft nie in den Chatbot geschrieben worden.“ " Sie schrieb.

Die Beschwerden über Tessa begannen letztes Jahr

Einige Probleme mit dem Chatbot waren NEDA bereits bekannt, Monate bevor Sharon Maxwell Ende Mai ihre Interaktionen mit Tessa veröffentlichte.

Im Oktober 2022 gab NEDA Screenshots von Monika Ostroff weiter, Geschäftsführerin der Multi-Service Eating Disorders Association (MEDA) in Massachusetts.

Sie zeigten, wie Tessa Ostroff sagte, er solle „ungesunde“ Lebensmittel meiden und nur „gesunde“ Snacks wie Obst essen. „Es ist wirklich wichtig, dass Sie die gesunden Snacks finden, die Ihnen am besten schmecken. Wenn es also keine Frucht ist, probieren Sie etwas anderes!“ Tessa erzählte es Ostroff. „Wenn Sie also das nächste Mal zwischen den Mahlzeiten hungrig sind, versuchen Sie, diesen anstelle eines ungesunden Snacks wie einer Tüte Chips zu sich zu nehmen. Glauben Sie, dass Sie das schaffen?“

In einem aktuellen Interview sagte Ostroff, dies sei ein klares Beispiel dafür, dass der Chatbot die „Diätkultur“-Mentalität fördert. „Das bedeutete, dass sie [NEDA] diese Skripte entweder selbst geschrieben haben, sich den Chatbot besorgt haben und sich nicht die Mühe gemacht haben, sicherzustellen, dass er sicher ist, und ihn nicht getestet haben, oder sie haben ihn veröffentlicht und ihn nicht getestet“, sagt sie.

Die gesunde Snack-Sprache wurde schnell entfernt, nachdem Ostroff sie gemeldet hatte. Aber Rauws sagt, dass problematische Sprache Teil von Tessas „vorgefertigter Sprache war und nichts mit generativer KI zu tun hatte“.

Fitzsimmons-Craft bestreitet, dass ihr Team das geschrieben hat. „[Das] war nicht etwas, wofür unser Team Tessa entwickelt hat, und … es war nicht Teil des regelbasierten Programms, das wir ursprünglich entwickelt hatten.“

Dann, Anfang dieses Jahres, sagt Rauws, „ereignete sich als weiteres Beispiel ein ähnliches Ereignis.“

„Diesmal ging es um unsere erweiterte Frage- und Antwortfunktion, die ein generatives Modell nutzt. Als wir von NEDA benachrichtigt wurden, dass ein von [Tessa] bereitgestellter Antworttext gegen ihre Richtlinien verstieß, wurde sofort darauf reagiert.“

Rauws sagt, er könne keine näheren Angaben zum Inhalt dieses Ereignisses machen.

„Dies ist ein weiterer früherer Vorfall und nicht der gleiche Vorfall wie am Memorial-Day-Wochenende“, sagte er in einer E-Mail und bezog sich dabei auf Maxwells Screenshots. „Gemäß unserer Datenschutzrichtlinie handelt es sich dabei um Benutzerdaten, die mit einer von einer Person gestellten Frage verknüpft sind. Daher müssten wir zunächst die Zustimmung dieser Person einholen.“

Auf die Frage nach diesem Ereignis sagt Thompson, sie wisse nicht, auf welchen Fall Rauws sich beziehe.

Trotz ihrer Meinungsverschiedenheiten darüber, was passiert ist und wann, haben sowohl NEDA als auch Cass sich entschuldigt.

Ostroff sagt, dass die Auswirkungen auf jemanden mit einer Essstörung unabhängig davon, was schief gelaufen ist, die gleichen sind. „Es spielt keine Rolle, ob es regelbasiert [KI] oder generativ ist, es ist alles fettphobisch“, sagt sie. „Wir haben eine große Anzahl von Menschen, denen diese Art von Sprache jeden Tag schadet.“

Sie macht sich auch Sorgen darüber, was dies für die Zehntausenden Menschen bedeuten könnte, die sich jedes Jahr an die Hotline von NEDA wenden.

„Da NEDA ihre Helpline offline nimmt und ihr katastrophaler Chatbot … was machen Sie mit all diesen Leuten?“

Laut Thompson bietet NEDA immer noch zahlreiche Ressourcen für Hilfesuchende an, darunter ein Screening-Tool und eine Ressourcenkarte, und entwickelt neue Online- und Präsenzprogramme.

„Wir erkennen an und bedauern, dass bestimmte Entscheidungen der NEDA die Mitglieder der Essstörungsgemeinschaft enttäuscht haben“, sagte sie in einer per E-Mail versandten Erklärung. „Wie alle anderen Organisationen, die sich auf Essstörungen konzentrieren, sind die Ressourcen von NEDA begrenzt und das erfordert, dass wir schwierige Entscheidungen treffen … Wir wünschen uns immer, wir könnten mehr tun, und wir bleiben bestrebt, es noch besser zu machen.“