Svaret nedenfor er et eksempel. Kandidaten kan velge et annet dilemma, så lenge det henger sammen med Annas situasjon og drøftes fra flere sider.

Dilemmaet. Bør Anna fortsette å bruke chatboten som samtalepartner? På den ene siden gir den henne noen å snakke med når hun ikke tør å gå til foreldrene eller helsesykepleieren. På den andre siden kan den gi dårlige råd, erstatte hjelp fra mennesker, og den kan lagre og selge det hun forteller. Det finnes gode grunner for begge valgene, og det er derfor et dilemma.

Argumenter for å bruke chatboten:

• Lav terskel. Anna åpner seg lettere for en maskin fordi hun ikke føler seg dømt. Å sette ord på følelsene kan i seg selv lette. Uten chatboten er det mulig at hun ikke snakker med noen i det hele tatt.
• Tilgjengelighet. Chatboten er gratis og svarer med en gang, også sent på kvelden. Helsetjenester har ofte ventetid og er bare åpne på dagtid.
• Autonomi. Anna er 17 år og har rett til å bestemme mye selv. Hun velger selv hvem hun vil snakke med og når.
• Konsekvenser. Ut fra en konsekvensetisk vurdering er det godt hvis chatboten gjør at Anna føler seg mindre ensom, og kanskje etter hvert tør å søke hjelp hos et menneske.

Argumenter mot å bruke chatboten slik:

• Feil og upassende råd. En språkmodell forstår ikke Anna. Den lager svar som høres riktige ut, men som kan være feil. Hvis Anna får det verre eller får vonde tanker, kan et dårlig svar få alvorlige konsekvenser. Chatboten kan ikke vurdere fare eller ringe etter hjelp slik en helsesykepleier kan.
• Ansvar. En helsesykepleier har taushetsplikt, faglig ansvar og plikt til å handle. Det er uklart hvem som har ansvaret når en app gir dårlige råd: selskapet, utviklerne eller Anna selv. Appen lover å være en «venn», men tar ikke ansvaret en venn eller en fagperson har.
• Tillit og avhengighet. Chatboten svarer alltid raskt og vennlig. Det kan gi Anna tillit til noe som ikke fortjener den, og gjøre det enda vanskeligere å snakke med ekte mennesker. Da kan ensomheten øke i stedet for å minke. Det er også et spørsmål om ærlighet: Anna må forstå at hun snakker med en maskin, og at vennligheten er laget for at hun skal fortsette å bruke appen.
• Personvern. Det Anna forteller, er helseopplysninger. De hører til de særlige kategoriene av personopplysninger i GDPR og har ekstra sterk beskyttelse. Å selge dem videre krever uttrykkelig samtykke, og et samtykke som er gjemt i vilkår Anna ikke har lest, er ikke et reelt samtykke. Opplysningene kan havne hos annonsører eller andre selskaper, bli brukt til å profilere henne, eller lekke ved et datainnbrudd. Skaden kan ikke gjøres om. Gratis-appen kan være betalt med dataene hennes.
• Pliktetikk. Selskapet har en plikt til ikke å utnytte en sårbar person. Uansett hvilke fordeler appen gir, er det galt å tjene penger på å selge det en nedstemt 17-åring betror seg om.

Min vurdering. Chatboten hjelper Anna nå, og det er ikke riktig å si at hun gjorde noe galt da hun begynte å bruke den. Men akkurat denne appen gir feil råd og kan selge dataene hennes, og da veier ulempene tyngst. Anna bør slutte å fortelle personlige ting til denne appen, se om hun kan få slettet det hun allerede har delt, og ta skrittet mot et menneske hun stoler på: helsesykepleieren, fastlegen, en voksen i familien eller en anonym chattetjeneste som drives av en seriøs organisasjon med fagfolk. Hun kan gjerne bruke det hun har skrevet til chatboten til å finne ord på hvordan hun har det.

KI kan ha en rolle i psykisk helsehjelp til ungdom, men som et supplement og ikke som en erstatning for mennesker. Da må noen krav være oppfylt: det må være tydelig at man snakker med en maskin, tjenesten må være utviklet og fulgt opp av helsefaglige personer, den må henvise videre til ekte hjelp når samtalen tyder på alvorlige problemer, og den må behandle opplysningene etter GDPR, med dataminimering, formålsbegrensning og uten salg av data. Ansvaret for at tjenesten er trygg, må ligge hos dem som lager og tilbyr den, ikke hos en 17-åring som har det vondt.