Meta vil advare forældre, hvis teenagere viser selvmordsrisiko i AI-chat

Funktionen hedder Parent Alerts og bliver først rullet ud til forældre, der bruger Instagrams værktøjer til forældresupervision i USA, Storbritannien, Australien og Canada. Ifølge Meta skal funktionen udvides globalt inden udgangen af året.

Hvis en alarm bliver sendt, vil forældre også modtage ekspertstøttede ressourcer, der skal hjælpe dem med at tage samtaler om selvmord og selvskade med deres teenagere.

Meta oplyser ifølge ABC-News, at selskabet vil “err on the side of caution”, hvis en teenagers hensigt er uklar.

Selskabet siger, at det har udviklet et dedikeret AI-system til at opdage højrisikosamtaler. Systemet er ifølge Meta udviklet efter dialog med forældre og eksperter i mental sundhed. Som et ekstra sikkerhedslag skal alle samtaler, der bliver markeret af AI, gennemgås af et menneske, før der sendes en besked til forældrene.

Tiltaget gælder i en tid, hvor børn og unges brug af AI er blevet et større emne for både forældre, myndigheder og teknologiselskaber.

Hos Meta er minimumsalderen for Facebook og Instagram 13 år, og brugere under 18 placeres automatisk i en teen account-indstilling. Den indstilling gælder ifølge selskabet også for samtaler med Meta AI.

Meta arbejder desuden på en mulighed for at kontakte førstehjælpere, hvis en samtale med Meta AI indikerer, at en person er i akut fare for selvmord. Selskabet siger, at dette bygger videre på mere end 19.000 nødhenvisninger, som Meta foretog globalt på Facebook og Instagram sidste år.

Samtidig udvider Meta sin strengere Limited Content-indstilling til AI-oplevelser. Hvis forældre slår den til via Instagrams forældreværktøjer, vil teenagerens interaktioner med Meta AI også blive mere begrænsede.

Metas nye tiltag kommer samtidig med, at andre AI-selskaber også har indført særlige sikkerhedsgreb for unge brugere. OpenAI har tidligere lanceret forældrekontrol og notifikationer for teenagere, mens Anthropic siger, at Claude kun er tilgængelig for brugere over 18 år.

For forældre kan funktionen blive et nyt redskab i en svær balance: at beskytte teenagere i kritiske situationer uden at gøre digitalt privatliv til et lukket spørgsmål. For Meta er det samtidig endnu et tegn på, at AI-sikkerhed for unge ikke længere er et tillæg, men en central del af platformenes ansvar.

Vores team kan have anvendt AI til at assistere i skabelsen af dette indhold, som er gennemgået af redaktørerne.