AI kan skapa falska minnen
Konversations-AI kan skapa falska minnen genom att infoga mindre sakfel i konversationer
En experimentell studie i USA fann att när en konversations-AI infogade mindre sakfel i konversationer med användare ökade förekomsten av falska minnen och minskade minnet av korrekt information. Forskningen publicerades i IUI' 25: Proceedings of 30th International Conference on Intelligent User Interfaces.
Människans minne fungerar genom tre huvudprocesser: kodning, lagring och hämtning, dvs. processer under vilka information omvandlas, bibehålls och senare nås i hjärnan (respektive). Kodning beror på uppmärksamhet och mening, så information som är känslomässigt framträdande eller välorganiserade minns bättre. Lagrade minnen är inte exakta inspelningar av händelser; de kan förändras över tid. Hämtning av lagrade minnen är en rekonstruktiv process, vilket innebär att minnen återuppbyggs varje gång de återkallas snarare än bara spelas upp igen.
I dessa processer, genom att utnyttja minnets rekonstruktiva natur, kan falska minnen bildas. Falska minnen är minnen av händelser eller detaljer som känns verkliga men är felaktiga eller påhittade. De formas genom förslag, fantasi, upprepade frågor, social påverkan eller förvirring mellan liknande upplevelser.
Under återgivning tenderar hjärnan att fylla i luckor med hjälp av förväntningar, förkunskaper eller extern information, som sedan integreras i minnet. Med tiden kan dessa förändrade detaljer kännas lika levande och verkliga som sanna minnen.
Studiens författare Pat Pataranutaporn och hans kollegor undersökte potentialen för skadliga generativa chatbotar att framkalla falska minnen genom att infoga subtil felinformation under interaktioner med användare. Tidigare studier indikerade att det finns en ökning av AI-drivna desinformationskampanjer, där AI:er som använder en auktoritativ ton, övertygande språk och riktad personalisering bidrog till användarnas svårigheter att skilja mellan sann och falsk information. Tidigare studier visade också att AI-genererat innehåll kan påverka människors övertygelser och attityder.
Studiedeltagarna var 180 individer som rekryterades via CloudResearch. Deltagarnas genomsnittliga ålder var 35 år. Antalet kvinnliga och manliga deltagare var lika.
Studieförfattarna tilldelade varje deltagare slumpmässigt tre artiklar. En artikel handlade om val i Thailand, en annan om läkemedelsutveckling och den tredje om snatteri i Storbrittanien. Detta följdes av en kort utfyllnadsuppgift. Efter detta tilldelades deltagarna återigen slumpmässigt till fem olika villkor. Det fanns totalt 36 deltagare per villkor med 12 per artikel.
De experimentella villkoren var kontrollvillkoret (ingen intervention) och fyra interventionsvillkor som inkluderade interaktion med en AI (gpt-4, 2024-08-06, en stor språkmodell). Av dessa fyra villkor inkluderade två att läsa en AI-genererad sammanfattning av artikeln, medan de andra två inkluderade att delta i en diskussion med AI:n. I varje par av villkor var AI:n ärlig i det ena (dvs. korrekt presenterad fakta från artiklarna) och vilseledande i det andra (dvs. införlivade felinformation tillsammans med faktapunkter).
Efter att ha genomgått sin tilldelade intervention svarade deltagarna på frågor och kom ihåg om specifika punkter förekom i den ursprungliga artikeln. Frågeformuläret bestod av 15 frågor, varav 10 som handlade om nyckelpunkter från artikeln, medan 5 handlade om desinformation.
För varje fråga kunde deltagarna svara med Ja, Nej eller Osäker, och de bedömde även sin tilltro till svaret. Deltagarna rapporterade också själva sitt förtroende till AI, utvärderade sin egen allmänna minnesprestanda och bedömde sin förmåga att komma ihåg visuell och verbal information. Slutligen bedömde deltagarna graden av misstro de kände mot officiell information.
Resultaten visade att deltagare som deltog i diskussioner med en vilseledande chatbot, erinrade sig det högsta antalet falska minnen jämfört med alla andra villkor och erinrade sig det lägsta antalet icke-falska minnen. Antalet falska minnen som erinrades av individer som läste en vilseledande sammanfattning var något högre jämfört med kontroll- och ärliga villkor, men skillnaden var inte tillräckligt stor för att vara säker på att det inte vara slumpmässiga variationer. Situationer var liknande för icke-falska minnen.
På liknande sätt uppvisade deltagare som konverserade med en vilseledande chatbot lägre tilltro till sina icke-falska minnen jämfört med deltagare i ärliga situationer.
Sammantaget hade deltagare som konverserade med en vilseledande chatbot den lägsta tilltron till sina återkallade minnen jämfört med alla andra studiegrupper.
"Resultaten visade att LLM-drivna [stora språkmodeller] interventioner ökar skapandet av falska minnen, där vilseledande chatbotar genererar störst effekt av desinformation. Detta pekar på en oroande förmåga för språkmodeller att introducera falska övertygelser hos sina användare. Dessutom främjande dessa interventioner inte bara falska minnen utan också minskade också deltagarnas förtroende för att återkalla korrekt information", konstaterade studiens författare.
Studien bidrar till den vetenskapliga förståelsen av falska minnen. Det bör dock noteras att studien fokuserade på omedelbar återkallelse av minnen utan någon särskild relevans för studiedeltagarna.
Dessutom kom deras information från enda källa, vilket var den artikel de läste.
Detta skiljer sig djupt från verklig inhämtning av information, där individer oftast samlar in information från flera konkurrerande källor, bearbetar den baserat på den nivå av förtroende de har för källorna och olika andra faktorer, och kan verifiera punkter som är direkt relevanta för dem.
Kommentarer
Skicka en kommentar