Hur AI text- och bildgeneratorer kan utnyttjas i skadliga syften 

Författare: Kave Noori

Datorprogram som kan generera text och bilder har fått väldigt mycket uppmärksamhet under den senaste tiden. Både företag och privatpersoner har börjat använda dem för olika syften. I takt med att tekniken blir bättre ökar också risken för att den missbrukas och utgör ett hot mot olika grupper av människor. Företagsledare, politiker och sårbara grupper som äldre och personer med funktionsnedsättning utgör några av de som kan bli lurade eller få sin identitet kapad.

Generativ AI är en typ av artificiell intelligens som producerar nytt innehåll baserat på den data som den blivit tränad på. ChatGPT är ett exempel på AI som producerar text. Den har enligt BBC Science tränats genom att dammsuga hemsidor från internet på över totalt 300 miljarder ord. 

ChatGPT:s språkbruk är en spegelbild av den data som den tränats på. Om den bara hade tränats på klassisk litteratur från 1600- eller 1700-talet skulle den kanske uttrycka sig som en karaktär i en Shakespearepjäs (förutsatt att det materialet skulle utgöra ett tillräckligt stort underlag för att träna AI:n på). Det finns även generativ AI som skapar bilder och mänskligt tal som kan härma en existerande människas röst.

Generativ AI kan användas för vad en del skulle se som ett gott syfte som att driva chattbottar, hjälpa till med att sammanfatta text och göra den mer begriplig eller att hjälpa personer med språkliga nedsättningar att uttrycka sig på ett mer tydligt och artikulerat sätt. Samtidigt kan tekniken också missbrukas.

Ett sätt som generativ AI kan missbrukas på är genom så kallade deepfakes. Tänk dig att någon laddar ned en bild där statsministern skakar hand med Kanadas president och sedan använder AI för att skapa en ny bild av en påhittad situation där det ser ut som att statsministern istället skakar hand med någon som statsministern inte alls vill bli förknippad med. En sådan påhittad bild kallas för deepfake. ”Deep” kommer från att den har skapats med en teknik som kallas för Deep Learning.

Deepfakes kan missbrukas för att skada politiker, företagare och individers rykten eller för att kapa någons identitet. Realistiska datorgenererade bilder, videos och ljudklipp kan användas för att vilseleda och manipulera.

Beroende på vad den som använder en deepfake har för motiv kan tekniken användas för att skapa text, bild, video, inlägg på sociala medier och till och med livesänd video. Detta enligt en artikel från Spiceworks som närmare förklarar vilka olika typer av deepfakes som existerar och hur de funkar.

Aktörer med elaka avsikter kan missbruka deepfakes för att uppnå följande mål:

Misrepresentation: Deepfakes kan skapas med hjälp av AI-chattrobotar och bildgeneratorer för att väcka missaktning mot vissa grupper. Det skulle exempelvis kunna vara möjligt att skapa en deepfake-video, där någon som utger sig för att vara jude eller muslim säger något stötande eller olämpligt som kan skada personens eller gruppens rykte.

Identitetskapning: Deepfakes kan användas för att kapa någons identitet genom att generera text eller tal som imiterar dennes sätt att tala eller skriva. Det genererade innehållet kan användas för att lura andra att tro att de kommunicerar med den verkliga personen. Det innebär att offret får sin identitet kapad eller utnyttjas på andra sätt. 

I augusti 2019 rapporterade Wall Street Journal att en brottsling använde AI-baserad programvara för att imitera rösten på vd:n för ett brittiskt energibolag och beställde en banköverföring på 243 000 dollar till en bedräglig leverantör. 

I ett annat sammanhang, mars 2022, knappt en månad efter att Ryssland invaderade Ukraina, rapporterade Euronews om en deepfake-video av Ukrainas president, som spreds av proryska krigspropagandister som uppmanade ukrainska soldater att kapitulera inför invasionsstyrkan. Några månader senare, den 25 juni 2022, rapporterade The Guardian att europeiska politiker hade lurats till ett deepfake-videosamtal med en imitatör som efterliknade borgmästaren i Kiev.

Känslomässig manipulation: Generativ AI kan också missbrukas för att skapa deepfakes som utnyttjar människors empati. Till exempel kan det genererade innehållet utgöra en video eller en ljudupptagning som ska föreställa en person som är i nöd eller fruktar för sitt liv för att manipulera andra till att överföra pengar till en bedragare. Enligt en artikel i Washington Post som publicerades den 5 mars 2023 använde en bedragare ljud som hade skapats med hjälp av en deepfake för att utföra ett bedrägeri över telefon. Bedragaren ringde till ett äldre par i Kanada och fick dem att tro att de pratade med sitt barnbarn som hamnat i knipa och akut behövde ekonomisk hjälp. Paret skyndade sig till ett bankkontor och började ta ut stora summor pengar som de hade tänkt skicka till bedragaren, men en uppmärksam bankchef ingrep när han misstänkte att de var på väg att utsättas för ett bedrägeri.

I takt med att AI-utvecklingen går framåt är det viktigt att vi lär oss hur den nya tekniken fungerar. Om fler förstår riskerna och problemet kan vi förhoppningsvis minska antalet personer som blir lurade. 

Läs mer:

BBC Science artikel som förklarar hur ChatGPT fungerar, 2 februari 2023

Wikipedia om Deep Learning

Spicework om artikel om olika typer av deepfakes, 23 maj 2022

The Wall Street Journal om ett begrägeri där en VD fick sin röst kapad, 30 augusti 2023

Euronews om den första deepfake-video som avsiktligt använts i kriget i Ukraina, 16 mars 2022 

The Guardian om att europeiska politiker lurades at tro att de pratade med borgmästaren i Ukrainas huvudstad Kiev, 25 juni 2022

Washington post om ett kanadensiskt äldre som utsattes för bedrägeriförsök, 5 mars 2023

Logga in

Ej medlem? Registrera dig

Återställ lösenord

Bli medlem


    Forum för Dataskydd bidrar till ett tryggt informationssamhälle och värnar om integritetsskydd idag och i morgon. Vi förstärker, förenklar och ökar medvetenheten kring integritetsskydd i Europa genom att skapa ett tongivande forum för samverkan och informationsspridning. Stärk ditt dataskyddsarbete med kompetens från drygt 800 medlemmar på våra seminarier och nätverksträffar. Medlemmar går gratis på våra seminarier och nätverksträffar samt till rabatterat pris på Nordic Privacy Arena.

    Studentmedlemskap upphör automatiskt efter ett år, därefter behövs ny ansökan. Ange också ert mecenatkortnr i meddelandefältet.

    Det är viktigt att meddela oss om du byter arbetsplats, faktureringsadress, telefonnummer, mailadress eller annan viktig information. När du byter arbetsplats eller annan ovannämnd information mailar du oss och meddelar detta på info@dpforum.se så att vi kan säkerställa kontinuitet i ditt medlemskap.

    Ordinarie medlemskap: 1645 kr per år.
    Student: Gratis första året, sedan 200 kr per år (är du anställd på ett företag gäller ordinarie pris).












    Genom att fylla i formuläret, godkänner jag att Forum för Dataskydd lagrar mina personuppgifter i sin databas som kommer användas för att förse mig med relevant information om Forum för Dataskydds tjänster och erbjudanden.

    This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
    Go to cart