We lieten een groep van 42 leerlingen in de leeftijdscategorie van 13 t/m 18 jaar video’s bekijken op TikTok. Daarvoor zijn we op bezoek geweest bij een middelbare school in het westen van het land. De leerlingen kregen verschillende instructies, deels gebaseerd op een eerder onderzoek van Newsguard. We maakten onderscheid in meerdere groepen, die allemaal verschillende instructies kregen.

Instructies

De eerste groep (9 leerlingen) mocht TikTok gebruiken zoals ze dagelijks doen. De leerlingen waren vrij om te kijken wat ze wilden. Er was maar één regel: het moest gebeuren binnen de omgeving van TikTok. Een tweede groep (12 leerlingen) kreeg wat specifiekere instructies. Zij mochten alleen video’s kijken op de For You Page van TikTok. Dit is een pagina waar populaire video's verschijnen of video’s die getoond worden op basis van kijkgedrag. Kwamen de leerlingen daar een video tegen die ging over het klimaat, dan moesten ze die video uitkijken. Ging het niet over het klimaat, dan moesten ze de video binnen enkele seconden doorscrollen.

Groep drie (11 leerlingen) kreeg dezelfde instructies als groep 2, maar moest de klimaatvideo’s ook liken. De vierde en laatste groep (10 leerlingen) kreeg de instructies om op zoek te gaan naar informatie over het klimaat. Ze mochten dat op verschillende manieren proberen, zolang het maar binnen de omgeving van TikTok was.

Voor dit onderzoek maakten we gebruik van nieuwe TikTok-accounts, die door Pointer en Beeld & Geluid zijn aangemaakt en dus niet eerder door een algoritme zijn beïnvloed. De leerlingen kregen vooraf gemaakte gebruikersnamen en wachtwoorden waarmee ze op hun eigen device konden inloggen. De leerlingen kregen in totaal 45 minuten de tijd om de opdrachten uit te voeren.

Nadat de leerlingen 45 minuten hadden gescrold, vroegen we de leerlingen om uit te loggen op TikTok. Vervolgens hebben wij de wachtwoorden van de accounts veranderd, zodat er geen toegang meer was voor buitenstaanders en daarmee zorgden we ervoor dat het algoritme op een later moment niet meer beïnvloed kon worden. De geanonimiseerde data hebben we bij TikTok opgevraagd en gedownload.

We vroegen Trollrensics, een software-platform dat op diverse social media-platforms data kan verzamelen en analyseren, om alle geanonimiseerde data van de leerlingen samen te voegen en analyseerbaar te maken. Trollrensics leverde ons een lijst van alle ruim 5000 unieke video's die door de leerlingen bekeken waren, inclusief meta-data, zoals de omschrijving van de video. Van die video’s waren er 389 niet meer toegankelijk, in de meeste gevallen omdat de video inmiddels door de auteur was verwijderd.

Om een beter beeld te krijgen van welke video’s over klimaatverandering gaan, hebben we deze gelabeld. Allereerst hebben we elke video getranscribeerd. Dit deden we door met Whisper, een AI-tool van Openai, 30 seconden uit de video te knippen met de meeste gesproken taal en die met dezelfde tool te laten transcriberen. We lieten per fragment twee transcripties maken met het “medium”-model: eentje in de originele taal en eentje vertaald naar het Engels.

Daarnaast vertaalden we ook de eventuele beschrijvingen naar het Engels door middel van de python translate. Zo kwamen we tot een dataset met daarbij voor elke video: Een transcriptie en omschrijving in de originele taal (vaak Nederlands) en een transcriptie en omschrijving in het Engels. Vervolgens schreven we een script dat deze vier teksten controleerde op sleutelwoorden rond het klimaat. Daarmee konden we de lijst van duizenden video’s beperken tot een paar honderd die daadwerkelijk iets met klimaatverandering te maken hadden. Die video’s hebben we met de hand beoordeeld en gelabeld. Vervolgens hebben we gecontroleerd of deze video misinformatie bevatte of niet.

Bij alle video’s die door onze scripts aangewezen werden als klimaatvideo’s hebben we gecontroleerd of ze daar inderdaad over gaan. Video’s die onder klimaat vallen zijn:

• Video’s die inhoudelijk gaan over klimaatverandering of een duidelijke link hebben met klimaatverandering.
• Video’s waarin het alleen over een actie gaat, maar waarbij wel beeldelementen van bijvoorbeeld protestborden te zien zijn, zoals deze video van Extinction Rebellion over kolentransporten.
• Video’s waarbij alleen iets rond klimaatverandering wordt getoond, maar in de omschrijving wordt geïnsinueerd dat het onzin is, bijvoorbeeld video's met “klimaathoax” in de omschrijving. Uitzondering zijn comedyvideo’s, waarbij niet te checken is of de hoax tag serieus is of niet.

Vervolgens hebben we bepaald welke video’s misinformatie bevatten aan de hand van deze criteria:

• Wanneer klimaatverandering wordt ontkend. Hierbij letten we niet alleen op het gepresenteerde beeld, maar ook op de voice-over.
• Als wordt ontkend dat menselijke activiteit klimaatverandering veroorzaakt.
• Als twijfel wordt gezaaid over het bestaan van klimaatverandering (‘hier merken ze er anders weinig van’).
• Bij een video met politieke voorstellen die als zodanig worden gepresenteerd (zoals bijvoorbeeld deze video van de PvdA) worden die niet als misinformatie gelabeld, want dat gaat om mogelijke maatregelen in de toekomst. Politieke video’s die klimaatverandering ontkennen of aan een van de andere bovenstaande kenmerken voldoen krijgen dat label wel.
• Als de informatie onjuist is, of klimaatverandering relativeert.

Uit het onderzoek blijkt dat met name de vierde groep (de leerlingen die op zoek moesten gaan naar informatie over het klimaat) veel misinformatie over klimaatverandering tegenkwam. De vierde groep bestond uit tien leerlingen. Van de 240 video’s die deze groep tegenkwam over het klimaat bleken er 73 misinformatie te bevatten. Lees hier meer over de uitkomsten van ons onderzoek.

Dit onderzoek is gedaan in samenwerking met Beeld & Geluid. Het project wordt mede mogelijk gemaakt met steun door SIDN fonds.