Verantwoording en bronnen bij Ophef-aflevering over de algoritmes van Instagram en TikTok

Hieronder vind je de verantwoording van de Ophef-aflevering over de moderatie van berichten over de oorlog tussen Israël en Hamas door Instagram en TikTok. We lichten toe hoe we de moderatie van beide platforms testten. Ook vind je er meer informatie over de sprekers die aan het woord komen in de video.

De aflevering is nu al te zien op NPO Start.

Sinds het begin van de oorlog tussen Hamas en Israël op 7 oktober melden (veelal Palestijnse en pro-Palestijnse) gebruikers van Instagram dat ze worden geshadowband als ze pro-Palestijnse berichten en verhalen (stories) plaatsen. Shadowbannen betekent dat berichten minder zichtbaar worden gemaakt dan andere berichten of worden verwijderd, zonder dat de gebruikers daarvan op de hoogte worden gesteld door het platform.

Over TikTok melden (veelal Joodse en Amerikaanse) gebruikers juist dat het platform pro-Palestijnse video's voorrang zou geven op de For You-feed, de 'homepagina' van TikTok, en niet genoeg zou doen om antisemitische berichten te verwijderen.

De claims dat bepaalde inhoud vaak over politiek gevoelige onderwerpen minder of juist meer zichtbaar zou worden gemaakt door social media platforms zijn niet nieuw. Zo werd Meta eerder verweten inhoud over abortuspillen onterecht te verwijderen en zou TikTok berichten over de onderdrukking van de Oeigoerse moslimminderheid door de Chinese overheid censureren. Reden voor Nieuwsuur om onderzoek te doen naar hoe de moderatie van beide platforms werkt.

We richtten ons daarbij op inhoud over de oorlog tussen Israël en Hamas.

Instagram

Nieuwsuur onderzocht of shadowbannen ook in Nederland gebeurt. Meta, het moederbedrijf van Instagram en Facebook, wordt er al jaren van beschuldigd inhoud van Palestijnse of pro-Palestijnse gebruikers zonder duidelijke aanleiding minder zichtbaar te maken of te verwijderen. Daarover zijn eerder al petities gestart. Maar sinds het begin van de oorlog op 7 oktober zijn die claims wijdverspreider dan voorheen.

Het is momenteel onmogelijk om shadowbanning rechtstreeks en compleet te onderzoeken. Daarvoor zouden we namelijk toegang moeten krijgen tot de Instagram-verhalen van een groot aantal gebruikers, om het aantal kijkers (views) daarvan te vergelijken met de views van andere verhalen. Die toegang hadden we niet. Maar ook áls we die zouden hebben, zou een alternatieve verklaring voor minder views kunnen zijn dat de volgers simpelweg minder interesse hebben in beelden van de oorlog in Gaza dan in andere onderwerpen. Gezien de beperkte toegang voor onderzoekers tot de moderatie-besluiten en algoritmes van Instagram, zijn sluitende conclusies dus niet te trekken.

Toch wilden we proberen in de buurt te komen. Dat deden we op twee manieren: met een rondvraag, en een test.

Instagram-rondvraag

Tussen 15 maart en 15 april namen we contact op met 60 Nederlandse Instagram-gebruikers die af en toe pro-Palestijnse berichten plaatsen. De gebruikers hadden tussen de tweeduizend en twee miljoen volgers. We stelden ze de volgende vragen:

Naast verminderd bereik meldden 14 respondenten ook beperkingen of andere opmerkelijke problemen, zoals plotselinge verwijdering van berichten die ze hadden geplaatst, het niet meer kunnen gebruiken van Instagram-functies zoals live gaan of reageren op volgers, onzichtbaar geworden stories, en accounts die voor een periode volledig onvindbaar waren. Van twaalf mensen die we spraken, ontvingen we screenshots van verminderde zichtbaarheid in vergelijking met inhoud die niet over het conflict gaat, evenals screenshots die verschillende beperkingen op hun Instagram-account bevestigden, zoals het niet meer kunnen reageren op volgers.

Om een mogelijke shadowban te omzeilen, pasten twaalf van de Instagram-gebruikers trucjes toe, zoals het anders spellen van woorden of hashtags (algospeak), en het mengen van berichten over Gaza met persoonlijke foto's. De effectiviteit van deze trucjes varieerde, volgens de Instagrammers.

De pro-Palestijnse berichten van de 23 Instagrammers vielen binnen de richtlijnen van Instagram. Minder zichtbaarheid of andere beperkingen zijn dus niet te verklaren door een schending van die richtlijnen.

Dankzij de rondvraag kunnen we concluderen dat het onderwerp ook onder Nederlandse Instagrammers speelt: velen vroegen zich af waarom hun Gaza-gerelateerde berichten zoveel minder zichtbaar waren, en waarom hun account beperkingen werd opgelegd.

Gedurende het onderzoek ontdekten we ook dat NGO Oxfam Novib te maken kreeg met shadowbanning. Tijdens hun meest recente campagne over het conflict in Gaza kreeg Oxfam als sanctie een gedeeltelijke blokkade op hun Instagram-account. Dit houdt in dat Oxfam niet langer kon reageren op berichten van volgers en geen content meer kon liken. Eerder had de NGO al opgemerkt dat veel van hun volgers moeite hadden met het delen van specifieke berichten van Oxfam over Gaza.

NGO Amnesty International heeft ook verschillen opgemerkt bij het plaatsen van berichten over Gaza. Woordvoerder Marjon Rozema van Amnesty: "Content over Gaza presteert voor wat wij gewend zijn soms echt onder verwachting in het aantal views."

Instagram-test

Om een mogelijke verklaring van de verminderde zichtbaarheid van pro-Palestijnse inhoud te vinden, deden we een test met twee nieuwe, openbare Instagram-accounts. Omdat nieuwe accounts nog geen volgers en view-trend hebben, is dit geen afspiegeling van een realistische situatie. Bovendien heeft Instagram verschillende algoritmes voor verschillende functies (feed, stories, search, etc.). Maar hiermee konden we wél testen hoe zichtbaar en vindbaar verschillende soorten afbeeldingen zijn via de zoekfunctie.

Met de twee accounts plaatsten we tussen 11 maart en 5 april vrijwel elke dag een nieuwe, openbare post (foto met korte omschrijving). Met één account plaatsten we foto's van bloemen, dieren en landschappen. Het andere account werd gebruikt om beelden van de oorlog tussen Hamas en Israël te plaatsen, zoals militairen, rookwolken en vernietigde gebouwen.

Hiervoor gebruikten we foto's die rechtenvrij waren of waarvoor Nieuwsuur rechten heeft (bijv. van persbureau ANP). In totaal plaatsten we 24 berichten per account. Bij deze berichten plaatsten we hashtags die nog niet eerder waren gebruikt (respectievelijk #bloemetjesproef2024 en #onrustproef2024), zodat we konden bijhouden hoeveel van de berichten vindbaar waren via de zoekfunctie van Instagram.

We zorgden ervoor dat onze berichten de richtlijnen van Instagram niet schonden. Op de Instagram-pagina's van beide accounts zijn alle 24 geplaatste berichten dan ook terug te vinden.

Vervolgens analyseerden we de zichtbaarheid en terugvindbaarheid van de berichten. Tussen 11 maart en 5 april verzamelden we elke dag het totale aantal via de hashtag vindbare berichten. Hiervoor gebruikten we een Python-script dat gebruikmaakt van de Python-library instagrapi. Daarmee voerden we mobiele API-verzoeken uit om het gebruik van de Instagram-app na te bootsen. Het script en de toelichting daarbij vind je op GitHub.

Met het script verzamelden we via een ander Instagram-account de "recente" en "top" zoekresultaten van beide hashtags. Daarnaast hielden we het totaal aantal vindbare berichten op die hashtag bij. Hierdoor konden we vergelijken hoeveel van de door ons geplaatste berichten zichtbaar waren voor andere gebruikers wanneer die zochten op de hashtag. We verifieerden deze gegevens steekproefsgewijs door via de Instagram-app en via de webbrowser (https://www.instagram.com) naar de hashtags te zoeken.

De in totaal 24 oorlogsgerelateerde beelden bleken veel minder zichtbaar en terugvindbaar op de zoekpagina's dan de 24 bijtjes en bloemetjes-foto's:

Deze bevindingen komen overeen met vergelijkbaar onderzoek van Amerikaanse techjournalisten van The Mark Up. Bij hun (uitgebreidere) test bleken oorlogsbeelden zelfs 8,5 keer minder zichtbaar en terugvindbaar dan berichten over andere soorten onderwerpen.

De implicatie: Instagram maakt oorlogsbeelden, ook beelden die geen geweld laten zien, minder zichtbaar en vindbaar dan andere soorten beelden op openbare functies van de app. Dat zou het kleinere aantal views dat Instagrammers opmerken bij berichten over de Gaza-oorlog gedeeltelijk kunnen verklaren.

Maar zeker weten doen we dat niet. Instagram ontkent het bestaan van shadowbanning namelijk al jaren: volgens Instagram is er simpelweg geen garantie dat gebruikers structureel eenzelfde bereik halen. "Wat mensen interessant vinden, verandert nu eenmaal", zegt Adam Mosseri, hoofd van Instagram. Daarover publiceerde het bedrijf dit blog.

Een mogelijke gedeeltelijke - verklaring voor onze bevindingen zou kunnen zijn dat Instagram sinds maart geleidelijk een aanpassing aan de standaardinstellingen doorvoert. Gebruikers krijgen geen posts meer aangeraden bijvoorbeeld op de ontdek-pagina - waarin 'waarschijnlijk overheden, verkiezingen of maatschappelijke onderwerpen worden genoemd'. Tenzij gebruikers dat zelf, ergens diep in hun instellingen, weer aanzetten. Het zou kunnen dat de oorlogsbeelden die sindsdien op Instagram worden gepost hieronder vallen. Maar dat verklaart niet waarom deze beelden vóór de invoering van deze aanpassing ook minder zichtbaar waren, zoals het eerdere onderzoek van de Amerikaanse techjournalisten aantoonden.

Een andere mogelijke verklaring: Instagram hanteert voorkeursregels voor welke beelden op bijvoorbeeld de ontdek- en zoekpagina's gesuggereerd worden. Inhoud waar 'mogelijk geweld, zoals vechtende mensen' te zien is, wordt niet aangeraden. Het zou kunnen dat Instagram de oorlogsbeelden daar gedeeltelijk onder schaart, zelfs als daar geen vechtende mensen op te zien zijn.

Maar zeker weten welke verklaringen kloppen, kunnen we niet. Hoewel Instagram in blogs en video's zegt transparanter te willen zijn over de moderatiebeslissingen, ging het niet in op herhaaldelijke e-mails van Nieuwsuur met vragen. Ook op vragen van de The Mark Up over de lager scorende oorlogsfoto's ging Meta, het moederbedrijf van Instagram, niet in.

TikTok

Voor het hoofdstuk over TikTok waren we benieuwd wat de For You-pagina van de app nieuwe Nederlandse gebruikers laat zien over de oorlog tussen Israël en Hamas. Deze interesse kwam voort uit de aantijgingen dat TikTok buitenproportioneel veel pro-Palestijnse content zou laten zien. Pro-Israëlische TikTokkers zeggen benadeeld te worden het platform.

Over suggestie dat TikTok een pro-Palestijnse vooringenomenheid zou hebben is met name in de Amerikaanse media veel bericht. Zie bijvoorbeeld hier en hier. Vooral Republikeinse politici zetten het onderwerp hoog op de politieke agenda, als onderdeel van debatten over een inmiddels aangenomen wetsvoorstel dat mogelijk leidt tot een TikTok-verbod in de VS. Naar aanleiding van die claims beperkte TikTok de tool waarmee de populariteit van trends en hashtags op de app kan worden geanalyseerd.

Ook bij deze test wisten we vooraf dat eenduidige conclusies moeilijk te trekken zouden zijn, omdat de hashtaganalyse dus onmogelijk is gemaakt, en omdat ook TikTok weinig inzage geeft in de moderatiebesluiten en-algoritmes. Ook is bekend dat de algoritmes van TikTok gebruikers specifiek voorschotelt wat zij interessant lijken te vinden op basis van hun eerdere acties in de app. Dat betekent dat ieder's For You-pagina er anders uitziet, wat het trekken van algemene conclusies bemoeilijkt.

Toch wilden we een beeld krijgen van welke content gebruikers in Nederland zonder duidelijke mening over het conflict te zien krijgen. Daarvoor bekeken we in de periode 11 tot en met 16 april wat we tegenkwamen op de For You-pagina met acht accounts zonder gebruikersgeschiedenis.

We gebruikten daarvoor acht nieuw aangemaakte Google-accounts op 2 iPhones (iPhone SE) en 1 Android-telefoon (Huawei P20 Pro). Voor iedere test gebruikten we een nieuwe installatie: op de Android-telefoon gebruikten we per test een nieuw aangemaakt gebruikersaccount. Op de iPhones hebben we na het uitvoeren van de test de telefoons telkens gereset en nieuwe iCloud-accounts aangemaakt voordat we het volgende Google-account gebruikten. We logden in vanaf Nederlandse IP-adressen: vanuit Amsterdam en vanuit Rotterdam.

Bij het aanmaken van het Google-account en het activeren van het TikTok-account kozen we telkens voor een geboortedatum begin mei 1995. Op deze acht lege TikTok-profielen hebben we telkens 30 minuten gescrold op de For You-pagina en gekeken wat we tegenkwamen over de oorlog tussen Israël en Hamas. We liketen en deelden niks, bleven kort staan op iedere video, en noteerden alleen het aantal video's over de oorlog en het sentiment daarvan: pro-Israëlisch, pro-Palestijns, of neutraal/onduidelijk was.

Maatstaf was of er voor een gemiddelde Nederlandse gebruiker binnen korte tijd zichtbaar was dat het om pro-Palestijnse video's (bijvoorbeeld video's waarin steun aan pro-Palestijnse demonstraties werd gegeven), pro-Israëlische (bijvoorbeeld een video gepost door het Israëlische leger over hoe inspirerend het dienen in dat leger is), of neutrale video's (bijvoorbeeld een nieuwsbericht over wapenstilstand) ging. Bij twijfel noteerden we de video als neutraal. Als de video wel over het conflict leek te gaan, maar het ons totaal onduidelijk was wat er werd bedoeld, bijvoorbeeld omdat er een andere taal werd gesproken en geen duidelijke symbolen (bijv. Palestijnse/Israëlische vlaggen) werden gebruikt, telden we de video niet mee.

Deze test hebben we acht keer uitgevoerd. In alle gevallen kwamen we eerder en meer pro-Palestijnse inhoud tegen dan pro-Israëlische inhoud. Twee van onze nieuwe accounts leken al snel in een soort pro-Palestijnse bubbel terechtgekomen: daar zagen we meer dan 100 pro-Palestijnse video's in een half uur, waarschijnlijk omdat we daar nét iets langer dan gemiddeld naar keken toen we turfden.

Dat dat nét iets langer stilstaan op een video inderdaad van grote invloed kan zijn, blijkt uit de controleproef die we deden met drie nieuwe accounts. We scrolden met twee accounts handmatig naar de volgende video na 10 seconden. Bij het derde account gebruikten we de app Auto Click-Automatic Clicker om na exact 10 seconden automatisch te scrollen. Bij de controleproef, waarbij we in totaal tien seconden van zo'n 540 video's zagen, kwamen we maar 1 oorlogsgerelateerde video tegen. Die was overigens wel pro-Palestijns.

De implicatie van ons testje is dat een Nederlandse gebruiker zonder gebruikersgeschiedenis op TikTok in hun For You-feed waarschijnlijk eerder een pro-Palestijnse dan een pro-Israëlische video's tegen zal komen. Blijft diegene daarnaar kijken, dan zal die snel meer van dat soort video's aangeboden krijgen.

De Wall Street Journal kwam pasgeleden tot een vergelijkbare conclusie, maar via een andere methode. Zij bekeken de For You-pagina met acht geautomatiseerde accounts met een leeftijd van 13, vanuit de VS. De accounts bleven alleen kort staan op video's over deze oorlog. Over hun bevindingen lees je hier meer.

Deze conclusies kunnen verschillende oorzaken hebben, bijvoorbeeld:

Omdat de For You-pagina sterk lijkt af te hangen van hoe lang een gebruiker naar eerder video's kijkt, betekent het eerder verschijnen van pro-Palestijnse video's dat Nederlandse kijkers eerder de mogelijkheid krijgen om in een tijdlijn te belanden die bestaat uit veel van die beelden. Dit wordt ook wel het 'rabbit hole effect' genoemd. Meerdere publicaties wijzen op het bestaan daarvan (zie hier, hier, en hier), en de Europese Commissie doet er momenteel onderzoek naar.

Maar TikTok zelf ontkent het bestaan van dat effect in het interview met Nieuwsuur. Daarin benadrukt het bedrijf ook dat het geen enkele content voorrang geeft boven andere, en gebruikers laat zien wat zij zelf interessant vinden. Ook publiceerde TikTok eerder een persbericht over dit onderwerp.

Cijfers

We wilden ook weten hoeveel moderatoren beide platforms hebben en hoeveel moderatie-ingrepen zij uitvoeren. Die informatie is verwerkt in onze video. Daarvoor analyseerden we gegevens geanalyseerd die beide platforms sinds kort moeten delen met de Europese Unie. De Europese Commissie maakt deze cijfers openbaar via een online dashboard.

Via dit dashboard hebben we het dagelijkse aantal moderatie-ingrepen zoals het verwijderen van posts - verzameld dat TikTok en Instagram dagelijks hebben gedeeld vanaf 7 oktober 2023 het begin van de oorlog - tot en met 9 april 2024, en deze opgeteld tot een totaal. Hieruit blijkt dat TikTok fors meer (gemiddeld 2.853.793 per dag) acties onderneemt dan Instagram (gemiddeld 105.024 per dag).

We keken ook naar het aantal moderatoren dat TikTok en Instagram hebben aangesteld per gebruiker. Ook daarvoor keken we naar gegevens die de platforms met de EU deelde. In zogeheten transparantierapporten over april tot en met september 2023, delen TikTok en Meta (het bedrijf achter Instagram en Facebook) het aantal moderatoren dat voor hen werkt binnen de Europese Unie, en het aantal actieve gebruikers in deze periode. Die aantallen deelden we door elkaar. Hieruit bleek dat TikTok in de EU meer moderatoren heeft dan Meta, in verhouding tot het aantal gebruikers. Eén moderator van TikTok moet gemiddeld 24 duizend gebruikers in de gaten houden, terwijl dat er bij Meta 390 duizend zijn.

Sprekers: