Britský expert: S nenávisťou na internete sa vysporiada umelá inteligencia (1. časť)

Sociálne siete nám umožňujú zostať v kontakte s ľuďmi, ktorých sme roky nevideli, alebo nám pomáhajú spestriť si dlhé chvíle. Okrem pozitív však vytvorili pôdu pre nevídané šírenie nenávisti. Po čase sa terčom útokov opäť stávajú aj moslimovia. Britský expert na online nenávistné prejavy Bertram Vidgen nám v rozhovore vysvetlil, ako bojuje so škodlivým obsahom umelá inteligencia.

V rozhovore sa dočítate:

  • prečo sú moslimovia terčom nenávistných prejavov,
  • akým nástrahám čelí umelá inteligencia pri odhaľovaní nenávistných prejavov,
  • či je odstraňovanie sporného obsahu správnym riešením,
  • a kto by mal rozhodovať o tom, čo sa na internete môže povedať?

Jednou z hlavných tém vášho výskumu je islamofóbia. Európa čelila pred piatimi až šiestimi rokmi veľkej migračnej kríze a zasiahlo ju viacero teroristických útokov. V Británii, kde sa odohralo niekoľko krvavých útokov, to malo za následok narastajúcu nenávisť voči moslimskej komunite. Slovensko nebolo súčasťou hlavnej migračnej trasy a našťastie sme nemali skúsenosť s radikálnym islamizmom. Aj napriek tomu boli u nás pomerne dlho moslimovia objektom pravdepodobne najväčšej nenávisti na internete. Prečo?

Myslím si, že na toto nedokáže dať nikto jednoznačnú odpoveď. No nárast nenávisti voči moslimskej komunite súvisí s bezpečnostnými výzvami, ktorým čelí medzinárodné spoločenstvo. Veľmi nedávnym príkladom je situácia v Afganistane s Talibanom. Udalosti, ktoré sme videli za uplynulých 20 rokov, ako napríklad teroristické útoky či aktivity Islamského štátu, do veľkej miery podporujú naratívy krajnej pravice ohľadom výziev súvisiacich s moslimami a islamom.    


S koronavírusom žijeme nevídané časy. Nenávisť z online prostredia sa premieta aj do reálneho sveta, varuje britský expert (2. časť) Čítať viac


Radikálny islamizmus a islam však nie je to isté.

Presne tak. Činy radikálov v žiadnom prípade neodzrkadľujú postoje a názory väčšiny moslimov, ktorí žijú v hocijakej západnej krajine. V niektorých prípadoch nemajú dokonca ani žiadnu etnickú, kultúrnu alebo akúkoľvek inú spojitosť s tým, čo sa deje napríklad na Blízkom východe. Aj tak však doplácajú na predsudky ľudí, ktorí v médiách vidia, čo sa na Blízkom východe odohráva. Na základe toho si absolútne nevhodne a neférovo vytvárajú predstavy o všetkých moslimoch na západe.  

Takže hádžu všetkých do jedného vreca.

Intenzívne sa tomu venujeme v sociálnej psychológii, kde skúmame rozdelenie spoločnosti na „My vs. Oni“. Príslušníci in-group (skupina, do ktorej patríme), v tomto prípade najmä bieli muži zo strednej vrstvy v Spojenom kráľovstve, často nazerajú na out-group (skupina, do ktorej nepatríme), v tomto prípade na moslimskú komunitu, ako na homogénny celok. Neuvedomujú si, že aj v rámci tejto komunity existujú rozdiely. Toto spoločenstvo pre nich predstavuje jednu veľkú skupinu, kde si všetci myslia to isté, všetci sú radikálni a zlí. A toto je veľmi mylné nazeranie na svet. Stačí, že sa pozrieme do radov našej vlastnej in-group. Vieme, že v našich kruhoch žijú rozliční ľudia a nedajú sa paušalizovať. Vidíme, že aj v in-group sú ľudia, ktorí robia zlé veci. Medzi väčšinovou bielou spoločnosťou a ostatnými komunitami pozorujeme veľký nedostatok prepojenosti.

Získajte praktické rady o bezpečnosti na internete. Prihláste sa na odber nášho newslettra.

Z toho pravdepodobne pramení množstvo predsudkov.   

Áno, ďalšia vec je, že ľudia prisudzujú moslimom zodpovednosť za viaceré problémy. Vzťahujú sa na nich obavy súvisiace s imigráciou, kultúrou, rasovou či etnickou identitou. V mnohých krajinách sa to na moslimov sype z mnohých strán a doplácajú na viaceré prelínajúce sa problémy. Islamofóbia však nemá takú istú podobu vo všetkých európskych krajinách. V niektorých štátoch čelia pre tieto isté dôvody útokom iné skupiny. Som si istý, že svoje problémy má aj Slovensko. Aj keď ste neprijali veľa utečencov a nebol u vás teroristický útok, tak pravdepodobne máte iné faktory, ktoré vplývajú na prítomnosť predsudkov.

Taktiež ste skúmali, aký majú postoj voči moslimom voliči jednotlivých politických strán vo Veľkej Británii. Na čo ste došli?       

Voliči krajnej pravice majú omnoho väčšiu náchylnosť k islamofóbii. Je tu jednoznačne táto spojitosť. Ľudia, ktorí fandia radikálnym a extrémistickým stranám sa s väčšou pravdepodobnosťou budú angažovať v slabších aj silnejších formách islamofóbie. Hovoríme o jej nenápadnejších ale aj otvorených prejavoch. Najmä na sociálnych sieťach však môžu inklinovať k islamofóbii voliči akejkoľvek strany. Nejde iba o problém krajnej pravice, aj keď ten počet prejavov je u nej rozhodne väčší.

Čo teda spôsobuje nenávistné prejavy u voličov ostatných strán? 

Sú to najmä udalosti, ktoré sú akýmisi spúšťačmi, po ktorých pozorujeme dramatický nárast nenávistných prejavov. Patria sem teroristické útoky, voľby či migračná kríza. Napríklad pár dní po veľkom teroristickom útoku vidíme približne dvojnásobok nenávistných prejavov voči moslimom. Najdramatickejší nárast je približne 24 až 48 hodín po útoku. Práve v tomto období sa snažíme čo najviac pomôcť komunitám, ktoré zasiahol hate speech. Upokojenie situácie prichádza približne po týždni a po desiatich dňoch je úroveň nenávistných prejavov približne taká vysoká, ako pred útokom. Ak neporozumieme tejto dynamike a tomu, ako tieto spúšťače podnecujú online islamofóbiu, nikdy sa nám nepodarí prísť s vhodnými riešeniami, zaviesť potrebnú ochranu a podporiť zasiahnuté komunity.

Na Slovensku to ešte pred tým, ako Taliban ovládol Afganistan, dlhšie vyzeralo tak, že islamofóbia zo sociálnych sietí ustupuje. Ako naozaj vyzerá tento trend? Je na internete menej nenávistných prejavov voči moslimom ako napríklad pred piatimi rokmi?

Merať nenávistné prejavy na internete je pomerne náročné. Postupne spúšťame nástroj Online harms observatory, ktorý nám poskytne údaje v reálnom čase. No na to, aby sme vyhodnotili dôsledky situácie v Afganistane na sociálne siete na západe, si budeme musieť teraz počkať niekoľko týždňov. Bol by som však veľmi prekvapený, ak by sme nezaznamenali pribúdajúci nenávistný obsah. Som si istý, že pribúda. No islamofóbia, ktorú vidíme dnes, je veľmi odlišná od islamofóbie, ktorá tu bola pred piatimi rokmi. Takže tá situácia sa úplne nedá porovnať, ale vo všeobecnosti by som povedal, že nenávistných prejavov voči islamskej komunite je menej. Nie je však dobré takéto závery vyvodzovať z toho, ako vyzerá newsfeed na vašich sociálnych sieťach, pretože na to vplýva mnoho faktorov. Má to asi takú výpovednú hodnotu ako ísť do miestneho pubu a pýtať sa ľudí na názor. No vo všeobecnosti by som skutočne povedal, že vo väčšine západných štátov je islamofóbie menej. Najmä preto, že sa zmenil celý medzinárodný kontext a nemali sme až tak veľa teroristických útokov.

Akým výzvam čelíte pri odhaľovaní islamofóbie na internete? Akými nástrojmi meriate tieto nenávistné prejavy a dajú sa vôbec merať?   

V princípe je merateľné všetko. Záleží na tom, ako dobre to vieme odmerať a ako je toto meranie prínosné. Problém s islamofóbiou, ale aj inými nenávistnými prejavmi, je ten, že treba veľmi presne zadefinovať, čo chcete hľadať. Aká je vaša definícia islamofóbie? Ak túto otázku nemáte veľmi presne zodpovedanú, nedokážete vhodne naprogramovať umelú inteligenciu, aby tieto nenávistné prejavy odhaľovala. Umelá inteligencia bude dobre fungovať iba ak jej dáte kvalitné vstupy.  Ak ju nakŕmite odpadom, dostanete z nej iba odpad. Ak umelej inteligencii poskytnete zmätočné a odporujúce si chápanie islamofóbie, presne taký istý bude aj výstup, ktorý vám dá. Tu zohráva veľmi dôležitú úlohu spolupráca programátorov so sociológmi.

Čo je ďalší krok? Povedzme, že sme umelej inteligencii dali kvalitné a jasné zadanie.

Ak má umelá inteligencia jasne zadefinované, čo má robiť, tak ju vieme na základe usmernení naučiť vyhľadávať nenávistné prejavy na internete. Také systémy sme už vyvinuli, no problémom je, že nikdy nie sú dokonalé. Nejaká časť islamofóbie im vždy unikne a naopak niekedy určia obsah za problematický, aj keď nejde o nenávistné prejavy. Najväčšou výzvou pre nás je ubezpečiť sa, že naše nástroje sú dostatočne dobré na to, aby sa mohli používať. Zároveň sa neustále snažíme prichádzať s vylepšeniami a pracovať na vyššej efektivite.

Možno práve preto je nevyhnutné, aby zistenia umelej inteligencie vyhodnocovala ľudská bytosť?    

Z dlhodobého hľadiska to vyzerá tak, že umelá inteligencia si poradí sama. Budeme ju používať na hľadanie, monitorovanie aj blokovanie všetkých foriem nenávistných prejavov. V krátkodobom horizonte však do tohto bodu ešte nedospejeme. Súčasné systémy umelej inteligencie majú tak veľa kritických nedostatkov, že ich použitie bez dohliadania človekom by bolo naozaj nezodpovedné. Musí tam byť prítomný aj človek. No dajme tomu 20 rokov a tieto problémy možno pominú.

Nenávistné komentáre sú u nás najviditeľnejšie na Facebooku. Robí proti ich šíreniu táto platforma toho dosť?

Osobne si myslím, že Facebook toho urobil v boji s online hateom viac ako ktorákoľvek iná platforma. Je pod veľkým drobnohľadom, pretože je to najväčšia sociálna sieť a Mark Zuckerberg je veľmi kontroverzná osoba. Zo všetkých sociálnych sietí zdieľa Facebook najviac informácií o svojich krokoch, je transparentný a myslím si, že má veľmi zrozumiteľné pravidlá. Problémom Facebooku ale je, že neposkytuje dáta o online nenávisti. Facebook je veľmi veľká organizácia. Sekcia, ktorá má na starosti dodržiavanie pravidiel robí, čo môže, no Facebook neposkytuje akademikom žiadne zmysluplné dáta, lebo tie má na starosti iná časť firmy. V uplynulých týždňoch odrezali prístup k dátam ľuďom, ktorí skúmajú misinformácie. Často sa Facebook odvoláva na ochranu súkromia, no nie som si istý, či to je úplne presvedčivé.

Ak by chcel Facebook viac bojovať s nenávistnými prejavmi, čo by mohol urobiť, aby im zabránil?

Z dlhodobého hľadiska by potreboval vyvinúť lepšiu umelú inteligenciu. Zvýšenie počtu ľudských moderátorov obsahu je iba krátkodobým riešením problému, s ktorým sa v budúcnosti jednoducho musí vysporiadať umelá inteligencia. Facebook, ale aj ďalšie sociálne siete potrebujú omnoho lepšie riešenia s umelou inteligenciou.


Ako si poradiť s internetovými trollmi? Čítať viac


Možno je problémom aj to, že umelá inteligencia nie je zatiaľ tak efektívna napríklad v slovenskom jazyku ako v angličtine.

Toto je presne príklad problémov, ktoré mám namysli. Sociálne siete by mali investovať viac peňazí do kontroly rôznych jazykov, lebo môžu byť medzi nimi priepasti. Poznáme pojem „low-resource languages“, ide o globálne menej používané jazyky, pri ktorých umelá inteligencia nemá dostatok vstupov. Je to problém, no ak by si to sociálne siete dali za cieľ, vedeli by za dva či tri roky pokryť aj tieto jazyky. Nebol by to problém, majú na to dostatok prostriedkov. 

Povedzme teda, že už existuje dokonalá umelá inteligencia. Predstavme si, že nájde nepravdivý, zavádzajúci či nenávistný obsah. Čo by mal byť ďalší krok? Mala by umelá inteligencia rozhodovať o tom, či daný príspevok vymazať? Kde by mala byť hranica medzi slobodou prejavu a zabraňovaním nenávistným prejavom?

To je dobrá otázka. Vždy hovoríme, že treba oddeliť detekciu nenávistných prejavov či dezinformácií a to, ako s nimi naložiť. Mali by to byť dva osobitné procesy, lebo rôzne formy nenávistných prejavov vyžadujú rôzne formy intervencie. Vždy tu totiž budú nejaké nenávistné prejavy, ktoré bude treba odstraňovať. Priame vyhrážky alebo podnecovanie k nenávisti voči určitým skupinám nemajú čo hľadať na sociálnych sieťach a vo väčšine európskych krajín sú nelegálne, aj keď sa v tomto smere právo niekedy vymáha ťažko. Toto však tvorí menšinu problematických obsahov a otázka je, čo robiť so zbytkom nenávistných prejavov, ktoré sa napríklad priamo nevyhrážajú ostatným a bezprostredne nikoho nepoškodzujú.

Vyzerá to tak, že takýto obsah sociálne siete zatiaľ zakazovať nechcú.   

Žiadna platforma nechce vymazávať obsah, stratila by tak používateľov. Pripravili sme štúdiu pre britský regulačný úrad, ktorý má na starosti online bezpečnosť. Identifikovali sme v nej 14 rôznych spôsobov, akým môžu platformy pristupovať k škodlivému obsahu. Okrem trvalého banu môžu problémovým používateľom dočasne pozastaviť prístup, zablokovať obsah, dočasne zablokovať obsah. Môžu tiež sťažiť engagement daných príspevkov, aby ich napríklad nebolo možné komentovať či zdieľať. Takisto môžu platformy zariadiť, aby bol obsah ťažšie vyhľadatelný, alebo aby sa nedal vyhľadať vôbec. Často to využíva napríklad YouTube. Obsah na stránke stále je, ak viete, kde ho hľadať, nájdete ho. No priemerný používateľ, ktorý len tak preklikáva medzi videami, ho nenájde. Používanou metódou je aj napríklad zákaz promovania problematických príspevkov. Jednoducho sa nezobrazia na vrchnej časti newsfeedu. Sociálne siete fungujú tak, že malá časť obsahu získa veľa vzhliadnutí, zvyšok si pozrie iba minimum ľudí.

Mali by mať na internete ľudia priestor, kde si môžu povedať čo chcú, aj keď je obsah problematický?  

Záleží to na hodnotách komunity, ktorá navštevuje daný online priestor. Ak nejde vyslovene o ilegálny alebo škodlivý obsah, mala by si to riešiť samostatne daná komunita. Je dôležité, aby sme vytvorili rôzne online prostredia, aj také, ktoré kladú dôraz na slobodu prejavu a kde si môžete povedať, čo chcete. Je to dôležité, lebo ľudia potrebujú priestor na vyjadrenie svojho názoru. Nemali by sme takéto niečo zakazovať alebo znevažovať. Takisto však potrebujeme priestor, ktorý sa zameriava na ochranu pred škodlivým obsahom, najmä čo sa týka detí a zraniteľných komunít. V takýchto prípadoch sa norma danej platformy asi bude viac prikláňať k vymazávaniu škodlivého obsahu.

Keď platforma označí obsah za problematický, ale ponechá ho, je to lepšie riešenie ako mazanie príspevkov?

Tu je otázne kto rozhoduje o tom, či je obsah problematický. To samo o sebe môže vytvárať mnoho problémov. V prípade varovaní pri príspevkoch veľmi dobre funguje, keď presne vysvetlia, pred čím vystríhajú. Dobrou cestou je, keď uvedú, že tento obsah bol označený, lebo obsahuje klamlivé výroky, k čomu sociálna sieť dospela na základe porovnania faktov s dôveryhodnou autoritou. Keď viete detailne vysvetliť takéto rozhodnutie, pomôže to ľuďom pochopiť takýto krok. Problémom však je, že v súčasnosti mnohé varovné označenia skôr vyvolávajú otázky, ako poskytujú odpovede.

Kto by mal byť zodpovednou autoritou, ktorá rozhodne o tom, ako naložiť s obsahom? Mali by pri tom zohrávať úlohu vlády, alebo iba samotné technologické spoločnosti?   

Toto je náročná otázka. Asi určite nechceme, aby takéto rozhodnutia vykonávali vlády. Podľa novej britskej legislatívy, ktorá sa zaoberá online bezpečnosťou, vláda neurčuje žiadne požiadavky, na základe ktorých by mal byť obsah vymazaný. Po technologických spoločnostiach iba vyžaduje, aby mali procesy, na základe ktorých vedia obsah odstrániť. Je to síce malý ale dôležitý rozdiel. Vláda tak nehovorí, že toto je dobré a toto zlé, ale že platformy musia mať stanovené, čo povolia a čo už nie, tak aby to jasne chápali aj používatelia.

Mali by teda o tom čo sa smie rozhodovať sociálne siete?

Pred niekoľkými rokmi sa nad tým pozastavil samotný Mark Zuckerberg. Nevyzerá to už na prvý pohľad ako zlý nápad, že by mali veľké, súkromné a z historického hľadiska dobre neregulované nadnárodné korporácie rozhodovať o tom, čo je povolené a čo nie? Nepríde mi to ako veľmi lákavé riešenie. Podľa môjho názoru by mal byť v tom správnom mechanizme zahrnutý dialóg s občianskou spoločnosťou. Ide totiž o sociálne siete, ktoré vplývajú na spoločnosť, no fungujú ako súkromné firmy, ktorými z časti sú aj nie sú, ide o komplexnejšie štruktúry. Ako dostať do diskusie občiansku spoločnosť je náročná otázka, no práve odtiaľto potrebujeme začať. To by mal byť náš cieľ.


Dr. Bertram Vidgen skúma nenávistné prejavy v britskom Inštitúte Alana Turinga. Vo svojej práci sa zameriava na odhaľovanie, analýzu a predchádzanie online hate speechu, ktorý skúma v kontexte správ a sociálnych sietí. Takisto sa venuje extrémizmu a misinformáciám. Doktorský titul DPhil získal na Oxfordskej univerzite, kde sa zameriaval na islamofóbiu. Taktiež študoval na univerzitách vo Warwicku a v Essexe.