© Unsplash

Hass und Hetze auf Social Media: KI-Einsatz zum Aufspüren auf dem Prüfstand

Der Umgangston auf Social Media ist teilweise rau. Oft schlägt sich das auch in beleidigenden Äußerungen bis hin zur sogenannten "Hate Speech" nieder. Ein Aufspüren ist aufgrund der schieren Menge an Äußerungen nur mehr technisch mittels KI möglich.

Beitrag teilen:

Eine klare und faire Bewertung von Sprache durch KI-Systeme ist trotz aller Fortschritte bei maschinellem Lernen keine einfache Sache. Man denke an Ironie, Sarkasmus, Slang-Ausdrücke oder prinzipiell das Erkennen des jeweiligen Kontextes. Schnell befindet man sich auch in einem Spannungsfeld zwischen der Verletzung von Menschenrechten und einer Einschränkung des Rechts auf freie Meinungsäußerung. Ein im Rahmen des Projekts entwickeltes Risikoradar, das nun veröffentlicht wurde, beleuchtet zwei Seiten: den technischen Autonomiegrad der Systeme und das Risiko, diese für diese Zwecke zu nutzen.

Es zeigt sich, dass die üblicherweise eingesetzten KI-Systeme einen mittleren bis hohen Autonomiegrad aufweisen. Denn nur in bestimmten Fällen, beispielsweise bei Beschwerden oder bei unklaren Befunden, erfolge eine Prüfung durch Menschen. Das Risiko der Anwendung wird als mittel eingestuft. Zwar bestehe meist keine unmittelbare Gefahr, allerdings könnten fehlerhafte oder ungenaue KI-Systeme erhebliche Auswirkungen auf die Grundrechte der Menschen wie Schutz vor Diskriminierung oder Meinungsfreiheit haben, so die Expertinnen und Experten.

Wie die Ergebnisse verbessert werden können

Sie raten zu einer Kombination aus regulatorischen Maßnahmen, technischen Vorkehrungen und bewährten Moderationsverfahren, um die Risiken eines KI-Einsatzes zu reduzieren. Unter anderem könnten KI-Entscheidungen stichprobenartig überprüft, kulturelle und sprachliche Kontexte stärker berücksichtigt sowie Beschwerdemöglichkeiten für Nutzer:innen eingerichtet werden. Außerdem empfehlen die Forschenden die Entwicklung neuer Technologien zur Identifizierung von Deepfakes.

Natürlich gebe es auch zahlreiche Vorteile: Nutzer:innen würden bei einem erfolgreichen KI-Einsatz mit weniger hasserfüllten Inhalten konfrontiert, Content-Moderatoren wiederum durch das Unkenntlichmachen von sensiblen Bildern und die Zensur beleidigender Sprache weniger belastet. Für die Betreiber:innen von großen Online-Plattformen sei die Nutzung von KI-Tools ohnehin quasi alternativlos. Mit welchen Schwierigkeiten die Systeme noch zu kämpfen haben, wird ebenfalls in dem neuen Dossier beleuchtet. Ziel des Forschungsprojekts ist unter anderem, das Vertrauen in KI zu stärken, indem Technologien mittels neuer Methoden bewertet werden.

Beitrag teilen: