Algorithmen in Social Media Wie KI-Bilderkennung Frauen benachteiligen kann
Bilderkennungsalgorithmen bewerten Bilder von Frauen oft anzüglicher als Bilder von Männern. Das kann dazu führen, dass solche Bilder von Online-Plattformen gelöscht werden - mit Folgen für die Sichtbarkeit von Frauen im Netz.
Brustkrebsvorsorge ist für Rebecca Bauer ein wichtiges Thema. Jeden Monat macht sie auf ihrem Instagram-Account darauf aufmerksam. Im Oktober 2022 stellt sie sich dafür mit nacktem Oberkörper vor den Spiegel, ein Arm verdeckt die Brust. Dazu schreibt sie: "Monthly Reminder: Check your boobs #brustkrebsvorsorge". Doch die Instagram-Story wird gelöscht.
Dies kann an den Algorithmen liegen, die neben menschlichen Content-Moderatoren auf sozialen Netzwerken wie etwa Instagram automatisiert Texte und Bilder filtern. Damit sorgen sie dafür, was Nutzer im Netz sehen können - abhängig von den jeweiligen Plattform-Regeln, in denen es etwa um den Umgang mit Nacktheit oder Gewalt geht.
KI-Bilderkennung von Tech-Riesen
Mehrere der großen Tech-Unternehmen bieten zahlenden Kunden Bilderkennungs-Technologien an: Microsoft, Google und die Amazon-Tochter Amazon Web Services (AWS). Auch einige wenige europäische Unternehmen sind in diesem Bereich tätig, etwa die Firma Sightengine aus Paris.
Gemeinsam mit Journalistinnen und Journalisten von "Guardian US", der amerikanischen Ausgabe der britischen Tageszeitung "The Guardian", hat das BR-Datenteam kommerzielle Bilderkennungs-Algorithmen untersucht. Im Fokus der Recherche: Systeme, die sexuelle Anzüglichkeit auf Bildern messen. Die vier öffentlich erreichbaren, zahlungspflichtigen Systeme der Unternehmen Amazon Web Services, Microsoft, Google und Sightengine wurden mit mehr als 3000 Bildern getestet.
Ein zentrales Ergebnis der Analyse: Bilder von Frauen werden im Vergleich zu Bildern von Männern deutlich häufiger als anzüglich eingestuft. Der Test des BR-Datenteams zeigt: Beim Bild einer lesenden Frau auf einem Sofa, daneben ein Hund, kommt Googles Algorithmus zu der Einschätzung: sehr wahrscheinlich anzüglich. Eine Person mit Kompressen auf der Brust, offenbar nachdem die Brüste abgenommen wurden: Auch hier ist die Bewertung von Google sehr hoch.
Algorithmen, wie der von Google, geben an, mit welcher Wahrscheinlichkeit ein Inhalt anzüglich ist. Wenn dieser Score hoch ist, können soziale Plattformen Maßnahmen einleiten und den Inhalt zum Beispiel überprüfen oder löschen.
Systeme zeigen große Unterschiede
Der Test gibt klare Hinweise auf einen Gender Bias, eine Verzerrung auf Basis des Geschlechts. Die Dienste schneiden dabei unterschiedlich ab: Das angewandte statistische Verfahren zeigt bei Microsoft in 69 Prozent aller Stichproben diese Verzerrung, bei Google in 47 Prozent, bei Amazon Web Services in 20 Prozent und bei Sightengine in 17 Prozent der Stichproben. Zudem tritt der Gender Bias je nach Dienst in unterschiedlichen Bereichen auf.
Alle Anbieter verweisen auf Anfrage darauf, dass sie lediglich Wahrscheinlichkeiten berechnen. Die Kunden müssten eigenverantwortlich festlegen, welche Grenzwerte für sie angemessen sind und zum Einsatzbereich passen. Was also mit den Bewertungen der einzelnen Bilder passiert, müssen Kunden, wie beispielsweise soziale Plattformen, selbst entscheiden.
"Kein Filter ist zu 100 Prozent genau"
Die Firma Sightengine betont auf Anfrage, dass sie mehrere Kategorien von Nacktheits-Bewertung anbiete. Hiermit könnten die Nutzer definieren, was für sie akzeptabel sei und der Dienst könne über geografische und kulturelle Normen hinweg genutzt werden.
Google schreibt: "Kein Filter ist zu 100 Prozent genau. Wir testen jedoch regelmäßig die Leistung (unserer Algorithmen, ergänzt von der Redaktion) und unsere statistischen Tests haben keine Hinweise auf systemische Probleme ergeben." Es sei ein Grundprinzip der Filter, dass diese keine unfairen Vorurteile in Bezug auf das Geschlecht erzeugen oder verstärken würden.
Amazon Web Services teilt auf Anfrage mit: "Die Inhaltsmoderationskategorien von Amazon Rekognition sind so konzipiert, dass sie breit gefächert und umfassend sind, um eine Vielzahl von Kundenanwendungsfällen abzudecken." Microsoft hat auf die Anfrage des BR nicht reagiert.
Große Bedeutung für einzelne Nutzerinnen
Kommt es zu einer Verzerrung auf Basis des Geschlechts, wie im Test, kann das Folgen haben für die Nutzerinnen und Nutzer von Plattformen, die solche Technologien einsetzen. Carsten Schwemmer, Professor für "Sociology and Computational Social Sciences" an der LMU München beschreibt den Zusammenhang so: "Es kann sein, dass ein System eine einzelne Frau zwar nur minimal benachteiligt, doch es laufen in sehr kurzer Zeit Tausende Bilder durch solche Systeme. Da können selbst kleine Unterschiede zwischen Männern und Frauen automatisiert im großen Stil weitergetragen werden."
Schwemmer beschreibt damit den sogenannten Skalierungseffekt, den algorithmische Systeme begünstigen können. Eine Verzerrung oder ein Vorurteil wird tausendfach wiederholt und damit verstärkt. Bilder von Frauen laufen so eher Gefahr, geblockt, gelöscht oder in ihrer Reichweite eingeschränkt zu werden - so wie es Rebecca Bauer passiert ist. Das kann auch wirtschaftliche Konsequenzen haben, etwa wenn der Account als Werbemaßnahme für das eigene Geschäft dient.
Training der Modelle ausschlaggebend
Damit Firmen überhaupt solche Modelle entwickeln können, brauchen sie Menschen, die vorher viele tausend Bilder bewerten, sogenanntes "Labeln": Ist eine anzügliche Pose zu sehen? Ein Mann mit nacktem Oberkörper? Ein Dekolleté? Ist nackte Haut per se anzüglich? Durch diese menschlichen Bewertungen entstehen die sogenannten Trainingsdaten, auf deren Basis sexuelle Anzüglichkeit in ein Modell verwandelt wird.
Doch diese seien nie optimal, meint Abeba Birhane, Kognitionswissenschaftlerin bei der Mozilla Foundation sowie dem Trinity College Dublin und Expertin für Verzerrungen in KI-Systemen: "Es gibt keinen Datensatz ohne Verzerrung. Denn das Labeln ist nie frei von menschlichen Einschätzungen." Und das werde umso schwerer, je weniger greifbar das zu beschreibende Merkmal ist. So wie sexuelle Anzüglichkeit.
Genauso plötzlich, wie Bauers Post zur Brustkrebsvorsorge im Herbst 2022 gesperrt wurde, ist die Entscheidung nach einer Anfrage des BR an den Instagram-Mutterkonzern Meta wieder aufgehoben. Zuvor hatte sie monatelang auf eine Rückmeldung von Instagram gewartet. Birhane fordert mehr Regulierung für solche Produkte: "Das ist eine Branche, die dem Wilden Westen gleicht."
Weitere Regulierung?
Auch Ferda Ataman von der Antidiskriminierungsstelle des Bundes befürwortet eine weitere Regulierung vom Einsatz von Algorithmen: "Das Thema Diskriminierung und automatisierte Entscheidungssysteme ist jetzt schon groß, und es wird noch viel größer." Deshalb fordert sie: "Was wir zum Beispiel brauchen, sind Dokumentationspflichten für alle diskriminierungssensiblen Entscheidungen, bei denen algorithmische Systeme involviert sind."
Davon würden sowohl die Anbieter als auch die Kunden solcher Entscheidungssysteme profitieren. Für Nutzer und Nutzerinnen wäre so transparenter nachvollziehbar, was sie im Internet sehen und was nicht - und für die Öffentlichkeit, ob es in bestimmten Bereichen zu Verzerrungen oder Diskriminierung kommt.