Die dunkle Seite des Internets hat ein neues Hobby: die Nutzung künstlicher Intelligenz, um die Gesichter von Pornodarstellerinnen in die von Prominenten oder ihren Freunden zu verwandeln. Das Ergebnis? Gefälschte porno mit bekannten Gesichtern, die so glaubwürdig sind, dass man sie für echt halten könnte. Zu den ersten Opfern gehören Daisy Ridley, Gal Gadot, Scarlett Johansson und Taylor Swift. Aber der nächste könnte Ihr Cousin sein. Dieser unangenehme Trend braut sich seit Monaten zusammen und hat sogar einen eigenen Subreddit erhalten. Und jetzt, wo jemand eine App dafür entwickelt hat, wird es noch viel häufiger vorkommen.

Diese Videos, die von ihren Machern als «Deepfakes» bezeichnet werden, sind aus Gründen, die auf der Hand liegen, eine neue Grenze für nicht einvernehmliche Pornografie. Und was ist das Schlimmste an der ganzen Sache? Das Gesetz kann nichts dagegen tun.

Was ist hier los? In den App-Shops von Google Play und Apple wird FaceMagic als lustige und harmlose Face-Swapping-App präsentiert: «Wollen Sie Ihren besten Freund oder Ihren Chef tanzen sehen? Wollen Sie sich in einen Prominenten verwandeln?», heißt es in der Beschreibung der App youporn, zusammen mit einem Video, das zeigt, wie Nutzer ihr Gesicht mit dem von Robert Downey Jr. oder dem des Basketballspielers Steph Curry tauschen können.

Auf Pornografie-Websites hat die FaceMagic-Werbung jedoch einen eher ruchlosen Ton. «Fake-Pornos in einer Sekunde – jetzt erstellen!», heißt es in der Werbung. Die Werbung zeigt ein Video, in dem das Gesicht eines bekannten Pornostars durch das einer anderen Frau ersetzt wird.

Die Gefahr, die dahinter steckt. Die betrügerische Natur von FaceMagic bestätigt, wovor Experten schon seit der Standardisierung und Neuverpackung dieser Fälschungswerkzeuge für ein breites Publikum gewarnt haben. Selbst wenn die Apps nicht darauf hinweisen, dass sie für die Erstellung von nicht einvernehmlicher Pornografie konzipiert sind, können sie diese dennoch leicht produzieren. FaceMagic nutzt eine Lücke in den App-Shop-Richtlinien von Apple und Google aus, indem es weder auf den App-Shop-Seiten noch auf der offiziellen Website gegen die Regeln verstößt, aber damit wirbt, dass es Inhalte erstellen kann, die auf Pornoseiten zu finden sind.

FaceMagic ist auch keine geheime Untergrundsoftware: Es hat mehr als eine Million Downloads auf Google Play und Apple und Zehntausende von Bewertungen. In den Beschreibungen der App werden weder Sex noch Pornografie erwähnt, aber sie ist bei Google Play mit der Bewertung «sexueller Inhalt» aufgeführt.

Ein Trend. Die Nachforschungen einiger Experten führten zu gefälschten FaceMagic-Pornoanzeigen auf mindestens xvideos vier Websites: Spankbang, Rule34.xxx, ImageFap und Iporntoo. Sie haben die App auch getestet und bestätigt, dass sie gegen eine Gebühr in Sekundenschnelle ein gefälschtes Pornovideo produzieren kann. Die Nutzer müssen eine monatliche Gebühr von 10 € entrichten. Danach muss der Nutzer nur noch ein Bild der Person, die er einbinden möchte, und das Pornovideo selbst hochladen. Beim Hochladen von Medien enthält FaceMagic einen Text, der besagt: «Verwenden Sie FaceSwapping-Kreationen nicht für illegale Zwecke. Die Herstellung oder Verbreitung bösartiger Deepfakes ist illegal».

Zu einfach. FaceMagic erstellt nicht nur mühelos gefälschte Videos, sondern auch auf eine Weise, die bis vor kurzem als bahnbrechend galt. Als Deepfakes 2017 erstmals auftauchten, mussten Hunderte von Gesichtsbildern in ein Video eingefügt werden, oft in Form von Standbildern aus einem kurzen Video. 2019 hat Samsung eine Methode entwickelt, um ein Deepfake mit nur einem Bild eines Gesichts zu erstellen.

Schlupflöcher in der Verordnung. Apple sagt, dass es keine spezifischen Regeln für solche Apps gibt, aber dass Abschnitt 1.1 der App Review Guidelines «diffamierende, diskriminierende oder böswillige Inhalte» verbietet, «insbesondere wenn die App geeignet ist, eine bestimmte Person oder Gruppe zu demütigen, einzuschüchtern oder zu schädigen». FaceMagic ist jedoch immer noch im Laden erhältlich und Apple weigerte sich, Maßnahmen zu ergreifen.

Auch Googles Play-Shop lässt keine sexuellen Inhalte zu und bietet eine Vielzahl von gefälschten Apps an. Sexuell eindeutige Werbung, die auf die Play Store-Liste verweist, ist verboten. Als Google darauf hingewiesen wurde, dass eine sexuell explizite Anzeige die Nutzer, die darauf klickten, auf die Google Play-Seite von FaceMagic leitete, sagte ein Sprecher des Unternehmens: «Unsere Entwicklerrichtlinien verbieten es Apps, sexuell explizite Anzeigen zu verwenden, um Nutzer auf ihr Shop-Angebot zu leiten. Wenn Verstöße festgestellt werden, ergreifen wir entsprechende Maßnahmen. FaceMagic ist weiterhin im Shop erhältlich.

Das Gesetz zu diesem Thema. In einem Fall nach dem anderen hat der erste Verfassungszusatz Parodien, Karikaturen, Parodien und Satiren geschützt. Experten weisen jedoch darauf hin, dass die Behauptung, es handele sich bei Face-Swapping-Pornografie um eine Parodie, nicht das stärkste juristische Argument ist. Bedeutet das, dass die Opfer keine Hoffnung auf Rechtsmittel haben? Nicht ganz. Berühmte Persönlichkeiten können gegen die Veruntreuung ihrer Bilder klagen. Das gilt aber nur für kommerzielle Zusammenhänge, z. B. wenn jemand ein Foto von Gal Gadot aus Gal Gadots Netzwerken nimmt und es dann ohne ihre Zustimmung zur Werbung für einen Stripclub verwendet.

Bislang scheinen diese Videos eher zum Vergnügen des Urhebers als zur Demütigung des Objekts der Begierde erstellt worden zu sein. «Jemand wird unweigerlich darauf hinweisen, wie viele junge Leute Poster von Prinzessin Leia in ihren Schlafzimmern hatten, um sich zu masturbieren», erklärt Mary Anne Franks, Professorin für Technologierecht an der University of Miami School of Law.