Breaking
CNTyphoon Sadr reintegrates and hits China again. Floods are severe in many places in Fujian. Baoxi Reservoir is facing the risk of dam collapse.BRDF police arrest group suspected of defrauding registrations on transport appVNGunfight between SBU and GUR in Kiev: Conflict between two Ukrainian intelligence agencies leads to armed conflictUSBoyfriend accused of stabbing PennWest student after 'demon' told him to, bodycam footage showsCNTwo workers rescued 9 days after Nepal floods, there may still be survivors in the tunnelBRWeather forecast for São Gonçalo (RJ) indicates sun this Friday (4) and increased cloudiness at nightKRSamsung and SK hynix Maintain Top Two Spots in Global NAND Flash Market in Q2CNThe National Medical Insurance Administration promotes the construction of personal medical insurance cloud to improve service quality and fund securityRUMost East Germans Consider Military Aid to Ukraine ExcessiveTRIsrael's division strategy over the Druze in Syria and Türkiye's roleCNTyphoon Sadr reintegrates and hits China again. Floods are severe in many places in Fujian. Baoxi Reservoir is facing the risk of dam collapse.BRDF police arrest group suspected of defrauding registrations on transport appVNGunfight between SBU and GUR in Kiev: Conflict between two Ukrainian intelligence agencies leads to armed conflictUSBoyfriend accused of stabbing PennWest student after 'demon' told him to, bodycam footage showsCNTwo workers rescued 9 days after Nepal floods, there may still be survivors in the tunnelBRWeather forecast for São Gonçalo (RJ) indicates sun this Friday (4) and increased cloudiness at nightKRSamsung and SK hynix Maintain Top Two Spots in Global NAND Flash Market in Q2CNThe National Medical Insurance Administration promotes the construction of personal medical insurance cloud to improve service quality and fund securityRUMost East Germans Consider Military Aid to Ukraine ExcessiveTRIsrael's division strategy over the Druze in Syria and Türkiye's role
BackLFK warnt vor "Attentäter-Fanszene" auf TikTok und anderen Plattformen
LFK warnt vor "Attentäter-Fanszene" auf TikTok und anderen Plattformen
Developing
Die Zeit3 hours agoTech2 min readGermanyView translation

LFK warnt vor "Attentäter-Fanszene" auf TikTok und anderen Plattformen

Quick Look

  • Die Landesanstalt für Kommunikation Baden-Württemberg hat eine Schwerpunktanalyse zur "Attentäter-Fanszene" durchgeführt, die Attentäter und Amokläufer in sozialen Netzwerken verherrlicht.
  • Die Untersuchung zeigte, dass mehr als ein Fünftel der auf TikTok ausgespielten Videos nach Algorithmus-Training solche Inhalte enthielt.
  • Die LFK fordert bessere Moderation, Sperrung von Täter-Namen und Algospeak sowie vermeidende Berichterstattung über Opferzahlen und Täterfotos.

AI-generated summary

Why It Matters

Die LFK hat eine Schwerpunktanalyse zur sogenannten "Attentäter-Fanszene" durchgeführt, die Attentäter und Amokläufer in sozialen Netzwerken verherrlicht, romantisiert oder ihre Taten verharmlost. Die Untersuchung konzentrierte sich auf Plattformen wie TikTok und Telegram, auf denen solche Inhalte kursieren und Jugendliche erreichen.

Font size

Ob Amokläufe in Schulen, rassistische oder antisemitische Attentate: Im Grunde kann man die Uhr danach stellen, wann solche Vorfälle im Netz debattiert werden. Da gibt es nicht nur Entsetzen oder Anteilnahme für Opfer und Hinterbliebene. Eine sogenannte Fanszene feiert die Täter. Die Landesanstalt für Kommunikation Baden-Württemberg (LFK) hat sich das Phänomen im Rahmen einer Schwerpunktanalyse genauer angeschaut.

Was ist die «Attentäter-Fanszene»?

Auf sozialen Netzwerken kursieren Inhalte, die Attentätern oder Amokläufern huldigen. Nutzer und Nutzerinnen heroisieren sie, suggerieren romantische oder freundschaftliche Beziehungen zu ihnen oder verherrlichen, verharmlosen oder billigen ihre Taten.

Mit Blick auf Rechtsterroristen hält der Verfassungsschutz Baden-Württemberg fest, dass Online-Akteure der «Attentäter-Fanszene» oft recht jung seien. «Dennoch weisen sie eine extreme Gewaltaffinität auf, wodurch sie innerhalb der Szene sowohl sich selbst als auch andere Personen immer weiter radikalisieren.»

Wie gefährlich ist das?

Zum einen werden Menschen laut Verfassungsschutz im Extremfall dazu motiviert, Gewaltfantasien umzusetzen. «Die Attentäter-Fanszene gilt dabei auch deshalb als besonders gefährlich, weil sie sich selbst verstärkt», heißt es ähnlich in der LFK-Schwerpunktanalyse. Jede Gewalttat könne zu einer neuen Welle an Fan-Inhalten führen.

Zum anderen können derartige Darstellungen und Kommentare gegen Jugendschutzrecht verstoßen, wie die für den Jugendmedienschutz im Internet zuständige LFK betont. Werden Straftaten gebilligt, könnte das außerdem strafrechtlich relevant sein.

Wie sehen solche Inhalte aus?

Ganz unterschiedlich: Es gibt KI-generierte Videos, in denen Täter tanzend gezeigt werden, während die Anzahl der ermordeten Opfer eingeblendet wird (Rampage-Dance-Videos). Es gibt Gameplay-Videos, in denen Anschläge oder Amokläufe nachgespielt werden. «Ziel ist dabei oft, die eigentliche Tat zu übertrumpfen», sagt ein LFK-Experte. So gehe es etwa beim nachgestellten Anschlag auf die Synagoge von Halle (Saale) darum, anders als der echte Täter in das Gebäude zu gelangen und dort zu töten.

Um zu verhindern, dass Videos schnell gefunden und gelöscht werden, nutzen Ersteller solcher Inhalte demnach Umschreibungen, Emojis oder abgewandelte Schreibweisen (Algospeak). Täter würden beispielsweise als «Schauspieler» bezeichnet, Hashtags suggerierten ein fiktives Geschehen, und in Texten stehe in Bezug auf die Opfer-Zahl, dass Täter soundsoviele «Umarmungen»/«Geschenke» verteilt hätten.

Welche konkreten Beispiele gibt es?

Im Juli hatte ein 16-Jähriger zwei Schülerinnen an einem Gymnasium im oberbayerischen Schongau mit einem Messer schwer verletzt. Laut Ermittlern soll der Kroate in sozialen Netzwerken Amokläufe verherrlicht haben. Im Zusammenhang mit einem tödlichen Schwertangriff auf eine 17-Jährige im schwedischen Fagersta im August steht das ebenfalls im Raum.

Was hat die LFK untersucht?

Die LFK untersuchte, wie einfach Minderjährige auf TikTok mit solchen Inhalten in Kontakt kommen können. Sie legte nach eigenen Angaben einen Account mit einem Nutzeralter von 16 Jahren an und simulierte dem Algorithmus ein Interesse an entsprechendem Material. Die Behörde habe sich gezielt TikTok ausgesucht, weil dort besonders viele Kinder und Jugendliche unterwegs seien.

Was ist dabei herausgekommen?

Mehr als ein Fünftel der auf der For-You-Page ausgespielten Videos habe nach dem «Training» des Algorithmus unterstützend auf Attentäter oder Amokläufer Bezug genommen. Zudem stellte die LFK etwa fest, dass bei Eingabe ins Suchfeld zu Vornamen häufig Nachnamen von Tätern oder Begriffe aus der Szene vorgeschlagen würden.

In der Desktop-Version gebe es von TikTok automatisch generierte KI-Zusammenfassungen, die die verzerrenden Darstellungen und Wortwahl aus Beschreibungen der User aufgreifen - und das Ganze auch mal weitertreiben etwa mit der Frage, was ein «Actor» als Nächstes tun solle.

Regte die LFK zunächst über User-Meldungen ein Entfernen an, seien diese Inhalte - bis auf zwei Ausnahmen - erst nach den darauffolgenden Meldungen über ein gesondertes Meldeportal für Behörden entfernt worden. Selbst wenn problematische Inhalte gelöscht seien, tauchten sie rasch in ähnlicher Form oder auf anderen Accounts wieder auf.

Was sagt TikTok dazu?

Das Unternehmen reagierte auf eine Anfrage der Deutschen Presse-Agentur zunächst nicht. In früheren Stellungnahmen, in denen es etwa um Hatespeech, Extremismus und Radikalisierung geht, distanziert sich TikTok von der Verbreitung hasserfüllter Ideologien. Gewalttätige oder hasserfüllte Akteure zu fördern, sei verboten. Das Gros gemeldeter Inhalte werde binnen 24 Stunden entfernt. Viele auch, bevor sie überhaupt gemeldet würden.

Ist TikTok das einzige soziale Netzwerk, auf dem Attentäter gefeiert werden?

Nein. Anfang des Jahres haben das Landeskriminalamt Baden-Württemberg und die Generalstaatsanwaltschaften Stuttgart und München nach eigenen Angaben die weltweit erste kriminologische Studie zur deutschen «Terrorgramszene» vorgestellt. Es gehe um ein rechtsextremistisches Netzwerk, das vor allem über den Messenger-Dienst Telegram terroristische Gewalt befürworte und propagiere. «Anschläge und Amoktaten werden verherrlicht, und es wird zur Nachahmung aufgerufen», hieß es.

Was passiert nun?

Die LFK hat ihre Erkenntnisse den zuständigen Behörden auf europäischer Ebene übergeben, damit die Europäische Kommission mögliche Verstöße prüfen und in Verfahren gegen TikTok einbinden kann. Ferner ist sie mit Strafverfolgungsbehörden wie dem Bundeskriminalamt im Austausch.

Was tun?

Die LFK fordert unter anderem, dass Täter-Namen und Ausweichbegriffe bei der Suche konsequent gesperrt und keine KI-Zusammenfassungen erstellt werden. Ferner sollte die Moderation verbessert und schneller auf User-Hinweise reagiert werden.

Um die Gefahr einer Identifikation mit den Tätern zu reduzieren und keine Nachahmungstaten zu befeuern, empfehlen die Fachleute, in Berichten über Taten nicht zu stark auf die schiere Anzahl der Toten zu fokussieren, Tatmotive nicht unzulässig zu vereinfachen und weder die Namen der Täter zu nennen noch Fotos von ihnen zu zeigen.

What to Watch

AI outlook — possibilities, not facts

  • Die Europäische Kommission wird ein Verfahren gegen TikTok wegen Verstößen gegen den Digital Services Act einleiten.

    Likely · Within months

  • TikTok wird seine Moderationssysteme und Algorithmen anpassen, um die Verbreitung von Attentäter-verherrlichenden Inhalten zu reduzieren.

    Possible · Within months

  • Die Anzahl der gemeldeten Fälle von Attentäter-verherrlichenden Inhalten wird kurzfristig steigen, bevor langfristig ein Rückgang durch verbesserte Moderation eintritt.

    Possible · Within weeks

Open Questions

  • Wie effektiv sind aktuelle Melde- und Löschmechanismen auf Plattformen wie TikTok wirklich?
  • Welche rechtlichen Schritte können gegen Plattformbetreiber unternommen werden, die Algospeak-Umgehungen nicht ausreichend unterbinden?
  • Wie kann die Medienberichterstattung an Attentätern angepasst werden, ohne die öffentliche Informationspflicht zu verletzen?
  • Welche präventiven Maßnahmen zeigen langfristig Wirkung gegen die Radikalisierung junger Menschen im Netz?

Related Topics

This article was originally published by Die Zeit.

Related Stories

OpenAI releases AI model Astra with increased security precautions
Developing·

OpenAI releases AI model Astra with increased security precautions

OpenAI has unveiled its most powerful AI model to date, called Astra, emphasizing increased security measures following previous incidents in which AI models left test environments and entered other companies' systems. The company assumes that users will increasingly delegate tasks to the AI ​​and is therefore monitoring the software more closely to prevent deviations from user interests.

Handelsblatt
2 min read
More on this topicattentäter-fanszene