KI-Systeme als Gatekeeper für Nachrichten: Studie kritisiert intransparente Quellenauswahl

Aus Sicht der Hauptautorin Vivien Benert, die sich bei der Denkfabrik mit »digitaler Öffentlichkeit« befasst, entwickeln sich KI-Systeme wie ChatGPT zu zentralen Gatekeepern in der Vermittlung aktueller Nachrichten. Das habe weitreichende Auswirkungen für die Meinungsbildung wie auch für die Geschäftsmodelle etablierter Medien.

Quellenauswahl sei »eine Blackbox«

Die eigenen Erhebungen zeigten unter anderem, dass »KI-Systeme aus einer schmalen Quellenbasis schöpfen und Aufmerksamkeitsverzerrungen verstärken«, ohne dass die Auswahlkriterien dokumentiert oder nachvollziehbar seien, so Benert in einem Begleitpapier. Die Quellenauswahl führender Systeme bezeichnet sie darin als »eine Blackbox«.

Die Analyse untersuchte, welche Quellen unter anderem die KI-Chatbots ChatGPT und Claude und die KI-Angebote Gemini und AI Overview von Google bei Antworten zu Nachrichtenthemen heranziehen. Dazu stellten die Autoren in diesem Mai an fünf Werktagen 675 Anfragen zu fünf Themen und werteten rund 4.800 daraus resultierende Quellenverweise aus. Es handelt es sich also eher um eine Stichprobe als um eine Langzeituntersuchung.

Bei ChatGPT gibt es eine klare Dominanz

Die untersuchten KI-Systeme erzeugten ihre Ergebnisse aus einer engen Quellenbasis und zeigten stark unterschiedliche Verteilungen bei ihren zehn meistgenutzten Nachrichtenquellen, so die Analyse. Die Methodik der KI-Modell sei für Nutzerinnen und Nutzer dabei nicht ersichtlich: »Kein Anbieter dokumentiert transparent, wie die Quellenauswahl zur Beantwortung von Prompts funktioniert«, so Benert.

Der Agora-Analyse zufolge nutzen ChatGPT und Perplexity bei Nachrichtensuchen überwiegend journalistische Quellen. Bei Claude, Gemini und im Google-KI-Überblicksmodus machten sie nur etwa 50 Prozent der Quellen aus; dort wurden dafür etwa staatliche und zivilgesellschaftliche Quellen stärker genutzt. Teils fließen auch private Blogs und Social-Media-Inhalte in die Antworten ein.

Bei Google und Perplexity landete demnach jeweils tagesschau.de auf Nummer eins der meistgenutzten Quellen, auch die Website des Deutschlandfunk rangiert bei beiden unter den Top drei und führt das Ranking bei Gemini an. Auch die Seite des SPIEGEL taucht bei drei der untersuchten Angebote unter den zehn meistgenutzten Quellen auf, bei »Gemini« etwa auf Rang drei.

Der Medienkonzern Axel Springer (»Welt«, »Bild«, »Politico«) hatte 2023 eine »globale Partnerschaft« mit OpenAI geschlossen. Diese Kooperation schlage sich »signifikant in der Quellenauswahl von ChatGPT nieder«, heißt es in der Auswertung der Ergebnisse durch die Denkfabrik.

Das »Pravda-Netzwerk« als Nachrichtenlieferant

Die Kooperationen zwischen Medienhäusern und KI-Anbietern seien »bei keinem Anbieter transparent angegeben«. Man müsse konkret danach suchen, sagt Studien-Autorin Benert dem SPIEGEL. Viele Nutzende dürften tendenziell davon ausgehen, dass KI-Systeme das Netz nach den relevantesten Ergebnissen durchforsten. Durch derlei Kooperationen entstehe indes eine praktisch unmerkliche Bevorzugung einzelner Medienhäuser und ihrer Inhalte, sagt Benert.

Das aktuell besonders populäre Modell Claude von Anthropic zeigte in der Agora-Analyse eine andere Auffälligkeit: Es griff bei Nachrichtensuchen im Untersuchungszeitraum gleich siebenmal auf Domains des sogenannten Pravda-Netzwerks zu. Es handelt sich dabei laut Experten um ein groß angelegtes russisches Einflussnetzwerk, das nach Recherchen von Check First und dem Digital Forensics Lab bislang bereits mehr als 8,5 Millionen Artikel verbreitet hat – Deutschland gehört neben Frankreich, Polen, der Ukraine, Moldau und Serbien zu den Zielländern der Operation.

Claude habe Informationssuchenden in diesen Fällen »russische Desinformation gleichberechtigt mit anderen Nachrichtenquellen untergejubelt«, sagt Benert dem SPIEGEL. »Ein System, das Desinformation und Journalismus in derselben Form präsentiert, gefährdet die informierte Meinungsbildung«, heißt es dazu in der Agora-Analyse.

Beobachter warnen schon lange davor, dass KI-Modelle durch das sogenannte »Data Poisoning« manipuliert werden könnten. Dabei versuchen Propagandaseiten ihre Inhalte gezielt so optimiert aufzubereiten, dass KI-Chatbots sie in ihren Antworten als seriöse Quellen präsentieren. Auch Russland soll dabei mitmischen. (Lesen Sie hier mehr darüber.)

Auf eine kurzfristige SPIEGEL-Anfrage zu den konkreten Ergebnissen der Studie antwortete Anthropic: »Wir arbeiten daran, Claude so zu trainieren, dass es in seinen Antworten politisch ausgewogen ist«. Ziel sei, »dass es entgegengesetzte politische Standpunkte mit gleicher Tiefe, gleichem Engagement und gleicher Qualität der Analyse behandelt, ohne Voreingenommenheit für oder gegen eine bestimmte ideologische Position«. Im Übrigen verwies das Unternehmen auf einen eigenen Blogbeitrag zu politischer Voreingenommenheit aus dem vorigen November.

Bei Google hieß es: »Diese Studie zeigt, dass Googles KI‑Produkte auf Hunderte einzigartiger Domains verlinken, auf denen Menschen mehr über die Antworten erfahren können, die sie sehen«. Die von AI Overviews und Gemini bereitgestellten Antworten beruhten »auf denselben Systemen, die wir zur Rangfolge von Suchergebnissen verwenden – Systeme, die über Jahrzehnte hinweg verfeinert wurden und darauf abzielen, so objektiv und neutral wie möglich zu sein.«

Eine OpenAi-Sprecherin erkärte auf SPIEGEL-Anfrage, die Ergebnisse von ChatGPT basierten »auf allen Quellen, die für die Frage eines Nutzers am hilfreichsten und relevantesten sind – nicht darauf, ob ein Publisher eine kommerzielle Vereinbarung mit OpenAI hat«. Man nutze Quellenangaben und Links, »damit Menschen sehen können, woher Informationen stammen, und um den Traffic zurück zu Medienverlagen zu lenken«.

Einblick in die Quellenauswahl gefordert

Die Agora-studienleiterin Benert sieht aufgrund ihrer Befunde Handlungsbedarf und »eine konkrete Regulierungslücke«. Anders als klassische Medien unterlägen KI-Anbieter »weder publizistischen Sorgfaltspflichten noch einer vielfaltssichernden Aufsicht«.

Es brauche unter anderem mehr »Transparenz und Offenlegung der Kriterien zur Quellenauswahl im laufenden Betrieb, eine überprüfbare Zuordnung von Aussagen und Quellen sowie Offenlegung bestehende Kooperationen zwischen KI-Anbietern und Medienhäusern für Nutzende. Ohne Einblick in die Quellenauswahl lasse sich »weder Haftung noch Vielfalt noch faire Vergütung durchsetzen.«

Der Trend zu ausformulierten Antworten auf Nachrichtensuchen wie etwa beim Google KI-Modus entziehe Medien zudem Reichweite und Einnahmen, da viele Nutzerinnen und Nutzer nicht mehr auf die Originalquellen, die dieses Angebot erst möglich machten, weiterklickten. »Wenn der Journalismus so seine wirtschaftliche Grundlage verliert, steht damit eine zentrale Säule demokratischer Informationsvermittlung auf dem Spiel«, heißt es in dem Papier.

Auch weitere und intensivere Forschung sei vonnöten, sagt Benert dem SPIEGEL: Die Agora Digitale Transformation plane bereits eine Langzeituntersuchung unter Einbeziehung wissenschaftlicher Partner.