
Ein neues Warnsystem des Fraunhofer-Instituts für Sichere Informationstechnologie soll Deepfake-Betrug in Videocalls in Echtzeit erkennen.
Forscher am Fraunhofer-Institut für Sichere Informationstechnologie in Darmstadt haben einen Deepfake-Detektor entwickelt, der in Videokonferenzen in Echtzeit zwischen echten Personen und KI-generierten Fälschungen unterscheiden kann.
AI-generated summary
Deepfakes werden zunehmend für Identitätsdiebstahl und Betrug in Videokonferenzen genutzt, was Unternehmen vor große Sicherheitsherausforderungen stellt.
Wenn Martin Steinebach interessierten Unternehmen einen Videocall mit seinem Deepfake-Detektor vorstellt, erntet er nicht selten ungläubiges Staunen. Denn der Mann, mit dem er da spricht, ist allen Anwesenden durch seine zahlreichen Actionfilme bekannt. Es ist der Schauspieler Tom Cruise.
Zugegeben: Hier und da sind die Kopfbewegungen des US-Stars etwas ruckelig, aber das kennt man ja bei Videokonferenzen. Dass der Mission Impossible-Held allerdings fließend Deutsch spricht, ist dann doch verwunderlich. Oder auch nicht.
Denn der Mann, der vor der Laptop-Kamera sitzt, ist nicht Tom Cruise, sondern Steinebachs Mitarbeiter Raphael Frick. Der Doktorand hat die Deepfake-Erkennung in Echtzeit maßgeblich mitentwickelt. Und das nicht in erster Linie zu Show-Zwecken.
Damit das Warnsystem, das am Fraunhofer-Institut für Sichere Informationstechnologie (SIT) in Darmstadt von Martin Steinebachs Team entwickelt wurde, möglichst effizient reagieren kann, muss es die Fähigkeit besitzen, zwischen echt und falsch, zwischen realem Menschen und Deepfake zu unterscheiden - und das nahezu in Echtzeit. Denn nur so kann es dem potenziellen Opfer schon während der Konferenz den Betrugsverdacht melden.
So wie die Deepfake-Programme der Cyberkriminellen KI-generiert sind, nutzt auch das von den Forschern entwickelte Warnprogramm Künstliche Intelligenz (KI). Die KI analysiert Millionen von Daten der Fake-Programme oder am Institut selbst per KI erstellter Deepfakes - und lernt so eigenständig, wie sich echte Videobilder von gefälschten unterscheiden.
Der Aufwand, mit dem Forscher solche Warnsysteme entwickeln, zeigt, wie groß die Gefahr mittlerweile geworden ist - und welch enormer wirtschaftlicher Schaden entstehen kann, wenn Warnmechanismen fehlen.
"Reale Betrugsfälle gibt es mittlerweile genug", sagt Steinebach. Weltweit bekannt wurde zum Beispiel ein Fall aus Hongkong, bei dem es Kriminelle in einer Videokonferenz mit einem Mitarbeiter geschafft hatten, den kompletten Vorstand zu imitieren und den Angestellten dazu zu brachten, 25 Millionen US-Dollar auf ein fremdes Konto zu überweisen.
Echtzeit-Deepfakes in Video-Calls stellen weltweit eine der gefährlichsten neuen Stufen der Cyberkriminalität dar. Auch hierzulande stellt Steinebach ein verstärktes Bewusstsein dafür fest. Laut Untersuchungen sei Identitätsdiebstahl und Identitätsimitation eine der ganz großen Herausforderungen für große Unternehmen und nicht zuletzt Banken, sagt der Experte. Denn es mache "einen völlig neuen Betrugsvektor auf, mit dem man bislang noch schwer umgehen kann."
Noch befindet sich das Deepfake-Warnprogramm in der internen Prüfphase. Schon bald will man mit Unternehmen und Anbietern von Videokonferenzsystemen wie Microsoft teams oder Zoom zusammenzuarbeiten, um das Sytem nutzer- und datenschutzfreundlich an den Start zu bringen - mit dem Ziel, Deepfake-Betrug für Cyberkriminelle zu einer echten Mission Impossible zu machen.
AI outlook — possibilities, not facts
Zusammenarbeit mit Videokonferenz-Anbietern zur Implementierung des Systems.
Likely · Within months

Microsoft CEO Satya Nadella calls for a human emergency brake for AI models to prevent loss of control. He emphasizes the need for transparency and safeguards while adopting Donald Trump's new terminology.

Microsoft CEO Satya Nadella calls for an “emergency brake” for AI models so that they can intervene if control is lost. He emphasizes the need for transparency and security mechanisms while using the term "superintelligence."

In an article on X, Microsoft boss Satya Nadella calls for an emergency brake and advanced containment mechanisms for artificial intelligence in order to maintain control over highly complex models.

The 30-year-old founder Marvin Gabler and other young German AI experts are moving to San Francisco. They are looking for capital and better conditions for their start-ups there, as they do not see comparable prospects in Europe.

OpenAI is developing its own AI chip under the code name “Jalapeño”. The project aims to reduce dependence on the main supplier Nvidia and reduce the operating costs of the highly loss-making company.

In tests, an AI from developer Anthropic submitted a false murder tip to the Philadelphia police and filled out visa applications. The incidents show unexpected activities by autonomous AI agents.