Kurz erklärt: Wie Weltmodelle datenbasierte Simulationen erstellen

Stellt man großen Sprachmodellen (Large Language Models, LLMs) Fragen zu physikalischen Zusammenhängen, führt das oft zu unbefriedigenden Ergebnissen. Die Modelle generieren Antworten aus den vielen von ihnen gelesenen Texten und setzen ihre Ausgabe daraus auf die Fragestellung abgestimmt zusammen. Das bedeutet aber nicht, dass die LLMs damit ein wirkliches Verständnis der zugrunde liegenden physikalischen Vorgängen haben – stattdessen handelt es sich einfach um repliziertes auswendig gelerntes Wissen.

Um diesem Defizit der Sprachmodelle zu begegnen, untersuchen viele KI-Forscher mittlerweile Weltmodelle, die die Welt und die ihr zugrunde liegenden physikalischen Mechanismen wirklich begreifen sollen. Darauf basierend treffen Weltmodelle Vorhersagen und können sie logisch begründen. Daher müssen diese Modelle ganz anders strukturiert sein als die klassischen Sprachmodelle. Auch die Trainingsdaten müssen entsprechend anders aussehen. Dennoch können Erfahrungen aus dem Training der Sprachmodelle einfließen und auch die Transformer-Architektur kann wiederverwendet werden.

Einen Überblick über Weltmodelle liefert Nvidia und unterscheidet dabei zwischen verschiedenen Typen. Vorhersagemodelle prognostizieren die Dynamik von Bewegungen als Video, als Eingabe verwenden sie dazu entweder Text oder zwei unterschiedliche Bilder. Stilübertragungsmodelle nutzen ControlNets, die dem Modell bestimmte Vorgaben machen und damit eine feingranulare Steuerung der Ausgabe erlauben. Abseits von generativen Bildmodellen kommen ControlNets auch bei der Konstruktion digitaler Zwillinge oder bei Umgebungsrekonstruktionen zum Einsatz. Reasoning-Modelle schließlich analysieren multimodale Eingaben über Zeit und Raum und sollen sich daher laut Nvidia für autonome Systeme eignen.