Neural Processing Unit (NPU): Der Spezialprozessor für lokale KI in Computern und Smartphones

Künstliche Intelligenz macht sich in Smartphones und Computern breit - und mit ihr ein neuer Name: die Neural Processing Unit, kurz NPU. Was steckt dahinter? Und muss ein neuer Rechner das haben?

Betriebssysteme wie Windows integrieren zunehmend KI-Funktionen. Rechner, die im Sinne von Microsoft auf KI-Produktivität ausgelegt sind, dürfen etwa das Copilot+-Label tragen.

Wer heute ein Foto mit dem Smartphone macht, bekommt oft automatisch ein optimiertes Ergebnis: Gesichter wirken klarer, Farben kräftiger, störende Objekte verschwinden auf Wunsch. Ähnlich funktioniert es bei Live-Übersetzungen oder Sprachassistenten.

Vieles davon passiert längst im Hintergrund - und wird häufig von speziellen KI-Bausteinen berechnet, sogenannten Neural Processing Units (NPUs). Genau diese Technik hält nun auch verstärkt Einzug in klassische Computer und Laptops. Die Idee dahinter: Ein lokaler KI-Kick. Künstliche Intelligenz soll direkt auf dem Gerät laufen, schnell reagieren und dabei möglichst wenig Energie verbrauchen.

Die NPU: Der Spezialprozessor für KI-Aufgaben

Technisch ist die NPU kein eigenständiger Chip wie eine Grafikkarte, sondern Teil des Prozessors. „Das sind zusätzliche Schaltwege im Prozessor, die fest integriert sind“, sagt Christian Hirsch vom IT-Fachmagazin „c't“.

Während die CPU (Central Processing Unit) als vielseitiger Hauptprozessor nahezu alle Aufgaben übernimmt und die GPU (Graphics Processing Unit) als Grafikprozessor vor allem für Bildberechnungen zuständig ist, konzentriert sich die NPU auf KI-Anwendungen.

Ab in die Matrix: Effizienz durch vereinfachte Berechnung

Sie ist darauf ausgelegt, typische Rechenoperationen neuronaler Netze besonders effizient auszuführen. „Was NPUs super können, sind Matrixmultiplikationen und -additionen“, erklärt Jörg Geiger vom Computer-Fachmagazin „Chip“. „Das wird für neuronale Netze benötigt, also den technischen Hintergrund von KI.“

Ein entscheidender Unterschied liegt dabei in der Arbeitsweise: NPUs arbeiten oft mit geringerer Rechengenauigkeit, etwa mit 4 bis 8 Bit statt der üblichen 32 oder 64 Bit. Das reicht für viele KI-Anwendungen aus und spart gleichzeitig erheblich Energie, sagt Christian Hirsch. Auch CPU und GPU könnten solche Aufgaben übernehmen, würden dabei aber deutlich mehr Strom verbrauchen.

Warum die NPU jetzt wichtig wird? - für lokale KI-Modelle

Der Trend zur NPU hängt eng mit dem aktuellen KI-Boom zusammen. Viele Anwendungen von der Bildbearbeitung über Sprachmodelle bis hin zu Assistenten basieren auf neuronalen Netzen. Bislang laufen Dienste wie ChatGPT oder Gemini aber in der Regel in großen Rechenzentren „in der Cloud“.

„Mit einer NPU werden auch lokale KI-Modelle möglich. Die laufen direkt auf Handy oder PC. Das bedeutet: Daten werden nicht mehr an Server geschickt, dort verarbeitet und das Ergebnis zurückgesendet“, erklärt Jörg Geiger.

KI direkt auf dem Gerät: Spart Zeit, bringt Datenschutz

Das lokale Verarbeiten spart nicht nur Zeit, sondern kann auch Vorteile beim Datenschutz bringen. Sensible Daten müssen den eigenen Rechner beziehungsweise das eigene Netzwerk nicht mehr verlassen. Das kann auch ein Argument sein für eine Firma, etwa KI-Anwendungen auf den Endgeräten der Mitarbeiter laufen zu lassen. Hier wären dann Rechner mit einer NPU die richtige Wahl, so Geiger. Ein weiterer Effekt: Die KI-Anwendung wird unabhängiger von einer Internetverbindung.

Ein anderes Beispiel für aktuelle Anwendungen sind die Copilot+-PCs von Microsoft, die gezielt auf lokale KI-Funktionen setzen. Dazu gehört Christian Hirsch zufolge etwa die vieldiskutierte Recall-Funktion, bei der der Bildschirm-Inhalt permanent mitgeschnitten wird, um die Inhalte zu analysieren und durchsuchbar zu machen.

Noch wenig Software – aber ein wachsender Markt

Insgesamt ist der praktische Nutzen für Normalverbraucher derzeit aber noch recht begrenzt. „Es gibt aktuell nur eine Handvoll Programme, die NPUs wirklich nutzen“, sagt Christian Hirsch. Viele Anwendungen griffen für KI-Features weiterhin auf klassische Prozessoren oder Cloud-Dienste zurück.

Ein weiterer Grund dafür ist auch die fehlende Standardisierung. Unterschiedliche Hersteller setzen auf eigene Lösungen, einheitliche Schnittstellen entwickeln sich erst nach und nach. Für Entwickler bedeutet das zusätzlichen Aufwand - und für Nutzer, dass viele Funktionen nur dann verfügbar sind, wenn Hard- und Software optimal zusammenspielen.

Merkt man das im Alltag? - Das hängst stark vom Einsatz ab

Ob Nutzer heute schon von Rechnern mit NPU profitieren, hängt stark vom Einsatz ab. „Wer nur surft und Mails schreibt, merkt keinen Unterschied“, sagt Jörg Geiger. Spürbar werde die Technik vor allem bei rechenintensiven Aufgaben - etwa, wenn Bilder automatisch verbessert, Videos schneller geschnitten werden oder Sprache in Echtzeit übersetzt wird. Auch Funktionen wie Hintergrundunschärfe bei Videokonferenzen oder automatische Texterstellung können von NPUs profitieren.

Für viele typische Alltagsanwendungen wie Websurfen, Office oder Streaming spielt die NPU dagegen bislang kaum eine Rolle. Dennoch wächst das Angebot. Betriebssysteme wie Windows integrieren zunehmend KI-Funktionen, und auch Programme für Bild-, Audio- und Videobearbeitung setzen verstärkt auf entsprechende Beschleunigung. Langfristig könnte sich die NPU ähnlich etablieren wie einst die GPU.

Mehrkosten sofort fällig - NPU ist nicht nachrüstbar

Da die NPU ein fester Teil des Prozessors ist und nicht nachgerüstet werden kann, wird sie meist auch nicht extra ausgewiesen. „Man muss oft auch genau in die Spezifikationen eines Laptops reinschauen, um festzustellen, ob eine NPU verbaut ist“, sagt Christian Hirsch.

Die Technik findet sich vor allem in neueren und besser ausgestatteten Geräten. Einsteiger-Notebooks setzen hingegen häufig noch auf ältere Chips ohne NPU. „Man kann grob sagen, dass günstige Laptops unter etwa 800 Euro meist keine NPU haben“, so Hirsch. Geräte mit entsprechender Ausstattung liegen in der Regel darüber und bringen oft auch insgesamt leistungsfähigere Hardware mit.

NPU-Rechner kaufen - oder es lieber bleibenlassen?

Ob sich der Kauf eines Rechners mit NPU lohnt, hängt davon ab, wie das Gerät genutzt werden soll und auch, wann es eventuell erneuert wird. Denn der Markt befindet sich aktuell in einer Übergangsphase, sagt Jörg Geiger.

„Wer zukunftssicher aufgestellt sein will, kauft ein Notebook mit NPU“, lautet seine Empfehlung. Für viele Nutzer sei sie derzeit aber noch kein Muss. Denn viele bekannte KI-Dienste wie Chatbots oder Bildgeneratoren laufen weiterhin in der Cloud. Dafür sei keine spezielle Hardware im eigenen Rechner erforderlich.

Die NPU sei aber klar als Schlüsseltechnologie für die nächste Generation von Computern zu werten, ist Geiger überzeugt. „Immer mehr Hersteller bauen die NPU ein, in ein paar Jahren wird sie fast jeder Rechner an Bord haben.“