Auch genannt: NPU, KI-Beschleuniger, Neural Processor
Eine Neural Processing Unit (NPU) ist ein spezialisierter Prozessor für Rechenoperationen aus neuronalen Netzen. Sie ergänzt CPU und GPU in einem Gerät, statt sie pauschal zu ersetzen. Typische Beispiele sind Sprachverarbeitung, Bildklassifikation oder Bildverbesserung. Intel beschreibt NPUs als Einheiten für wiederkehrende KI-Funktionen und nennt dafür unter anderem Spracherkennung und Fotoverbesserung.[1]
Ein trainiertes KI-Modell erhält Eingabedaten und berechnet daraus eine Ausgabe: Eine Audiodatei kann etwa in Text umgesetzt, ein Kamerabild klassifiziert oder ein Videokonferenzbild verbessert werden. Dieser Ausführungsschritt heißt Inferenz. Dabei wiederholen sich in vielen Modellen ähnliche mathematische Operationen sehr oft. Eine NPU ist darauf zugeschnitten, solche Rechenabschnitte effizient auszuführen.
Das heißt nicht, dass jede Anwendung mit dem Wort „KI“ automatisch auf der NPU läuft. Die Software muss die NPU über einen passenden Treiber und eine Laufzeitumgebung ansprechen; außerdem müssen Modell, Operationen, Datenformate und Hardware zusammenpassen. Die OpenVINO-Dokumentation beschreibt beispielsweise, dass der NPU-Treiber eine Modellrepräsentation in ein gerätespezifisches Format überführt und die Ausführung von Netzwerkschichten sowie Speichertransaktionen auf NPU-Teilmodule plant.[2]
Neuronale Netze arbeiten häufig mit Feldern aus Zahlen, den sogenannten Tensoren. Beim Ausführen eines Modells werden Gewichte und Eingabewerte wiederholt kombiniert, oft als Matrixmultiplikation oder Faltung. Eine konkrete Intel-NPU besteht dafür aus Neural-Compute-Engine-Tiles mit Multiply-Accumulate-Einheiten (MAC); diese Einheiten sind laut Datenblatt für Deep-Learning-Arbeitslasten vorgesehen.[3]
Vereinfacht läuft ein Auftrag in mehreren Schritten ab: Die CPU beziehungsweise die Laufzeit lädt das Modell, bereitet Eingabedaten vor und übergibt den Auftrag. Die NPU verarbeitet unterstützte Teile des Rechengraphen. Anschließend verwendet die Anwendung das Ergebnis weiter, etwa um Untertitel einzublenden oder ein Bildmerkmal zu bewerten. In der Intel-Dokumentation verwaltet ein Scheduler die Befehls- und Antwortwarteschlangen der NPU; das ist ein Beispiel für die Steuerlogik einer bestimmten Implementierung, nicht die Definition jeder NPU.[3:1]
Für die praktische Einsetzbarkeit sind Präzisionsformate und Modellunterstützung wichtig. Ein Modell kann zum Beispiel vor der Ausführung quantisiert werden, also Zahlenwerte in einem niedrigeren Zahlenformat abbilden. Microsoft weist darauf hin, dass viele NPU-Geräte für höhere Leistung und Energieeffizienz vor allem niedrigbitige Ganzzahlarithmetik wie INT8 unterstützen und Modelle dafür umgewandelt werden müssen.[4] Welche Formate und Operatoren funktionieren, ist daher eine Eigenschaft aus Modell, Runtime, Treiber und konkreter NPU.
Bei einer Videokonferenz kann eine Anwendung fortlaufend kurze Audioabschnitte analysieren, um Störgeräusche vom Sprachsignal zu trennen. Die CPU koordiniert das Programm, nimmt Daten entgegen und verarbeitet Bedienung sowie Netzwerkverkehr. Ein geeignetes, lokal verfügbares Modell kann seine Inferenz auf die NPU auslagern. Das Ergebnis wird dann wieder in die Audiokette übernommen.
Dieser Ablauf erklärt den Begriff „on-device“: Die Modellberechnung kann auf der Hardware des Endgeräts stattfinden, anstatt für jeden Verarbeitungsschritt an einen Server gesendet zu werden. Ob das in einer konkreten Anwendung passiert, entscheidet jedoch deren Implementierung. Intel nennt als Beispiel für ein NPU-unterstütztes Notebook Echtzeit-Rauschunterdrückung und automatisches Framing in Videoanrufen; Microsoft nennt unter anderem Echtzeitübersetzung und Bildgenerierung als KI-intensive Prozesse für NPU-Hardware.[1:1][4:1]
Die NPU ist dabei kein Garant für eine bestimmte Akkulaufzeit, Qualität oder Datenschutzwirkung. Effizienz hängt von Modellgröße, Datenbewegungen, Auslastung, Treiber, Temperaturgrenzen und der Verteilung der übrigen Arbeit ab. Für Entwickler gehört deshalb auch die Prüfung dazu, ob die gewünschte Laufzeit die NPU tatsächlich auswählt oder auf GPU beziehungsweise CPU zurückfällt. Microsoft beschreibt für Windows ML genau einen solchen Auswahl- und Fallback-Ablauf für verfügbare Beschleuniger.[4:2]
Die CPU ist der vielseitige Allround-Prozessor: Sie führt Betriebssystem- und Programmlogik aus, reagiert auf Verzweigungen und koordiniert Komponenten. Die GPU ist breit auf stark parallele Berechnungen und Grafikaufgaben ausgelegt; sie kann ebenfalls neuronale Netze bearbeiten. Intel ordnet CPUs eher komplexen, schrittweise ausgeführten Aufgaben zu und beschreibt GPUs als Einheiten für repetitive, einfache und gleichzeitige Aufgaben.[1:2]
Eine NPU konzentriert sich demgegenüber auf unterstützte Deep-Learning-Operationen mit dem Ziel, KI-Rechenlast als spezialisierte Hardwareaufgabe abzuwickeln. Sie ist weder ein eigenes KI-Modell noch eine allgemeine Aussage darüber, dass ein Rechner „intelligent“ ist. Das Modell bestimmt weiterhin, welche Eingaben und Ausgaben verarbeitet werden; die NPU ist eine mögliche Recheneinheit für dessen Inferenz.
Auch NPU ist keine einheitliche Leistungs- oder Kompatibilitätsklasse. Die unterstützten Modelle, Präzisionen und Treiberversionen unterscheiden sich je nach Plattform. So nennt OpenVINO für die dort dokumentierte NPU unter anderem statische Modellformen als Einschränkung und weist auf begrenzte Feature-Unterstützung hin.[2:1] Beim Kauf oder bei der Entwicklung sind deshalb konkrete Softwareanforderungen aussagekräftiger als allein die Abkürzung NPU.
Eine NPU ist ein Beschleuniger, aber nicht zwangsläufig ein separater Chip auf einer Steckkarte. Sie kann in einen Prozessor oder ein System-on-a-Chip integriert sein. Sie ist auch nicht mit Training gleichzusetzen: Training passt Modellparameter anhand vieler Daten an; Inferenz führt ein bereits vorbereitetes Modell für neue Eingaben aus. Und sie ist kein Synonym für GPU: Beide können KI-Rechenlast übernehmen, unterscheiden sich jedoch in ihrem vorgesehenen Einsatz und in der konkreten Softwareunterstützung.
Intel: Processor Guidebook – The Basics from CPUs to ASICs, abgerufen am 13. September 2026. Belegt die Einordnung von CPU, GPU und NPU, die NPU-Beispiele Spracherkennung und Fotoverbesserung sowie lokale KI-Anwendungen. ↩︎ ↩︎ ↩︎
OpenVINO: NPU Device, abgerufen am 13. September 2026. Belegt Treiber-/Compiler-Rolle, NPU-Ausführung, unterstützte Präzisionen und dokumentierte Einschränkungen einer konkreten NPU-Integration. ↩︎ ↩︎
Intel: Intel® Neural Processing Unit (Intel® NPU), Core Ultra 200H/200U, abgerufen am 13. September 2026. Belegt Neural-Compute-Engine-Tiles, MAC-Einheiten, Scheduler und INT8/FP16 für diese Intel-NPU. ↩︎ ↩︎
Microsoft Learn: Copilot+ PCs developer guide, abgerufen am 13. September 2026. Belegt NPU-orientierte lokale KI-Ausführung, die Notwendigkeit passender Software, Quantisierung sowie Hardwareauswahl und Fallback in Windows ML. ↩︎ ↩︎ ↩︎