Die technologische Landschaft erlebt derzeit eine rasante Entwicklung, angetrieben durch Fortschritte in der Rechenleistung. Nachdem CPUs und GPUs lange Zeit dominierten, rückt nun eine neue Technologie in den Vordergrund: die Neural Processing Units (NPUs). Immer mehr Unternehmen setzen auf NPUs, um komplexe generative KI-Funktionen und innovative Nutzererlebnisse zu ermöglichen. Diese spezialisierten Prozessoren sind nicht nur leistungsstark, sondern auch entscheidend für die Weiterentwicklung von KI-Anwendungen, die unser tägliches Leben grundlegend verändern könnten. Die Einführung der Copilot+ PCs, ausgestattet mit Qualcomms Snapdragon X-Serie und einem leistungsstarken NPU, macht die Diskussion über NPUs aktueller denn je.
Qualcomms Prozessoren bieten eine beeindruckende Rechenleistung von bis zu 45 TOPS (Billionen Operationen pro Sekunde). Apple zieht mit seiner neuesten Neural Engine nach, die bis zu 38 TOPS erreicht. Auch Intel und AMD stehen mit ihren kommenden NPU-Generationen für die Plattformen Lunar Lake (48 TOPS) und Strix Point (50 TOPS) in den Startlöchern. Angesichts dieser Begeisterung um NPUs stellt sich die Frage: Was genau ist ein NPU und welche Funktionen erfüllt er? Im Folgenden finden Sie eine detaillierte Erläuterung zu NPUs.
Was ist eine NPU?
Die Abkürzung NPU steht für Neural Processing Unit. Diese spezialisierten Einheiten wurden gezielt für KI-bezogene Aufgaben entwickelt. Das bedeutet, dass NPUs neuronale Netzwerke, maschinelles Lernen und KI-Workloads effizient verarbeiten können.
Ein zentraler Aspekt der mathematischen Berechnungen in KI-Anwendungen ist die Matrixmultiplikation (auch „matmul“ genannt). NPUs sind darauf ausgelegt, diese Operationen extrem schnell auszuführen. Für jede KI-Aufgabe ist paralleles Rechnen von entscheidender Bedeutung, da neuronale Netze viele Operationen gleichzeitig verarbeiten. Aus diesem Grund verfügen NPUs über dedizierte Beschleuniger, die eine hohe Parallelität ermöglichen. In Kombination mit einem Hochgeschwindigkeitsspeicher können NPUs parallele matmul-Operationen schnell über mehrere Kerne hinweg ausführen.
Zusammenfassend lässt sich sagen, dass NPUs speziell für KI-Aufgaben konzipiert sind, mit dem Schwerpunkt auf Parallelverarbeitung, schneller Ausführung von matmul-Operationen und Skalierbarkeit. Verschiedene Hersteller verwenden unterschiedliche Bezeichnungen für NPUs. Google nennt sie TPU (Tensor Processing Unit), während Apple sie als Neural Engine bezeichnet.
Der Unterschied zwischen NPU, CPU und GPU
Wie bereits erwähnt, ist die NPU speziell auf KI-bezogene Aufgaben zugeschnitten und somit eine anwendungsspezifische Verarbeitungseinheit. Im Gegensatz dazu ist die CPU eine universelle Einheit, die ein breites Spektrum von Aufgaben bewältigen kann.
CPUs sind in der Lage, Betriebssystemprozesse und allgemeine Anwendungen auszuführen. Ihre Vielseitigkeit bedeutet, dass sie praktisch jede Aufgabe meistern können. Während CPUs bei sequentiellen Aufgaben sehr effizient sind, sind sie bei parallelen Aufgaben eher ineffizient.
Die GPU hingegen ist vor allem für das Rendering von Grafiken konzipiert, was sie ideal für Spiele und Simulationen macht. GPUs sind NPUs insofern ähnlich, als sie Aufgaben auch parallel verarbeiten können. Das macht GPUs vielseitig einsetzbar, unter anderem beim Trainieren von KI-Modellen. NPUs sind jedoch speziell für KI-relevante Operationen entwickelt worden und bieten daher in Bezug auf Geschwindigkeit und Effizienz Vorteile.
Es ist erwähnenswert, dass in den frühen Tagen der Computertechnik CPUs die Grafikverarbeitung vollständig per Software übernahmen. Erst in den 1990er Jahren wurden GPUs entwickelt, um Grafiken mit dedizierter Hardware zu verarbeiten. Heute leben wir im Zeitalter der NPUs.
All diese Verarbeitungseinheiten wurden für unterschiedliche Aufgaben optimiert, um die CPU zu entlasten und Effizienz und Leistung zu steigern. Während NPUs immer populärer werden, sollten wir nicht vergessen, dass GPUs weiterhin häufig zum Training von KI-Modellen verwendet werden, während NPUs primär für das Inferencing eingesetzt werden. Google beispielsweise hat sein Gemini-Modell vollständig auf seinen TPUs trainiert.
Anwendungsbereiche von NPUs in Laptops
Ursprünglich wurden NPUs oder spezialisierte KI-Hardwarebeschleuniger von großen Unternehmen für parallele Rechenaufgaben eingesetzt. Inzwischen sind NPUs aber auch in Konsumprodukten wie Laptops und Smartphones zu finden. Die neuen Copilot+ PCs von Microsoft verfügen beispielsweise über einen leistungsstarken NPU, der Funktionen wie Recall ermöglicht, die zwar momentan noch etwas verzögert sind, aber in den kommenden Monaten verfügbar sein werden.
Recall erstellt Screenshots des Bildschirms, verarbeitet diese Daten mithilfe der NPU und erstellt einen Vektorindex. Würde dies von der CPU oder GPU übernommen, würde dies zu einem erheblichen Akkuverbrauch führen. Mit einem dedizierten NPU können KI-Operationen jedoch effizient durchgeführt werden, ohne die Akkulaufzeit zu beeinträchtigen oder die CPU/GPU zu belasten.
Darüber hinaus befeuern dedizierte NPUs Funktionen wie Cocreator in MS Paint, generieren Bilder in der Fotos-App, entfernen Hintergründe aus Videoclips, ermöglichen visuelle Effekte mit Magic Mask in DaVinci Resolve, verbessern Frameraten in Spielen, wenden Windows Studio-Effekte an, generieren Echtzeitübersetzungen und -transkriptionen und vieles mehr.
Mit der Zeit werden sich die Einsatzmöglichkeiten von NPUs weiterentwickeln, wodurch CPU und GPU entlastet und Geräte schneller und effizienter werden.
Apple nutzt seine Neural Engine, um intelligente Funktionen auf iOS, iPadOS und macOS zu ermöglichen. Das On-Device-KI-Modell verwendet die Neural Engine beispielsweise, um E-Mails zusammenzufassen, Benachrichtigungen zu priorisieren, Anrufzusammenfassungen zu erstellen und Bilder zu generieren. Auch die neue Siri setzt die Neural Engine zur Verarbeitung zahlreicher KI-Aufgaben ein.
Fazit
Zusammenfassend lässt sich sagen, dass NPUs eine neue Generation von Hardwarebeschleunigern darstellen, die im Zeitalter der künstlichen Intelligenz neue Möglichkeiten eröffnen. Die Entwicklung steht noch am Anfang, und wir können in naher Zukunft mit neuen NPU-basierten Anwendungen und Erlebnissen rechnen. Diese Technologie wird nicht nur die Art und Weise, wie wir digitale Geräte verwenden, verändern, sondern auch die Effizienz und Leistung von KI-Anwendungen erheblich verbessern.