Wir freuen uns sehr, die herausragenden Leistungen unserer jüngsten Absolventen zu feiern, die im Januar zu uns gestossen sind. Mit grossem Einsatz haben sie sich dem Kurs und ihren Capstone-Projekten gewidmet.

In den vergangenen drei Monaten haben die talentierten Teilnehmerinnen und Teilnehmer von Batch #29 – unserem ersten vollständig online durchgeführten Kurs – eine Vielzahl anspruchsvoller Projekte umgesetzt. Ihre Fähigkeiten, ihr Enthusiasmus und ihr Engagement waren während der gesamten Zeit deutlich spürbar.

Unser besonderer Dank gilt HP für die unschätzbare Unterstützung durch die Bereitstellung der hochmodernen Z by HP Workstations. Diese ermöglichen es unseren Studierenden, ihr Können voll auszuschöpfen und massgeblich zu ihrem Erfolg beizutragen.

Wir laden dich herzlich ein, dieses inspirierende Beispiel dafür zu entdecken, wie unsere Teilnehmerinnen und Teilnehmer Datenwissenschaft nutzen, um wertvolle Erkenntnisse zu gewinnen, neue Grenzen zu erforschen und einen bedeutenden Beitrag zu leisten.

Sind NPUs die Zukunft? 

Einsatz lokaler KI auf mobilen Workstations unter Ausnutzung von CPU, GPU und NPU

Studenten: Jan Roesnick, Kristina Liang, Marisa Davis,  und Natalia Neamtu   

HP ist ein weltweit führender Anbieter von Computern und Innovationen und entwickelt Spitzentechnologien für Fachleute und Unternehmen. Obwohl die Branche stark in sogenannte Neural Processing Units (NPUs) investiert, mangelt es bislang an praxisnahen Benchmarks und konkreten Anwendungsfällen. NPUs sind spezialisierte Prozessoren, die für Aufgaben im Bereich Künstliche Intelligenz und Maschinelles Lernen entwickelt wurden. Sie sind ideal für die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) und für Computer-Vision-Anwendungen: Sie entlasten CPU und GPU und ermöglichen gleichzeitig eine hohe Leistung. Trotz ihres Potenzials fällt es vielen Kunden und Partnern schwer, den Nutzen eines Upgrades auf KI-optimierte Geräte zu erkennen – oder den Mehrwert lokaler statt cloudbasierter KI-Anwendungen zu verstehen.

Um genau hier anzusetzen, entwickelte das Team eine Anwendung, die lokale KI-Modelle für drei typische Aufgaben ausführt: Chatbot-Interaktion, Bildklassifizierung und Bildsegmentierung. Ziel war es, die Leistungsfähigkeit von NPUs in realitätsnahen Szenarien zu bewerten und sie im direkten Vergleich mit CPU- und GPU-basierten Workloads zu testen. Die Anwendung wurde auf zwei HP-Notebooks betrieben – dem ZBook Power (Intel Core U9, RTX 3000 Ada, 64 GB RAM) und dem ZBook Firefly (Intel Core U7, RTX A500, 32 GB RAM).

Das Projekt misst Auslastung, Entlastung, Latenz, Durchsatz und die verstrichene Zeit über verschiedene Verarbeitungseinheiten (CPU, GPU und NPU) hinweg. Die Ergebnisse werden im HP Showroom in Genf präsentiert. Kunden und Partner können dort die Echtzeit-KI-Leistung selbst erleben und die Vorteile von NPUs unmittelbar nachvollziehen.
 
Um die Möglichkeiten eines lokalen KI-Arbeitsplatzes voll auszuschöpfen, verfolgte das Team das Ziel, eine vollständig lokal laufende Lösung zu realisieren – unter Einsatz modernster KI-Tools sowie eines Dashboards zur Überwachung der Systemleistung. Im Rahmen dieses Projekts wurde eine Reihe von KI-Aufgaben entwickelt, darunter natürliche Sprachverarbeitung mittels KI-Chatbot und Computer Vision für Bildklassifizierung und Objekterkennung.

Chatbot

Der Chatbot wurde speziell für HP-Benutzer konzipiert und nutzt grosse Sprachmodelle (LLM) und Retrieval-Augmented Generation (RAG), um Antworten zu HP-Workstations, technischen Daten und Empfehlungen zu geben. Die Informationen werden dabei aus vorgeladenen HP-PDF-Dokumenten abgerufen. Anders als bei cloudbasierten Assistenten erfolgt die Ausführung vollständig lokal, so dass der Datenschutz vollständig gewährleistet ist.

Das zugrunde liegende Self-RAG-Modell bewertet die Relevanz der Nutzerfrage anhand verfügbarer Informationsquellen und stellt sicher, dass die Antwort auf präzisen und passenden Inhalten basiert. Um den Chatbot zu nutzen, klicken Sie einfach auf das Chat-Symbol unten rechts und starten Sie die Unterhaltung.

Klassifizierung von Bildern

Die Bildklassifizierung ermöglicht es einem Computer, Objekte in einem Bild zu erkennen und sie bestimmten Kategorien zuzuordnen. Wenn Sie zum Beispiel ein Bild eines Hundes hochladen, sagt das Modell die Hunderasse voraus.


  
Bildklassifizierung bietet vielfältige Einsatzmöglichkeiten in verschiedenen Branchen – etwa bei der KI-gestützten Qualitätskontrolle in der Fertigung, der sicheren Dokumentenverarbeitung zur Identitätsprüfung im Finanzwesen, dem intelligenten Scannen und Automatisieren von Büroabläufen oder bei der Analyse von Röntgen- und MRT-Bildern in der medizinischen Diagnostik – alles lokal, ohne Cloud-Anbindung. Die wichtigsten Metriken, die wir hier betrachten, sind:

• Verstrichene Zeit: Gesamtzeit vom Start bis zum Ergebnis.
• Latenz: Zeit pro Inferenz (Der Prozess, bei dem das KI-Modell eine Vorhersage trifft; je niedriger, desto besser).
• Durchsatz: Anzahl Inferenzen pro Sekunde (je höher, desto besser).

Objekterkennung

Die Objekterkennung geht über die Klassifizierung hinaus: Sie identifiziert mehrere Objekte innerhalb eines Bildes und bestimmt deren Position. Dies ist eine Schlüsseltechnologie für Computer-Vision-Anwendungen, wie z. B. selbstfahrende Autos oder Sicherheitsüberwachung.


 
Zur Bewertung der Leistung führt die App einen Benchmark-Test mit 128 Bildern durch, bei dem die durchschnittliche Verarbeitungszeit pro Bild und die Anzahl der Bilder pro Sekunde (FPS) gemessen werden, wobei ein höherer Wert eine flüssigere Echtzeit-Erkennung bedeutet.



CPU (Central Processing Unit): Die CPU ist ein Allzweckprozessor, der sich für eine Vielzahl von Aufgaben eignet. Sie arbeitet präzise, stösst jedoch bei stark parallelen Operationen – wie sie in KI-Anwendungen häufig vorkommen – an ihre Leistungsgrenzen.

GPU (Graphics Processing Unit): Grafikprozessoren sind auf parallele Verarbeitung spezialisiert. Sie teilen grosse Aufgaben in viele kleinere, die gleichzeitig bearbeitet werden können, was sie ideal für das Training von KI-Modellen macht. Allerdings sind GPUs meist grösser und verbrauchen deutlich mehr Energie.

NPU (Neural Processing Unit): NPUs wurden speziell für KI-Aufgaben entwickelt. Sie kombinieren die Flexibilität von CPUs mit der Parallelverarbeitungsleistung von GPUs – bei gleichzeitig geringem Energieverbrauch. Dadurch entlasten sie CPU und GPU effektiv und ermöglichen selbst bei komplexen Szenarien eine reibungslose Leistung. NPUs eignen sich besonders für den alltäglichen Einsatz von KI-Funktionen – effizient, lokal und ohne die Energieanforderungen einer GPU.
 


Dieses Projekt zeigt eindrucksvoll das Potenzial von Intel-betriebenen HP KI-PCs für die lokale Ausführung anspruchsvoller KI-Aufgaben und unterstreicht die wachsende Bedeutung von Edge Computing. Durch die Kombination eines lokal laufenden LLM-Chatbots mit RAG, Bildklassifizierung, Objekterkennung und Echtzeit-Ressourcenmonitoring demonstriert die App, wie CPUs, GPUs und NPUs bei verschiedenen KI-Workloads im direkten Vergleich abschneiden.

NPUs überzeugen durch ihre gelungene Balance aus Effizienz, Geschwindigkeit und Reaktionsfähigkeit – und machen damit selbst fortschrittliche KI-Anwendungen auf leichten, mobilen Workstations zugänglich. Für Fachleute, die hohe Leistung suchen, ohne bei Energieverbrauch oder Datenschutz Kompromisse einzugehen, bieten NPU-fähige Geräte ein zukunftssicheres Upgrade.

Natürlich bestehen weiterhin Herausforderungen – etwa die begrenzte Software-Unterstützung und der Bedarf an besseren Entwickler-Tools. Doch durch kontinuierliche Investitionen und praxisnahe Benchmarks wie in diesem Projekt wird die Akzeptanz solcher Technologien stetig wachsen. Der Wandel hin zu KI-gestützten Workflows ist in vollem Gange – und NPUs werden dabei eine Schlüsselrolle spielen.
Sieh dir die App in Aktion an: Are NPU the future? - App demo - YouTube 

Zusammenfassung

Zum Abschluss dieses erfolgreichen Kurses mit der Data Science Final Capstone-Projekt Gruppe #29 möchten wir uns herzlich bei den Studenten bedanken, die im Januar zu uns gestossen sind und sich voll und ganz dem Kurs und ihren Capstone-Projekten gewidmet haben. Euer Einsatz, eure Fähigkeiten und eure Begeisterung für Data Science waren wirklich beeindruckend. Wir wünschen euch alles Gute für euren weiteren Weg und sind überzeugt, dass ihr auch künftig innovative Lösungen entwickeln und in euren Fachgebieten einen bedeutenden Beitrag leisten werdet.

Für alle, die sich von diesen Erfolgen inspiriert fühlen und Interesse daran haben, ihren eigenen Weg in der Welt der Datenwissenschaft zu gehen: Wir freuen uns, unser nächstes Ausbildungsprogramm ankündigen zu dürfen. Besuche die Webseite der Constructor Academy,  um mehr zu erfahren und zu entdecken, wie du Teil der nächsten Kohorte von Data-Science-Innovatoren werden kannst.