Nemotron 3.5: Was Nvidias offene Modelle am Arbeitsplatz bringen

Nvidia bringt seine offenen KI-Modelle näher an den Arbeitsplatz. Am 15. Oktober hat das Unternehmen Nemotron 3.5 Super VL für Aufgaben mit Text und Bildern sowie die lokale Variante Bolt veröffentlicht. Interessant ist dabei weniger der nächste Ranglistenplatz als die Arbeitsteilung: Unternehmen können Dokumentenagenten selbst betreiben, während Entwickler ein komprimiertes Modell auf geeigneter eigener Hardware einsetzen können.

Das Wichtigste in Kürze

• Nemotron 3.5 Super VL verarbeitet Text, Bilder und Video und soll mehrstufige Aufgaben mit Werkzeugaufrufen verbinden.
• Bolt 74B-A9B 24GB ist die komprimierte Variante für lokale Agenten. Die Speicherangabe ersetzt keine Prüfung der konkreten Laufzeitumgebung.
• Modellgewichte und technische Anleitungen sind verfügbar. Das kleinere Bolt E4B 4GB ist dagegen erst für den 23. Oktober angekündigt.
• Die Leistungsversprechen stammen von Nvidia. Ein schnellerer Textstrom bedeutet nicht automatisch einen entsprechend schnelleren fertigen Arbeitsauftrag.

Ein Modell für Dokumente und die nächsten Arbeitsschritte

Super VL verbindet Sprachverarbeitung mit visuellem Verständnis. Es kann damit nicht nur einen bereits extrahierten Text verarbeiten, sondern auch Tabellen, Diagramme und Seitenlayouts einbeziehen. Das ist für Büroaufgaben relevant: Ein gescannter Beleg enthält seine Informationen anders als eine sauber beschriftete Datenbank. Ein Agent muss den Inhalt zunächst erkennen, bevor er Beträge vergleichen oder einen Datensatz vorbereiten kann.

Die Modellkarte nennt insgesamt 120 Milliarden Parameter, von denen pro Token zwölf Milliarden aktiv sind. Parameter sind die gelernten Rechenwerte des Modells; ein Token ist ein Textbaustein. Bei einer sogenannten Mixture-of-Experts-Architektur wird jeweils nur ein Teil der verfügbaren Experten aktiviert. Das senkt den Rechenaufwand gegenüber der Nutzung sämtlicher Parameter, macht aus dem großen Modell aber kein gewöhnliches kleines Desktopprogramm.

Wichtig ist die Trennung zwischen Verstehen und Ausführen. In Nvidias Beispiel für Werkzeugaufrufe fordert das Modell eine Funktion an; die umgebende Anwendung führt sie aus und liefert das Ergebnis zurück. Der Zugriff auf Warenbestände oder Geschäftssysteme entsteht also durch die Software, an die das Modell angeschlossen wird. Ein heruntergeladenes Modell erhält dadurch nicht von selbst Zugang zum Betrieb.

Für Unternehmen liegt der Nutzen in dieser Verbindung: Eine Anwendung könnte eine Lieferantenrechnung lesen, eine interne Bestellnummer nachschlagen und Abweichungen zur Bearbeitung vorlegen. Das ist ein mögliches Einsatzszenario, kein von uns getesteter Ablauf. Wie sich solche Agenten vom einzelnen Chat zur vollständigen Aufgabe entwickeln, zeigt auch die Erweiterung von Amp über Programmierarbeit hinaus.

Was Bolt lokal ermöglicht und was 24 GB nicht versprechen

Bolt 74B-A9B 24GB entsteht durch Kompression des größeren Modells und enthält insgesamt 74 Milliarden Parameter, davon neun Milliarden aktiv. Nvidia kombiniert die Verkleinerung mit einer stark reduzierten Zahlengenauigkeit für große Teile der Modellgewichte. Vereinfacht werden die gelernten Werte platzsparender gespeichert; zusätzliches Training soll Fähigkeiten zurückgewinnen, die bei der Kompression verloren gehen können.

Für den Einstieg ist die GGUF-Fassung interessant, ein Format für lokale Modelllaufzeiten. Die offizielle Modellseite beschreibt den Betrieb mit llama.cpp und nennt auch Ollama. Nvidia stellt damit einen nachvollziehbaren Download- und Integrationsweg bereit. Das ist allerdings keine Zusicherung, dass jede installierte Version dieser Programme den neuen Modelltyp bereits gleich gut unterstützt.

Gerade die Speicherzahl verdient einen zweiten Blick. Die GGUF-Dokumentation nennt Konfigurationen für 28 und 32 GB und führt für diskrete RTX-Grafikkarten 32 GB oder mehr auf. Je nach Rezept kommen Hilfsmodell, Bildverarbeitung und Zwischenspeicher für den Gesprächsverlauf hinzu. Aus dem Namen „24GB“ lässt sich deshalb nicht ableiten, dass eine beliebige Grafikkarte mit exakt diesem Speicher jede beschriebene Konfiguration ausführen kann.

Wer Bolt ausprobieren möchte, sollte zunächst den vorgesehenen Laufzeitweg und dessen Speicheranforderungen abgleichen. Anschließend eignet sich eine überschaubare Aufgabe mit bekannten Ergebnissen, etwa Informationen aus eigenen unkritischen Beispieldokumenten auszulesen. Erst wenn das zuverlässig funktioniert, lohnt sich die Verbindung mit weiteren Werkzeugen. Eine lokale Modellberechnung kann die Cloud-Inferenz ersetzen; ein eingebautes Werkzeug für Webrecherche benötigt trotzdem eine Netzwerkverbindung.

Offene Gewichte schaffen Auswahl, keine pauschale Kostenersparnis

Die Modelle stehen unter OpenMDW-1.1. Die Lizenz gestattet weitreichende Nutzung und Bearbeitung; bei Weitergabe müssen unter anderem Lizenz und Herkunftshinweise erhalten bleiben. Sie enthält außerdem einen Gewährleistungsausschluss. Für die praktische Entscheidung heißt das: Verfügbare Gewichte erleichtern Anpassung und eigenen Betrieb, übernehmen aber weder die Integration noch die Verantwortung für eine konkrete Anwendung.

Auch Leistungszahlen brauchen ihren Maßstab. Nvidia bewirbt für Super VL einen bis zu fünffachen Durchsatz gegenüber anderen offenen Modellen seiner Größenklasse. Der technische Beitrag beschreibt dabei unter anderem die Ausgabe von Tokens. Bei einem vollständigen Agentenauftrag kommen jedoch Dokumentenabruf, Werkzeuge und mögliche Fehlversuche hinzu. Aus diesem Vergleich folgt weder eine allgemeine fünffache Arbeitsgeschwindigkeit noch eine entsprechende Ersparnis bei jedem Projekt.

Ein eigener Betrieb verändert außerdem die Kostenstruktur. An die Stelle einer reinen Nutzungspauschale können Hardware, Wartung und Betreuung treten. Ob das günstiger ist, hängt von Auslastung und Aufgabe ab. Der überzeugendere Grund für die neue Auswahl ist daher zunächst die Möglichkeit, ein Modell an eigene Abläufe anzupassen und dessen Betrieb selbst zu organisieren.

Der sinnvolle Einstieg beginnt bei einer konkreten Aufgabe

Super VL richtet sich vor allem an Teams, die visuelle Informationen und Unternehmenswerkzeuge zusammenbringen wollen. Bolt eröffnet einen kleineren lokalen Einstieg für technisch versierte Nutzer mit passender Hardware. Das erst angekündigte E4B-Modell sollte in dieser Entscheidung noch nicht wie ein verfügbares Produkt behandelt werden.

Die Veröffentlichung verschiebt damit eine praktische Grenze: Ein offenes Agentenmodell muss nicht ausschließlich im großen Rechenzentrum bleiben. Ob daraus am eigenen Arbeitsplatz ein nützlicher Helfer wird, entscheidet sich an einer klar begrenzten Aufgabe, passenden Speicherreserven und nachvollziehbaren Ergebnissen. Genau dort lässt sich der Mehrwert früher erkennen als an der nächsten allgemeinen Bestenliste.