Systemkonfiguration für GPU-Betrieb

Installation der NVIDIA^®-Komponenten

Wenn für die GPU-beschleunigte KI-Modellausführung keine Beckhoff-Hardware mit zugehörigem Beckhoff Image verwendet wird, sind Sie als Kunde selbstständig dafür verantwortlich, auf dem System die notwendigen Rahmenbedingungen für einen Betrieb der Grafikkarte herzustellen.

Sollten Sie einen Beckhoff IPC mit GPU und zugehörigem Beckhoff Image verwenden, können Sie diesen Abschnitt überspringen.

Systemvoraussetzungen

Die Systemvoraussetzungen betreffen insbesondere die erforderlichen Komponenten von NVIDIA^®. Die im folgenden aufgeführten Software-Versionen sollten nicht aktueller sein als die angegeben Versionen (z. B. nicht CUDA^® 12.6 installieren), da es ansonsten zu Inkompatibilitäten kommt.

NVIDIA^®-Treiber

• Normale NVIDIA^®-GPU: Version 560.67
• Quadro/RTX GPU: Version 522.86

CUDA^® (Compute Unified Device Architecture)

• CUDA^® Version12.5.1

cuDNN

• cuDNN Version 9.2.1.18 (als zip-Datei, nicht als Windows Installer nutzen)
• Instruktionen zur Installation finden Sie bei NVIDIA^®: Tarball Installation.
• Es ist notwendig, den Pfad zu den cuDNN-Bibliotheken zu der PATH-Variable des Systems, nicht der des Users, hinzuzufügen.

In der Regel werden durch die obigen Maßnahmen die folgenden Voraussetzungen auf dem System erfüllt:

• Verfügbarkeit der cuda.dll Bibliothek
• Verfügbarkeit der nvml.dll Bibliothek

Laufzeitverhalten

Bei Verwendung von Drittanbieter-GPUs können, abhängig von der konkreten GPU und dessen Einstellungen, erhebliche Laufzeitschwankungen bei der Modellausführung auftreten.

Der TwinCAT Machine Learning Server informiert direkt nach dem Starten des Servers im Log-File über mögliche Herausforderungen der verwendeten Grafikkarte.

Konfiguration des Betriebsmodus der GPU

Sie können NVIDIA^®-GPUs in den sogenannten TCC (Tesla Compute Cluster)-Modus versetzen und damit alle Rechenressourcen der GPU für Rechenaufgaben, zum Beispiel die Inferenz eines KI-Modells, reservieren.

Beckhoff IPCs mit einer ab Werk eingebauten GPU ohne DisplayPort werden im TCC-Modus ausgeliefert.

Was ist der TCC- Modus?

Der NVIDIA^® TCC-Modus stellt einen speziellen Betriebsmodus für NVIDIA^®-GPUs dar, bei dem die Grafikausgabe deaktiviert wird, um die GPU ausschließlich für Rechenaufgaben zu optimieren.

Hinweis: Viele CPUs sind mit einer integrierten GPU (iGPU) ausgestattet, sodass trotz aktiviertem TCC-Modus ein angeschlossener Monitor weiterhin genutzt werden kann. Dies gilt beispielsweise für die IPCs der Reihe C6043.

Bitte beachten Sie, dass der TCC-Modus nicht für alle GPUs verfügbar ist. Informationen zur Kompatibilität Ihrer GPU finden Sie direkt bei NVIDIA^®. Alle von Beckhoff angebotenen GPUs unterstützen den TCC-Modus.

Welche Vorteile hat der TCC-Modus?

• Der komplette Speicher und alle Recheneinheiten stehen für KI-Berechnungen zur Verfügung
• Kein Zeitverlust durch konkurrierende Aufgaben wie Rendering oder Display-Interrupts.
• Verbesserte Antwortzeiten und geringerer Jitter
• Mehr nutzbarer vRAM (insbesondere bei großen Modellen oder mehreren Modellen auf einer GPU wichtig).

Wie setze ich den TCC-Modus?

Öffnen sie das Windows Command Prompt mit Administratorrechten. Aktivieren Sie den TCC-Modus mit dem Befehl

nvidia-smi -g <GPU-Index> -dm 1

-g steht für die GPU-ID (z. B. 0, 1, 2 …)

-dm 1 beudetet TCC-Modus einschalten

Beispiele

Aktivieren des TCC-Modus für die erste GPU

nvidia-smi -g 0 -dm 1

Aktivieren des TCC-Modus für alle kompatiblen GPUs

nvidia-smi -dm 1

Ein Neustart des Systems wird empfohlen.