Systemkonfiguration für GPU-Betrieb

Möchten Sie KI-Modelle auf einer GPU beschleunigt betreiben, sind folgende Voraussetzungen und Konfigurationen zu beachten.

Voraussetzungen

Verwenden Sie ein Beckhoff Image für IPCs mit einer ab Werk eingebauten GPU, um sicherzustellen, dass alle erforderlichen Voraussetzungen für den Betrieb des TwinCAT Machine Learning Servers bereits erfüllt sind.

Sollten Sie einen Drittanbieter-PC, ein eigenes Image oder einen Beckhoff-IPC mit Drittanbieter-GPU betreiben, beachten Sie bitte den Abschnitt Einrichtung einer NVIDIA Grafikkarte .

Konfiguration des Betriebsmodus der GPU

Sie können NVIDIA GPUs in den sogenannten TCC-Mode versetzen und damit alle Rechenressourcen der GPU für Rechenaufgaben, zum Beispiel die Inferenz eines KI-Modells, reservieren.

Was ist der TCC-Mode?

Der NVIDIA TCC-Modus (Tesla Compute Cluster) stellt einen speziellen Betriebsmodus für NVIDIA-GPUs dar, bei dem die Grafikausgabe deaktiviert wird, um die GPU ausschließlich für Rechenaufgaben zu optimieren.

Hinweis: Viele CPUs sind mit einer integrierten GPU (iGPU) ausgestattet, sodass trotz aktiviertem TCC-Modus ein angeschlossener Monitor weiterhin genutzt werden kann. Dies gilt beispielsweise für die IPCs der Reihe C6043.

Bitte beachten Sie, dass der TCC-Modus nicht für alle GPUs verfügbar ist. Informationen zur Kompatibilität Ihrer GPU finden Sie direkt bei NVIDIA. Alle von Beckhoff angebotenen GPUs unterstützen den TCC-Modus.Welche Vorteile hat der TCC-Mode?

• Der komplette Speicher und alle Recheneinheiten stehen für KI-Berechnungen zur Verfügung
• Kein Zeitverlust durch konkurrierende Aufgaben wie Rendering oder Display-Interrupts.
• Verbesserte Antwortzeiten und geringerer Jitter
• Mehr nutzbarer vRAM (insb. bei großen Modellen oder mehreren Modellen auf einer GPU wichtig)

Wie setze ich den TCC-Modus?

Öffnen sie das Windows Command Prompt mit Administratorrechten. Aktivieren Sie den TCC-Modus mit dem Befehl

nvidia-smi -g <GPU-Index> -dm 1

-g steht für die GPU-ID (z. B. 0, 1, 2 …)

-dm 1 beudetet TCC-Modus einschalten

Beispiele

Aktivieren des TCC-Modus für die erste GPU

nvidia-smi -g 0 -dm 1

Aktivieren des TCC-Modus für alle kompatiblen GPUs

nvidia-smi -dm 1

Ein Neustart des Systems wird empfohlen.