Wer heute große Sprachmodelle lokal betreiben möchte, steht vor einer wichtigen Frage: Welche Hardware brauche ich wirklich? Die Antwort hängt stark davon ab, welche Modellgröße Sie nutzen wollen – und Ihr Budget. In diesem Artikel stellen wir drei Systeme vor, die für unterschiedliche Anforderungen optimiert sind.

Egal ob Sie gelegentlich mit kleinen Modellen experimentieren, professionell mit mittleren Größen arbeiten oder ganze 70B+-Modelle ohne Cloud nutzen möchten: Hier finden Sie das passende Setup.

## Warum die GPU entscheidend ist

Bei lokalen LLMs fällt die Wahl auf die richtige Grafikkarte. Drei Faktoren spielen die größte Rolle:

– **VRAM (Videospeicher):** Bestimmt, wie groß das Modell sein darf. Reicht der Speicher nicht aus, schaltet das System auf langsamen CPU-Offloading zurück.
– **Bandbreite:**决定 die Token-Generierungsgeschwindigkeit – also wie schnell Antworten generiert werden.
– **Tensor-Core-Generation:** Je neuer, desto besser die Unterstützung für effiziente Quantisierungsformate wie FP4 und FP8.

## Die drei Systeme im Überblick

### 1. Budget-System: Einstieg in die lokale KI

Für Anwender, die erste Erfahrungen mit lokalen LLMs sammeln möchten, reicht eine aktuelle Mittelklasse-GPU aus. Die **NVIDIA RTX 5060 Ti (16 GB)** bietet hier das beste Preis-Leistungs-Verhältnis.

**Empfohlene Konfiguration:**
– **GPU:** RTX 5060 Ti 16 GB GDDR7 (~450–500 €)
– **CPU:** Ryzen 5 7600 oder Intel Core i5-14600K
– **RAM:** 32 GB DDR5
– **Speicher:** 1 TB NVMe SSD

**Damit möglich:** Modelle bis 13B Parameter mit INT4-Quantisierung flüssig nutzen – beispielsweise Llama 3.1 7B, Mistral 7B oder Qwen3 8B. Die RTX 5060 Ti erreicht mit 7B-Modellen etwa 50–100 Tokens/sec.

**Geeignet für:** Einsteiger, Studierende, Hobbyisten. Ideal für erste Experimente mit Prompts, zum Testen fein abgestimmter Modelle oder als Stromspar-Variante für den Dauerbetrieb.

—

### 2. Enthusiast-System: Starke Leistung für anspruchsvolle Aufgaben

Wer 30B-Modelle oder sogar 70B-Modelle mit Optimierungen betreiben möchte, greift zur **NVIDIA RTX 5090 (32 GB)**. Das neue Blackwell-Flaggschiff bietet 40 % mehr AI-Leistung als die RTX 4090 und unterstützt FP4-Tensor-Cores.

**Empfohlene Konfiguration:**
– **GPU:** RTX 5090 32 GB GDDR7 (~2.300–2.500 €)
– **CPU:** Ryzen 9 7950X oder Intel Core i9-14900K
– **RAM:** 64 GB DDR5
– **Speicher:** 2 TB NVMe SSD ( schnelle Lesezugriffe für Modellwechsel)
– **Netzteil:** 850W 80+ Gold

**Damit möglich:** 30B-Modelle (Qwen3 30B, Codellama 34B) bei voller Geschwindigkeit, 70B-Modelle mit INT4-Quantisierung in akzeptabler Geschwindigkeit (30–50 Tokens/sec). Die RTX 5090 liefert bei 8B-Modellen bis zu 145 Tokens/sec.

**Geeignet für:** Entwickler, Power-User, kleine Unternehmen. Perfekt für lokale Entwicklung, Prompt-Engineering und Tests ohne Cloud-Abhängigkeit.

—

### 3. Profi-System: Workstation-Leistung für große Modelle

Für professionelle Anwendungen mit 70B- bis 120B-Modellen braucht es maximale VRAM-Kapazität. Die **NVIDIA RTX PRO 6000 Blackwell (96 GB)** ist die einzige Consumer-Workstation-GPU mit genug Speicher für solche Szenarien.

**Empfohlene Konfiguration:**
– **GPU:** RTX PRO 6000 Blackwell 96 GB ECC GDDR7 (~8.000–9.200 €)
– **CPU:** AMD Threadripper PRO 5965WX oder Intel Xeon W7-2595X
– **RAM:** 128 GB DDR5 ECC
– **Speicher:** 4 TB NVMe SSD (RAID 0 für maximale Leseperformance)
– **Netzteil:** 1000W 80+ Platinum
– **Gehäuse:** Full-Tower-Workstation mit optimaler Kühlung

**Damit möglich:** 70B-Modelle bei FP16 (volle Präzision!), 120B+-Modelle mit INT4-Quantisierung. Die RTX PRO 6000 erreicht mit 70B-Modellen etwa 28 Tokens/sec bei voller Präzision – ein Alleinstellungsmerkmal bei dieser Karte.

**Geeignet für:** Forschungsteams, KI-Entwickler, Unternehmen. Szenarien, in denen Datenschutz oder Latenz Cloud-Lösungen ausschließen und volle Kontrolle nötig ist.

—

## Zusammenfassung: GPU-Vergleich für lokale LLMs

| Kategorie | GPU | VRAM | Max. Modell (INT4) |ca. Kosten |
|—|—|—|—|—|
| Budget | RTX 5060 Ti 16GB | 16 GB | 13B | ~450–500 € |
| Enthusiast | RTX 5090 32GB | 32 GB | 70B | ~2.300–2.500 € |
| Profi | RTX PRO 6000 96GB | 96 GB | 120B+ | ~8.000–9.200 € |

## Fazit

Die Hardware für lokale LLMs ist erschwinglicher geworden, aber die Kluft zwischen Budget und Profi-System bleibt erheblich. Für die meisten Anwender ist das **Enthusiast-System mit RTX 5090** der sweetspot: viel VRAM, hohe Bandbreite und aktuelle Blackwell-Architektur zu einem Bruchteil der Profi-Kosten.

Wer hingegen mit sensiblen Daten arbeitet oder 70B+ bei voller Präzision braucht, kommt um die RTX PRO 6000 nicht herum – der Preis ist hoch, aber die Leistung für Workstation-Setups konkurrenzlos.

**Und Sie?** Planen Sie ein lokales LLM-Setup oder sind bereits aktiv? Welche Modelle nutzen Sie am liebsten?