Open-Source LLM Leaderboard

Q: Kann ich Open-Source LLMs auf meinem PC laufen lassen?

Ja. Mit Tools wie Ollama, LM Studio oder GPT4All laufen offene Modelle lokal. Wie groß das Modell sein kann, bestimmt vor allem der Grafikspeicher: Bei 4-Bit-Quantisierung brauchen die Gewichte ein halbes Byte je Parameter, bei einem 7B-Modell also 3,5 GB, dazu kommt Speicher für den Kontext.

Offene Sprachmodelle nach Größe und Lizenz im Vergleich, mit Link zur Model Card. Datenstand: Modelle bis Dezember 2024.

Modelle

Anbieter

12/2024

Neuestes Modell

Modell ▼	Parameter ▼	Lizenz ▼	Quelle (Model Card)
CodeLlama 34B Meta AI	34B	Llama 2	meta-llama/CodeLlama-34b-hf
Command R+ Cohere	104B	CC-BY-NC 4.0	CohereLabs/c4ai-command-r-plus
DeepSeek-Coder-V2-Lite DeepSeek	16B MoE	DeepSeek License	deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct
DeepSeek-V3 DeepSeek	671B MoE	DeepSeek Model License	deepseek-ai/DeepSeek-V3
Falcon 2 11B TII (UAE)	11B	TII Falcon License 2.0	tiiuae/falcon-11B
Gemma 2 27B Google	27B	Gemma Terms of Use	google/gemma-2-27b
Gemma 2 9B Google	9B	Gemma Terms of Use	google/gemma-2-9b
LeoLM 13B LAION / HessianAI	13B	Llama 2	LeoLM/leo-hessianai-13b
Llama 3.1 8B Meta AI	8B	Llama 3.1	meta-llama/Llama-3.1-8B
Llama 3.2 3B Meta AI	3B	Llama 3.2	meta-llama/Llama-3.2-3B
Llama 3.3 70B Meta AI	70B	Llama 3.3	meta-llama/Llama-3.3-70B-Instruct
Mistral 7B v0.3 Mistral AI	7B	Apache 2.0	mistralai/Mistral-7B-v0.3
Mistral Large 2 Mistral AI	123B	Mistral Research License	mistralai/Mistral-Large-Instruct-2407
Mixtral 8x22B Mistral AI	141B MoE	Apache 2.0	mistralai/Mixtral-8x22B-v0.1
Occiglot 7B DE-EN Occiglot Research Collective	7B	Apache 2.0	occiglot/occiglot-7b-de-en
Phi-3.5 Mini Microsoft	3.8B	MIT	microsoft/Phi-3.5-mini-instruct
Phi-3.5 MoE Microsoft	42B MoE	MIT	microsoft/Phi-3.5-MoE-instruct
Qwen 2.5 32B Alibaba	32B	Apache 2.0	Qwen/Qwen2.5-32B
Qwen 2.5 72B Alibaba	72B	Qwen License	Qwen/Qwen2.5-72B
Qwen 2.5 7B Alibaba	7B	Apache 2.0	Qwen/Qwen2.5-7B
Qwen 2.5 Coder 7B Alibaba	7B	Apache 2.0	Qwen/Qwen2.5-Coder-7B
RedPajama-Chat 3B Together AI	2.8B	Apache 2.0	togethercomputer/RedPajama-INCITE-Chat-3B-v1
SauerkrautLM 7b HerO VAGO Solutions	7B	Apache 2.0	VAGOsolutions/SauerkrautLM-7b-HerO
StableLM 2 1.6B Stability AI	1.6B	Stability AI Community License	stabilityai/stablelm-2-1_6b

Reihenfolge: alphabetisch nach Modellname. Es gibt keine Gesamtwertung und keine Rangfolge; per Klick auf eine Spaltenueberschrift sortieren Sie danach. Auswahl: Modelle bis Dezember 2024, neuere Modelle sind nicht enthalten. Parameterzahl, Anbieter und Lizenz stehen so in der verlinkten Model Card auf Hugging Face (abgerufen am 13.11.2026); bei MoE-Modellen ist die Gesamtzahl der Parameter angegeben. Benchmark-Werte zeigen wir nicht, weil wir sie nicht für jedes Modell mit einer Primärquelle belegen können.

Hardware-Faustregel: Welches Modell passt auf meine GPU?

Eine Rechnung, keine Messung: Bei 4-Bit-Quantisierung (Q4) belegt jeder Parameter ein halbes Byte. Die Gewichte eines 7B-Modells brauchen damit 3,5 GB, die eines 70B-Modells 35 GB. Dazu kommen Speicher für den Kontext (KV-Cache) und die Laufzeitumgebung; die Werte unten sind deshalb Untergrenzen.

Bis 8B Parameter

Gewichte bei Q4: höchstens 4 GB. Beispiele: StableLM 2 1.6B, Llama 3.2 3B, Phi-3.5 Mini, Mistral 7B, Qwen 2.5 7B, Llama 3.1 8B.

9B bis 16B Parameter

Gewichte bei Q4: 4,5 bis 8 GB. Beispiele: Gemma 2 9B, Falcon 2 11B, LeoLM 13B, DeepSeek-Coder-V2-Lite (16B MoE).

27B bis 42B Parameter

Gewichte bei Q4: 13,5 bis 21 GB. Beispiele: Gemma 2 27B, Qwen 2.5 32B, CodeLlama 34B, Phi-3.5 MoE (42B).

Ab 70B Parameter

Gewichte bei Q4: ab 35 GB. Beispiele: Llama 3.3 70B, Qwen 2.5 72B; Mixtral 8x22B (141B) und DeepSeek-V3 (671B) brauchen ein Vielfaches davon, also mehrere GPUs oder Server.

Häufige Fragen

Was ist ein Open-Source LLM?

Gemeint sind KI-Sprachmodelle, deren Gewichte (Weights) öffentlich verfügbar sind. Streng genommen sind viele davon (z. B. Llama, Gemma) nicht Open Source, sondern „offene Gewichte“ unter einer eigenen Lizenz mit Nutzungsbedingungen. Sie können es auf eigener Hardware betreiben — ohne Daten an externe Server zu senden. Die Daten bleiben dann in Ihrer eigenen Infrastruktur, und es fallen keine laufenden API-Kosten an. Beispiele: Llama (Meta), Mistral (Mistral AI), Qwen (Alibaba).

Welches offene Modell passt zu mir?

Eine Rangliste geben wir nicht. Anhaltspunkte aus den Model Cards: Speziell für Code trainiert sind DeepSeek-Coder-V2-Lite, Qwen 2.5 Coder und CodeLlama. Auf Deutsch trainiert sind SauerkrautLM, LeoLM und Occiglot. Für wenig Grafikspeicher kommen kleine Modelle wie Llama 3.2 3B oder Phi-3.5 Mini infrage. Prüfen Sie außerdem die Lizenz: Nicht jede erlaubt jede kommerzielle Nutzung.

Kann ich Open-Source LLMs auf meinem PC laufen lassen?

Ja. Mit Tools wie Ollama, LM Studio oder GPT4All laufen offene Modelle lokal. Wie groß das Modell sein kann, bestimmt vor allem der Grafikspeicher: Bei 4-Bit-Quantisierung brauchen die Gewichte ein halbes Byte je Parameter, bei einem 7B-Modell also 3,5 GB, bei einem 70B-Modell 35 GB, dazu kommt Speicher für den Kontext. Reicht der Grafikspeicher nicht, kann ein Teil auf die CPU ausgelagert werden (langsamer).

Was bedeutet Quantisierung (Q4, Q8, GGUF)?

Quantisierung reduziert die Präzision der Modell-Gewichte (z.B. von 16-Bit auf 4-Bit), um VRAM zu sparen. Q4 = 4 Bit, also ein Viertel des Speichers gegenüber 16 Bit; Q8 = 8 Bit, die Hälfte. Wie stark die Qualität dabei sinkt, hängt von Modell und Verfahren ab; eine allgemeingültige Zahl gibt es nicht. GGUF ist ein verbreitetes Format für quantisierte Modelle, unterstützt von Ollama und llama.cpp.