Ollama hat sich in kurzer Zeit zu einem der beliebtesten Tools entwickelt, um große Sprachmodelle (LLMs) lokal auf dem eigenen Computer zu laufen zu lassen. Ohne Cloud, ohne API-Keys, ohne monatliche Kosten: Du lädst ein Modell herunter und chattest direkt mit ihm – komplett privat und offline. In diesem Artikel erfährst du, was Ollama ist, welche Modelle verfügbar sind und wie du es auf Windows, macOS und Linux installierst.

Was ist Ollama?

Ollama ist eine Open-Source-Plattform, die es dir ermöglicht, beliebte KI-Modelle wie Llama, Gemma, Mistral, Qwen und viele andere direkt auf deinem lokalen Rechner auszuführen. Das Projekt basiert auf dem bekannten llama.cpp-Projekt von Georgi Gerganov und abstrahiert den gesamten Aufwand, der normalerweise mit dem Betrieb von LLMs verbunden ist.

Die wichtigsten Vorteile auf einen Blick

• Einfacher Start: Mit einem einzigen Befehl lädst du ein Modell herunter und startest eine Konversation.
• Vollständig lokal: Deine Daten verlassen niemals deinen Computer. Das ist ideal für sensible Inhalte und Privatsphäre-Befürworter.
• Große Modellauswahl: Über die Ollama-Model-Bibliothek sind Dutzende von Modellen verfügbar – von kompakten 1-Parameter-Modellen bis hin zu leistungsstarken Modellen mit 70+ Milliarden Parametern.
• REST-API: Ollama bietet eine integrierte REST-API, die sich nahtlos in eigene Anwendungen, Skripte und Tools einbinden lässt.
• Kostenlos und Open Source: Ollama ist komplett kostenlos und der Quellcode steht auf GitHub zur Verfügung.

So funktioniert es

Nach der Installation kannst du mit einem einfachen Befehl wie ollama run gemma3 ein Modell herunterladen und sofort damit chatten. Ollama kümmert sich automatisch um Modell-Downloads, Speicher-Management und die Kommunikation mit dem Modell. Im Hintergrund läuft ein lokaler Server auf Port 11434, der sowohl die CLI als auch die REST-API bedient.

Ollama auf macOS installieren

macOS ist die Plattform, auf der Ollama am einfachsten zum Einsatz kommt – insbesondere bei Apple Silicon (M1/M2/M3), da die KI-Berechnungen direkt auf der Neural Engine laufen.

Voraussetzungen

• macOS 14 Sonoma oder neuer
• Mindestens 8 GB RAM (mehr wird empfohlen)

Installation über das Installationspaket

1. Besuche ollama.com/download
2. Lade die .dmg-Datei herunter
3. Öffne das Disk-Image und ziehe Ollama in deinen Applications-Ordner
4. Starte Ollama aus dem Programmappe-Ordner

Installation über das Terminal

Alternativ kannst du Ollama direkt über das Terminal installieren:

curl -fsSL https://ollama.com/install.sh | sh

Nach der Installation startet Ollama automatisch als Hintergrunddienst und erscheint in der Menüleiste oben rechts.

Ollama auf Windows installieren

Auch auf Windows läuft Ollama mittlerweile flüssig. Die Installation ist denkbar einfach.

Voraussetzungen

• Windows 10 oder Windows 11 (64-bit)
• Mindestens 8 GB RAM
• WSL2 wird unterstützt, ist aber nicht zwingend erforderlich

Installation über das Setup-Paket

1. Lade den Installer von ollama.com/download herunter
2. Führe OllamaSetup.exe aus
3. Folge den Anweisungen des Installationsassistenten
4. Ollama startet automatisch nach der Installation

Installation über PowerShell

Du kannst Ollama auch direkt über PowerShell installieren:

irm https://ollama.com/install.ps1 | iex

Nach der Installation kannst du Ollama über die Eingabeaufforderung oder PowerShell starten. Der Ollama-Dienst läuft im Hintergrund und ist über localhost:11434 erreichbar.

Ollama auf Linux installieren

Linux-Nutzer haben verschiedene Installationsmöglichkeiten – von einem einfachen Installations-Skript bis hin zu Docker.

Installation über das Skript (empfohlen)

Die einfachste Methode ist das offizielle Installations-Skript:

curl -fsSL https://ollama.com/install.sh | sh

Dieses Skript installiert Ollama als Systemdienst und richtet automatisch einen Autostart ein.

Manuelles Installieren

Für manuelle Installationen bietet Ollama detaillierte Installationsanweisungen für Linux an. Dabei kannst du die passende Binärdatei für deine Architektur herunterladen und manuell einrichten.

Installation über Docker

Ollama bietet ein offizielles Docker-Image auf Docker Hub:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Damit hast du eine vollständig isolierte Ollama-Instanz, die sich leicht verwalten und aktualisieren lässt.

Erste Schritte nach der Installation

Egal für welche Plattform du dich entscheidest – nach der Installation ist der Einstieg gleich:

Ein Modell starten

Öffne ein Terminal und starte deine erste Konversation:

ollama run gemma3

Ollama lädt das Modell automatisch herunter (falls noch nicht vorhanden) und startet einen interaktiven Chat. Du kannst jetzt Fragen stellen, Texte generieren oder Code schreiben lassen.

Andere Modelle ausprobieren

Die Ollama-Modellbibliothek bietet eine große Auswahl. Beliebte Alternativen sind:

• Llama 3 – Meta Open Source LLM
• Mistral – Kompaktes und schnelles Modell
• Qwen – Starkes Modell von Alibaba
• Phi – Microsofts effizientes Mini-Modell

Wechsle einfach mit ollama run <modellname> zu einem anderen Modell.

Ollama mit anderen Tools verbinden

Ollama lässt sich hervorragend mit anderen Anwendungen kombinieren:

• Open WebUI – Eine ChatGPT-ähnliche Weboberfläche für Ollama
• VS Code Extensions – Direkter KI-Support in deiner Entwicklungsumgebung
• Eigene Apps – Über die REST-API kannst du Ollama in eigene Programme einbinden

Fazit

Ollama macht lokale KI-Modelle zugänglich und einfach zu handhaben. Ohne Cloud-Abhängigkeit, ohne Kosten und mit vollem Datenschutz kannst du direkt auf deinem eigenen Computer mit leistungsstarken Sprachmodellen arbeiten. Die Installation ist auf allen drei großen Plattformen – macOS, Windows und Linux – in wenigen Minuten erledigt. Probier es aus und starte noch heute deine erste lokale KI-Konversation.