Ollama - Lokale KI-Chatbots
GESAMTDAUER: 20-30 MINUTEN
Inklusive erstem Modell-Download
🎯 DEINE LERNZIELE:
- ✓ Was Ollama ist und wie es sich von ChatGPT unterscheidet
- ✓ Ollama installieren (Windows, Mac oder Linux)
- ✓ Dein erstes KI-Modell herunterladen und ausführen
- ✓ Optional: Grafische Oberflächen (Open WebUI, JAN.AI)
- ✓ Ollama API für eigene Projekte nutzen
WAS IST OLLAMA?
🦙 WAS IST OLLAMA?
Ollama ermöglicht es dir, große Sprachmodelle (LLMs) wie
LLaMA, Mistral und Gemma direkt auf deinem PC zu betreiben!
Stell dir ChatGPT vor – aber komplett lokal, kostenlos und privat.
Deine Chats verlassen nie deinen Rechner!
✅ VORTEILE VON OLLAMA:
- • Offline nutzbar – funktioniert ohne Internet
- • 100% Privat – alle Daten bleiben lokal
- • Kostenlos – keine API-Kosten, keine Abos
- • Viele Modelle – LLaMA 3, Mistral, Gemma, CodeLLaMA...
- • Einfach – ein Befehl zum Starten!
>> VORAUSSETZUNGEN
NVIDIA GPU mit 8GB+ VRAM
Für 7B Modelle. Größere Modelle brauchen mehr VRAM.
16GB+ RAM
Mehr RAM = größere Modelle möglich (auch ohne GPU)
20GB+ freier Speicher
Modelle sind 4-40GB groß
💡 GUT ZU WISSEN:
Ollama läuft auch nur auf CPU – dann aber langsamer. Mit genug RAM (32GB+) kannst du auch größere Modelle ohne GPU nutzen!
>> INSTALLATION
Ollama herunterladen & installieren
- Gehe zu ollama.com/download
- Lade die Version für dein OS herunter (Windows/Mac/Linux)
- Führe das Installationsprogramm aus
Erstes Modell herunterladen
Öffne ein Terminal/PowerShell und führe aus:
ollama run llama3.2
🦙 EMPFOHLENE MODELLE:
llama3.2 |
3B, ~2GB | Schnell, gut für Chat |
llama3.1:8b |
8B, ~5GB | Beste Balance |
mistral |
7B, ~4GB | Sehr schlau |
codellama |
7B, ~4GB | Für Programmierung |
llama3.1:70b |
70B, ~40GB | GPT-4 Level (braucht 48GB+ VRAM) |
Mit dem Modell chatten
Nach dem Download startet automatisch ein Chat:
Stell dir vor, normale Computer sind wie Münzen...
Du hast jetzt einen lokalen KI-Chatbot!
✓ Erfolgskontrolle: Du kannst mit dem Modell chatten und es reagiert auf deine Eingaben.
HÄUFIGE FRAGEN & LÖSUNGEN
❌ "command not found: ollama"
Ursache: Ollama nicht installiert oder nicht im PATH
Lösung:
- Terminal/PowerShell neu starten
- Windows: Ollama neu installieren
- Linux:
ollama --versionsollte Versionsnummer zeigen
❌ "VRAM out of memory" Fehler
Lösung:
- Kleineres Modell verwenden (llama3.2 statt llama3.1:8b)
- Andere Programme schließen (VR, Spiele, Browser mit vielen Tabs)
- Für 4GB VRAM: llama3.2 (3B) nutzen
❌ Modell ist sehr langsam
Erwartete Geschwindigkeit:
- GPU (RTX 4090): 50-100 tokens/Sekunde
- GPU (RTX 3060): 20-40 tokens/Sekunde
- Nur CPU: 2-10 tokens/Sekunde
Tipps: Kleinere Modelle sind schneller. llama3.2 ist perfekt für Alltagsgebrauch.
❓ Wie aktualisiere ich ein Modell?
Automatisch: Ollama prüft beim Start auf Updates. ollama run llama3.2 wird automatisch aktualisiert.
Manuell: ollama pull llama3.2
>> GRAFISCHE OBERFLÄCHE
Terminal nicht dein Ding? Es gibt schicke Web-UIs!
🌐 OPEN WEBUI (Empfohlen)
Die beste UI für Ollama – sieht aus wie ChatGPT!
Dann öffne http://localhost:3000
🖥️ JAN.AI
Native Desktop-App mit schöner UI. jan.ai
🔌 VS CODE EXTENSION
Continue – KI-Coding-Assistent direkt in VS Code!
>> API NUTZEN
Ollama bietet eine REST API – perfekt für eigene Projekte!
curl http://localhost:11434/api/generate \
-d '{"model": "llama3.2", "prompt": "Hello!"}'
import ollama
response = ollama.chat(
model='llama3.2',
messages=[{'role': 'user', 'content': 'Hallo!'}]
)
print(response['message']['content'])
>> RESSOURCEN
>> FAZIT
Mit Ollama hast du ChatGPT-ähnliche KI direkt auf deinem PC! Komplett kostenlos, privat und offline nutzbar.
Probiere verschiedene Modelle aus und finde das beste für deinen Use-Case. Viel Spaß beim Experimentieren! 🦙