Ollama - Lokale KI-Chatbots

DIFFICULTY: BEGINNER UPDATED: DECEMBER 2025

>> INTRODUCTION

🦙 WAS IST OLLAMA?

Ollama ermöglicht es dir, große Sprachmodelle (LLMs) wie LLaMA, Mistral und Gemma direkt auf deinem PC zu betreiben!

Stell dir ChatGPT vor – aber komplett lokal, kostenlos und privat. Deine Chats verlassen nie deinen Rechner!

✅ VORTEILE VON OLLAMA:

• Offline nutzbar – funktioniert ohne Internet
• 100% Privat – alle Daten bleiben lokal
• Kostenlos – keine API-Kosten, keine Abos
• Viele Modelle – LLaMA 3, Mistral, Gemma, CodeLLaMA...
• Einfach – ein Befehl zum Starten!

>> VORAUSSETZUNGEN

🖥️

NVIDIA GPU mit 8GB+ VRAM

Für 7B Modelle. Größere Modelle brauchen mehr VRAM.

💾

16GB+ RAM

Mehr RAM = größere Modelle möglich (auch ohne GPU)

📦

20GB+ freier Speicher

Modelle sind 4-40GB groß

💡 GUT ZU WISSEN:

Ollama läuft auch nur auf CPU – dann aber langsamer. Mit genug RAM (32GB+) kannst du auch größere Modelle ohne GPU nutzen!

>> INSTALLATION

Ollama herunterladen & installieren

Gehe zu ollama.com/download
Lade die Version für dein OS herunter (Windows/Mac/Linux)
Führe das Installationsprogramm aus

💡 TIPP: Die Installation dauert nur wenige Sekunden!

Erstes Modell herunterladen

Öffne ein Terminal/PowerShell und führe aus:

# LLaMA 3.2 (3B) - Schnell & kompakt
ollama run llama3.2

🦙 EMPFOHLENE MODELLE:

`llama3.2`	3B, ~2GB	Schnell, gut für Chat
`llama3.1:8b`	8B, ~5GB	Beste Balance
`mistral`	7B, ~4GB	Sehr schlau
`codellama`	7B, ~4GB	Für Programmierung
`llama3.1:70b`	70B, ~40GB	GPT-4 Level (braucht 48GB+ VRAM)

Mit dem Modell chatten

Nach dem Download startet automatisch ein Chat:

>>> Erkläre mir Quantencomputing in einfachen Worten

Stell dir vor, normale Computer sind wie Münzen...

✅ FERTIG!

Du hast jetzt einen lokalen KI-Chatbot!

>> GRAFISCHE OBERFLÄCHE

Terminal nicht dein Ding? Es gibt schicke Web-UIs!

🌐 OPEN WEBUI (Empfohlen)

Die beste UI für Ollama – sieht aus wie ChatGPT!

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

Dann öffne http://localhost:3000

🖥️ JAN.AI

Native Desktop-App mit schöner UI. jan.ai

🔌 VS CODE EXTENSION

Continue – KI-Coding-Assistent direkt in VS Code!

>> API NUTZEN

Ollama bietet eine REST API – perfekt für eigene Projekte!

# Beispiel: API Request mit curl
curl http://localhost:11434/api/generate \
-d '{"model": "llama3.2", "prompt": "Hello!"}'

# Python Beispiel
import ollama

response = ollama.chat(
model='llama3.2',
messages=[{'role': 'user', 'content': 'Hallo!'}]
)
print(response['message']['content'])

>> RESSOURCEN

📚

Ollama Model Library

Alle verfügbaren Modelle durchsuchen

📦

Ollama GitHub

Source Code & Dokumentation

🌐

Open WebUI

ChatGPT-style Oberfläche für Ollama

>> FAZIT

Mit Ollama hast du ChatGPT-ähnliche KI direkt auf deinem PC! Komplett kostenlos, privat und offline nutzbar.

Probiere verschiedene Modelle aus und finde das beste für deinen Use-Case. Viel Spaß beim Experimentieren! 🦙