Apptiva Logo

Ollama - LLM für zu Hause

Stell dir vor, du kannst leistungsstarke KI-Modelle direkt auf deinem eigenen Computer nutzen – ohne Cloud, ohne Zusatzkosten und mit voller Kontrolle über deine Daten. Genau das bietet Ollama: eine Plattform, die KI sicher, flexibel und offline verfügbar macht. Ideal für sensible Projekte oder einfach, um smarter zu arbeiten.

Publiziert am von Markus Tanner

Quickstart

Die Inbetriebnahme von Ollama ist sehr einfach. Auf Mac OSX geht das so. 

brew install ollama
ollama serve
ollama run llama3.1

Und schon ist das LLM Llama 3.1 gestartet.

Auf anderen Betriebssystemen ist es auch nicht komplizierter: https://ollama.com/download

Open WebUI: KI-Modelle mit Benutzeroberfläche verbinden

Ein weiterer Vorteil von Ollama ist die Möglichkeit, Modelle nahtlos mit Open WebUI zu verknüpfen. Dadurch kannst du deine KI-Modelle nicht nur lokal ausführen, sondern auch über eine intuitive Benutzeroberfläche steuern und testen. Open WebUI bietet eine benutzerfreundliche Plattform, die es Entwicklern und Nutzern erleichtert, Modelle zu konfigurieren, Eingaben zu testen und Ergebnisse in Echtzeit zu visualisieren – alles ohne komplizierten Code. Diese Kombination aus Ollama und Open WebUI macht den Einsatz von KI-Modellen noch zugänglicher und flexibler, sowohl für Profis als auch für Einsteiger.

Mit folgendem Befehl wird Open WebUI gestartet und ist auf Port 3000 verfügbar:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -e WEBUI_AUTH=false -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Einfache Integration mit Spring AI

Ollama ist mit der OpenAI API kompatibel und kann mühelos in Anwendungen integriert werden, die Spring AI nutzen. Mit dem Spring AI OpenAI Client kannst du direkt mit Ollama interagieren und dessen Tools verwenden. Dafür musst du lediglich die Basis-URL auf Ollama konfigurieren:

spring.ai.openai.chat.base-url=http://localhost:11434

Zusätzlich kannst du eines der von Ollama bereitgestellten Modelle auswählen, z. B.:

spring.ai.openai.chat.options.model=mistral

So kannst du die Leistung von Ollama optimal in deine Spring-Anwendungen einbinden und hast gleichzeitig die volle Kontrolle über die genutzten Modelle und deren Funktionen.

Immer noch zu kompliziert?

Mit den Infos und Links hier kannst du nicht wirklich was anfangen? Dann schaust du dir mal am besten Bubble Chat an.