OpenSource Finder
Merkliste
Alle SoftwareKI

llama.cpp

Effiziente Inferenz von Sprachmodellen auf vielen Hardwareplattformen.

Website besuchen
ProduktansichtOffizielle Quelle
Open Source

Effiziente Inferenz von Sprachmodellen auf vielen Hardwareplattformen. Besonders geeignet für lokale LLM-Inferenz und Edge-Geräte.

Lizenz
MIT
Self-Hosting
Nein
Cloud-Angebot
Nein
Einrichtung
Technisch
Alternative zu
OpenAI APIOllama
Funktionen & Eignung
VorteileNachteile
  • lokale LLM-Inferenz und Edge-Geräte
  • Nutzer ohne Zeit für Einrichtung, Updates und Betrieb
  • Anwendungsfälle, die zwingend eine offizielle Mobile-App benötigen
  • Teams, die ausschließlich einen sofort nutzbaren Cloud-Dienst suchen
Docker
Ja
Mobile App
Nein
API
Ja
Lizenzstatus
Open Source
Installation & Wechsel

Installation

Keine klassische selbst gehostete Serveranwendung. Die verfügbaren Installationswege findest du auf der Projektwebsite.

Zur Dokumentation
Quellen & Projektaktivität

Offizielle Quellen

WebsiteDokumentation

Datenstand

Basisprofil. Nicht verifizierte Angaben sind ausdrücklich gekennzeichnet.

Alle Software
Ollama – Details öffnen
KI
Offizielle Produktansicht von Ollama
Alternative zu OpenAI APISelf-hosted
OllamaMittel

Lokale Ausführung und Verwaltung großer Sprachmodelle.

KIOpen Source
Ja Self-hostedNein CloudJa DockerMittel Einrichtung
Open WebUI – Details öffnen
KI
Offizielle Produktansicht von Open WebUI
Alternative zu ChatGPTSelf-hosted
Open WebUIMittel

Weboberfläche für Ollama und OpenAI-kompatible Modelle.

KISource Available
Ja Self-hostedNein CloudJa DockerMittel Einrichtung
LibreChat – Details öffnen
KI
Offizielle Produktansicht von LibreChat
Alternative zu ChatGPTSelf-hosted
LibreChatMittel

Anbieterübergreifende Chat-Oberfläche mit Agenten und RAG.

KIOpen Source
Ja Self-hostedNein CloudJa DockerMittel Einrichtung
llama.cpp
Website besuchen