Fallstudie
LMaaS
Selbst gehosteter Modelldienst auf Apple Silicon: OpenAI-kompatible API für lokale LLMs, plus ML-Train/Serve/Retrain hinter SemVer.
- Go
- React
- TypeScript
Problem
Meine eigenen Apps brauchten lokale LLM-Inferenz und versionierte ML-Releases, ohne bei jedem Call von einem Cloud-Anbieter abzuhängen.
Ansatz
LMaaS ist ein selbst gehosteter Dienst auf Apple Silicon: eine Go-API mit OpenAI-kompatibler Oberfläche für lokale Modelle, plus Train-, Serve- und Retrain-Flows hinter SemVer-Releases, mit React-Konsole.
Ergebnis
Ein privates Modell-Desk, das meine Produkte lokal aufrufen können, mit Live-Konsole und unveröffentlichtem Quellcode.