LLMWare.ai

Mit Model HQ bauen Sie mehrstufige KI-Workflows ohne Code. Sie verketten Modelle, Datenquellen und Logik zu einem wiederholbaren Prozess, vom einfachen Zusammenfassen bis zur Kette, die ein Dokument liest, Felder extrahiert und ein Ergebnis weiterleitet. Damit geht das Produkt über einen Chatbot hinaus: Es erledigt Geschäftsaufgaben von Anfang bis Ende. Die Firma sieht in diesem Builder das Stück, das KI-Automatisierung für Menschen ohne Python öffnet.

Die Plattform bringt einen Katalog mit über 250 kleinen Sprachmodellen mit, verpackt in quantisierten Formaten für GPU und NPU des Geräts. Dabei sind die SLIM-Familie (Structured Language Instruction Models) für Funktionsaufrufe und Klassifizierung, die auf RAG-Fragen abgestimmten DRAGON-Modelle und die BLING-Modelle für schnelle Prototypen. Sie unterstützt auch die führenden Cloud-Modelle von OpenAI, Anthropic und Google, sodass Sie lokal und Cloud mischen, wo es passt.

Model HQ enthält eine Pipeline für Retrieval-Augmented Generation, dieselbe Technik hinter dem Open-Source-Framework llmware. Sie zeigen auf einen Ordner mit PDFs, Word-Dateien oder Tabellen; das System analysiert, zerlegt und indexiert die Dateien und antwortet dann mit diesem Kontext. Die Firma verbindet das mit mehreren Vektordatenbanken, darunter FAISS, Milvus, Pinecone, Qdrant, Postgres (PG Vector), Redis und Chroma, für Teams, die schon eine betreiben.

Der Client-Agent nutzt die Recheneinheiten, die ein moderner Laptop ohnehin hat. Er läuft auf CPU, GPU und NPU und ist auf Chips von Intel, AMD, Apple, NVIDIA und Qualcomm Snapdragon abgestimmt. Die Firma nennt durchschnittliche Downloadzeiten von rund 10 Sekunden für die App und unter 30 Minuten für einen Satz Modelle auf ein Gerät. Modelle bis 32B Parameter laufen auf den neuesten AI PCs, sodass Sie ohne Server brauchbare Fähigkeiten bekommen.

Da die Inferenz auf Ihrer Hardware läuft, gibt es keine Abrechnung pro Token und keine gemessene API-Rechnung. Die Firma beziffert die erwarteten zusätzlichen Kosten pro Token auf einem AI PC mit $0. Die meisten Workflows laufen ohne Netzwerkverbindung, was für Außendienstteams, gesicherte Anlagen und alle zählt, die nicht von der Verfügbarkeit eines externen Dienstes abhängen wollen. Ihre Daten bleiben standardmäßig in Ihrer Umgebung.

Model HQ ist für drei Orte gedacht: auf AI PCs, im eigenen Rechenzentrum für Batch-Inferenz und RAG über sensible Daten, oder in einer privaten Cloud für große und zeitkritische Abläufe. Die drei lassen sich zu einem gemischten Aufbau verbinden, sodass der Agent auf dem Laptop bei Bedarf auf ein zentrales Deployment zugreift. Unternehmen können KI-Agenten-Apps bauen und sie auf den Geräten der Belegschaft ausrollen.

Die Plattform bündelt die Kontrollen, die ein regulierter Käufer verlangt: Erklärbarkeit der KI, Filterung personenbezogener Daten, Überwachung von Toxizität und Verzerrung sowie Halluzinationserkennung. Enterprise-Deployments ergänzen Überwachung, Updates und Skalierung über gemischte Hardware. Zusammen mit der Ausführung auf dem Gerät gibt das Compliance-Teams eine Antwort auf die Frage, wohin die Daten gingen und was das Modell gesehen hat.