RunAnywhere
RunAnywhere, Inc. · Coding · Sonstiges
RunAnywhere führt KI-Modelle auf eigener Hardware aus, mit Open-Source-SDKs für sechs Plattformen, und bietet zusätzlich einen OpenAI-kompatiblen Cloud-Weg für große Modelle.
Über RunAnywhere
What Is RunAnywhere
RunAnywhere ist ein Inferenz-Stack für KI auf dem Gerät. Das Modell reist in Ihrer App mit und läuft auf dem Chip des Nutzers, sodass Prompts, Audio und Bilder die Maschine nie verlassen. Dieselbe Basis dient als lokale Inferenzschicht und als Offline-KI-Assistent, wenn Sie einen darauf aufbauen.
Das Versprechen hat zwei Beine, Datenschutz und Kosten, und beide halten. Nichts geht von sich aus in die Cloud, also bleiben Daten bei einem Arzt, einer Journalistin oder jedem, der mit sensiblen Texten arbeitet, lokal. Pro Token zahlen Sie bei lokalen Läufen auch nichts, denn die Rechenleistung kommt von einem Gerät, das Ihnen schon gehört. Die iOS-App RunAnywhere zeigt die Idee für Endnutzer: Chat, Sprache und Vorlesen, die ohne Verbindung weiterlaufen.
Die Grenzen sind real. Lokale Leistung hängt von der Hardware ab, und ein kleines Handy-Modell erreicht ein gehostetes Spitzenmodell nicht. Modelle müssen Sie außerdem selbst auswählen und herunterladen, und die unterstützte Hardware hängt vom Backend ab, sodass eine Funktion auf einem Chip läuft und auf einem anderen fehlen kann.
Getting Started
- Installieren Sie das SDK für Ihre Plattform, etwa das Swift-Paket für iOS und macOS oder das npm-Paket für das Web
- Registrieren Sie die nötigen Backends, wie llama.cpp für Text oder Sherpa-ONNX für Sprache
- Rufen Sie RunAnywhere.initialize() auf und prüfen Sie mit RunAnywhere.capabilities(), was das Gerät ausführen kann
- Laden Sie ein Modell herunter, laden Sie es in den Speicher und rufen Sie den gewünschten Namensraum auf, etwa llm oder stt
- Für größere Modelle installieren Sie die wally-CLI, melden sich in der Konsole an und starten das gehostete Modell per id
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von RunAnywhere.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- App-Entwickler
- Datenschutzorientierte Entwickler
- Kostbewusste Produktteams
- Plattformübergreifende Entwickler
Aufgaben
- Lokalen Chat einbauen
- Sprache transkribieren
- Einen Sprachassistenten bauen
- Fragen zu Dokumenten beantworten
- Spitzenmodelle bei Bedarf rufen
Szenarien
- Ein Flug oder ein Funkloch
- Ein regulierter Arbeitsplatz
- Eine Funktion mit hohem Volumen
- Ein Plattformstart
- Eine Prototyping-Sitzung
Wichtigste Funktionen
Ein Kern, sechs Plattform-SDKs
Unter allen Varianten liegt ein einziger C++-Kern, sodass sich das Verhalten nicht ändert, ob Sie für Swift, Kotlin, React Native, Flutter, Web oder Electron bauen. Jede Sprache bekommt eine native Hülle um diesen Kern, und alle SDKs hängen dieselben Namensräume an einen RunAnywhere-Einstiegspunkt. Ein Aufruf liest sich fast überall gleich, also lernen Sie die API nicht pro Plattform neu.
Ein voller Katalog an KI-Fähigkeiten
Die API gliedert sich in Namensräume, die weit mehr als Text abdecken. Es gibt llm für Generierung und Streaming, stt und tts für Sprache, voice für ein komplettes gesprochenes Gespräch, vlm für Bild plus Prompt, rag für die Suche über eigene Dokumente und daneben embeddings, rerank, lora, images, diarization und segmentation. Ein einziges Paket legt alles offen, und Sie fügen die Bausteine hinzu, die Sie brauchen.
Hardwarebeschleunigte Backends
RunAnywhere bleibt nicht bei der CPU. Zu den Backends gehören das llama.cpp SDK für Sprache und Vision, ONNX und Sherpa für Sprache, Apple MLX, Apple Neural Engine über MetalRT und Qualcomm Hexagon NPUs über QHexRT. Auf einem M4 Max misst das Unternehmen 658 Token pro Sekunde beim LLM-Decoding und 101 Millisekunden Latenz bei Sprache-zu-Text, eigene Werte auf dem Gerät. Der Haken ist die Abdeckung: MLX läuft nie im Simulator, und QHexRT zielt nur auf arm64-Snapdragon-Chips.
Datenschutz als Standard
Die Inferenz läuft auf dem Gerät, und nichts verlässt es, solange Sie es nicht verlangen. Prompts, Audio und Bilder bleiben im lokalen Speicher, und genau deshalb würde eine datenschutzsensible App diese private KI einer Cloud-API vorziehen. Den gehosteten Weg gibt es für Modelle, die für einen Laptop zu groß sind, doch das ist eine separate Entscheidung, die Sie bewusst treffen. Standardmäßig bleiben die Daten zu Hause, und die Zustimmung ist ausdrücklich.
Die wally-CLI und der Cloud-Weg
Die wally-Kommandozeile leistet Doppelarbeit. Lokal zieht sie ein Modell, etwa das rund 640 MB große qwen3-0.6b, und führt es offline ohne Konto aus. Auf die Cloud gerichtet erreicht sie offene Spitzenmodelle auf der Hardware von RunAnywhere über eine OpenAI-kompatible API, abgerechnet in vorausbezahlten Credits. Sie können ein gezogenes Modell auch auf einer lokalen, OpenAI-kompatiblen URL bereitstellen. Dasselbe Werkzeug deckt beide Enden der Größenordnung ab.
Fähigkeitsprüfung und Modellverwaltung
Das SDK sagt Ihnen, was ein bestimmtes Gerät wirklich leisten kann. Rufen Sie RunAnywhere.capabilities() auf, erhalten Sie die registrierten Backends und eine Liste des Nichtverfügbaren, sodass Sie eine Funktion ausblenden, bevor ein Nutzer darauf stößt. Der Namensraum models kümmert sich um Registrierung, Download, Laden und Entladen der Gewichte. Das ist unspektakuläre Infrastruktur, aber sie verhindert, dass ein Build Sprache auf Hardware anbietet, die sie nie ausgeführt hätte.
Vor- und Nachteile
Vorteile
- Führt Text, Sprache, Vision und Suche auf dem Gerät aus, sodass Prompts und Audio standardmäßig lokal bleiben.
- Ein gemeinsamer Kern über sechs Plattformen hält dieselbe API-Form auf iOS, Android, Web und Desktop.
- Die wally-CLI deckt sowohl kostenlose Offline-Läufe als auch einen gehosteten, OpenAI-kompatiblen Weg für große Modelle ab.
- Fähigkeitsprüfung und der Namensraum models machen klar, was ein Gerät ausführen kann, bevor Sie eine Funktion ausliefern.
- Kostenloser Plan und lokale Inferenz bedeuten keine Token-Rechnung für Arbeit auf der Hardware des Nutzers.
Nachteile
- Die lokale Qualität hängt vom Gerät ab, ein Handy-Modell erreicht also kein gehostetes Spitzenmodell.
- Die Backend-Abdeckung hängt von Chip und Plattform ab, deshalb überspringt MLX Simulatoren und QHexRT bleibt arm64-Snapdragon vorbehalten.
- Modelle müssen Sie selbst auswählen, herunterladen und verwalten, mehr Arbeit als ein Aufruf einer gehosteten API.
- Der Cloud-Weg verlangt ein Konto und vorausbezahlte Credits, es ist also kein Pauschalabonnement.
Häufige Fragen
RunAnywhere ist ein Inferenz-Stack, um KI-Modelle auf eigener Hardware auszuführen. Er liefert Open-Source-SDKs für sechs Plattformen, die Sprach-, Audio- und Vision-Modelle in Ihre App bringen, und einen gehosteten, OpenAI-kompatiblen Weg für Modelle, die für einen Laptop zu groß sind. Beide steuern dasselbe Unternehmen und dieselbe Kommandozeile.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu RunAnywhere.
Alternativen zu RunAnywhere
Base Code
Base44 (Wix) · Coding · ProduktivitätBase Code ist eine geteilte Cloud-Entwicklungsumgebung von Base44. Das Team beschreibt Änderungen an einem bestehenden GitHub-Repository im Chat, prüft sie in der Vorschau und reicht sie als Pull Request ein.
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
GitGlow
GitGlow · Coding · ProduktivitätGitGlow ist ein Git-Client für den Desktop, der Ihren Code und die Änderungen Ihrer KI-Agenten in einer Review bündelt, damit Sie vor dem Ausliefern sehen, was die Maschine verlässt.