OpenFoundry
OpenFoundry (Arthur Chi, Tyler Lehman) · Coding
OpenFoundry ist eine Open-Source-Plattform für KI-Deployment: offene Modelle finden, fine-tunen und im eigenen Cloud-Konto betreiben statt eine fremde API zu mieten.
Über OpenFoundry
About
Was OpenFoundry ist
OpenFoundry stammt von einem Zweierteam aus San Francisco, 2024 gegründet von Arthur Chi und Tyler Lehman, mit 500.000 Dollar Startkapital. Der Ausgangspunkt stimmt: offene Modelle lassen sich gratis herunterladen und laufen schlecht. Wer offene Modelle deployen will, merkt das schnell am eigenen Rechner. Die Website versprach, das passende Modell zu finden, es mit wenigen Klicks zu tunen und in die eigene Cloud zu schieben. Genau diese Arbeit versteckt eine gehostete API vor Ihnen.
Herunterladen lässt sich heute Model Manager, ein Kommandozeilenwerkzeug in Python unter MIT-Lizenz. Es nimmt ein Modell von Hugging Face, ein Modell aus dem SageMaker-Katalog oder eigene Gewichte und baut einen SageMaker-Endpoint in Ihrem AWS-Konto auf. Die Einrichtung besteht aus zwei Befehlen und einem Schlüssel, und der Weg von Hugging Face zu AWS ist kein Forschungsprojekt mehr.
Zwei Dinge sollten Sie vor einem investierten Wochenende wissen. Das Deployment zielt nur auf AWS, und der letzte Commit im Repository stammt von Mai 2024. Die Domain openfoundry.ai leitet inzwischen auf Overheard um, ein anderes Produkt derselben Gründer. Nehmen Sie den Code als das eigentliche Ergebnis und die gehostete Plattform als ruhendes Angebot.
Erste Schritte
- Legen Sie ein AWS-Konto an und erzeugen Sie Zugriffsschlüssel für SageMaker.
- Klonen Sie das Repository model_manager, führen Sie
bash setup.shaus, tragen Sie Ihre Schlüssel ein und bestätigen Sie die Region. Standard ist us-east-1. - Tragen Sie einen
HUGGING_FACE_HUB_KEYin die erzeugte.env-Datei ein, wenn Sie ein Modell mit Zugriffsbeschränkung wie Llama 2 deployen wollen. - Starten Sie
python3 model_manager.pyund wählen Sie die Quelle der Gewichte: Hugging Face, SageMaker oder einen eigenen S3- beziehungsweise lokalen Pfad. Kleine Modelle laufen nach etwa zwei Minuten. - Fragen Sie den Endpoint über das Skript, einen lokalen FastAPI-Server oder die SageMaker-API ab. Heben Sie die YAML-Datei in
/configsauf, dann ist der nächste Deploy ein einzelner Befehl.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von OpenFoundry.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- ML-Engineers in kleinen Teams
- Einzelentwickler
- Teams, die keine Daten ausleiten dürfen
Aufgaben
- Einen Prototyp von einer bezahlten API lösen
- Einen internen Embedding-Dienst aufsetzen
- Zwischen offenen Modellen wählen
Szenarien
- Eine Dokumentsuche als Demo für einen Kunden, der verlangt, dass nichts sein AWS-Konto verlässt.
- Ein zugriffsbeschränktes Modell wie Llama 2 in einer VPC, in der Ihr Sicherheitsteam die Logs sieht.
- Deploys aus der CI
Wichtigste Funktionen
Modellwahl vor der Festlegung
Der ursprüngliche Ansatz begann bei der Suche: Anwendungsfall beschreiben, offene Modelle vergleichen, eines tunen. Dieser Ablauf lag im gehosteten Produkt, das für neue Nutzer geschlossen ist. Im Code überlebt die Deployment-Seite, also wählen Sie Ihr Modell auf Hugging Face und bringen den Namen in die CLI.
Drei Quellen für Gewichte
Sie deployen von Hugging Face per vollständigem Modellnamen etwa google-bert/bert-base-uncased, aus dem SageMaker-Katalog nach Framework oder aus eigenen Artefakten über einen S3-Pfad oder einen lokalen Ordner, den das Werkzeug selbst hochlädt. Eigene Gewichte sind der interessante Fall, denn dort hängen die meisten Teams beim Handbetrieb fest.
YAML-Konfigurationen und Deploys aus der CI
Jeder Deploy schreibt eine YAML-Datei mit Modell und Endpoint. Geben Sie diese Datei mit --deploy zurück und derselbe Stack entsteht erneut. Aus einer Handarbeit wird ein Schritt, den Ihre CI beim Merge ausführt. Erst dadurch wird das Deployment von Open-Source-KI ein wiederholbarer Vorgang statt eines einmaligen Versuchs.
Ein Abfrageserver, den Sie nicht schreiben müssen
uvicorn server:app startet einen FastAPI-Dienst mit zwei Routen: eine für Endpoint-Informationen, eine für Inferenz. Temperatur, top_k, top_p, maximale Tokenzahl und Wiederholungsstrafe lassen sich setzen, sodass Sie ein Modell testen, ohne vorher eine Client-Bibliothek zu verdrahten. Nur Textmodelle.
Ihre Cloud, Ihre Rechnung, Ihre Daten
Endpoints laufen in Ihrem AWS-Konto auf Ihrem SageMaker-Kontingent. Nichts läuft über Server von OpenFoundry, was Einkauf und Datensitz früh klärt. Der Zähler läuft allerdings auch ohne Traffic weiter.
MIT-Lizenz und lesbarer Code
Das ganze Werkzeug steht unter MIT, mit rund 350 Sternen auf GitHub. Sie können forken, den Deploy-Pfad an Ihre Netzregeln anpassen oder die FastAPI-Hülle in den eigenen Dienst heben. Kein Konto, keine Gebühr pro Sitz, kein Vertriebsgespräch.
Vor- und Nachteile
Vorteile
- MIT-lizenzierter Code, den Sie lesen, forken und weiterbetreiben können, auch wenn der Anbieter nichts mehr veröffentlicht.
- Vom Hugging-Face-Modellnamen zum laufenden Endpoint sind es Minuten, und Sie sparen sich Terraform und ECS, die die meisten Teams sonst von Hand schreiben.
- Gewichte und Inferenz bleiben im eigenen AWS-Konto, und das trennt eine Demo von einem Projekt, das eine Sicherheitsprüfung besteht.
- YAML-Dateien und das `--deploy`-Flag machen wiederholte Deploys skriptbar, auch aus GitHub Actions.
- Eine fertige FastAPI-Abfrageschicht erspart Ihnen dieselbe Hülle in jedem neuen Projekt.
Nachteile
- Nur AWS. Azure und GCP stehen auf der Roadmap, ein Multi-Cloud-Team muss das Werkzeug also forken oder warten.
- Die eingebaute Abfrage deckt Textmodelle ab und sonst nichts; Bild, Audio und Multimodal brauchen einen eigenen Client.
- Endpoints kosten stündlich, bis Sie sie löschen, und Autoscaling lässt sich nicht über das Werkzeug schalten. Ein vergessener Endpoint kostet echtes Geld.
- Das Repository ist seit Mai 2024 still und die Marketingseite zeigt woanders hin. Sie übernehmen ein ungepflegtes Projekt, keine betreute Plattform.
Häufige Fragen
Ja. Model Manager steht unter MIT-Lizenz und lässt sich gratis herunterladen, und für die gehostete Plattform gab es nie einen öffentlichen Preis. Der echte Kostenfaktor ist Ihre AWS-Rechnung für die SageMaker-Instanz hinter jedem laufenden Endpoint.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu OpenFoundry.
Alternativen zu OpenFoundry
Base Code
Base44 (Wix) · Coding · ProduktivitätBase Code ist eine geteilte Cloud-Entwicklungsumgebung von Base44. Das Team beschreibt Änderungen an einem bestehenden GitHub-Repository im Chat, prüft sie in der Vorschau und reicht sie als Pull Request ein.
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
GitGlow
GitGlow · Coding · ProduktivitätGitGlow ist ein Git-Client für den Desktop, der Ihren Code und die Änderungen Ihrer KI-Agenten in einer Review bündelt, damit Sie vor dem Ausliefern sehen, was die Maschine verlässt.