OpenFoundry
OpenFoundry (Arthur Chi, Tyler Lehman) · 코딩
OpenFoundry는 남의 API를 빌리는 대신 자사 클라우드에서 오픈 모델을 찾고 파인튜닝해 돌리려는 개발자를 위한 오픈소스 AI 배포 플랫폼이다.
OpenFoundry 소개
About
OpenFoundry란
OpenFoundry는 샌프란시스코의 2인 팀에서 나왔다. 2024년 Arthur Chi와 Tyler Lehman이 창업했고 50만 달러를 조달했다. 문제 제기는 맞다. 오픈 모델은 공짜로 내려받지만 막상 돌리려면 손이 많이 간다. 공식 사이트는 용도에 맞는 모델을 찾아 몇 번의 클릭으로 튜닝하고 자사 클라우드로 보내는 일을 약속했다. 호스팅 API가 뒤에서 감춰 두는 작업이 바로 그 부분이다.
지금 실제로 받을 수 있는 것은 Model Manager다. MIT 라이선스로 공개된 파이썬 커맨드라인 도구다. Hugging Face 모델, SageMaker 카탈로그의 모델, 이미 가진 가중치를 받아 자사 AWS 계정에 SageMaker 엔드포인트를 세운다. 설정은 명령 두 개와 키 하나면 되고, Hugging Face에서 AWS로 가는 길은 더 이상 연구 과제가 아니다.
주말을 투자하기 전에 두 가지는 알아 두자. 배포 대상은 AWS뿐이고 저장소의 마지막 커밋은 2024년 5월이다. openfoundry.ai는 이제 Overheard로 넘어가는데, 같은 창업자가 만든 다른 제품이다. 결과물은 코드로 보고 호스팅 플랫폼은 멈춘 상태로 보는 편이 맞다.
시작하기
- AWS 계정을 만들고 SageMaker 액세스 키를 발급한다.
- model_manager 저장소를 복제하고
bash setup.sh를 실행한 뒤 키를 붙여 넣고 리전을 확인한다. 기본값은 us-east-1이다. - Llama 2처럼 접근이 제한된 모델을 배포하려면 설정 스크립트가 만든
.env에HUGGING_FACE_HUB_KEY를 넣는다. python3 model_manager.py를 실행하고 가중치 출처를 고른다. Hugging Face, SageMaker, 또는 직접 가진 S3 경로나 로컬 폴더다. 작은 모델은 2분 남짓이면 엔드포인트가 뜬다.- 엔드포인트는 스크립트, 로컬 FastAPI 서버, SageMaker API 어디서든 호출한다.
/configs에 남는 YAML을 챙겨 두면 다음 배포는 명령 하나로 끝난다.
제품 정보
OpenFoundry의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 작은 팀의 머신러닝 엔지니어
- 1인 개발자
- 데이터를 밖으로 못 내보내는 팀
작업
- 유료 API에서 프로토타입 떼어내기
- 사내 임베딩 검색 서비스 세우기
- 오픈 모델 비교하기
활용 상황
- 데이터가 자사 AWS 계정을 떠나면 안 된다는 고객에게 보여 줄 문서 검색 데모.
- 보안팀이 로그를 볼 수 있는 VPC 안에서 Llama 2 같은 제한 모델을 돌리는 구성.
- CI에서 반복 배포
주요 기능
정하기 전에 모델 고르기
처음 내건 selling point는 탐색이었다. 용도를 적고 오픈 모델을 비교한 뒤 하나를 튜닝하는 흐름이다. 그 흐름은 호스팅 제품에 있었고 지금은 신규 가입을 받지 않는다. 코드에 남은 것은 배포 쪽이라, 모델은 Hugging Face에서 고르고 이름만 CLI로 가져오게 된다.
가중치 출처 세 가지
Hugging Face에서는 google-bert/bert-base-uncased 같은 전체 모델명을 붙여 배포한다. SageMaker 카탈로그에서는 프레임워크별로 고른다. 직접 만든 산출물은 S3 경로나 로컬 폴더를 넘기면 도구가 알아서 올린다. 흥미로운 쪽은 자체 가중치다. 손으로 하다 막히는 지점이 대개 여기다.
YAML 설정과 CI 배포
배포할 때마다 모델과 엔드포인트를 적은 YAML이 떨어진다. 이 파일을 --deploy로 되돌려 주면 같은 스택이 다시 선다. 손으로 하던 일이 머지 시점에 CI가 돌리는 단계로 바뀐다. 오픈 모델 배포가 한 번짜리 실험이 아니라 반복 작업이 되는 이유다.
직접 쓰지 않아도 되는 쿼리 서버
uvicorn server:app을 실행하면 FastAPI 서비스가 뜨고 라우트 두 개가 생긴다. 하나는 엔드포인트 정보, 다른 하나는 추론이다. temperature, top_k, top_p, 최대 토큰 수, 반복 페널티를 넘길 수 있어 클라이언트 라이브러리를 붙이기 전에 모델을 시험할 수 있다. 텍스트 모델만 된다.
자사 클라우드, 자사 청구서, 자사 데이터
엔드포인트는 자사 AWS 계정과 SageMaker 할당량 위에서 돈다. 트래픽이 OpenFoundry 서버를 거치지 않으니 구매 심사와 데이터 위치 문제가 일찍 정리된다. 대신 트래픽이 없어도 미터는 계속 돌아간다.
MIT 라이선스와 읽히는 코드
도구 전체가 MIT 라이선스이고 GitHub 스타는 350개 남짓이다. 포크해서 사내 네트워크 규칙에 맞게 배포 경로를 고칠 수 있고, FastAPI 래퍼를 자사 서비스로 가져갈 수도 있다. 계정도, 좌석당 요금도, 영업 전화도 없다.
장단점
장점
- MIT 라이선스 코드라 읽고 포크하고, 공급사가 업데이트를 멈춰도 계속 돌릴 수 있다.
- Hugging Face 모델명에서 살아 있는 엔드포인트까지 몇 분이면 닿고, 대개 팀이 손으로 쓰는 Terraform과 ECS 설정을 건너뛴다.
- 가중치와 추론이 자사 AWS 계정에 남는다. 데모와 보안 검토를 통과하는 작업을 가르는 지점이다.
- YAML과 `--deploy` 플래그 덕에 반복 배포를 스크립트로 만들 수 있고 GitHub Actions에도 붙는다.
- FastAPI 쿼리 계층이 기본으로 있어 프로젝트마다 같은 래퍼를 다시 쓰지 않아도 된다.
단점
- AWS 전용이다. Azure와 GCP는 로드맵에 있어 멀티 클라우드 팀은 포크하거나 기다려야 한다.
- 내장 쿼리 경로는 텍스트 모델만 처리한다. 이미지, 오디오, 멀티모달은 자체 클라이언트가 필요하다.
- 엔드포인트는 지울 때까지 시간당 과금되고 오토스케일링은 도구에서 켜고 끌 수 없다. 잊어버린 엔드포인트는 실제로 돈을 먹는다.
- 저장소는 2024년 5월부터 조용하고 공식 사이트는 다른 곳을 가리킨다. 지원되는 플랫폼이 아니라 관리가 끊긴 프로젝트를 들이는 셈이다.
자주 묻는 질문
무료다. Model Manager는 MIT 라이선스로 배포되고 호스팅 플랫폼에는 공개 가격이 없었다. 진짜 지출은 AWS 청구서이고, 켜 둔 엔드포인트마다 뒤에 있는 SageMaker 인스턴스 비용이 붙는다.
관련 콘텐츠
OpenFoundry와 관련된 도구, 스킬, 아티클을 살펴보세요.
OpenFoundry 대안
Forefront
Forefront · 코딩Forefront는 오픈소스 AI로 무언가를 만드는 웹 플랫폼이다. 대표적인 오픈소스 언어 모델을 자신의 데이터로 미세 조정하고, 성능을 평가하고, API로 실행하거나 내보내 직접 호스팅할 수 있다. 폐쇄형 플랫폼의 편의를 원하면서도 모델과 데이터의 소유권은 놓지 않으려는 개발자가 대상이다.
Startkit
StartKit.AI · 코딩Startkit은 AI SaaS와 AI 래퍼 제품을 만들기 위한 보일러플레이트다. 지루한 부분을 미리 연결해 둔 AI 스타트업 보일러플레이트라고 생각하면 된다. 인증, Stripe와 Lemon Squeezy 결제, 사용량 제한, 트랜잭션 이메일, 그리고 OpenAI, Anthropic, Groq, Llama와 통신하는 AI API 스타터 키트가 포함된다. 저장소를 복제하고 가격을 정한 뒤 사용자가 실제로 돈을 내는 부분에 착수하면 된다. React와 Tailwind 위의 Next.js로 만들어졌기 때문에 보일러플레이트 코드의 상당 부분이 이미 익숙하게 느껴진다.
Testim
Tricentis · 코딩Testim은 웹, 모바일, Salesforce 애플리케이션 전반에 걸쳐 엔드투엔드 테스트를 만들고 실행하는 AI 기반 테스트 자동화 플랫폼이다. 머신러닝에 기대어 인터페이스가 바뀌어도 테스트를 안정적으로 유지하므로, 팀은 깨진 셀렉터를 고치는 데 쓰는 시간을 줄인다. 오늘부터 쓸 수 있는 자동화 테스트 도구치고 나쁘지 않다. 브라우저에서 동작을 녹화해 테스트를 만들고, 더 세밀한 제어가 필요하면 JavaScript를 더한다. 바쁜 QA 팀에게 탄탄한 선택이다.