Lora

Lora는 스마트폰 자체에서 돌아가는 언어 모델이다. PeekabooLabs는 서버가 아니라 모바일을 겨냥해 만들었고, 모델 전체는 약 1.5GB, 파라미터는 24억 개다. 프롬프트를 데이터센터로 보내고 답을 기다리는 방식이 아니다. Lora AI는 기기 안에 머물며 그 자리에서 답한다.

이 선택이 나머지 전부를 결정한다. 기기 밖으로 나가는 게 없으니 Lora는 비행기 모드에서도, 신호가 약한 곳에서도 계속 작동한다. 사용자가 입력한 내용도 기기에 남는다. 사적인 메모나 건강 정보, 업무 문서를 다루는 앱이라면 이 점이 중요하다. 제조사는 품질을 GPT-4o-mini와 같은 수준으로 놓지만, 이는 Peekaboo Labs 자체 비교일 뿐 독립 검증은 아니다.

Lora는 앱스토어에서 내려받는 소비자용 앱이 아니다. 개발자를 위한 부품이다. 회사는 Lora SDK라는 Flutter 패키지, lora_sdk를 공개했고, 이를 iOS나 Android 앱에 넣으면 채팅이나 텍스트 생성을 붙일 수 있다. 실행하려면 Peekaboo Labs 대시보드에서 받은 라이선스 키가 필요하고, 키마다 사용 한도가 따로 붙는다. 회사는 AI 모델을 기기용으로 다듬는 Carve 서비스도 만든다. Lora PeekabooLabs의 이 스마트폰용 로컬 LLM은 모델을 API 뒤가 아니라 스마트폰 위로 올리는 흐름에 속한다. 자사 앱에 오프라인 AI 어시스턴트를 넣으려는 팀에게 매력은 바로 여기에 있다.

가장 큰 걸림돌은 범위다. 2.4B 모델은 어려운 추론, 긴 조사, 거대한 지식 기반이 필요한 작업에서 최상위 모델을 따라가지 못한다. 노리는 것은 스마트폰이 잘 해내는 빠르고 분명한 작업이다. 깊은 분석이 필요한 앱이라면 Lora는 클라우드 모델을 대신하는 게 아니라 곁에 두는 쪽이 맞다.

Getting Started

1. Lora 웹사이트에서 계정을 만들고 대시보드를 열어 라이선스 키를 확인한다.
2. Flutter 패키지 lora_sdk를 앱에 추가하고 플랫폼 요건(iOS 13 이상, Android SDK 23 이상)을 확인한다.
3. 라이선스 키와 LLM 공급자를 넣어 SDK를 초기화하고, 모델을 기기로 내려받는다.
4. 첫 요청 전에 모델이 준비되도록 워밍업 단계를 실행한다.
5. 한 번에 답을 받으려면 생성 함수를, 글자가 차례로 나오게 하려면 스트리밍 함수를 호출한다.
6. 앱을 배포하고 SDK의 상태 객체로 변화를 추적한다.