PocketPal AI

앱의 핵심은 기기 내 추론이다. PocketPal AI는 양자화한 GGUF 모델을 llama.cpp로 실행하므로 Gemma, Qwen, Phi, Llama 등 수천 개 모델이 완전히 오프라인으로 대화한다. 대화 내용은 업로드되지 않고 외부 서버에도 저장되지 않는다. 생성 중에는 화면 꺼짐을 막아 긴 답변이 자동 잠금으로 끊기지 않는다.

답변이 꼭 조용할 필요는 없다. PocketPal은 스마트폰에서 돌아가는 신경망 음성 합성을 넣었고, Kokoro 같은 엔진을 ONNX Runtime으로 쓴다. 목소리는 클라우드를 부르지 않고 로컬에서 생성돼, 채팅과 같은 프라이버시 약속을 지킨다. 핸즈프리 사용, 접근성, 이동 중 듣기에 중요하다.

Pals는 기본 모델과 시스템 프롬프트, 성격을 직접 설정하는 어시스턴트다. Assistant형은 특정 작업을 겨냥하고, Roleplay형은 역할과 장소 등 맥락을 더해 각본 있는 대화에 쓴다. PalsHub는 앱 안 마켓으로, 커뮤니티 Pal을 둘러보고 설치하며, 앱 내 구매로 사는 프리미엄도 포함한다. 다운로드 하나로 여러 작업을 감당한다.

모델 선택이 모든 것을 좌우하므로 앱은 Hugging Face에 바로 연결한다. GGUF 모델을 검색하고 양자화로 걸러 지금 내려받거나 나중을 위해 저장한다. Settings에 개인 접근 토큰을 넣으면 제한된 모델도 열린다. 로컬 저장소에서 모델 파일을 추가할 수도 있어, 이미 가중치를 기기에 두는 사람에게 편하다.

벤치마크 화면은 추측을 숫자로 바꾼다. 불러온 모델의 초당 토큰 수와 메모리 사용량을 재므로, 정하기 전에 실제 하드웨어에서 후보를 비교할 수 있다. 결과는 AI Phone Leaderboard에 공유할 수 있고, 다른 기기와 나란히 놓여 다음 구매자가 스마트폰이 감당할 모델 크기를 고르게 돕는다.

최신 버전에서는 지원되는 Pal이 대화 도중 도구를 부를 수 있다. Talent는 모델이 호출할 수 있는 작은 엔진이고, 앱은 계산기, 날짜와 시간 조회, 리치 HTML 렌더링 같은 도구를 등록한다. 에이전트 루프는 토큰을 흘려보내고, 도구 호출을 감지해 실행한 뒤 결과를 다음 턴으로 되돌린다. 단순 채팅에서 기기 위에서 실제로 일을 끝내는 어시스턴트로 가는 첫걸음이다.