Jan AI

Jan AI는 대화 전체를 자신의 하드웨어에서 돌리므로, 앱은 인터넷 연결이 전혀 없어도 동작한다. 메시지와 모델의 답변은 서버가 아니라 로컬 저장소로 곧장 간다. 기기 밖으로 나가는 것은 없다. 이것이 사람들이 호스팅 챗봇 대신 이 앱을 고르는 근본 이유다. 나중에 원격 API를 연결한다면 그것은 기본값이 아니라 자신의 선택이다. 그게 전부다.

앱에는 OpenAI의 엔드포인트와 같은 형식으로 말하는 로컬 API 서버가 딸려 있다. 설정에서 시작하면 http://127.0.0.1:1337에서 대기한다. 이미 OpenAI와 통신하는 도구나 스크립트라면 한 줄만 바꿔 이 주소로 향하게 할 수 있다. 개발자에게는 무료 다운로드가 테스트와 소규모 배포에 바로 쓸 수 있는 백엔드가 되는 셈이다.

내장 허브에서 인기 있는 오픈 모델을 둘러보고 내려받을 수 있으며, Hugging Face 링크를 붙여 특정 모델을 가져올 수도 있다. Jan AI는 GGUF 형식을 지원하고 llama.cpp 같은 엔진에서 돌아가며, TensorRT-LLM도 다른 선택지다. 대화 도중 모델 전환이 빨라서 같은 작업에 작고 빠른 모델과 더 큰 모델을 비교할 수 있다.

하나의 앱이 Windows, macOS, Linux를 아우르고, 서버 구성용으로 Docker 경로도 있다. Jan.ai 데스크톱 인터페이스는 모든 시스템에서 같으므로 노트북에서 익힌 것이 아무것도 다시 배우지 않고 데스크톱으로 이어진다. 하드웨어가 뒤섞인 팀에게 이 일관성은 오후 한나절을 잡아먹고 모두를 짜증 나게 하는 설정 만지기를 덜어 준다.

Jan AI는 확장 가능한 프레임워크로 만들어졌고, 자체 기능은 그 층 위에 얹혀 있다. 개발자는 플러그인을 더하고 자체 지침을 가진 사용자 지정 어시스턴트를 만들 수 있다. PDF나 텍스트 문서 같은 파일을 첨부해 모델이 읽게 할 수도 있다. 앱이 그저 채팅 상자로 끝나지 않게 하는 부분이다.

대화는 로컬 파일로 저장되므로 언제든 지우고, 내보내고, 이전할 수 있다. 내보내기 버튼이 이상하게 없는 공급자에 묶이지 않는다. 떠나기로 하면 기록도 함께 따라온다. 내보내기 마법사도 없다. 기다림도 없다.