LocalClicky

LocalClicky는 전사에 Whisper.cpp를, 추론과 시각 인식에 Ollama를 모두 자신의 컴퓨터에서 실행한다. 오디오도 스크린샷도 명령도 업로드되지 않는다. 유일한 예외는 선택 사항이다. 기본 음성을 Fish Audio의 TTS 모델로 바꾸면 읽어 주는 응답이 그쪽 API로 전송된다. 그대로 두면 비서는 완전히 로컬에 머문다.

"Hey Jarvis"라고 말하면 비서가 깨어난다. 거기서부터 앱을 열고 닫고, 볼륨을 조절하고, Spotify를 제어하고, 파일을 관리하고, 셸 명령을 실행한다. 여러 차례의 도구 호출은 명령을 실행하고 결과를 확인한 뒤 다시 시도하거나 확인한다는 뜻이다. 한 번 쏘고 기도하는 방식이 아니다.

gemma4 시각 모델은 작업이 필요로 할 때 스크린샷을 찍고, 화면에 무엇이 있는지 설명하거나 본 것에 따라 커서를 옮기고 클릭한다. 화면을 보고 버튼을 누르라고 하면 시도한다. 공간 정확도가 약점이라, 작은 UI 요소에서 픽셀 단위 정밀도를 기대하지는 말자.

내부적으로 ffmpeg를 사용해 LocalClicky는 영상 클립을 자르고, 음소거하고, 병합하고, 속도를 높이고, 크기를 조정하고, 텍스트를 넣는다. 아무것도 업로드되지 않는다. 소재를 자기 서버에 두려는 클라우드 편집기와 구별되는 지점이다.

영상 파일을 지정하면 프레임을 샘플링해 클립에 담긴 내용을 요약한다. 전부 보지 않고 요점만 알고 싶을 때 편하다. 파일은 자신의 컴퓨터를 떠나지 않는다.

웨이크 워드 감지는 openWakeWord를 통해 오프라인으로 돌아가며, "Hey Jarvis"라는 문구로 작동한다. 세션 모드는 비서를 활성 상태로 유지해, 웨이크 워드를 다시 말하지 않고 명령을 연달아 낼 수 있다. 음성 활동 감지는 고정된 타임아웃에 의존하는 대신 말을 멈추면 녹음을 중단한다.

비서는 한 세션 안에서 최근 10번의 주고받음을 기억해, 이어지는 명령이 문맥 안에서 말이 된다. 폴더를 열라고 한 다음 "이제 그 안에서 가장 오래된 파일을 지워"라고 말하면, 방금 무엇을 하고 있었는지 계속 추적한다.