Meta AI

Meta Segment Anything Model 2란

SAM 2가 답하는 질문은 하나로 좁다. 방금 지정한 것이 어떤 픽셀로 이루어졌는가. Meta의 FAIR 팀은 2024년 7월 코드와 가중치를 GitHub에 Apache 2.0으로 공개했다. 내려받아 실행하고 상용 제품에 넣는 일까지 허락 없이 할 수 있다.

원조 SAM과 갈리는 지점은 영상이다. SAM 2는 정지 이미지를 한 프레임짜리 영상으로 취급하므로 모델 하나로 두 작업을 처리한다. 메모리 모듈이 앞 프레임에서 익힌 객체 특징을 다음 프레임으로 넘기기 때문에 카메라가 팬을 하거나 피사체가 돌아서도 마스크가 버틴다. Meta에 따르면 이 방식은 기존 영상 분할 기법보다 상호작용이 약 3배 적게 든다.

먼저 알아둘 한계가 두 가지 있다. SAM 2가 내놓는 것은 마스크이지 이름이 아니다. 객체가 어디 있는지는 알려주지만 그것이 무엇인지는 말하지 않는다. 텍스트 입력도 받지 않으므로 "빨간 차" 같은 요청은 클릭이나 박스로 바꿔 넣어야 하고, 보통은 별도 검출 모델이 그 일을 맡는다. Meta는 이후 SAM 3와 SAM 3.1을 내놓았고 이들은 개념 프롬프트를 받는다. 저장소는 여전히 돌아가고 수정도 들어가지만 SAM 2는 이제 이전 세대다.

시작하기

1. 브라우저 데모(sam2.metademolab.com)를 열고 짧은 클립에서 객체를 클릭한다. 아무것도 설치하지 않고 모델 실력을 확인하는 가장 빠른 길이다.
2. GitHub에서 facebookresearch/sam2를 받아 Python 3.10 이상, PyTorch 2.5.1 이상 환경에 설치한다.
3. 체크포인트를 내려받는다. Meta SAM 2는 네 가지 크기이고 가장 작은 것은 평범한 장비에서도 로드된다.
4. 용도에 맞춰 예측기를 고른다. 사진은 SAM2ImagePredictor, 영상은 SAM2VideoPredictor다.
5. 점, 박스, 마스크를 프롬프트로 넣고 마스크를 받는다. 화면 전체를 한 번에 나누고 싶다면 자동 마스크 생성을 켠다.