Tarantula SEO Spider

여기서 가장 알찬 기능은 AI 키워드 계층이다. 페이지가 무엇에 최적화됐는지 짐작하는 대신, 크롤러가 페이지를 분석해 실제로 노리는 단어를 알려준다. 이어서 유사어와 병행어를 나열하고, 자기 사이트뿐 아니라 어느 사이트의 어느 페이지든 키워드 데이터를 끌어온다. 감사가 오류 목록에서 각 페이지가 무엇을 두고 겨루는지에 대한 그림으로 바뀐다.

페이지 성과가 낮으면 도구를 떠나지 않고 다시 쓸 수 있다. 리라이터는 내장 AI 모델로 돌아간다. 페이지를 고르고, 다시 쓰고, 결과를 바로 쓴다. 자기 페이지는 물론 다른 곳에서 크롤링한 콘텐츠도 다룬다. 순위를 잃은 오래된 글을 새로 고치는 데 대부분 이렇게 쓴다.

크롤러는 검색엔진이 보는 모든 것을 보고한다. 깨진 링크, 리디렉션 체인과 루프, 중복 콘텐츠, 중복 meta 정보, 도달 불가 페이지, 아무데도 연결되지 않는 사이트맵 항목까지 포함한다. 페이지 크기, 검증 오류, 모바일 사용성도 점검한다. 각 발견은 원인을 짚어주므로 페이지가 왜 색인되지 않는지 짐작하지 않아도 된다.

별도의 on-page 분석기가 아무 페이지 하나를 잡아 깊은 최적화 보고서를 만들어 PDF로 내보낸다. 보고서에 자체 브랜드를 실을 수 있어서, SEO들은 이를 잠재 고객 유인물이나 유료 산출물로 자주 쓴다. 너무 긴 제목, 빈약한 콘텐츠, 빠진 meta description을 짚는다. 크롤러가 대규모로 드러내는 것과 같은 문제들이다.

도구는 검색엔진이 기대하는 계층 구조를 갖춘 완전한 사이트맵과 그에 맞는 robots.txt를 만든다. 사이트맵에서 빠진 페이지를 찾아 새 사이트맵에 합치기도 한다. 많은 감사가 열어 둔 구멍을 막는 셈이다. 어떤 사이트맵에도 없는 페이지는 Google이 영영 크롤링하지 않을 수 있는 페이지이기 때문이다.

Tarantula는 Google PageSpeed와 Google Analytics에 연결해 크롤링만으로는 보이지 않는 신호를 끌어온다. 속도와 순위 데이터, 페이지 단위 사용자 및 성능 지표, 원시 크롤링을 넘어선 페이지 성과 시각을 얻는다. 이미 Analytics에서 작업하는 팀이라면 SEO 작업이 사용자의 실제 행동에 묶여 있게 된다.

크롤링은 직접 정한다. user agent, 깊이, 쿼리 문자열 처리 여부, robots.txt 준수 여부, 이미지와 자산 처리, 동시 스레드 수까지 지정한다. 크롤링은 폴더와 디렉터리를 넘나들고, 빠른 멀티스레드 엔진이 큰 사이트가 하루를 다 잡아먹지 않게 한다. 일시정지와 재개는 며칠 뒤 돌아와도 작동한다.

크롤러를 경쟁사 도메인으로 돌려 자기 사이트처럼 도식화할 수 있다. 구조, 콘텐츠의 깊이와 넓이, 공개하는 페이지, 노리는 키워드가 드러난다. 선두를 베끼는 게 목적은 아니다. 상대가 무엇으로 상위에 오르는지 아는 것이, 상대가 남긴 빈틈을 찾는 방법이다.