Tarantula SEO Spider

這裡最紮實的功能是 AI 關鍵字那一層。與其猜一個頁面優化了什麼，爬蟲會分析頁面並回報它真正鎖定的詞。接著列出相近與平行的關鍵字，而且任何網站、任何頁面的關鍵字資料都拉得到，不只限你自己的站。它把一份稽核從錯誤清單，變成每頁在搶什麼的整體圖像。

某個頁面表現不好時，你不用離開工具就能改寫它。改寫器跑在內建的 AI 模型上，你選好頁面、改寫、立刻套用結果。它同時處理你自己的頁面，以及從別處爬來的內容，多數人就是靠這點去翻新那些掉了名次的老文章。

爬蟲會回報搜尋引擎看到的一切：壞連結、轉址鏈與轉址迴圈、重複內容、重複的 meta 資訊、連不到的頁面，以及指向空處的 sitemap 項目。它也會檢查頁面大小、驗證錯誤與行動裝置可用性。每個發現都指出成因，所以你不用猜一個頁面為何進不了索引。

一個獨立的 on-page 分析器會拿任一頁面跑出深入的優化報告，可匯出成 PDF。因為報告掛的是你自己的品牌，SEO 常拿它當招客誘餌或收費交付物。它會標出過長的標題、單薄內容與缺漏的 meta 描述，也就是爬蟲在大範圍偵測到的同一批問題。

工具會產出符合搜尋引擎期待的階層式完整 sitemap，以及搭配的 robots.txt。它也會找出你的 sitemap 漏掉的頁面，併進新的 sitemap。這補上了很多稽核留下的缺口，因為沒有任何 sitemap 列出的頁面，就是 Google 可能永遠不會爬的頁面。

Tarantula 會連接 Google PageSpeed 與 Google Analytics，拉進單靠爬取看不到的訊號。你能拿到速度與排名資料、頁面層級的使用者與效能指標，還有超出原始爬取的頁面表現視角。對已經活在 Analytics 裡的團隊來說，這讓 SEO 工作跟使用者實際行為綁在一起。

爬取由你決定：user agent、深度、是否處理查詢字串、是否遵循 robots.txt、圖片與資源的處理方式，以及並行執行緒數。爬取會走過資料夾與目錄，多執行緒的高速引擎則讓大站不至於耗掉一整天。暫停與續跑都能用，隔幾天回來接續也沒問題。

你可以把爬蟲指向對手的網域，用同樣方式對映它的網站。它會揭露對手的結構、內容的深度與廣度、發佈哪些頁面，以及鎖定的關鍵字。模仿領先者不是目的，但看懂它靠什麼排名，才是你找到它留下缺口的方式。