什麼是爬蟲?

爬蟲是自動造訪網頁並蒐集內容的程式,也稱為機器人或蜘蛛。

Crawler, Bot · 行銷名詞辭典 · 更新

Google 的 Googlebot、NAVER 的 Yeti、Microsoft 的 Bingbot 是搜尋用爬蟲,也有像 OpenAI 的 GPTBot 這樣用於 AI 訓練與搜尋的爬蟲。爬蟲讀不到的網頁,很難被用在搜尋結果或 AI 回答中。

必須執行 JavaScript 才會顯示內容的網頁,部分爬蟲可能無法正確讀取,所以把重點內容直接放在 HTML 中比較保險。

相關名詞

現在,
輪到我們來 MAKE 你了。

告訴我們你的業種與地區,
以及想被看見的管道。
我們會先從目前的曝光狀況開始一起診斷。