聯絡我們

什麼是robots.txt？

robots.txt 是放在網站根目錄、告訴搜尋引擎與 AI 爬蟲哪些地方可以蒐集的文字檔。

Robots Exclusion Protocol · 行銷名詞辭典 · 更新

用 User-agent 指定爬蟲，用 Allow、Disallow 寫出允許與封鎖的路徑。OpenAI 的 GPTBot、OAI-SearchBot，Google 的 Google-Extended，Anthropic 的 ClaudeBot 等 AI 公司的爬蟲也會確認這個檔案。

如果不小心封鎖了 AI 爬蟲，網頁就很難被用作 AI 回答的依據。這是官網診斷時最先確認的項目之一。

範例

User-agent: *
Allow: /
Sitemap: https://makemkt.co.kr/sitemap.xml

相關名詞

爬蟲網站地圖llms.txtSEO

現在，
輪到我們來 MAKE 你了。

告訴我們你的業種與地區，
以及想被看見的管道。
我們會先從目前的曝光狀況開始一起診斷。