User-agentでクローラーを、Allow・Disallowで許可・ブロックするパスを書きます。OpenAIのGPTBot・OAI-SearchBot、GoogleのGoogle-Extended、AnthropicのClaudeBotのように、AI企業のクローラーもこのファイルを確認します。
誤ってAIクローラーをブロックしてしまうと、AIの回答の根拠として使われにくくなります。ホームページ診断で最初に確認する項目の一つです。
サンプル
User-agent: * Allow: / Sitemap: https://makemkt.co.kr/sitemap.xml