User-agent로 크롤러를, Allow·Disallow로 허용·차단 경로를 적습니다. OpenAI의 GPTBot·OAI-SearchBot, 구글의 Google-Extended, Anthropic의 ClaudeBot처럼 AI 회사의 크롤러도 이 파일을 확인합니다.
실수로 AI 크롤러를 막아 두면 AI 답변의 근거로 쓰이기 어렵습니다. 홈페이지 진단에서 가장 먼저 확인하는 항목 가운데 하나입니다.
예시
User-agent: * Allow: / Sitemap: https://makemkt.co.kr/sitemap.xml