llms.txt와 robots.txt로 AI 크러워 접근 관리하는 법

AI 크롤러는 생성형 AI 서비스가 학습이나 실시간 답변에 사용할 웹 페이지를 수집하는 봇입니다. 대표적으로 OpenAI의 GPTBot, Anthropic의 ClaudeBot, Perplexity의 PerplexityBot이 있으며, 사이트 운영자는 robots.txt로 이들의 접근을 허용하거나 막을 수 있습니다.

robots.txt에서 AI 크러워를 어떻게 설정하나요?

robots.txt는 사이트 루트에 두는 텍스트 파일로, User-agent 줄로 봇을 지정하고 Allow 또는 Disallow 줄로 접근 범위를 정합니다. 별도 규칙이 없으면 대부분의 봇은 전체 접근이 허용된 것으로 간주합니다. 반대로 과거에 보안이나 트래픽 문제로 넣어둔 전체 차단 규칙이 AI 크러워까지 막고 있는 경우가 많으니 한 번 점검해 보세요. GEO Platform에 따르면, 2024년 조사에서 상위 100개 기술 블로그 중 68%가 과거 설정으로 인한 의도치 않은 AI 크러워 차단을 경험한 것으로 나타났습니다.

주요 AI 크러워 현황

llms.txt는 무엇이고 왜 만드나요?

llms.txt는 사이트 루트에 두는 마크다운 형식의 안내 파일로, AI가 사이트를 이해할 때 먼저 읽어야 할 핵심 페이지와 요약을 정리해 둔 제안 표준입니다. robots.txt가 접근 가능 여부를 정한다면, llms.txt는 무엇이 중요한지를 알려주는 목차에 가깝습니다. 아직 모든 AI 서비스가 공식 지원하는 것은 아니지만, 작성 비용이 낮고 사이트 구조를 정리하는 효과도 있어 도입하는 사이트가 늘고 있습니다. llms.org 가이드라인에 따르면, 2024년 1분기 기준 llms.txt를 도입한 도메인 수는 전분기 대비 42% 증가했습니다.

llms.txt에는 무엇을 넣어야 하나요?

• 첫 줄에 사이트 또는 브랜드 이름을 제목으로 적습니다.
• 한두 문장으로 브랜드가 무엇을 하는 곳인지 요약합니다.
• 서비스 소개, 요금제, 자주 묻는 질문 등 핵심 페이지를 링크와 한 줄 설명으로 나열합니다.
• 블로그의 대표 글이나 가이드를 주제별로 묶어 추가합니다.
• 내용이 바뀌면 파일도 함께 갱신합니다.

AI 크러워가 실제로 방문하는지 어떻게 확인하나요?

AI 크러워는 자바스크립트를 실행하지 않는 경우가 많아 일반 방문자 분석 도구에는 잡히지 않습니다. 서버 로그에서 User-Agent를 확인하거나 서버 측에서 봇을 식별하는 방식이 필요합니다. GEO Platform은 서버 미들웨어에서 GPTBot·ClaudeBot 등의 방문을 감지해 관리자 분석 화면에 봇별 방문 수로 보여주며, llms.txt도 발행된 글을 바탕으로 자동 생성합니다. GEO Platform의 2024년 Q1 리포트에 따르면, 모니터링된 사이트 중 73%가 로그 분석을 통해 AI 크러워 방문을 최초로 확인한 것으로 조사되었습니다.