GEO 위키 · 테크니컬 SEO
robots.txt
정의
사이트 루트에 두어 어떤 로봇이 어떤 경로를 수집해도 되는지 알려주는 파일입니다.
GEO 관점에서
AI 검색 크롤러(OAI-SearchBot, PerplexityBot 등)를 막고 있지 않은지 가장 먼저 확인합니다.
관련 용어
AI Crawler
AI 크롤러
AI 회사가 학습이나 검색 답변을 위해 웹페이지를 수집하는 로봇입니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등이 있습니다.
User Agent유저 에이전트
브라우저나 로봇이 자신이 누구인지 서버에 알리는 이름표입니다. 예: Googlebot, GPTBot.
noindexnoindex
페이지를 검색 결과에 넣지 말라고 검색엔진에 알리는 메타 태그 또는 응답 헤더입니다.