GEO 위키 · GEO·AI 검색
AI 크롤러
AI Crawler
정의
AI 회사가 학습이나 검색 답변을 위해 웹페이지를 수집하는 로봇입니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등이 있습니다.
GEO 관점에서
robots.txt나 방화벽에서 실수로 막혀 있으면 AI 답변에 등장할 기회 자체가 사라집니다.
관련 용어
GPTBot
GPTBot
OpenAI가 모델 학습에 쓸 웹페이지를 수집하는 크롤러입니다. ChatGPT 검색용은 OAI-SearchBot, 사용자 요청용은 ChatGPT-User로 따로 있습니다.
robots.txtrobots.txt
사이트 루트에 두어 어떤 로봇이 어떤 경로를 수집해도 되는지 알려주는 파일입니다.
User Agent유저 에이전트
브라우저나 로봇이 자신이 누구인지 서버에 알리는 이름표입니다. 예: Googlebot, GPTBot.