GEO 위키 · GEO·AI 검색
GPTBot
정의
OpenAI가 모델 학습에 쓸 웹페이지를 수집하는 크롤러입니다. ChatGPT 검색용은 OAI-SearchBot, 사용자 요청용은 ChatGPT-User로 따로 있습니다.
GEO 관점에서
학습과 검색 크롤러를 구분해 허용 여부를 정해야 하며, 검색 노출을 원하면 OAI-SearchBot은 반드시 허용합니다.
관련 용어
AI Crawler
AI 크롤러
AI 회사가 학습이나 검색 답변을 위해 웹페이지를 수집하는 로봇입니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등이 있습니다.
robots.txtrobots.txt
사이트 루트에 두어 어떤 로봇이 어떤 경로를 수집해도 되는지 알려주는 파일입니다.
User Agent유저 에이전트
브라우저나 로봇이 자신이 누구인지 서버에 알리는 이름표입니다. 예: Googlebot, GPTBot.