GEO 위키 · 테크니컬 SEO
유저 에이전트
User Agent
정의
브라우저나 로봇이 자신이 누구인지 서버에 알리는 이름표입니다. 예: Googlebot, GPTBot.
GEO 관점에서
robots.txt와 방문 기록에서 어떤 AI 크롤러가 오는지 구분하는 기준이 됩니다.
관련 용어
AI Crawler
AI 크롤러
AI 회사가 학습이나 검색 답변을 위해 웹페이지를 수집하는 로봇입니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등이 있습니다.
Googlebot구글봇
구글 검색 색인을 위해 웹페이지를 수집하는 크롤러입니다.
Log File Analysis로그 파일 분석
서버 접속 기록을 분석해 어떤 로봇이 언제 어떤 페이지를 가져갔는지 확인하는 작업입니다.