GEO 위키 · 테크니컬 SEO
크롤링
Crawling
정의
검색엔진이나 AI의 로봇이 링크를 따라 웹페이지를 방문해 내용을 가져오는 과정입니다.
GEO 관점에서
크롤링되지 않은 페이지는 색인도 인용도 될 수 없습니다.
관련 용어
Crawlability
크롤러빌리티
로봇이 사이트의 페이지를 막힘없이 찾아 수집할 수 있는 정도입니다.
Crawl Budget크롤 버짓
검색엔진이 일정 기간 한 사이트에서 수집하는 페이지 수의 한도입니다.
AI CrawlerAI 크롤러
AI 회사가 학습이나 검색 답변을 위해 웹페이지를 수집하는 로봇입니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등이 있습니다.