봇 크롤 · Crawls

AI 에이전트와 검색 봇의 크롤 현황. 어떤 봇이 어떤 경로를 얼마나 읽어가는지 집계합니다.

봇별

• ClaudeBot130
• Googlebot12
• OAI-SearchBot9
• CCBot8
• PerplexityBot7
• bingbot7
• ChatGPT-User6
• GPTBot5
• Bytespider4
• cohere-ai3
• Claude-Web3
• YandexBot3

경로별

• /sources9
• /crawls5
• /besi5
• /schema5
• /apple5
• /asml5
• /tsmc5
• /roadmap5
• /intel4
• /asmpt4
• /broadcom4
• /amd4

AI 봇별 데이터 의존도

.md·.json·페이지를 노드 단위로 합산. 서로 다른 날(d) 재방문이 많을수록 그 AI가 해당 데이터에 의존한다는 신호입니다.

• ClaudeBot130 방문 · 35 노드 · 19 재방문/sources 8× · 2d/asmpt 6× · 2d/marvell 5× · 2d/besi 5× · 2d/intel 5× · 2d/apple 5× · 2d
• OAI-SearchBot9 방문 · 7 노드 · 0 재방문/.env.bak 2× · 1d/.env 2× · 1d/.env.example 1× · 1d/key 1× · 1d/sitemap.xml 1× · 1d/application.yml 1× · 1d
• PerplexityBot7 방문 · 7 노드 · 0 재방문/.env.local 1× · 1d/secrets 1× · 1d/schema 1× · 1d/api/env 1× · 1d/.aws/credentials 1× · 1d/gcp-credentials 1× · 1d
• ChatGPT-User6 방문 · 6 노드 · 0 재방문/hanmi-semiconductor 1× · 1d/.env.local 1× · 1d/tsmc 1× · 1d/asml 1× · 1d/service-account 1× · 1d/config 1× · 1d
• GPTBot5 방문 · 5 노드 · 0 재방문/asml 1× · 1d/.env.backup 1× · 1d/.env 1× · 1d/.env.bak 1× · 1d/.env.production 1× · 1d
• Bytespider4 방문 · 4 노드 · 0 재방문/admin/.env 1× · 1d/.env.production 1× · 1d/.aws/credentials 1× · 1d/google-services 1× · 1d
• cohere-ai3 방문 · 3 노드 · 0 재방문/.env.backup 1× · 1d/.env.production 1× · 1d/api/.env 1× · 1d
• Claude-Web3 방문 · 3 노드 · 0 재방문/application.yml 1× · 1d/backend/.env 1× · 1d/app/.env 1× · 1d
• Perplexity-User2 방문 · 2 노드 · 0 재방문/app/.env 1× · 1d/application.properties 1× · 1d
• Google-Extended2 방문 · 2 노드 · 0 재방문/.env 1× · 1d/secrets 1× · 1d
• meta-externalagent2 방문 · 2 노드 · 0 재방문/api/.env 1× · 1d/.env.local 1× · 1d
• anthropic-ai2 방문 · 2 노드 · 0 재방문/google-services 1× · 1d/secrets.yml 1× · 1d
• Claude-User1 방문 · 1 노드 · 0 재방문/crawls 1× · 1d
• Amazonbot1 방문 · 1 노드 · 0 재방문/admin/.env 1× · 1d

가장 많이 가져가는 데이터

• 8×/sourcesClaudeBot
• 7×/asmlClaudeBot, GPTBot, ChatGPT-User
• 6×/asmptClaudeBot
• 6×/tsmcClaudeBot, ChatGPT-User
• 5×/marvellClaudeBot
• 5×/besiClaudeBot
• 5×/intelClaudeBot
• 5×/appleClaudeBot
• 5×/metaClaudeBot
• 5×/micronClaudeBot
• 5×/microsoftClaudeBot
• 5×/broadcomClaudeBot
• 5×/amdClaudeBot
• 5×/amazonClaudeBot
• 5×/nvidiaClaudeBot

봇별 주간 추이

최근 8주 AI 크롤 추이. 막대가 오를수록 그 AI의 의존이 커지는 신호입니다.

• ClaudeBot최근 8주 · 130 방문
• OAI-SearchBot최근 8주 · 9 방문
• PerplexityBot최근 8주 · 7 방문
• ChatGPT-User최근 8주 · 6 방문
• GPTBot최근 8주 · 5 방문
• Bytespider최근 8주 · 4 방문
• cohere-ai최근 8주 · 3 방문
• Claude-Web최근 8주 · 3 방문

최근 크롤

• 2026-06-21 09:10ClaudeBot/crawls
• 2026-06-21 09:10ClaudeBot/kla
• 2026-06-21 09:10ClaudeBot/marvell
• 2026-06-21 09:10ClaudeBot/besi
• 2026-06-21 09:09ClaudeBot/schema
• 2026-06-21 09:09ClaudeBot/umc
• 2026-06-21 09:09ClaudeBot/ase
• 2026-06-21 09:09ClaudeBot/intel
• 2026-06-21 09:09ClaudeBot/apple
• 2026-06-21 09:09ClaudeBot/asml
• 2026-06-21 09:09ClaudeBot/meta
• 2026-06-21 09:09ClaudeBot/sources
• 2026-06-21 09:08ClaudeBot/asmpt
• 2026-06-21 09:08ClaudeBot/micron
• 2026-06-21 09:07ClaudeBot/sumco
• 2026-06-21 09:07ClaudeBot/microsoft
• 2026-06-21 09:07ClaudeBot/broadcom
• 2026-06-21 09:07ClaudeBot/tsmc
• 2026-06-21 09:07ClaudeBot/amd
• 2026-06-21 09:07ClaudeBot/amazon
• 2026-06-21 09:07ClaudeBot/nvidia
• 2026-06-21 09:07ClaudeBot/roadmap
• 2026-06-21 08:02ClaudeBot/
• 2026-06-21 00:55Claude-User/crawls
• 2026-06-20 22:13OAI-SearchBot/.env.bak