로봇.txt 사용 분포 마르티니크에서

상위 로봇.txt 사용 분포 마르티니크에서

기술	웹사이트	%
Googlebot Disallow	669	35.76
Google AdsBot Disallow	602	32.18
Robots Disallow	94	5.02
Ahrefs Bot Disallow	94	5.02
Some Robots Disallow	40	2.14
GPTBot Disallow	27	1.44
Majestic Bot Disallow	26	1.39
Yahoo Slurp Disallow	24	1.28
Anthropic Claude Bot Disallow	23	1.23
Common Crawl Bot Disallow	21	1.12
Yandex Bot Disallow	20	1.07
AppleBot Disallow	20	1.07
Google Bard Disallow	20	1.07
Facebook Bot Disallow	18	0.96
Apple AI Bot Disallow	18	0.96
Perplexity	18	0.96
Google AdsBot Mobile Apps Disallow	18	0.96
Cohere AI Disallow	17	0.91
Semrush Bot Disallow	16	0.86
Microsoft BingBot Disallow	15	0.8
Alexa Bot Disallow	11	0.59
Soso Bot Disallow	11	0.59
Google Image Bot Disallow	11	0.59
Webz Omgili Disallow	5	0.27
DuckDuckGo Bot Disallow	5	0.27
ByteDance Bytespider Disallow	4	0.21
Microsoft MSNBot Disallow	4	0.21
Google News Bot Disallow	3	0.16
Google Video Bot Disallow	3	0.16
Google Favicon Disallow	3	0.16
Google API Bot Disallow	3	0.16
Google DuplexWeb Disallow	3	0.16
Exalead Bot Disallow	2	0.11
YOU Disallow	1	0.05
Youdao Bot Disallow	1	0.05
Google FeedFetcher Disallow	1	0.05

1,871 탐지

~의 로봇.txt 마르티니크에서. 마지막 업데이트 07th 3 2025.

Googlebot Disallow 현재 이 범주에서 가장 인기 있는 기술입니다.