Robots.txt Répartition de l'utilisation dans États-Unis

Distribution pour les sites Web utilisant Robots.txt les technologies

Accrocher Robots.txt Répartition de l'utilisation dans États-Unis

Technologie	Sites Internet	%
GPTBot Disallow	2 645 515	5,14
Common Crawl Bot Disallow	2 594 532	5,04
Ahrefs Bot Disallow	2 567 854	4,99
Yandex Bot Disallow	2 353 155	4,57
Anthropic Claude Bot Disallow	2 302 787	4,48
Robots Disallow	2 293 472	4,46
Google Bard Disallow	2 253 069	4,38
AppleBot Disallow	2 231 612	4,34
Facebook Bot Disallow	2 231 066	4,34
Google AdsBot Disallow	2 228 653	4,33
Microsoft BingBot Disallow	2 220 779	4,32
Google AdsBot Mobile Apps Disallow	2 197 378	4,27
Alexa Bot Disallow	2 194 081	4,26
Sogou Bot Disallow	2 163 944	4,21
Apple AI Bot Disallow	2 154 214	4,19
Cohere AI Disallow	2 097 869	4,08
Yahoo Slurp Disallow	2 090 598	4,06
Perplexity	2 059 354	4
Soso Bot Disallow	1 963 354	3,82
Google AdsBot Mobile Disallow	1 793 020	3,48
Googlebot Disallow	1 468 914	2,86
Majestic Bot Disallow	1 123 110	2,18
Semrush Bot Disallow	988 330	1,92
Baidu Bot Disallow	622 157	1,21
Some Robots Disallow	530 017	1,03
ByteDance Bytespider Disallow	301 980	0,59
Microsoft MSNBot Disallow	271 693	0,53
360 Bot Disallow	255 688	0,5
Exalead Bot Disallow	248 769	0,48
Google Image Bot Disallow	213 648	0,42
Webz Omgili Disallow	209 836	0,41
Google Media Partners Disallow	126 893 ^*	0,25
BuiltWithBot Disallow	84 057	0,16
Diffbot Disallow	69 228	0,13
Google Video Bot Disallow	55 905	0,11
Google News Bot Disallow	55 790	0,11
Youdao Bot Disallow	52 022	0,1
Google Favicon Disallow	41 439	0,08
DuckDuckGo Bot Disallow	35 345	0,07
YOU Disallow	15 770	0,03
Google API Bot Disallow	12 949	0,03
Google DuplexWeb Disallow	12 494	0,02
Pipl Disallow	11 228	0,02
Google FeedFetcher Disallow	6 113	0,01
Google Read Aloud Disallow	215	0
Google Web Light Disallow	49	0
Google BIG Bench Disallow	17	0