Robots.txt Nutzungsverteilung In Amerikanische Jungferninseln

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Google AdsBot Disallow	478	17,71
Googlebot Disallow	336	12,45
Anthropic Claude Bot Disallow	149	5,52
Common Crawl Bot Disallow	147	5,45
GPTBot Disallow	146	5,41
AppleBot Disallow	144	5,34
Google Bard Disallow	144	5,34
Facebook Bot Disallow	144	5,34
Apple AI Bot Disallow	141	5,22
Cohere AI Disallow	138	5,11
Perplexity	138	5,11
Google AdsBot Mobile Apps Disallow	136	5,04
Ahrefs Bot Disallow	90	3,33
Robots Disallow	49	1,82
Yandex Bot Disallow	47	1,74
Majestic Bot Disallow	35	1,3
Some Robots Disallow	34	1,26
Google Media Partners Disallow	32 ^*	1,19
Semrush Bot Disallow	29	1,07
Alexa Bot Disallow	27	1
Microsoft BingBot Disallow	26	0,96
Yahoo Slurp Disallow	26	0,96
Soso Bot Disallow	20	0,74
Microsoft MSNBot Disallow	11	0,41
Exalead Bot Disallow	6	0,22
Google Image Bot Disallow	6	0,22
ByteDance Bytespider Disallow	4	0,15
Webz Omgili Disallow	4	0,15
360 Bot Disallow	3	0,11
Diffbot Disallow	2	0,07
BuiltWithBot Disallow	2	0,07
Google News Bot Disallow	1	0,04
Google Video Bot Disallow	1	0,04
YOU Disallow	1	0,04
Google Favicon Disallow	1	0,04
Pipl Disallow	1	0,04