Robots.txt Nutzungsverteilung auf den Turks- und Caicosinseln

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Robots Disallow	76	8,3
Googlebot Disallow	75	8,19
Google AdsBot Disallow	60	6,55
Baidu Bot Disallow	47	5,13
GPTBot Disallow	46	13,77
Some Robots Disallow	45	4,91
Sogou Bot Disallow	42	4,59
Common Crawl Bot Disallow	40	11,98
Google Bard Disallow	39	11,68
Anthropic Claude Bot Disallow	38	11,38
Google AdsBot Mobile Apps Disallow	38	4,15
AppleBot Disallow	37	4,04
Facebook Bot Disallow	37	11,08
Apple AI Bot Disallow	37	11,08
Perplexity	37	11,08
Cohere AI Disallow	36	10,78
Yandex Bot Disallow	28	3,06
Google Media Partners Disallow	27 ^*	2,95
Yahoo Slurp Disallow	21	2,29
Microsoft BingBot Disallow	19	2,07
Alexa Bot Disallow	19	5,69
Soso Bot Disallow	17	1,86
Ahrefs Bot Disallow	12	1,31
Microsoft MSNBot Disallow	7	0,76
Majestic Bot Disallow	6	0,66
Semrush Bot Disallow	5	0,55
Google Image Bot Disallow	4	0,44
ByteDance Bytespider Disallow	2	0,6
Exalead Bot Disallow	2	0,22
360 Bot Disallow	2	0,22
Google News Bot Disallow	2	0,22
Google Video Bot Disallow	2	0,22
DuckDuckGo Bot Disallow	2	0,22
Google Favicon Disallow	2	0,22
Google API Bot Disallow	2	0,22
Google DuplexWeb Disallow	2	0,22
Webz Omgili Disallow	1	0,3
BuiltWithBot Disallow	1	0,11
Google FeedFetcher Disallow	1	0,11