Robots.txt Nutzungsverteilung in Südgeorgien und den Südlichen Sandwichinseln

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Robots Disallow	136	15,91
Googlebot Disallow	90	10,53
Baidu Bot Disallow	81	9,47
Some Robots Disallow	80	9,36
Sogou Bot Disallow	77	9,01
Alexa Bot Disallow	38	4,44
Yahoo Slurp Disallow	31	3,63
Soso Bot Disallow	31	3,63
Microsoft BingBot Disallow	29	3,39
Google Media Partners Disallow	27 ^*	3,16
Yandex Bot Disallow	26	3,04
GPTBot Disallow	21	2,46
Anthropic Claude Bot Disallow	20	2,34
Majestic Bot Disallow	19	2,22
Semrush Bot Disallow	18	2,11
Ahrefs Bot Disallow	17	1,99
ByteDance Bytespider Disallow	14	1,64
AppleBot Disallow	11	1,29
Common Crawl Bot Disallow	10	1,17
Facebook Bot Disallow	10	1,17
Apple AI Bot Disallow	10	1,17
Microsoft MSNBot Disallow	10	1,17
Webz Omgili Disallow	8	0,94
Google Bard Disallow	7	0,82
Cohere AI Disallow	6	0,7
Google Image Bot Disallow	6	0,7
Perplexity	5	0,58
Diffbot Disallow	4	0,47
Google AdsBot Mobile Apps Disallow	3	0,35
Google FeedFetcher Disallow	3	0,35
Exalead Bot Disallow	2	0,23
Youdao Bot Disallow	2	0,23
Google News Bot Disallow	1	0,12
Google Video Bot Disallow	1	0,12
Google Favicon Disallow	1	0,12