Robots.txt Nutzungsverteilung in Südgeorgien und den Südlichen Sandwichinseln

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Robots Disallow	130	14,33
Googlebot Disallow	104	11,47
Baidu Bot Disallow	93	10,25
Some Robots Disallow	87	9,59
Sogou Bot Disallow	77	8,49
Alexa Bot Disallow	41	24,7
Microsoft BingBot Disallow	36	3,97
Yahoo Slurp Disallow	36	3,97
Soso Bot Disallow	35	3,86
Yandex Bot Disallow	32	3,53
Google Media Partners Disallow	29 ^*	3,2
GPTBot Disallow	19	11,45
Anthropic Claude Bot Disallow	19	11,45
Ahrefs Bot Disallow	18	1,98
Majestic Bot Disallow	17	1,87
Semrush Bot Disallow	15	1,65
ByteDance Bytespider Disallow	13	7,83
AppleBot Disallow	11	1,21
Common Crawl Bot Disallow	10	6,02
Facebook Bot Disallow	10	6,02
Apple AI Bot Disallow	10	6,02
Microsoft MSNBot Disallow	10	1,1
Webz Omgili Disallow	8	4,82
Google Bard Disallow	7	4,22
Cohere AI Disallow	6	3,61
Google Image Bot Disallow	6	0,66
Perplexity	5	3,01
Google AdsBot Mobile Apps Disallow	4	0,44
Diffbot Disallow	4	2,41
Exalead Bot Disallow	2	0,22
Google News Bot Disallow	2	0,22
Google Video Bot Disallow	2	0,22
Youdao Bot Disallow	2	0,22
Google Favicon Disallow	2	0,22
Google FeedFetcher Disallow	2	0,22
DuckDuckGo Bot Disallow	1	0,11
Google API Bot Disallow	1	0,11
Google DuplexWeb Disallow	1	0,11