Robots.txt Nutzungsverteilung In Wallis und Futuna

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Robots Disallow	86	13,01
Googlebot Disallow	64	9,68
Baidu Bot Disallow	64	9,68
Sogou Bot Disallow	59	8,93
Alexa Bot Disallow	56	8,47
Yandex Bot Disallow	55	8,32
Microsoft BingBot Disallow	54	8,17
Yahoo Slurp Disallow	53	8,02
Soso Bot Disallow	53	8,02
Google Media Partners Disallow	32 ^*	4,84
Ahrefs Bot Disallow	10	1,51
Microsoft MSNBot Disallow	6	0,91
Semrush Bot Disallow	5	0,76
Google AdsBot Disallow	4	0,61
Common Crawl Bot Disallow	4	0,61
Majestic Bot Disallow	4	0,61
Google Image Bot Disallow	4	0,61
Google AdsBot Mobile Disallow	3	0,45
GPTBot Disallow	3	0,45
Anthropic Claude Bot Disallow	3	0,45
ByteDance Bytespider Disallow	3	0,45
Exalead Bot Disallow	3	0,45
Webz Omgili Disallow	3	0,45
AppleBot Disallow	2	0,3
Google Bard Disallow	2	0,3
Facebook Bot Disallow	2	0,3
Apple AI Bot Disallow	2	0,3
Perplexity	2	0,3
Google AdsBot Mobile Apps Disallow	2	0,3
Diffbot Disallow	2	0,3
Google News Bot Disallow	2	0,3
Google Video Bot Disallow	2	0,3
DuckDuckGo Bot Disallow	2	0,3
Google Favicon Disallow	2	0,3
Google API Bot Disallow	2	0,3
Google DuplexWeb Disallow	2	0,3
Cohere AI Disallow	1	0,15
360 Bot Disallow	1	0,15
BuiltWithBot Disallow	1	0,15
Youdao Bot Disallow	1	0,15