Robots.txt Nutzungsverteilung in Französisch-Guayana

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Google AdsBot Disallow	129	24,43
Googlebot Disallow	128	24,24
Ahrefs Bot Disallow	38	7,2
Robots Disallow	31	5,87
Baidu Bot Disallow	23	4,36
Sogou Bot Disallow	22	4,17
Yandex Bot Disallow	15	2,84
Microsoft BingBot Disallow	14	2,65
Alexa Bot Disallow	14	22,58
Yahoo Slurp Disallow	14	2,65
Soso Bot Disallow	14	2,65
Google Media Partners Disallow	13 ^*	2,46
GPTBot Disallow	7	11,29
Majestic Bot Disallow	7	1,33
Common Crawl Bot Disallow	6	9,68
Google Bard Disallow	6	9,68
Semrush Bot Disallow	6	1,14
AppleBot Disallow	5	0,95
Anthropic Claude Bot Disallow	5	8,06
Facebook Bot Disallow	5	8,06
Apple AI Bot Disallow	5	8,06
Perplexity	5	8,06
Cohere AI Disallow	3	4,84
Google AdsBot Mobile Apps Disallow	3	0,57
Exalead Bot Disallow	3	0,57
ByteDance Bytespider Disallow	2	3,23
Webz Omgili Disallow	2	3,23
Microsoft MSNBot Disallow	1	0,19
Google Image Bot Disallow	1	0,19
Google Video Bot Disallow	1	0,19