Archivo robots.txt Distribución de uso En Zimbabue

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Robots Disallow	292	16,31
Googlebot Disallow	264	14,75
Google AdsBot Disallow	240	13,41
Google AdsBot Mobile Disallow	212	11,84
Baidu Bot Disallow	76	4,25
Yandex Bot Disallow	56	3,13
Ahrefs Bot Disallow	50	2,79
Microsoft BingBot Disallow	40	2,23
Google Media Partners Disallow	40 ^*	2,23
Yahoo Slurp Disallow	38	2,12
GPTBot Disallow	34	11,37
Common Crawl Bot Disallow	33	11,04
AppleBot Disallow	33	1,84
Google AdsBot Mobile Apps Disallow	33	1,84
Anthropic Claude Bot Disallow	32	10,7
Google Bard Disallow	32	10,7
Cohere AI Disallow	32	10,7
Facebook Bot Disallow	31	10,37
Apple AI Bot Disallow	31	10,37
Perplexity	31	10,37
Alexa Bot Disallow	30	10,03
Soso Bot Disallow	30	1,68
Semrush Bot Disallow	28	1,56
Majestic Bot Disallow	23	1,28
Microsoft MSNBot Disallow	10	0,56
Google Image Bot Disallow	7	0,39
ByteDance Bytespider Disallow	5	1,67
Google News Bot Disallow	4	0,22
Google Video Bot Disallow	3	0,17
DuckDuckGo Bot Disallow	3	0,17
Google Favicon Disallow	3	0,17
Google API Bot Disallow	3	0,17
Google DuplexWeb Disallow	3	0,17
Webz Omgili Disallow	2	0,67
360 Bot Disallow	2	0,11
Exalead Bot Disallow	1	0,06
Diffbot Disallow	1	0,33
BuiltWithBot Disallow	1	0,06
YOU Disallow	1	0,33