Archivo robots.txt Distribución de uso En Mauricio

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Google AdsBot Disallow	696	18,52
Googlebot Disallow	563	14,98
Google AdsBot Mobile Disallow	519	13,81
Robots Disallow	331	8,81
Ahrefs Bot Disallow	197	5,24
Baidu Bot Disallow	97	2,58
Common Crawl Bot Disallow	79	2,1
AppleBot Disallow	79	2,1
Anthropic Claude Bot Disallow	77	2,05
Sogou Bot Disallow	74	1,97
GPTBot Disallow	74	1,97
Facebook Bot Disallow	74	1,97
Apple AI Bot Disallow	74	1,97
Google Bard Disallow	73	1,94
Yandex Bot Disallow	69	1,84
Perplexity	67	1,78
Alexa Bot Disallow	65	1,73
Cohere AI Disallow	65	1,73
Google AdsBot Mobile Apps Disallow	62	1,65
Microsoft BingBot Disallow	61	1,62
Google Media Partners Disallow	59 ^*	1,57
Yahoo Slurp Disallow	58	1,54
Soso Bot Disallow	54	1,44
Some Robots Disallow	51	1,36
Semrush Bot Disallow	42	1,12
Majestic Bot Disallow	24	0,64
Webz Omgili Disallow	12	0,32
ByteDance Bytespider Disallow	10	0,27
Exalead Bot Disallow	9	0,24
Microsoft MSNBot Disallow	7	0,19
Google Image Bot Disallow	6	0,16
Diffbot Disallow	4	0,11
DuckDuckGo Bot Disallow	4	0,11
360 Bot Disallow	3	0,08
BuiltWithBot Disallow	3	0,08
YOU Disallow	3	0,08
Google News Bot Disallow	3	0,08
Google Video Bot Disallow	3	0,08
Google Favicon Disallow	3	0,08
Google API Bot Disallow	2	0,05
Google DuplexWeb Disallow	2	0,05