Archivo robots.txt Distribución de uso En Ecuador

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Ahrefs Bot Disallow	2.000	10,23
Google AdsBot Disallow	1.903	9,74
Googlebot Disallow	1.678	8,59
Majestic Bot Disallow	1.573	8,05
Semrush Bot Disallow	1.494	7,65
Google AdsBot Mobile Disallow	1.449	7,41
Robots Disallow	1.220	6,24
Google Media Partners Disallow	730 ^*	3,74
Baidu Bot Disallow	569	2,91
GPTBot Disallow	466	2,38
Sogou Bot Disallow	445	2,28
Anthropic Claude Bot Disallow	436	2,23
Yandex Bot Disallow	434	2,22
Common Crawl Bot Disallow	430	2,2
AppleBot Disallow	414	2,12
Google Bard Disallow	412	2,11
Facebook Bot Disallow	404	2,07
Apple AI Bot Disallow	397	2,03
Perplexity	393	2,01
Cohere AI Disallow	390	2
Google AdsBot Mobile Apps Disallow	378	1,93
Microsoft BingBot Disallow	337	1,72
Yahoo Slurp Disallow	332	1,7
Some Robots Disallow	327	1,67
Alexa Bot Disallow	318	1,63
Soso Bot Disallow	296	1,51
Microsoft MSNBot Disallow	76	0,39
ByteDance Bytespider Disallow	53	0,27
Exalead Bot Disallow	41	0,21
Webz Omgili Disallow	31	0,16
Google Image Bot Disallow	28	0,14
YOU Disallow	16	0,08
Diffbot Disallow	15	0,08
Youdao Bot Disallow	8	0,04
360 Bot Disallow	7	0,04
Google News Bot Disallow	7	0,04
DuckDuckGo Bot Disallow	7	0,04
Google Video Bot Disallow	6	0,03
Google Favicon Disallow	6	0,03
BuiltWithBot Disallow	5	0,03
Google API Bot Disallow	4	0,02
Google DuplexWeb Disallow	4	0,02
Pipl Disallow	3	0,02