Archivo robots.txt Distribución de uso En Andorra

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Googlebot Disallow	236	15,28
Google AdsBot Disallow	192	12,43
Google AdsBot Mobile Disallow	165	10,68
Some Robots Disallow	127	8,22
Robots Disallow	118	7,64
Baidu Bot Disallow	79	5,11
Yandex Bot Disallow	54	3,5
Ahrefs Bot Disallow	52	3,37
Alexa Bot Disallow	51	3,3
Yahoo Slurp Disallow	43	2,78
Microsoft BingBot Disallow	39	2,52
Soso Bot Disallow	36	2,33
GPTBot Disallow	33	2,14
Semrush Bot Disallow	29	1,88
Anthropic Claude Bot Disallow	27	1,75
Majestic Bot Disallow	26	1,68
Common Crawl Bot Disallow	25	1,62
AppleBot Disallow	24	1,55
Google Bard Disallow	24	1,55
Google AdsBot Mobile Apps Disallow	24	1,55
Facebook Bot Disallow	23	1,49
Cohere AI Disallow	23	1,49
Apple AI Bot Disallow	23	1,49
Perplexity	23	1,49
Google Media Partners Disallow	15 ^*	0,97
Microsoft MSNBot Disallow	10	0,65
ByteDance Bytespider Disallow	5	0,32
Youdao Bot Disallow	4	0,26
Exalead Bot Disallow	3	0,19
Google Image Bot Disallow	3	0,19
Webz Omgili Disallow	1	0,06
Diffbot Disallow	1	0,06
YOU Disallow	1	0,06
Google News Bot Disallow	1	0,06
Google Video Bot Disallow	1	0,06
DuckDuckGo Bot Disallow	1	0,06
Google Favicon Disallow	1	0,06
Google API Bot Disallow	1	0,06
Google DuplexWeb Disallow	1	0,06