Robots.txt Distribución de uso en Islas Vírgenes de los Estados Unidos

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
Google AdsBot Disallow	494	17,55
Googlebot Disallow	342	12,15
GPTBot Disallow	149	12,83
Common Crawl Bot Disallow	147	12,66
Anthropic Claude Bot Disallow	142	12,23
Google AdsBot Mobile Apps Disallow	141	5,01
Google Bard Disallow	137	11,8
AppleBot Disallow	136	4,83
Facebook Bot Disallow	136	11,71
Apple AI Bot Disallow	134	11,54
Cohere AI Disallow	133	11,46
Perplexity	131	11,28
Ahrefs Bot Disallow	99	3,52
Baidu Bot Disallow	72	2,56
Robots Disallow	54	1,92
Yandex Bot Disallow	53	1,88
Majestic Bot Disallow	38	1,35
Some Robots Disallow	34	1,21
Google Media Partners Disallow	32 ^*	1,14
Semrush Bot Disallow	31	1,1
Alexa Bot Disallow	29	2,5
Yahoo Slurp Disallow	29	1,03
Microsoft BingBot Disallow	28	0,99
Sogou Bot Disallow	26	0,92
Soso Bot Disallow	23	0,82
Microsoft MSNBot Disallow	12	0,43
Exalead Bot Disallow	8	0,28
Google Image Bot Disallow	5	0,18
ByteDance Bytespider Disallow	4	0,34
Webz Omgili Disallow	4	0,34
360 Bot Disallow	2	0,07
BuiltWithBot Disallow	2	0,07
Google News Bot Disallow	2	0,07
Google Video Bot Disallow	2	0,07
Diffbot Disallow	1	0,09
Google Favicon Disallow	1	0,04
YOU Disallow	1	0,09
Pipl Disallow	1	0,04