Archivo robots.txt Distribución de uso en San Pedro y Miquelón

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Googlebot Disallow	1.006	12,2
Baidu Bot Disallow	948	11,5
Sogou Bot Disallow	914	11,09
Microsoft BingBot Disallow	904	10,97
Yandex Bot Disallow	898	10,89
Yahoo Slurp Disallow	897	10,88
Alexa Bot Disallow	891	10,81
Soso Bot Disallow	888	10,77
Robots Disallow	325	3,94
Some Robots Disallow	127	1,54
Google Media Partners Disallow	117 ^*	1,42
Google AdsBot Disallow	23	0,28
GPTBot Disallow	23	0,28
ByteDance Bytespider Disallow	21	0,25
Google AdsBot Mobile Disallow	19	0,23
Google Bard Disallow	17	0,21
Ahrefs Bot Disallow	16	0,19
Anthropic Claude Bot Disallow	16	0,19
Facebook Bot Disallow	16	0,19
Common Crawl Bot Disallow	15	0,18
AppleBot Disallow	15	0,18
Apple AI Bot Disallow	12	0,15
Google AdsBot Mobile Apps Disallow	12	0,15
Semrush Bot Disallow	12	0,15
Cohere AI Disallow	10	0,12
Perplexity	10	0,12
Microsoft MSNBot Disallow	10	0,12
Majestic Bot Disallow	9	0,11
Webz Omgili Disallow	9	0,11
Google Image Bot Disallow	9	0,11
Google News Bot Disallow	7	0,08
Google Video Bot Disallow	7	0,08
DuckDuckGo Bot Disallow	7	0,08
Google Favicon Disallow	7	0,08
Google API Bot Disallow	7	0,08
Google DuplexWeb Disallow	7	0,08
Diffbot Disallow	4	0,05
YOU Disallow	3	0,04
Exalead Bot Disallow	2	0,02
360 Bot Disallow	1	0,01
BuiltWithBot Disallow	1	0,01
Youdao Bot Disallow	1	0,01
Google BIG Bench Disallow	1	0,01