Robots.txt Distribución de uso en San Martín

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
Googlebot Disallow	242	11,37
Baidu Bot Disallow	225	10,57
Yandex Bot Disallow	211	9,91
Microsoft BingBot Disallow	211	9,91
Sogou Bot Disallow	207	9,72
Alexa Bot Disallow	205	9,63
Yahoo Slurp Disallow	204	9,58
Soso Bot Disallow	201	9,44
Robots Disallow	127	5,97
Google Media Partners Disallow	68 ^*	3,19
Some Robots Disallow	58	2,72
Google AdsBot Disallow	27	1,27
Google AdsBot Mobile Disallow	24	1,13
GPTBot Disallow	13	0,61
Anthropic Claude Bot Disallow	9	0,42
Google Bard Disallow	9	0,42
Perplexity	9	0,42
Cohere AI Disallow	8	0,38
Google AdsBot Mobile Apps Disallow	8	0,38
Common Crawl Bot Disallow	7	0,33
AppleBot Disallow	7	0,33
Facebook Bot Disallow	7	0,33
Apple AI Bot Disallow	7	0,33
Semrush Bot Disallow	6	0,28
Ahrefs Bot Disallow	5	0,23
Majestic Bot Disallow	4	0,19
Microsoft MSNBot Disallow	3	0,14
Google Image Bot Disallow	2	0,09
Google News Bot Disallow	2	0,09
Google Video Bot Disallow	2	0,09
DuckDuckGo Bot Disallow	2	0,09
Google Favicon Disallow	2	0,09
Google API Bot Disallow	2	0,09
Google DuplexWeb Disallow	2	0,09
ByteDance Bytespider Disallow	1	0,05
Webz Omgili Disallow	1	0,05
360 Bot Disallow	1	0,05