Archivo robots.txt Distribución de uso en Santo Tomé y Príncipe

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Googlebot Disallow	291	10,97
Robots Disallow	277	10,44
Baidu Bot Disallow	266	10,03
Sogou Bot Disallow	232	8,74
Yandex Bot Disallow	160	6,03
Microsoft BingBot Disallow	159	5,99
Alexa Bot Disallow	156	5,88
Yahoo Slurp Disallow	152	5,73
Soso Bot Disallow	149	5,62
Some Robots Disallow	131	4,94
Google Media Partners Disallow	117 ^*	4,41
GPTBot Disallow	49	1,85
Common Crawl Bot Disallow	42	1,58
Google Bard Disallow	40	1,51
Anthropic Claude Bot Disallow	39	1,47
Google AdsBot Disallow	38	1,43
Facebook Bot Disallow	37	1,39
AppleBot Disallow	34	1,28
Webz Omgili Disallow	32	1,21
Apple AI Bot Disallow	31	1,17
Ahrefs Bot Disallow	28	1,06
Cohere AI Disallow	21	0,79
Google AdsBot Mobile Disallow	20	0,75
Perplexity	20	0,75
Majestic Bot Disallow	17	0,64
Semrush Bot Disallow	17	0,64
ByteDance Bytespider Disallow	17	0,64
Diffbot Disallow	12	0,45
Google AdsBot Mobile Apps Disallow	11	0,41
YOU Disallow	10	0,38
Microsoft MSNBot Disallow	9	0,34
Google Image Bot Disallow	6	0,23
Exalead Bot Disallow	4	0,15
Google News Bot Disallow	4	0,15
Google Video Bot Disallow	4	0,15
DuckDuckGo Bot Disallow	4	0,15
360 Bot Disallow	3	0,11
Google Favicon Disallow	3	0,11
Google API Bot Disallow	3	0,11
Google DuplexWeb Disallow	3	0,11
BuiltWithBot Disallow	2	0,08
Pipl Disallow	2	0,08
Youdao Bot Disallow	1	0,04