Robots.txt Distribución de uso en Liberia

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
GPTBot Disallow	25	13,16
Google Bard Disallow	25	13,16
Common Crawl Bot Disallow	23	12,11
Cohere AI Disallow	23	12,11
Anthropic Claude Bot Disallow	22	11,58
Facebook Bot Disallow	22	11,58
Google AdsBot Mobile Apps Disallow	22	7,69
Robots Disallow	21	7,34
AppleBot Disallow	21	7,34
Apple AI Bot Disallow	21	11,05
Perplexity	21	11,05
Ahrefs Bot Disallow	6	2,1
Yandex Bot Disallow	5	1,75
Microsoft BingBot Disallow	4	1,4
Alexa Bot Disallow	4	2,11
Yahoo Slurp Disallow	4	1,4
Sogou Bot Disallow	4	1,4
Soso Bot Disallow	4	1,4
Semrush Bot Disallow	4	1,4
Majestic Bot Disallow	2	0,7
ByteDance Bytespider Disallow	1	0,53
Webz Omgili Disallow	1	0,53
Diffbot Disallow	1	0,53