Robots.txt Distribución de uso en Liberia

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
GPTBot Disallow	25	8,74
Google Bard Disallow	25	8,74
Common Crawl Bot Disallow	23	8,04
Cohere AI Disallow	23	8,04
Anthropic Claude Bot Disallow	22	7,69
Facebook Bot Disallow	22	7,69
Google AdsBot Mobile Apps Disallow	22	7,69
Robots Disallow	21	7,34
AppleBot Disallow	21	7,34
Apple AI Bot Disallow	21	7,34
Perplexity	21	7,34
Ahrefs Bot Disallow	6	2,1
Yandex Bot Disallow	5	1,75
Microsoft BingBot Disallow	4	1,4
Alexa Bot Disallow	4	1,4
Yahoo Slurp Disallow	4	1,4
Sogou Bot Disallow	4	1,4
Soso Bot Disallow	4	1,4
Semrush Bot Disallow	4	1,4
Majestic Bot Disallow	2	0,7
ByteDance Bytespider Disallow	1	0,35
Webz Omgili Disallow	1	0,35
Diffbot Disallow	1	0,35