Archivo robots.txt Distribución de uso En Tonga

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Robots Disallow	5.568	31,86
Googlebot Disallow	1.649	9,44
Baidu Bot Disallow	1.592	9,11
Sogou Bot Disallow	1.542	8,82
Some Robots Disallow	1.379	7,89
Google Media Partners Disallow	1.274 ^*	7,29
Alexa Bot Disallow	764	66,38
Yandex Bot Disallow	746	4,27
Microsoft BingBot Disallow	738	4,22
Yahoo Slurp Disallow	724	4,14
Soso Bot Disallow	720	4,12
Ahrefs Bot Disallow	86	0,49
GPTBot Disallow	73	6,34
Google AdsBot Disallow	70	0,4
Semrush Bot Disallow	69	0,39
Majestic Bot Disallow	62	0,35
Common Crawl Bot Disallow	45	3,91
Google Bard Disallow	44	3,82
AppleBot Disallow	40	0,23
Anthropic Claude Bot Disallow	35	3,04
Facebook Bot Disallow	35	3,04
Apple AI Bot Disallow	29	2,52
Perplexity	27	2,35
Cohere AI Disallow	22	1,91
Webz Omgili Disallow	20	1,74
Google AdsBot Mobile Apps Disallow	19	0,11
ByteDance Bytespider Disallow	16	1,39
Microsoft MSNBot Disallow	15	0,09
Google Image Bot Disallow	12	0,07
Exalead Bot Disallow	11	0,06
Diffbot Disallow	10	0,87
YOU Disallow	8	0,7
Pipl Disallow	6	0,03
360 Bot Disallow	4	0,02
Google News Bot Disallow	4	0,02
DuckDuckGo Bot Disallow	3	0,02
Google Video Bot Disallow	2	0,01
Google Favicon Disallow	2	0,01
Youdao Bot Disallow	2	0,01
Google API Bot Disallow	2	0,01
Google DuplexWeb Disallow	2	0,01
LLMS Text	2	0,01
Google FeedFetcher Disallow	1	0,01