Роботы.txt Распределение использования на Сейшельских островах

Вверху Роботы.txt Распределение использования на Сейшельских островах

Технологии	Веб-сайты	%
Googlebot Disallow	265	13,85
Sogou Bot Disallow	168	8,78
Baidu Bot Disallow	164	8,57
Google Media Partners Disallow	133 *	6,95
Robots Disallow	124	6,48
Soso Bot Disallow	124	6,48
Alexa Bot Disallow	119	6,22
Yandex Bot Disallow	116	6,06
Microsoft BingBot Disallow	114	5,96
Yahoo Slurp Disallow	114	5,96
Some Robots Disallow	92	4,81
Ahrefs Bot Disallow	44	2,3
Common Crawl Bot Disallow	33	1,73
Majestic Bot Disallow	31	1,62
Semrush Bot Disallow	28	1,46
GPTBot Disallow	25	1,31
Anthropic Claude Bot Disallow	23	1,2
AppleBot Disallow	21	1,1
Google Bard Disallow	19	0,99
Facebook Bot Disallow	19	0,99
Apple AI Bot Disallow	18	0,94
Exalead Bot Disallow	17	0,89
Cohere AI Disallow	16	0,84
Perplexity	16	0,84
Google AdsBot Mobile Apps Disallow	15	0,78
360 Bot Disallow	15	0,78
BuiltWithBot Disallow	15	0,78
Webz Omgili Disallow	4	0,21
ByteDance Bytespider Disallow	3	0,16
Microsoft MSNBot Disallow	3	0,16
Google Video Bot Disallow	3	0,16
Google Image Bot Disallow	2	0,1
DuckDuckGo Bot Disallow	2	0,1
Diffbot Disallow	1	0,05
YOU Disallow	1	0,05
Google News Bot Disallow	1	0,05
Google Favicon Disallow	1	0,05
Youdao Bot Disallow	1	0,05
Google API Bot Disallow	1	0,05
Google DuplexWeb Disallow	1	0,05
LLMS Text	1	0,05

1 913 Обнаружения

из Роботы.txt на Сейшельских островах. Последнее обновление 21st апр 2025.

Googlebot Disallow в настоящее время является самой популярной технологией в этой категории.