Роботы.txt Распределение использования в Кокосовые острова

Топ в Роботы.txt Распределение использования в Кокосовые острова

Технологии	Веб-сайты	%
Googlebot Disallow	41 643	13,73
Baidu Bot Disallow	40 793	13,45
Sogou Bot Disallow	28 447	9,38
Some Robots Disallow	24 855	8,2
Yandex Bot Disallow	23 723	7,82
Microsoft BingBot Disallow	22 420	7,39
Yahoo Slurp Disallow	22 362	7,37
Alexa Bot Disallow	21 726	7,16
Soso Bot Disallow	20 125	6,64
Robots Disallow	14 978	4,94
Ahrefs Bot Disallow	5 913	1,95
Google Media Partners Disallow	5 445 *	1,8
Majestic Bot Disallow	5 362	1,77
Semrush Bot Disallow	4 765	1,57
360 Bot Disallow	2 669	0,88
Microsoft MSNBot Disallow	2 514	0,83
Google AdsBot Disallow	1 888	0,62
Google Image Bot Disallow	1 306	0,43
Common Crawl Bot Disallow	1 188	0,39
GPTBot Disallow	1 161	0,38
Google AdsBot Mobile Disallow	1 028	0,34
Youdao Bot Disallow	979	0,32
AppleBot Disallow	914	0,3
Anthropic Claude Bot Disallow	839	0,28
ByteDance Bytespider Disallow	765	0,25
Facebook Bot Disallow	716	0,24
Google Bard Disallow	663	0,22
Exalead Bot Disallow	579	0,19
Apple AI Bot Disallow	529	0,17
Cohere AI Disallow	468	0,15
Google AdsBot Mobile Apps Disallow	458	0,15
Perplexity	451	0,15
Webz Omgili Disallow	271	0,09
BuiltWithBot Disallow	220	0,07
DuckDuckGo Bot Disallow	152	0,05
Google News Bot Disallow	138	0,05
Google Video Bot Disallow	130	0,04
YOU Disallow	128	0,04
Google Favicon Disallow	127	0,04
Google API Bot Disallow	119	0,04
Google DuplexWeb Disallow	117	0,04
Diffbot Disallow	116	0,04
Google FeedFetcher Disallow	43	0,01
Pipl Disallow	36	0,01

303 269 Обнаружения

из Роботы.txt в Кокосовые острова. Последнее обновление 31st янв 2025.

Googlebot Disallow на данный момент является самой популярной технологией в этой категории.