Роботы.txt Распределение использования в Соединенных Штатах

Вверху Роботы.txt Распределение использования в Соединенных Штатах

Технологии	Веб-сайты	%
Yandex Bot Disallow	2 179 192	5,66
Microsoft BingBot Disallow	2 074 445	5,39
Alexa Bot Disallow	2 028 947	5,27
Robots Disallow	2 025 965	5,26
Yahoo Slurp Disallow	1 958 110	5,09
Soso Bot Disallow	1 885 251	4,9
Ahrefs Bot Disallow	1 849 788	4,81
GPTBot Disallow	1 830 579	4,76
Common Crawl Bot Disallow	1 819 022	4,73
AppleBot Disallow	1 721 525	4,47
Anthropic Claude Bot Disallow	1 708 084	4,44
Google Bard Disallow	1 672 269	4,34
Facebook Bot Disallow	1 654 911	4,3
Apple AI Bot Disallow	1 632 881	4,24
Cohere AI Disallow	1 599 398	4,16
Perplexity	1 571 764	4,08
Google AdsBot Disallow	1 545 606	4,02
Google AdsBot Mobile Apps Disallow	1 539 203	4
Google AdsBot Mobile Disallow	1 221 522	3,17
Googlebot Disallow	970 002	2,52
Majestic Bot Disallow	764 168	1,99
Semrush Bot Disallow	671 898	1,75
Baidu Bot Disallow	396 100	1,03
Some Robots Disallow	344 099	0,89
Sogou Bot Disallow	304 959	0,79
ByteDance Bytespider Disallow	208 196	0,54
Google Media Partners Disallow	201 327 *	0,52
Exalead Bot Disallow	179 660	0,47
Microsoft MSNBot Disallow	170 085	0,44
360 Bot Disallow	155 771	0,4
Google Image Bot Disallow	133 897	0,35
Webz Omgili Disallow	130 181	0,34
Diffbot Disallow	71 702	0,19
BuiltWithBot Disallow	64 941	0,17
Google News Bot Disallow	34 485	0,09
Google Video Bot Disallow	33 741	0,09
Youdao Bot Disallow	29 154	0,08
Google Favicon Disallow	26 822	0,07
YOU Disallow	26 515	0,07
DuckDuckGo Bot Disallow	25 954	0,07
Google API Bot Disallow	9 620	0,02
Google DuplexWeb Disallow	8 499	0,02
Pipl Disallow	8 368	0,02
Google FeedFetcher Disallow	1 214	0
Google Read Aloud Disallow	1 031	0
LLMS Text	588	0
Google Web Light Disallow	89	0
Google BIG Bench Disallow	13	0

38 491 541 Обнаружения

из Роботы.txt в Соединенных Штатах. Последнее обновление 21st апр 2025.

Yandex Bot Disallow в настоящее время является самой популярной технологией в этой категории.