Роботы.txt Распределение использования в Индия

Топ в Роботы.txt Распределение использования в Индия

Технологии	Веб-сайты	%
Googlebot Disallow	118 937	14,84
Google AdsBot Disallow	111 043	13,85
Baidu Bot Disallow	60 001	7,49
Ahrefs Bot Disallow	58 437	7,29
Google AdsBot Mobile Disallow	58 224	7,26
Robots Disallow	51 746	6,46
Sogou Bot Disallow	44 783	5,59
Yandex Bot Disallow	38 717	4,83
Microsoft BingBot Disallow	38 192	4,76
Alexa Bot Disallow	37 904	4,73
Yahoo Slurp Disallow	36 975	4,61
Soso Bot Disallow	35 436	4,42
Some Robots Disallow	33 664	4,2
Google Media Partners Disallow	7 181 *	0,9
GPTBot Disallow	6 537	0,82
Majestic Bot Disallow	5 700	0,71
Common Crawl Bot Disallow	5 611	0,7
Google Bard Disallow	4 914	0,61
Anthropic Claude Bot Disallow	4 820	0,6
AppleBot Disallow	4 741	0,59
Facebook Bot Disallow	4 628	0,58
Apple AI Bot Disallow	4 325	0,54
Semrush Bot Disallow	4 322	0,54
Perplexity	4 074	0,51
Cohere AI Disallow	3 631	0,45
Google AdsBot Mobile Apps Disallow	3 579	0,45
BuiltWithBot Disallow	2 996	0,37
Google Image Bot Disallow	2 062	0,26
Microsoft MSNBot Disallow	1 777	0,22
Webz Omgili Disallow	1 298	0,16
ByteDance Bytespider Disallow	1 252	0,16
Exalead Bot Disallow	1 026	0,13
360 Bot Disallow	490	0,06
DuckDuckGo Bot Disallow	407	0,05
Google News Bot Disallow	372	0,05
Google Video Bot Disallow	301	0,04
YOU Disallow	282	0,04
Diffbot Disallow	274	0,03
Google Favicon Disallow	251	0,03
Google API Bot Disallow	181	0,02
Google DuplexWeb Disallow	172	0,02
Youdao Bot Disallow	169	0,02
Pipl Disallow	82	0,01
Google FeedFetcher Disallow	13	0
Google Read Aloud Disallow	4	0
Google Web Light Disallow	1	0

801 532 Обнаружения

из Роботы.txt в Индия. Последнее обновление 04th янв 2025.

Googlebot Disallow на данный момент является самой популярной технологией в этой категории.