Роботы.txt Распределение использования в Мальта

Топ в Роботы.txt Распределение использования в Мальта

Технологии	Веб-сайты	%
Google AdsBot Disallow	1 720	13,42
Googlebot Disallow	1 486	11,6
Google AdsBot Mobile Disallow	1 324	10,33
Ahrefs Bot Disallow	794	6,2
Robots Disallow	633	4,94
AppleBot Disallow	609	4,75
Semrush Bot Disallow	422	3,29
Majestic Bot Disallow	418	3,26
GPTBot Disallow	370	2,89
Common Crawl Bot Disallow	349	2,72
Yandex Bot Disallow	340	2,65
Anthropic Claude Bot Disallow	325	2,54
Baidu Bot Disallow	316	2,47
Google Bard Disallow	316	2,47
Facebook Bot Disallow	303	2,36
Apple AI Bot Disallow	299	2,33
Perplexity	292	2,28
Cohere AI Disallow	287	2,24
Google AdsBot Mobile Apps Disallow	284	2,22
Alexa Bot Disallow	283	2,21
Microsoft BingBot Disallow	258	2,01
Yahoo Slurp Disallow	256	2
Soso Bot Disallow	248	1,94
Sogou Bot Disallow	247	1,93
Some Robots Disallow	216	1,69
Google Image Bot Disallow	52	0,41
Google Media Partners Disallow	51 *	0,4
Exalead Bot Disallow	45	0,35
Microsoft MSNBot Disallow	41	0,32
360 Bot Disallow	39	0,3
BuiltWithBot Disallow	34	0,27
Webz Omgili Disallow	28	0,22
ByteDance Bytespider Disallow	23	0,18
DuckDuckGo Bot Disallow	18	0,14
Google News Bot Disallow	13	0,1
Google Video Bot Disallow	12	0,09
Google Favicon Disallow	12	0,09
Diffbot Disallow	11	0,09
YOU Disallow	11	0,09
Google API Bot Disallow	10	0,08
Google DuplexWeb Disallow	10	0,08
Youdao Bot Disallow	5	0,04
Pipl Disallow	3	0,02

12 813 Обнаружения

из Роботы.txt в Мальта. Последнее обновление 04th янв 2025.

Google AdsBot Disallow на данный момент является самой популярной технологией в этой категории.