Роботы.txt Распределение использования в Гренландии

Вверху Роботы.txt Распределение использования в Гренландии

Технологии	Веб-сайты	%
Robots Disallow	115	10,5
Google AdsBot Disallow	111	10,14
Googlebot Disallow	105	9,59
Google AdsBot Mobile Disallow	73	6,67
Ahrefs Bot Disallow	61	5,57
Baidu Bot Disallow	56	5,11
Some Robots Disallow	44	4,02
GPTBot Disallow	37	3,38
Yandex Bot Disallow	32	2,92
Common Crawl Bot Disallow	32	2,92
Anthropic Claude Bot Disallow	32	2,92
Google Bard Disallow	31	2,83
Microsoft BingBot Disallow	30	2,74
Facebook Bot Disallow	30	2,74
AppleBot Disallow	29	2,65
Alexa Bot Disallow	26	2,37
Yahoo Slurp Disallow	26	2,37
Apple AI Bot Disallow	26	2,37
Cohere AI Disallow	25	2,28
Perplexity	25	2,28
Soso Bot Disallow	24	2,19
Google AdsBot Mobile Apps Disallow	24	2,19
Majestic Bot Disallow	19	1,74
Google Media Partners Disallow	15 *	1,37
Webz Omgili Disallow	10	0,91
Semrush Bot Disallow	8	0,73
ByteDance Bytespider Disallow	8	0,73
Microsoft MSNBot Disallow	6	0,55
Diffbot Disallow	5	0,46
Google Image Bot Disallow	4	0,37
YOU Disallow	3	0,27
Google News Bot Disallow	3	0,27
Google Video Bot Disallow	3	0,27
DuckDuckGo Bot Disallow	3	0,27
Google Favicon Disallow	3	0,27
Google API Bot Disallow	3	0,27
Google DuplexWeb Disallow	3	0,27
Exalead Bot Disallow	2	0,18
360 Bot Disallow	1	0,09
BuiltWithBot Disallow	1	0,09
Pipl Disallow	1	0,09

1 095 Обнаружения

из Роботы.txt в Гренландии. Последнее обновление 07th мар 2025.

Robots Disallow в настоящее время является самой популярной технологией в этой категории.