Роботы.txt Распределение использования в Соломоновы острова

Топ в Роботы.txt Распределение использования в Соломоновы острова

Технологии	Веб-сайты	%
Robots Disallow	150	39,79
Googlebot Disallow	18	4,77
Google Media Partners Disallow	16 *	4,24
GPTBot Disallow	14	3,71
Common Crawl Bot Disallow	13	3,45
Anthropic Claude Bot Disallow	12	3,18
Facebook Bot Disallow	12	3,18
AppleBot Disallow	11	2,92
Google Bard Disallow	11	2,92
Apple AI Bot Disallow	11	2,92
Cohere AI Disallow	11	2,92
Perplexity	10	2,65
Baidu Bot Disallow	9	2,39
Sogou Bot Disallow	9	2,39
Google AdsBot Mobile Apps Disallow	9	2,39
Soso Bot Disallow	8	2,12
Yandex Bot Disallow	7	1,86
Alexa Bot Disallow	7	1,86
Yahoo Slurp Disallow	7	1,86
Microsoft BingBot Disallow	6	1,59
Ahrefs Bot Disallow	6	1,59
Semrush Bot Disallow	3	0,8
ByteDance Bytespider Disallow	3	0,8
Webz Omgili Disallow	3	0,8
Majestic Bot Disallow	2	0,53
Exalead Bot Disallow	2	0,53
360 Bot Disallow	2	0,53
Diffbot Disallow	2	0,53
BuiltWithBot Disallow	2	0,53
Microsoft MSNBot Disallow	1	0,27

377 Обнаружения

из Роботы.txt в Соломоновы острова. Последнее обновление 04th янв 2025.

Robots Disallow на данный момент является самой популярной технологией в этой категории.