Роботы.txt Распределение использования в Виргинские острова США

Топ в Роботы.txt Распределение использования в Виргинские острова США

Технологии	Веб-сайты	%
Google AdsBot Disallow	494	17,55
Googlebot Disallow	342	12,15
GPTBot Disallow	149	5,29
Common Crawl Bot Disallow	147	5,22
Anthropic Claude Bot Disallow	142	5,04
Google AdsBot Mobile Apps Disallow	141	5,01
Google Bard Disallow	137	4,87
AppleBot Disallow	136	4,83
Facebook Bot Disallow	136	4,83
Apple AI Bot Disallow	134	4,76
Cohere AI Disallow	133	4,72
Perplexity	131	4,65
Ahrefs Bot Disallow	99	3,52
Baidu Bot Disallow	72	2,56
Robots Disallow	54	1,92
Yandex Bot Disallow	53	1,88
Majestic Bot Disallow	38	1,35
Some Robots Disallow	34	1,21
Google Media Partners Disallow	32 *	1,14
Semrush Bot Disallow	31	1,1
Alexa Bot Disallow	29	1,03
Yahoo Slurp Disallow	29	1,03
Microsoft BingBot Disallow	28	0,99
Sogou Bot Disallow	26	0,92
Soso Bot Disallow	23	0,82
Microsoft MSNBot Disallow	12	0,43
Exalead Bot Disallow	8	0,28
Google Image Bot Disallow	5	0,18
ByteDance Bytespider Disallow	4	0,14
Webz Omgili Disallow	4	0,14
360 Bot Disallow	2	0,07
BuiltWithBot Disallow	2	0,07
Google News Bot Disallow	2	0,07
Google Video Bot Disallow	2	0,07
Diffbot Disallow	1	0,04
Google Favicon Disallow	1	0,04
YOU Disallow	1	0,04
Pipl Disallow	1	0,04

2 815 Обнаружения

из Роботы.txt в Виргинские острова США. Последнее обновление 01st ноя 2024.

Google AdsBot Disallow на данный момент является самой популярной технологией в этой категории.