Роботы.txt Распределение использования в Южной Георгии и Южных Сандвичевых островах

Вверху Роботы.txt Распределение использования в Южной Георгии и Южных Сандвичевых островах

Технологии	Веб-сайты	%
Robots Disallow	136	15,91
Googlebot Disallow	90	10,53
Baidu Bot Disallow	81	9,47
Some Robots Disallow	80	9,36
Sogou Bot Disallow	77	9,01
Alexa Bot Disallow	38	4,44
Yahoo Slurp Disallow	31	3,63
Soso Bot Disallow	31	3,63
Microsoft BingBot Disallow	29	3,39
Google Media Partners Disallow	27 *	3,16
Yandex Bot Disallow	26	3,04
GPTBot Disallow	21	2,46
Anthropic Claude Bot Disallow	20	2,34
Majestic Bot Disallow	19	2,22
Semrush Bot Disallow	18	2,11
Ahrefs Bot Disallow	17	1,99
ByteDance Bytespider Disallow	14	1,64
AppleBot Disallow	11	1,29
Common Crawl Bot Disallow	10	1,17
Facebook Bot Disallow	10	1,17
Apple AI Bot Disallow	10	1,17
Microsoft MSNBot Disallow	10	1,17
Webz Omgili Disallow	8	0,94
Google Bard Disallow	7	0,82
Cohere AI Disallow	6	0,7
Google Image Bot Disallow	6	0,7
Perplexity	5	0,58
Diffbot Disallow	4	0,47
Google AdsBot Mobile Apps Disallow	3	0,35
Google FeedFetcher Disallow	3	0,35
Exalead Bot Disallow	2	0,23
Youdao Bot Disallow	2	0,23
Google News Bot Disallow	1	0,12
Google Video Bot Disallow	1	0,12
Google Favicon Disallow	1	0,12

855 Обнаружения

из Роботы.txt в Южной Георгии и Южных Сандвичевых островах. Последнее обновление 21st апр 2025.

Robots Disallow в настоящее время является самой популярной технологией в этой категории.