Роботы.txt Распределение использования в Гана

Топ в Роботы.txt Распределение использования в Гана

Технологии	Веб-сайты	%
Googlebot Disallow	820	12,05
Google AdsBot Disallow	675	9,92
Google AdsBot Mobile Disallow	575	8,45
Robots Disallow	410	6,02
Baidu Bot Disallow	367	5,39
Some Robots Disallow	269	3,95
Sogou Bot Disallow	251	3,69
Google Media Partners Disallow	243 *	3,57
Yandex Bot Disallow	222	3,26
Microsoft BingBot Disallow	209	3,07
GPTBot Disallow	195	2,87
Alexa Bot Disallow	191	2,81
Common Crawl Bot Disallow	190	2,79
Yahoo Slurp Disallow	189	2,78
AppleBot Disallow	186	2,73
Soso Bot Disallow	183	2,69
Google Bard Disallow	181	2,66
Anthropic Claude Bot Disallow	179	2,63
Facebook Bot Disallow	178	2,62
Perplexity	175	2,57
Apple AI Bot Disallow	174	2,56
Cohere AI Disallow	172	2,53
Google AdsBot Mobile Apps Disallow	165	2,42
Ahrefs Bot Disallow	162	2,38
Majestic Bot Disallow	59	0,87
Semrush Bot Disallow	59	0,87
ByteDance Bytespider Disallow	26	0,38
Microsoft MSNBot Disallow	14	0,21
Webz Omgili Disallow	13	0,19
Google Image Bot Disallow	11	0,16
Exalead Bot Disallow	10	0,15
YOU Disallow	10	0,15
360 Bot Disallow	9	0,13
Diffbot Disallow	8	0,12
DuckDuckGo Bot Disallow	5	0,07
Youdao Bot Disallow	5	0,07
BuiltWithBot Disallow	4	0,06
Google News Bot Disallow	3	0,04
Google Video Bot Disallow	2	0,03
Google Favicon Disallow	2	0,03
Google API Bot Disallow	2	0,03
Google DuplexWeb Disallow	2	0,03
Google FeedFetcher Disallow	1	0,01

6 806 Обнаружения

из Роботы.txt в Гана. Последнее обновление 04th янв 2025.

Googlebot Disallow на данный момент является самой популярной технологией в этой категории.