机器人.txt 使用分布 在 马恩岛

置顶 机器人.txt 使用分布 在 马恩岛

技术	网站	%
Googlebot Disallow	1,920	13.18
Baidu Bot Disallow	1,858	12.75
Yandex Bot Disallow	1,427	9.79
Some Robots Disallow	1,237	8.49
Microsoft BingBot Disallow	951	6.53
Yahoo Slurp Disallow	875	6
Sogou Bot Disallow	870	5.97
Alexa Bot Disallow	868	5.96
Soso Bot Disallow	867	5.95
Robots Disallow	717	4.92
Anthropic Claude Bot Disallow	608	4.17
Ahrefs Bot Disallow	513	3.52
Google AdsBot Disallow	510	3.5
Google AdsBot Mobile Disallow	163	1.12
GPTBot Disallow	146	1
Common Crawl Bot Disallow	118	0.81
Google Bard Disallow	96	0.66
Facebook Bot Disallow	95	0.65
Google AdsBot Mobile Apps Disallow	81	0.56
AppleBot Disallow	77	0.53
Semrush Bot Disallow	76	0.52
Apple AI Bot Disallow	70	0.48
Majestic Bot Disallow	68	0.47
Cohere AI Disallow	59	0.4
Webz Omgili Disallow	45	0.31
Perplexity	38	0.26
Google Media Partners Disallow	32 *	0.22
Microsoft MSNBot Disallow	29	0.2
Exalead Bot Disallow	21	0.14
ByteDance Bytespider Disallow	20	0.14
Google Image Bot Disallow	17	0.12
360 Bot Disallow	13	0.09
DuckDuckGo Bot Disallow	13	0.09
Google News Bot Disallow	10	0.07
Google Video Bot Disallow	10	0.07
Google Favicon Disallow	10	0.07
Google API Bot Disallow	10	0.07
Google DuplexWeb Disallow	10	0.07
BuiltWithBot Disallow	9	0.06
Diffbot Disallow	6	0.04
Pipl Disallow	5	0.03
YOU Disallow	4	0.03
Youdao Bot Disallow	1	0.01

14,573 检测结果

的 机器人.txt 在 马恩岛. 最近更新时间 11th 9月 2024.

Googlebot Disallow 是目前该类别中最流行的技术。