ロボット.txt 使用量の分布 で スウェーデン

トップイン ロボット.txt 使用量の分布 で スウェーデン

テクノロジー	ウェブサイト	%
Google AdsBot Disallow	48,087	10.35
Googlebot Disallow	35,938	7.74
Google AdsBot Mobile Disallow	33,959	7.31
Ahrefs Bot Disallow	25,163	5.42
Common Crawl Bot Disallow	18,757	4.04
GPTBot Disallow	18,722	4.03
Anthropic Claude Bot Disallow	17,745	3.82
Google Bard Disallow	17,171	3.7
AppleBot Disallow	17,028	3.67
Facebook Bot Disallow	17,008	3.66
Apple AI Bot Disallow	16,628	3.58
Cohere AI Disallow	16,314	3.51
Perplexity	16,291	3.51
Baidu Bot Disallow	15,963	3.44
Robots Disallow	14,287	3.08
Google AdsBot Mobile Apps Disallow	12,778	2.75
Majestic Bot Disallow	12,284	2.64
Sogou Bot Disallow	12,153	2.62
Yandex Bot Disallow	12,126	2.61
Yahoo Slurp Disallow	10,640	2.29
Alexa Bot Disallow	10,165	2.19
Semrush Bot Disallow	10,030	2.16
Microsoft BingBot Disallow	9,793	2.11
Soso Bot Disallow	8,187	1.76
Some Robots Disallow	7,972	1.72
Webz Omgili Disallow	4,698	1.01
ByteDance Bytespider Disallow	4,513	0.97
Diffbot Disallow	3,922	0.84
YOU Disallow	3,837	0.83
Google Media Partners Disallow	3,179 *	0.68
Microsoft MSNBot Disallow	2,466	0.53
Exalead Bot Disallow	1,775	0.38
Google Image Bot Disallow	987	0.21
DuckDuckGo Bot Disallow	944	0.2
Google Video Bot Disallow	562	0.12
Google News Bot Disallow	554	0.12
Google Favicon Disallow	473	0.1
Google API Bot Disallow	425	0.09
Google DuplexWeb Disallow	423	0.09
360 Bot Disallow	392	0.08
BuiltWithBot Disallow	196	0.04
Pipl Disallow	43	0.01
Youdao Bot Disallow	12	0
Google FeedFetcher Disallow	5	0
Google Read Aloud Disallow	2	0

464,597 検出

の ロボット.txt で スウェーデン. 最終更新 04th 1 2025.

Google AdsBot Disallow 現在、このカテゴリで最も人気のあるテクノロジーです。