ملف robots.txt توزيع الاستخدام في قائمة أفضل مليون موقع

أعلى في ملف robots.txt توزيع الاستخدام في قائمة أفضل مليون موقع

تكنولوجيا	المواقع الالكترونية	%
Robots Disallow	152,294	15.23
Ahrefs Bot Disallow	69,123	6.91
Googlebot Disallow	58,049	5.8
Google AdsBot Disallow	48,569	4.86
Yandex Bot Disallow	44,451	4.45
Some Robots Disallow	42,262	4.23
Baidu Bot Disallow	34,429	3.44
Semrush Bot Disallow	33,185	3.32
Majestic Bot Disallow	32,995	3.3
GPTBot Disallow	32,913	3.29
Common Crawl Bot Disallow	24,915	2.49
Microsoft BingBot Disallow	24,796	2.48
Google Media Partners Disallow	21,188	2.12
Anthropic Claude Bot Disallow	20,991	2.1
AppleBot Disallow	20,261	2.03
Sogou Bot Disallow	19,769	1.98
Alexa Bot Disallow	19,057	1.91
Yahoo Slurp Disallow	19,033	1.9
Google Bard Disallow	15,483	1.55
Facebook Bot Disallow	13,923	1.39
Microsoft MSNBot Disallow	13,543	1.35
Google AdsBot Mobile Disallow	12,754	1.28
ByteDance Bytespider Disallow	12,589	1.26
Perplexity	11,178	1.12
Google Image Bot Disallow	11,125	1.11
Soso Bot Disallow	11,093	1.11
Cohere AI Disallow	10,435	1.04
Exalead Bot Disallow	9,613	0.96
Apple AI Bot Disallow	9,553	0.96
Webz Omgili Disallow	9,447	0.94
Google AdsBot Mobile Apps Disallow	8,299	0.83
Google News Bot Disallow	7,075	0.71
DuckDuckGo Bot Disallow	6,344	0.63
360 Bot Disallow	6,083	0.61
Diffbot Disallow	5,730	0.57
Google Video Bot Disallow	5,643	0.56
Google Favicon Disallow	5,033	0.5
Google API Bot Disallow	4,935	0.49
Google DuplexWeb Disallow	4,818	0.48
YOU Disallow	4,059	0.41
BuiltWithBot Disallow	2,739	0.27
Pipl Disallow	2,379	0.24
Youdao Bot Disallow	919	0.09
Google FeedFetcher Disallow	144	0.01
LLMS Text	83	0.01
Google Read Aloud Disallow	55	0.01
Google Web Light Disallow	15	0
Google BIG Bench Disallow	5	0

923,374 الكشف

ل ملف robots.txt في قائمة أفضل مليون موقع. آخر تحديث 14th شعبان 2025.

Google Media Partners Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.