ملف الروبوتات.txt توزيع الاستخدام في ديك رومى

ليثبت ملف الروبوتات.txt توزيع الاستخدام في ديك رومى

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	53,347	22.44
Google AdsBot Disallow	49,147	20.67
Google AdsBot Mobile Disallow	41,060	17.27
Ahrefs Bot Disallow	11,918	5.01
Robots Disallow	8,901	3.74
Alexa Bot Disallow	7,592	3.19
Baidu Bot Disallow	7,314	3.08
GPTBot Disallow	5,706	2.4
Sogou Bot Disallow	5,230	2.2
Majestic Bot Disallow	5,127	2.16
Semrush Bot Disallow	4,373	1.84
Soso Bot Disallow	4,328	1.82
Yandex Bot Disallow	4,102	1.73
Microsoft BingBot Disallow	3,331	1.4
Some Robots Disallow	3,218	1.35
Yahoo Slurp Disallow	3,197	1.34
Google Media Partners Disallow	3,044 *	1.28
Google Image Bot Disallow	1,939	0.82
Exalead Bot Disallow	1,898	0.8
360 Bot Disallow	1,516	0.64
Common Crawl Bot Disallow	1,500	0.63
Anthropic Claude Bot Disallow	1,330	0.56
Google Bard Disallow	1,063	0.45
AppleBot Disallow	996	0.42
Facebook Bot Disallow	934	0.39
Apple AI Bot Disallow	872	0.37
Cohere AI Disallow	862	0.36
Perplexity	831	0.35
Google AdsBot Mobile Apps Disallow	812	0.34
ByteDance Bytespider Disallow	578	0.24
Microsoft MSNBot Disallow	379	0.16
Webz Omgili Disallow	307	0.13
BuiltWithBot Disallow	255	0.11
Diffbot Disallow	112	0.05
DuckDuckGo Bot Disallow	90	0.04
Google Video Bot Disallow	84	0.04
Google News Bot Disallow	78	0.03
Youdao Bot Disallow	77	0.03
YOU Disallow	63	0.03
Google API Bot Disallow	61	0.03
Google Favicon Disallow	60	0.03
Google DuplexWeb Disallow	59	0.02
Pipl Disallow	18	0.01
Google FeedFetcher Disallow	12	0.01
Google Read Aloud Disallow	2	0
Google Web Light Disallow	1	0

237,724 الاكتشافات

ل ملف الروبوتات.txt في ديك رومى. آخر تحديث 01st شعبان 2025.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.