ملف الروبوتات.txt توزيع الاستخدام في نيوي

ليثبت ملف الروبوتات.txt توزيع الاستخدام في نيوي

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	2,307	10.24
Baidu Bot Disallow	2,029	9.01
Sogou Bot Disallow	1,705	7.57
Yandex Bot Disallow	1,651	7.33
Alexa Bot Disallow	1,573	6.98
Yahoo Slurp Disallow	1,498	6.65
Robots Disallow	1,495	6.64
Microsoft BingBot Disallow	1,488	6.61
Soso Bot Disallow	1,424	6.32
Ahrefs Bot Disallow	797	3.54
Majestic Bot Disallow	789	3.5
Semrush Bot Disallow	672	2.98
Some Robots Disallow	567	2.52
Google AdsBot Disallow	533	2.37
Google AdsBot Mobile Disallow	420	1.86
GPTBot Disallow	302	1.34
Common Crawl Bot Disallow	289	1.28
Anthropic Claude Bot Disallow	285	1.27
AppleBot Disallow	269	1.19
Google Bard Disallow	257	1.14
Facebook Bot Disallow	247	1.1
Apple AI Bot Disallow	221	0.98
Perplexity	208	0.92
Cohere AI Disallow	206	0.91
Google Media Partners Disallow	178 *	0.79
ByteDance Bytespider Disallow	166	0.74
Google AdsBot Mobile Apps Disallow	134	0.59
Webz Omgili Disallow	133	0.59
Exalead Bot Disallow	110	0.49
Google Image Bot Disallow	94	0.42
Diffbot Disallow	91	0.4
YOU Disallow	88	0.39
Microsoft MSNBot Disallow	81	0.36
DuckDuckGo Bot Disallow	41	0.18
Google News Bot Disallow	34	0.15
Google Video Bot Disallow	33	0.15
Google Favicon Disallow	28	0.12
360 Bot Disallow	25	0.11
Google API Bot Disallow	24	0.11
Google DuplexWeb Disallow	24	0.11
BuiltWithBot Disallow	6	0.03
Pipl Disallow	2	0.01

22,524 الاكتشافات

ل ملف الروبوتات.txt في نيوي. آخر تحديث 04th رجب 2025.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.