ملف robots.txt توزيع الاستخدام في جزر فيرجن البريطانية

أعلى في ملف robots.txt توزيع الاستخدام في جزر فيرجن البريطانية

تكنولوجيا	المواقع الالكترونية	%
Googlebot Disallow	8,888	13.71
Baidu Bot Disallow	8,880	13.7
Sogou Bot Disallow	8,870	13.69
Some Robots Disallow	8,757	13.51
Yandex Bot Disallow	7,212	11.13
Yahoo Slurp Disallow	7,208	11.12
Microsoft BingBot Disallow	7,207	11.12
Soso Bot Disallow	7,205	11.12
Alexa Bot Disallow	237	0.37
Robots Disallow	84	0.13
Anthropic Claude Bot Disallow	21	0.03
GPTBot Disallow	20	0.03
Common Crawl Bot Disallow	20	0.03
AppleBot Disallow	20	0.03
Google Bard Disallow	20	0.03
Facebook Bot Disallow	20	0.03
Apple AI Bot Disallow	20	0.03
Cohere AI Disallow	18	0.03
Google AdsBot Mobile Apps Disallow	17	0.03
Perplexity	16	0.02
Google Media Partners Disallow	15 *	0.02
Majestic Bot Disallow	12	0.02
Ahrefs Bot Disallow	10	0.02
Semrush Bot Disallow	10	0.02
Webz Omgili Disallow	4	0.01
Microsoft MSNBot Disallow	3	0
360 Bot Disallow	3	0
Google Image Bot Disallow	3	0
ByteDance Bytespider Disallow	2	0
Diffbot Disallow	2	0
Exalead Bot Disallow	1	0
Google News Bot Disallow	1	0
Google Video Bot Disallow	1	0
DuckDuckGo Bot Disallow	1	0
Google Favicon Disallow	1	0
Google API Bot Disallow	1	0
Google DuplexWeb Disallow	1	0
Pipl Disallow	1	0

64,812 الكشف

ل ملف robots.txt في جزر فيرجن البريطانية. آخر تحديث 14th شعبان 2025.

Googlebot Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.