ملف الروبوتات.txt توزيع الاستخدام في سفالبارد وجان ماين

ليثبت ملف الروبوتات.txt توزيع الاستخدام في سفالبارد وجان ماين

تكنولوجيا	المواقع الإلكترونية	%
Google AdsBot Disallow	23	13.61
Google AdsBot Mobile Disallow	23	13.61
Googlebot Disallow	14	8.28
Common Crawl Bot Disallow	10	5.92
GPTBot Disallow	10	5.92
AppleBot Disallow	10	5.92
Anthropic Claude Bot Disallow	10	5.92
Google Bard Disallow	10	5.92
Facebook Bot Disallow	10	5.92
Apple AI Bot Disallow	10	5.92
Cohere AI Disallow	10	5.92
Perplexity	10	5.92
Google AdsBot Mobile Apps Disallow	10	5.92
Robots Disallow	3	1.78
Some Robots Disallow	1	0.59
Yandex Bot Disallow	1	0.59
Microsoft BingBot Disallow	1	0.59
Alexa Bot Disallow	1	0.59
Yahoo Slurp Disallow	1	0.59
Soso Bot Disallow	1	0.59

169 الاكتشافات

ل ملف الروبوتات.txt في سفالبارد وجان ماين. آخر تحديث 04th رجب 2025.

Google AdsBot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.