ملف الروبوتات.txt توزيع الاستخدام في بيتكيرن

ليثبت ملف الروبوتات.txt توزيع الاستخدام في بيتكيرن

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	7	18.42
Googlebot Disallow	3	7.89
Yandex Bot Disallow	3	7.89
Alexa Bot Disallow	2	5.26
GPTBot Disallow	2	5.26
Common Crawl Bot Disallow	2	5.26
AppleBot Disallow	2	5.26
Anthropic Claude Bot Disallow	2	5.26
Google Bard Disallow	2	5.26
Facebook Bot Disallow	2	5.26
Apple AI Bot Disallow	2	5.26
Cohere AI Disallow	2	5.26
Perplexity	2	5.26
Google AdsBot Mobile Apps Disallow	2	5.26
Microsoft BingBot Disallow	1	2.63
Yahoo Slurp Disallow	1	2.63
Soso Bot Disallow	1	2.63

38 الاكتشافات

ل ملف الروبوتات.txt في بيتكيرن. آخر تحديث 02st شعبان 2025.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.