ملف الروبوتات.txt توزيع الاستخدام في جزيرة نورفولك

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جزيرة نورفولك

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	10	12.66
Robots Disallow	9	11.39
Yandex Bot Disallow	4	5.06
Microsoft BingBot Disallow	4	5.06
Yahoo Slurp Disallow	4	5.06
Alexa Bot Disallow	3	3.8
Sogou Bot Disallow	3	3.8
Soso Bot Disallow	3	3.8
Common Crawl Bot Disallow	3	3.8
AppleBot Disallow	3	3.8
Anthropic Claude Bot Disallow	3	3.8
Google Bard Disallow	3	3.8
Facebook Bot Disallow	3	3.8
Google AdsBot Mobile Apps Disallow	3	3.8
Apple AI Bot Disallow	3	3.8
Ahrefs Bot Disallow	2	2.53
GPTBot Disallow	2	2.53
Cohere AI Disallow	2	2.53
Perplexity	2	2.53
Semrush Bot Disallow	1	1.27
Microsoft MSNBot Disallow	1	1.27
Google Image Bot Disallow	1	1.27
Webz Omgili Disallow	1	1.27
Google News Bot Disallow	1	1.27
Google Video Bot Disallow	1	1.27
DuckDuckGo Bot Disallow	1	1.27
Google Favicon Disallow	1	1.27
Google API Bot Disallow	1	1.27
Google DuplexWeb Disallow	1	1.27

79 الاكتشافات

ل ملف الروبوتات.txt في جزيرة نورفولك. آخر تحديث 12th جمادى الأولى 2024.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.