ملف الروبوتات.txt توزيع الاستخدام في نيوزيلندا

ليثبت ملف الروبوتات.txt توزيع الاستخدام في نيوزيلندا

تكنولوجيا	المواقع الإلكترونية	%
Google AdsBot Disallow	67,980	14.08
Google AdsBot Mobile Disallow	49,113	10.17
Googlebot Disallow	30,762	6.37
GPTBot Disallow	26,336	5.45
Common Crawl Bot Disallow	25,961	5.38
Google AdsBot Mobile Apps Disallow	25,412	5.26
Anthropic Claude Bot Disallow	24,051	4.98
Google Bard Disallow	24,033	4.98
Facebook Bot Disallow	23,930	4.96
AppleBot Disallow	23,659	4.9
Cohere AI Disallow	23,550	4.88
Apple AI Bot Disallow	23,388	4.84
Perplexity	23,221	4.81
Ahrefs Bot Disallow	21,221	4.39
Baidu Bot Disallow	12,220	2.53
Robots Disallow	11,776	2.44
Microsoft BingBot Disallow	9,614	1.99
Yandex Bot Disallow	6,330	1.31
Yahoo Slurp Disallow	5,374	1.11
Alexa Bot Disallow	3,904	0.81
Soso Bot Disallow	3,546	0.73
Sogou Bot Disallow	3,520	0.73
Majestic Bot Disallow	3,030	0.63
Some Robots Disallow	2,802	0.58
Semrush Bot Disallow	2,317	0.48
Microsoft MSNBot Disallow	951	0.2
Google Image Bot Disallow	858	0.18
ByteDance Bytespider Disallow	844	0.17
Exalead Bot Disallow	784	0.16
Webz Omgili Disallow	535	0.11
Google Media Partners Disallow	307 *	0.06
Google News Bot Disallow	299	0.06
Google Video Bot Disallow	284	0.06
360 Bot Disallow	254	0.05
BuiltWithBot Disallow	157	0.03
Google Favicon Disallow	121	0.03
Diffbot Disallow	99	0.02
DuckDuckGo Bot Disallow	90	0.02
Google API Bot Disallow	58	0.01
Google DuplexWeb Disallow	57	0.01
Youdao Bot Disallow	46	0.01
YOU Disallow	32	0.01
Pipl Disallow	25	0.01
Google FeedFetcher Disallow	2	0

482,853 الاكتشافات

ل ملف الروبوتات.txt في نيوزيلندا. آخر تحديث 12th جمادى الأولى 2024.

Google AdsBot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.