로봇.txt 사용량 분포 ~에 남아프리카

핀을 꼽는 로봇.txt 사용량 분포 ~에 남아프리카

기술	웹사이트	%
Googlebot Disallow	39,206	14.96
Google AdsBot Disallow	36,236	13.82
Google AdsBot Mobile Disallow	22,571	8.61
Baidu Bot Disallow	20,813	7.94
Ahrefs Bot Disallow	15,691	5.99
Some Robots Disallow	11,453	4.37
Yandex Bot Disallow	11,427	4.36
Microsoft BingBot Disallow	11,358	4.33
Yahoo Slurp Disallow	10,677	4.07
Robots Disallow	10,534	4.02
Alexa Bot Disallow	10,012	3.82
Sogou Bot Disallow	9,988	3.81
Soso Bot Disallow	9,575	3.65
GPTBot Disallow	4,447	1.7
Google AdsBot Mobile Apps Disallow	4,068	1.55
Common Crawl Bot Disallow	3,795	1.45
Majestic Bot Disallow	3,176	1.21
Anthropic Claude Bot Disallow	3,064	1.17
Semrush Bot Disallow	2,818	1.08
Google Bard Disallow	2,772	1.06
Facebook Bot Disallow	2,731	1.04
Cohere AI Disallow	2,639	1.01
AppleBot Disallow	1,974	0.75
Apple AI Bot Disallow	1,837	0.7
Perplexity	1,816	0.69
Microsoft MSNBot Disallow	1,335	0.51
ByteDance Bytespider Disallow	1,066	0.41
Google Image Bot Disallow	1,035	0.39
Google Media Partners Disallow	903 *	0.34
Google News Bot Disallow	674	0.26
Google Video Bot Disallow	664	0.25
360 Bot Disallow	441	0.17
Exalead Bot Disallow	342	0.13
DuckDuckGo Bot Disallow	322	0.12
Webz Omgili Disallow	149	0.06
Diffbot Disallow	119	0.05
Google Favicon Disallow	101	0.04
BuiltWithBot Disallow	79	0.03
Google API Bot Disallow	77	0.03
Google DuplexWeb Disallow	76	0.03
YOU Disallow	32	0.01
Pipl Disallow	29	0.01
Youdao Bot Disallow	14	0.01

262,136 탐지

~의 로봇.txt ~에 남아프리카. 마지막 업데이트 11th 9 2024.

Googlebot Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.