로봇.txt 사용량 분포 ~에 칠레

핀을 꼽는 로봇.txt 사용량 분포 ~에 칠레

기술	웹사이트	%
Google AdsBot Disallow	24,679	21.49
Googlebot Disallow	20,744	18.06
Google AdsBot Mobile Disallow	14,154	12.32
Ahrefs Bot Disallow	11,604	10.1
Robots Disallow	6,238	5.43
Semrush Bot Disallow	3,830	3.33
Anthropic Claude Bot Disallow	3,727	3.24
Baidu Bot Disallow	3,659	3.19
Microsoft BingBot Disallow	2,478	2.16
Some Robots Disallow	2,177	1.9
Yandex Bot Disallow	1,958	1.7
Yahoo Slurp Disallow	1,868	1.63
Alexa Bot Disallow	1,739	1.51
Sogou Bot Disallow	1,513	1.32
Soso Bot Disallow	1,442	1.26
GPTBot Disallow	1,233	1.07
Common Crawl Bot Disallow	1,230	1.07
AppleBot Disallow	1,094	0.95
Google Bard Disallow	1,094	0.95
Facebook Bot Disallow	1,061	0.92
Apple AI Bot Disallow	1,022	0.89
Majestic Bot Disallow	991	0.86
Google AdsBot Mobile Apps Disallow	941	0.82
Perplexity	882	0.77
Cohere AI Disallow	869	0.76
Google Media Partners Disallow	678 *	0.59
Microsoft MSNBot Disallow	451	0.39
Exalead Bot Disallow	407	0.35
Google Image Bot Disallow	269	0.23
Webz Omgili Disallow	232	0.2
ByteDance Bytespider Disallow	100	0.09
Google News Bot Disallow	75	0.07
Google Video Bot Disallow	68	0.06
360 Bot Disallow	59	0.05
Youdao Bot Disallow	59	0.05
DuckDuckGo Bot Disallow	46	0.04
Google Favicon Disallow	42	0.04
BuiltWithBot Disallow	36	0.03
Google API Bot Disallow	36	0.03
Google DuplexWeb Disallow	35	0.03
Diffbot Disallow	15	0.01
YOU Disallow	15	0.01
Pipl Disallow	12	0.01

114,862 탐지

~의 로봇.txt ~에 칠레. 마지막 업데이트 14th 11 2024.

Google AdsBot Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.