로봇.txt 사용량 분포 ~에 몰도바

핀을 꼽는 로봇.txt 사용량 분포 ~에 몰도바

기술	웹사이트	%
Googlebot Disallow	661	14.84
Yandex Bot Disallow	593	13.32
Robots Disallow	572	12.85
Google AdsBot Disallow	307	6.89
Google AdsBot Mobile Disallow	211	4.74
Some Robots Disallow	198	4.45
Baidu Bot Disallow	193	4.33
Ahrefs Bot Disallow	191	4.29
Alexa Bot Disallow	129	2.9
Microsoft BingBot Disallow	122	2.74
Yahoo Slurp Disallow	114	2.56
Sogou Bot Disallow	106	2.38
Soso Bot Disallow	102	2.29
Majestic Bot Disallow	92	2.07
Semrush Bot Disallow	90	2.02
Google Media Partners Disallow	81 *	1.82
GPTBot Disallow	80	1.8
Common Crawl Bot Disallow	70	1.57
Anthropic Claude Bot Disallow	64	1.44
Facebook Bot Disallow	57	1.28
Google Bard Disallow	55	1.24
AppleBot Disallow	41	0.92
Cohere AI Disallow	40	0.9
Google AdsBot Mobile Apps Disallow	38	0.85
Perplexity	38	0.85
Apple AI Bot Disallow	37	0.83
Google Image Bot Disallow	31	0.7
ByteDance Bytespider Disallow	30	0.67
Exalead Bot Disallow	24	0.54
Microsoft MSNBot Disallow	23	0.52
Webz Omgili Disallow	14	0.31
360 Bot Disallow	8	0.18
Google News Bot Disallow	6	0.13
Google Video Bot Disallow	5	0.11
Diffbot Disallow	5	0.11
Google API Bot Disallow	5	0.11
DuckDuckGo Bot Disallow	4	0.09
Google Favicon Disallow	4	0.09
Google DuplexWeb Disallow	4	0.09
YOU Disallow	3	0.07
BuiltWithBot Disallow	2	0.04
Youdao Bot Disallow	2	0.04
Pipl Disallow	1	0.02

4,453 탐지

~의 로봇.txt ~에 몰도바. 마지막 업데이트 01st 11 2024.

Googlebot Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.