Robots.txt Répartition de l'utilisation sur tout Internet

Distribution pour les sites Web utilisant Robots.txt les technologies

Accrocher Robots.txt Répartition de l'utilisation sur tout Internet
Technologie Sites Internet %
Some Robots Disallow 39 138 226 21,52
Googlebot Disallow 17 383 587 9,56
Baidu Bot Disallow 12 610 097 6,93
Google AdsBot Disallow 11 312 715 6,22
Google Media Partners Disallow 11 308 081 6,22
Google AdsBot Mobile Disallow 8 418 498 4,63
Robots Disallow 5 891 903 3,24
Yandex Bot Disallow 5 522 301 3,04
Microsoft BingBot Disallow 5 287 882 2,91
Ahrefs Bot Disallow 5 265 587 2,9
Alexa Bot Disallow 4 930 613 15,19
Yahoo Slurp Disallow 4 749 861 2,61
Sogou Bot Disallow 4 736 754 2,6
Soso Bot Disallow 4 511 509 2,48
GPTBot Disallow 3 762 344 11,59
Common Crawl Bot Disallow 3 668 558 11,3
AppleBot Disallow 3 342 388 1,84
Anthropic Claude Bot Disallow 3 255 079 10,03
Google Bard Disallow 3 131 120 9,65
Facebook Bot Disallow 3 091 616 9,53
Google AdsBot Mobile Apps Disallow 3 031 637 1,67
Apple AI Bot Disallow 2 931 218 9,03
Cohere AI Disallow 2 885 052 8,89
Perplexity 2 814 417 8,67
Majestic Bot Disallow 2 653 408 1,46
Semrush Bot Disallow 2 362 551 1,3
ByteDance Bytespider Disallow 698 026 2,15
Exalead Bot Disallow 540 249 0,3
Microsoft MSNBot Disallow 530 519 0,29
Google Image Bot Disallow 409 213 0,23
360 Bot Disallow 379 608 0,21
Webz Omgili Disallow 348 637 1,07
BuiltWithBot Disallow 157 562 0,09
Google News Bot Disallow 119 988 0,07
Google Video Bot Disallow 118 212 0,07
DuckDuckGo Bot Disallow 99 073 0,05
Diffbot Disallow 90 658 0,28
Google Favicon Disallow 90 125 0,05
Youdao Bot Disallow 84 260 0,05
Google API Bot Disallow 57 483 0,03
Google DuplexWeb Disallow 56 299 0,03
YOU Disallow 29 699 0,09
Pipl Disallow 20 941 0,01
Google FeedFetcher Disallow 8 123 0
Google Read Aloud Disallow 441 0
Google Web Light Disallow 109 0
Google BIG Bench Disallow 31 0

181 836 258 Détections

de Robots.txt sur tout Internet. Dernière mise à jour 14th nov. 2024.

Google Media Partners Disallow Google Media Partners Disallow est actuellement la technologie la plus populaire dans cette catégorie.

Haut 1m
Top 1 000 000 de sites par trafic
870 756
Haut 100k
Top 100 000 sites par trafic
155 828
Haut 10k
Top 10 000 sites par trafic
22 443
Internet entier
181 836 258
Canada
2 192 600
États-Unis
51 449 962
Allemagne
7 320 724
Royaume-Uni
4 745 675
Russie
4 021 848
Australie
3 071 917
Italie
1 818 697
France
1 318 355
Brésil
1 228 331
.co
1 094 249
Pays-Bas
1 026 836
Espagne
922 136
Japon
903 337
Inde
799 080
Suisse
793 080
Chine
606 587
NZ Nouvelle-Zélande
482 853
PL Pologne
476 756
BE Belgique
460 967
SE Suède
417 700
ME .me
375 089
AT L'Autriche
360 511
NO Norvège
323 209
MX Mexique
307 633
CZ République tchèque
302 675
DK Danemark
297 563
ZA Afrique du Sud
271 807
KR Corée du Sud
250 334
IE Irlande
245 513
TR Turquie
231 135
RO Roumanie
228 510
IO .io
225 409
CC Îles Cocos
209 891
FI Finlande
203 791
ID Indonésie
200 001
PH Philippines
167 936
PT le Portugal
149 268
SG Singapour
137 469
TW Taïwan
132 381
AR Argentine
124 703
TH Thaïlande
119 356
CL Chili
114 862
HU Hongrie
106 300
TV .tv
105 858
HK Hong Kong
105 657
GR Grèce
100 422
UA Ukraine
100 040
VN Viêt Nam
96 899
IL Israël
85 999
AI Anguilla
77 732
AE Émirats arabes unis
76 837
SK Slovaquie
69 944
VG Îles Vierges britanniques
67 532
MY Malaisie
66 738
LU Luxembourg
57 720
SA Arabie Saoudite
43 868
PK Pakistan
41 139
WS Samoa
40 723
IR L'Iran
38 238
LT Lituanie
37 455
BG Bulgarie
36 585
EE Estonie
34 795
IS Islande
33 150
LV Lettonie
33 037
PE Pérou
32 677
CM Cameroun
32 440
SI Slovénie
30 243
HR Croatie
23 943
NU Nioué
21 927
PR Porto Rico
21 377
CR Costa Rica
20 939
RS Serbie
19 547
BY Biélorussie
18 806
EC Équateur
18 606
NG Nigeria
17 240
KE Kenya
17 083
UY Uruguay
16 596
PW Palaos
16 454
IM île de Man
16 357
KZ Kazakhstan
13 862
LI Liechtenstein
13 644
DO République dominicaine
13 613
RE Réunion
13 384
TO Tonga
12 999
MT Malte
12 664
GG Guernesey
11 762
BD Bangladesh
11 607
MA Maroc
11 592
GT Guatemala
11 097
EG Egypte
10 479
VC Saint-Vincent-et-les-Grenadines
10 205
SH Sainte-Hélène
9 893
PA Panama
8 943
LB Liban
8 688
GE Géorgie
8 409
LK Sri Lanka
8 351
CY Chypre
8 015
VE Venezuela
7 761
AL Albanie
7 590
QA Qatar
6 944
GH Ghana
6 650
AM Arménie
6 510
UG Ouganda
6 438
UZ Ouzbékistan
6 336
SO Somalie
6 201
BZ Bélize
6 105
TZ Tanzanie
5 979
KW Koweit
5 778
FM Micronésie
5 734
NP Népal
5 435
JO Jordan
4 814
MK Macédoine
4 630
HN Honduras
4 518
MD Moldavie
4 453
CX L'île de noël
4 128
PY Paraguay
3 924
MU Maurice
3 723
TN Tunisie
3 647
BS Bahamas
3 367
SV Le Salvador
3 266
BO Bolivie
3 151
MC Monaco
3 116
AZ Azerbaïdjan
3 111
BM Bermudes
2 991
MN Mongolie
2 936
BA Bosnie Herzégovine
2 902
NA Namibie
2 891
AG Antigua-et-Barbuda
2 824
VI Îles Vierges américaines
2 815
RW Rwanda
2 713
BH Bahreïn
2 671
ZW Zimbabwe
2 609
OM Oman
2 542
KH Cambodge
2 537
KY Îles Caïmans
2 499
DZ Algérie
2 492
TT Trinité-et-Tobago
2 429
ST Sao Tomé et Principe
2 404
JE Jersey
2 206
ZM Zambie
2 185
NI Nicaragua
2 094
GP Guadeloupe
2 081
AF Afghanistan
2 030
ET Ethiopie
1 999
SC les Seychelles
1 957
JM Jamaïque
1 845
MM Birmanie
1 729
IQ Irak
1 662
FO Îles Féroé
1 654
MZ Mozambique
1 638
NC Nouvelle Calédonie
1 631
MV Maldives
1 621
AD Andorre
1 574
MS Montserrat
1 564
PM Saint-Pierre-et-Miquelon
1 540
CI Côte d'Ivoire
1 537
AO Angola
1 511
YT Mayotte
1 450
BB Barbade
1 439
FJ Fidji
1 381
GI Gibraltar
1 361
CD Congo
1 348
MQ Martinique
1 334
SX Saint-Martin
1 309
BW Botswana
1 307
LC Sainte-Lucie
1 290
SN Sénégal
1 267
TC îles Turques-et-Caïques
1 263
KG Kirghizistan
1 251
GL Groenland
1 226
AS Samoa américaines
1 187
MG Madagascar
1 055
HT Haïti
939
AW Aruba
933
ML Mali
917
PS Palestine
916
GY Guyane
770
GD Grenade
762
GF Guyane Française
753
VU Vanuatu
687
GS Géorgie du Sud et îles Sandwich du Sud
658
MW Malawi
653
BF Burkina Faso
639
TG Aller
628
WF Wallis et Futuna
588
GM Gambie
556
TJ Tadjikistan
543
CU Cuba
524
PG Papouasie Nouvelle Guinée
496
GU Guam
462
SL Sierra Leone
404
BJ Bénin
392
DJ Djibouti
386
BN Brunéi
370
TL Timor oriental
367
SR Surinam
361
SB Les îles Salomon
310
YE Yémen
287
AX Iles Aland
286
LR Libéria
286
LA République démocratique populaire lao
282
PF Polynésie française
281
SD Soudan
272
HM Île Heard et îles McDonald
248
NE Niger
244
SM Saint Marin
239
BI Burundi
228
CK les Îles Cook
225
BT Bhoutan
212
SY Syrie
199
SZ Swaziland
193
LY Libye
191
CW Curacao
190
MP Îles Mariannes du Nord
175
KN Saint-Christophe-et-Niévès
172
GA Gabon
158
TM Turkménistan
158
LS Lesotho
154
DM Dominique
150
MR Mauritanie
139
MO Macao
134
UM Îles mineures éloignées des États-Unis
105
SJ Svalbard et Jan Mayen
98
CV Cap-Vert
83
NF l'ile de Norfolk
79
CG Congo
72
GN Guinée
67
KI Kiribati
64
TD Tchad
64
MH Iles Marshall
58
SS Soudan du sud
55
BL Saint Barthélemy
50
GW Guinée-Bissau
49
FK les îles Falkland
45
VA Cité du Vatican
43
PN Pitcairn
34
NR Nauru
30
BQ Bonaire
20
AQ Antarctique
16
ER Érythrée
16
GQ Guinée Équatoriale
13
Catégories