из Роботы.txt в Французская Полинезия. Последнее обновление 11th сен 2024.
Robots Disallow на данный момент является самой популярной технологией в этой категории.