из Роботы.txt в Палау. Последнее обновление 11th сен 2024.
Robots Disallow на данный момент является самой популярной технологией в этой категории.