из Роботы.txt в Аргентина. Последнее обновление 11th сен 2024.
Robots Disallow на данный момент является самой популярной технологией в этой категории.