из Роботы.txt в Конго. Последнее обновление 11th сен 2024.
Googlebot Disallow на данный момент является самой популярной технологией в этой категории.