About /robots.txt

приходит время  и нужо создать копию сайта на хостинге для модификации, так  вот никогда не забывайте заменять robots.txt

User-agent: *
Disallow: /