Инструмент поможет Вам создать файл robots.txt.

User-agent:
Disallow:
 
 
Результат
Скопируйте текст и вставте в какой-нибудь текстовый редактор (блокнот). Сохраните файл как "robots.txt" в корневой директории вашего сайта.