My-Article.NET http://my-article.net/tag/robots.txt 1 последних статей для тэга "robots.txt" ru Sat, 21 Sep 2019 09:16:00 +0000 Sat, 21 Sep 2019 09:16:00 +0000 http://my-article.net/feed/tag/robots.txt Что такое robots.txt и для чего он нужен http://my-article.net/get/seo/полезное/что-такое-robotstxt-и-для-чего-он-нужен Файл robots.txt размещается в корневой директории сайта и описывает исключения для поисковых ботов. Придерживающийся стандартов бот проверяет сначала url "/robots.txt", если файл существует, то бот анализирует его содержимое на предмет наличия запретов к посещению определённых частей сайта. Имя файла не должно содержать заглавных букв. Записи в файле разделяются одной или несколькими пустыми строками. Комментарии в файле robots.txt начинаются знаком “#” и заканчиваются окончанием стр ... Fri, 26 Feb 2010 08:20:05 +0000