Как создать мета теги title, description и keywords

Как создать мета теги title, description и keywords
Как создать мета теги title, description и keywords

Всем привет! Данный пост считаю обязательным к прочтению, так как далеко не все веб-мастера знают, как использовать мета-тег robots и как с помощью этого инструмента можно настроить индексацию сайта.

В последнее время на seo-mayak.com я публиковал много статей, посвященных различным функциям WordPress и как некоторым может показаться, немного отклонился от основной тематики блога.

Это вовсе не так! Я по прежнему уверен, что без базовых знаний в программирования, не о каком успешном продвижении речь идти не может. Я не зря последовательно описываю функции, о существовании которых просто обязан знать каждый веб-мастер, чтобы самостоятельно вести свой проект.

Сегодня мы опять будем работать с функциями, хотя основным героем будет конечно мета-тег robors.

Также я предложу Вам обновленный вариант файла robors.txt, который будет изменен до неузнаваемости, благодаря взаимодействию с мета тегом robots и PHP.

meta tag robots

Но сначала я хочу сказать несколько слов о том, к чему может привести неправильная настройка индексации сайта для роботов Яндекса и Гугла. Поехали!

Последствия не правильной настройки индексации

Если Вы посмотрите на файл robots.txt моего блога, то увидите всего несколько строк:

User-agent: Allow: /wp-content/uploads Disallow: /wp- Host: seo-mayak.com Sitemap: /sitemap.xml

Важно! На примере отсутствуют директивы, открывающие доступы к CSS и JS файлам, которые обязательно должны быть и которые уникальны для каждого сайта!

Но что будет, если какой-нибудь веб-мастер, по неопытности или из каких-либо других соображений решит, что так правильно и настроит индексацию своего сайта аналогичным образам.

Сразу скажу ничего хорошего из этого не выйдет! Если отменить некоторые запрещающие директивы в файле robots.txt, такие как:

Disallow: /page/ Disallow: /category/ Disallow: /tag/ Disallow: /feed/ Disallow: /page/

И т.д.

В этом случаи поисковые роботы получат разрешение на сканирование текстов дублирующих страниц, за что, с большой долей вероятности, сайт может угодить под АГС, Пингвин или другие фильтры.

Так что, без специальных знаний никому не советую менять свой robots.txt по моему примеру или по аналогичным примерам с других сайтов и открывать доступ поисковым роботам к не уникальному контенту.

Примеры URL страниц, которые могут попасть в индекс:

/category/seo-prodvizhenie — страницы с категориями;
/2014/05 — страницы с архивами
/tag/prodvizhenie — страницы меток
/?attachment_id=3269 — страницы с прикрепленными файлами
/page/2 — страницы постраничной навигации
/feed — страницы фида
/?s= — страницы внутреннего поиска

Отдельный разговор у нас будет по дублям страниц, создаваемых функцией древовидных комментариев, так называемых replytocom, так что подписывайтесь на обновления блога.

Я перечислил все основные дубли, которые могут быть проиндексированы роботами Яндекса и Гугла, если на их пути не будет никаких преград, но в зависимости от структуры сайта, возможны и другие дубли, так что на каждом отдельном ресурсе, надо проводить свой тщательный анализ.

Итак, почему я убрал большинство запрещающих директив из своего файла robots.txt и тем самым открыл путь поисковым роботам? Основной причиной послужило то, что Гугл заносит заблокированные в robots.txt страницы в свой Supplemental index, если на них ведут внутренние или внешние ссылки.

Не думайте, сами страницы с дублями я не оставил без защиты от индексации, просто я внедрил в код каждой из них мета-тег robots, что уже на 100% убережет их от попадания в сопливый индекс. В конце статьи я покажу как это делается.

В исходном коде мета-тег robots выглядит следующим образом:

meta tag robots1

Не так давно, одна моя старая знакомая попросила меня высказаться, по поводу настройки индексации с помощью плагина All in One SEO Pack. Мысль сводилась к следующему.

Что, если открыть доступ в файле robots.txt, но запретить индексацию в All in One SEO Pack, в разделе  «Настройки индексирования», проставив галочки возле соответствующий пунктов ?

В принципе мысль правильная и некоторые труженики SEO именно так и советуют делать, но если заглянуть в исходный код страниц, заблокированных через All in One SEO Pack, то увидим следующее:

meta tag robots2.1

Как видите в мета-теге отличается один параметр.

А теперь давайте поближе познакомимся с мета-тегом robots и разберемся: какие параметры он может принимать и на что они влияют.

Мета-тег robots и его параметры

Мета-тег robots очень важный инструмент, с помощью которого можно довольно тонко настроить индексацию сайта, хотя параметров, которые он может принимать, не так много.

Синтаксис настолько простой, что его даже описывать не надо, достаточно просто взглянуть на примеры, кроме того мета-тег robots и его параметры не чувствительны к регистру.

Мета-тег можно написать так:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLOOW"/>

Или так:

<META name="ROBOTS" CONTENT="noindex, nofollow"/>

Привожу список всех параметров мета-тега robots:

index — индексировать текст страницы.
noindex — не индексировать текст страницы
follow — следовать по ссылкам и индексировать их.
nofollow — не следовать по ссылкам и не индексировать их
all — индексировать текст страницы, а также следовать по ссылкам и индексировать их.
none — не индексировать текст страницы, а также не следовать по ссылкам и не индексировать их.

Отсутствие мета тега, автоматически разрешает роботу индексировать текст страницы и все ссылки находящиеся на ней.

Отсутствие параметра, также трактуется роботом как разрешение. Например:

<meta name="robots" content="noindex" />

В данном случаи робот не будет индексировать текст, но пройдет по всем ссылками и естественно проиндексирует их. Тоже самое сделает робот если встретит мета-тег robots с такими параметрами:

<meta name="robots" content="noindex, follow" />

Если Вы заметили, именно такие параметры проставляет плагин All in One SEO Pack, но об этом чуть позже.

Вот пример полного запрета индексации:

<meta name="robots" content="noindex, nofollow" />

Тоже самое:

<meta name="robots" content="none" />

Снятие всех запретов:

<meta name="robots" content="all" />

Но что будет делать робот, если наткнется на противоречивые директивы? Например:

<meta name="robots" content="noindex, nofollow" /> <meta name="robots" content="noindex, follow" />

В данном случаи из двух противоречащих друг другу параметров, робот сделает выбор в пользу разрешающей директивы.

Данный параметр в мета-теге robots наложит запрет на добавление содержимого страницы в кэш поисковых систем:

<meta name="robots" content="noarchive"/>

Здесь надо понимать, что если на страницу наложен полный запрет (noindex, nofollow), то в кэш она тоже не попадет.

Вот в принципе и все параметры, которые может принимать мета-тег robots, надеюсь понятно объяснил, но если будут вопросы, задавайте их в комментариях.

А теперь вернемся к плагину All in One SEO Pack. Как вы поняли, параметры прописанные разработчиками плагина для мета-тега robots, дают разрешение поисковым роботам следовать по ссылкам и индексировать их.

И если открыть доступ к страницам сайта в файле robots.txt и целиком положится на защиту от индексации, любезно предоставляемой вышеупомянутым плагином, то можно забыть: про правильный анкор-лист сайта, а также про экономию времени, отведенного роботу на индексацию сайта, и как следствие, своевременное попадание страниц с полезным контентом в основную выдачу. Кроме всего прочего, плагин не закрывает дубли, создаваемые постраничной навигацией.

О параметрах noindex, follow мы еще поговорим в следующей статье, которая будет полностью посвящена теме — дубли страниц replytocom, так что подписывайтесь на обновления блога.

Еще хотел сказать несколько слов, касательно сравнения файла robots.txt и мета-тега robots. Можно предположить, что мета-тег robots имеет некий приоритет в «глазах» поисковых роботов над директивами файла robots.txt. Хочу заметить, что вопрос приоритета в данном случаи вообще не стоит.

Если директивы файла robots.txt запрещают сканировать страницу и считывать ее содержимое, что, как мы выяснили, не уберегает ее от индексации, то мета-тег robots может быть обнаружен роботом только в процессе сканирования и его директивы вступят в силу только после считывания страницы. Надеюсь разница понятна. Идем дальше.

Как разместить мета-тег robots на страницах

Итак, мы подошли к самому интересному. Сейчас мы займемся внедрением мета-тега robots в исходный код страниц, которые надо закрыть от индексации.

Прежде всего нам надо выявить функции, отвечающие за вывод страниц с дублями контента.

Вот эти функции:

is_category() — функция вывода страниц с категориями;
is_archive() — функция вывода любых архивов;
is_year() — функция вывода архивов по годам;
is_month() — функция вывода архивов по месяцам;
is_day() — функция вывода архивов по дням;
is_date() — функция вывода архивов по датам;
is_author() — функция вывода архивов по авторам;
is_tag() — функция вывода страниц с метками;
is_tax () — функция вывода таксономии произвольных типов записей;
is_attachment() — функция вывода страниц с прикрепленными файлами;
is_paged() — функция вывода постраничной навигации;
is_feed () — функция вывода страницы фида;
is_search()> — функция вывода страниц внутреннего поиска.

Наша задача заключаться в следующем. Нам надо добавить мета-тег robots с запрещающими параметрами noindex, nofollow в исходный код каждой дублирующей страницы, между тегами <head></head>.

Для этого открываем файл functions.php и в самое начало, после php тега <?php, вставляем такую функцию:

function mayak_meta_robots () { if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) { echo "".'<meta name="robots" content="noindex,nofollow" />'."\n"; } } add_action('wp_head', 'mayak_meta_robots');

Теперь я немного поясню как будет работать данная функция.

Функция добавляет условие, которое будет срабатывать при вызове любой из функций, перечисленных в скобках и с помощью команды echo, добавит мета тег robots в исходный код дублирующих страниц.

Далее, с помощью хука wp_head цепляем наше подготовленное действие к функции wp_head(), которая выведет мета-тег robots в шапку страницы, между html тегами <head><head>.

Важно! После активации функции не забудьте убрать галочки в разделе «Настройки индексирования» плагина All in One SEO Pack!

Как видите сложного ничего нет, но тем не менее, без минимальных знаний в PHP, у нас бы ничего не получилось.

Конечно потребуется время, на то, чтобы страницы выпали из «сопливого» индекса Google, но выпадут они обязательно!

До встречи!

С уважением, Виталий Кириллов

Как создать мета теги title, description и keywords 87
Мета-тег Description для сайта: как правильно заполнять
Как создать мета теги title, description и keywords 29
Мета-тег robots. Правильная индексация сайта SEO Маяк
Как создать мета теги title, description и keywords 23
Мета-теги description и keywords для WordPress romanzhivo
Как создать мета теги title, description и keywords 11
Cached
Как создать мета теги title, description и keywords 33
3000 идей переделки одежды из старой в стильную Look
Как создать мета теги title, description и keywords 28
Как создать мета теги title, description и keywords 80
Как создать мета теги title, description и keywords 40
Как создать мета теги title, description и keywords 87
Как создать мета теги title, description и keywords 85
Как создать мета теги title, description и keywords 41
Как создать мета теги title, description и keywords 91
Как создать мета теги title, description и keywords 61
Как создать мета теги title, description и keywords 37
Как создать мета теги title, description и keywords 32
Как создать мета теги title, description и keywords 83