Архив метки: аудит

10 самых известных 301 редиректов, в .htaccess

Редирект 301 — переадресация посетителя на новый домен либо адрес страницы. Этот код ответа сервера значит, сайт и страница навсегда переехали, отныне находятся на ином адресе.

Есть отдельная группа 3хх редиректов. 301, 302 задействуют чаще всего – это словно двойняшки, вроде как и чем то же схожи, однако имеют различия. Тогда как для поискового бота это и вовсе абсолютно разные люди, подобные ответы сервера имеют разное истолкование:

  • 301 Moved Permanently – это неизменный и постоянный редирект. Посредством данного кода посетители извещаются, сайт на постоянной основе был перемещен на другой адрес, старый домен при этом был удален. Необходим для склейки страниц, полноценного переезда на новую CMS, новый сайт.
  • 302 Temporary Redirect – это непостоянный, временный редирект. Информирует о временном переезде страницы, всего сайта. Применим, если на сайте ведутся технические работы.

Порядок отображения кодов в выдаче поисковиков:

  1. В случае редиректа 301 в выдаче поисковиков демонстрируется обновленный URL.
  2. В случае 302 редиректа в выдаче поисковиков остается старый URL страницы, и все же спустя пол года применения 302 редиректа поисковики воспринимают его как вечный 301.

Далее изучим порядок настройки разрешенного 301-го редиректа в .htaccess

В целом, .htaccess — файл расположения HTTP-сервера, вроде Apache. Благодаря ему можно задать огромное число вспомогательных разрешений, показателей интернет сервера. Он распространяет свои права исключительно на каталог, где размещается, а также на дочерние подкаталоги.

Пример редиректа: переадресация с одного сайта на другой

Redirect / www.example.com

При том, что

www.example.com — сайт, на который был переотправлен пользовательский запрос.

Более усложненный пример — если нам нужно выполнить переадресацию со страницы своего сайта на новый. Либо же, к примеру, выполнить переадресацию на главную.

Redirect 301 /kernel grechkopv.ru/ - сервер отдает код 301 о переезде на постоянной основе на новый URL;
Redirect /grechkopv/blog grechkopv.ru/blog - в случае обращения к http://www.example.com/grechkopv/blog откроется grechkopv.ru/blog;
Redirect /grechkopv grechkopv.ru/ - в случае обращения к странице www.example.com/grechkopv, откроется grechkopv.ru/.

Специфика сложных редиректов

Модуль mod_rewrite существует специально для сложных редиректов. Это инструмент трансформации URL-адресов, применяющее регулярное выражение. Для редиректа применимы такие директивы: RewriteEngine, RewriteRule и RewriteCond.

  • RewriteEngine – запускает либо выключает работу трансформационного механизма:
RewriteEngine on | off

Из-за положений on-off запускается, выключается функционирование модуля.

  • RewriteCond — отвечает за определение условий определенного правила, в случае которого случается трансформация. Зачастую после директивы сразу же следуют переменные %{HTTP_HOST}, а также %{REQUEST_URI}, они значат адрес сервера (к примеру, example.ru), сайт, что запрашивается в строчке HTTP-запроса.
  • RewriteRule — следует после нескольких либо единого RewriteCond. Такое правило трансформации URI, что используется исключительно при условии соблюдения RewriteCond.

Пишется директива RewriteRule так:

RewriteRule Шаблон Подстановка [flag]

Тут также важно предоставить трактование применяемой символики регулярного выражения, которые задают образцы строк.

Применяются метасимволы для того чтобы создавать метки в шаблонах, задавать категории символов:

  • $ — символ конца строки;
  • ^ — символ начала строки;
  • \ — экранирующий слэш, благодаря ему можно считывать посредством обыкновенного символа метасимвол, что идет за ним;
  • . — это единичный любой символ;
  • ! — отрицание;
  • () — группирование.

Посредством флагов устанавливаются вспомогательные параметры для такого правила, они перечислены через запятую в квадратных скобках:

  • R — (redirect) может останавливать трансформационный процесс, возвращать результат как редирект на эту страницу браузеру пользователя (302, MOVED TEMPORARY). С такого рода флагом допустимо указывать иной код результата, к примеру R=301 вернет переадресацию с 301 кодом.
  • Nocase (NC) — выключает перепроверку регистра символов;
  • L — (last) способен останавливать процедуру трансформации, поточную ссылка нужно считать окончательной.

Как настроить 301 редирект

Если знать такие правила, можно попробовать своими силами посредством htaccess выполнить редирект.

1. Переадресация .htaccess на новую страницу

Redirect 301 /old-post.html http://new-site.ru/new-post.html

2. Переадресация .htaccess с www на сайт без www

1 RewriteEngine on
2
3 RewriteCond %{HTTP_HOST} !^site.ru$ [NC]
4
5 RewriteRule ^(.*)$ site.ru/$1 [R=301,L]

3. Переадресация .htaccess с сайта без www на сайт с www

1 RewriteEngine on
2
3 RewriteCond %{HTTP_HOST} !^www.site.ru$ [NC]
4
5 RewriteRule ^(.*)$ www.site.ru/$1 [R=301,L]

При этом site.ru — это доменное имя вашего сайта.

4. Переадресация с index.php (html) на главную сайта

1 RewriteEngine on
2
3 RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html|htm)\ HTTP/
4
5 RewriteRule ^(.*)index\.(php|html|htm)$ $1 [R=301,L]

5. Переадресация со слешем на сайт без слеша

1 RewriteCond %{REQUEST_URI} !\?
2 RewriteCond %{REQUEST_URI} !\
3 RewriteCond %{REQUEST_URI} !\=
4 RewriteCond %{REQUEST_URI} !\.
5 RewriteCond %{REQUEST_URI} ![^\/]$
6 RewriteRule ^(.*)\/$ /$1 [R=301,L]

6. Переадресация со страничек без слеша на страницы со слешем

1 RewriteCond %{REQUEST_URI} !\?
2 RewriteCond %{REQUEST_URI} !\
3 RewriteCond %{REQUEST_URI} !\=
4 RewriteCond %{REQUEST_URI} !\.
5 RewriteCond %{REQUEST_URI} !\/$
6 RewriteRule ^(.*[^\/])$ /$1/ [R=301,L]

7. Переадресация страниц одного домена на главную нового домена

1 RewriteCond %{REQUEST_URI} (.*)
2 RewriteRule ^(.*)$ http://site.ru/ [L,R=301]

8. Переадресация с http на сайт https посредством. htaccess

1 RewriteCond %{HTTPS} !=on
2 RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]

9. Переадресация с https на сайт http

1 RewriteCond %{HTTPS} =on
2 RewriteRule ^(.*)$ http://%{HTTP_HOST}/$1 [R=301,L]

10. Устранение дублирования страниц

В случае, когда вы увидели, что к адресу основной страницы добавляется что-то типа &crw=123 456 либо sa=123 456, следует поменять буквенную часть в этом коде

1 RewriteCond %{REQUEST_URI} ^(.*)\ sa=
2 RewriteRule ^(.*)\ sa=(.*)$ $1 [R=301,L]

Пример

Как через 301-й редирект добиться того, чтобы запрос site.ru/category/art1/zapis/ выдавал в адресной строке site.ru/zapis/, иными словами /category/art1 удалялась бы из строки, и все же после этого демонстрировалось содержимое site.ru/category/art1/zapis/?

Запросто:

1 RewriteCond %{ENV:REDIRECT_STATUS} ^$
2 RewriteRule ^category/art1/zapis/$ http://%{HTTP_HOST}/zapis/ [R=301,L]
3 RewriteRule ^zapis/$ /category/art1/zapis/ [L]

Не секрет, что mod_rewrit на apache на постоянной основе изучает перечень правил, пока URL допустимо поменять хоть каким то образом.

Чтобы ограничивать цикл реализации правил одинаковым трактованием, допустимо применять конструкцию из первой строчки. Благодаря ей apache передается статус, удалось ли выполнить переадресацию: либо нет, а если да, стоит пропустить последующие правила.

Следующая строчка превращает 301-ю переадресацию с www.site.ru/category/art1/zapis/ на www.site.ru/zapis/.

Строка №3 информирует сервер, если адрес типа

www.site.ru/zapis/, нужно продемонстрировать то, что имеется по адресу
www.site.ru/category/art1/zapis/.

  1. Правило «от меньшему к большему»: размещаете переадресацию от частных к самым глобальным. Это значит, что редирект с одной страницы на другую будет выше, нежели редирект с без www на сайт www.
  2. Не допускайте последовательных тройных, двойных переадресаций.
  3. Протестируйте статусы ответа свервера, HTTP заголовки, дабы удостоверится в корректности функционирования переадресации.

В завершение хочется отметить основные условия, согласно которых необходимо и не обязательно применять .htaccess редирект.

В каких случаях редирект нужен:

  1. Если Вы перебрались на новый домен: не желаете терять свою клиентскую базу, кроме того существует потребность в передаче на новый сайт старого веса.
  2. Вам нужно склеить зеркала: вы собственник 2-х доменных имён с различными вариациями написания ТМ, а потому вы пересылаете посетителей на обновленный сайт.
  3. Если страница поменяла адрес: была преображена структура сайта, вы желаете не допустить возникновение беспорядка.
  4. Если нужно устранить копии сайта, дубли страниц.

Когда лучше не пользоваться редиректом?

  1. Если Вы на время перемещаетесь на другую страницу: в таких целях лучше использовать 307 и 302 коды.
  2. Если вы переезжаете по причине проблем с доменом: из-за штрафов, фильтров, банов.

Добавляем сайт в Яндекс, Гугл вебмастер

Сегодня я начинаю рассказывать читателям моего блога как оптимизировать свои сайты, а потом продвигать их в поисковых системах. Пройдя по порядку все мои наставления ты добьешься результата в поисковой оптимизации сайта. И так начнём. Для начала необходимо зарегистрироваться в панели для веб мастеров что бы понимать как Яндекс и Гугл индексируют твой сайт. Вебмастер это официальный сервис от поисковых систем, он показывает информацию о статусе индексирования вашего сайта. Так же он вам подскажет некоторые ошибки которые присутствуют на сайте, не правильный robots или дубли страниц. Обо всём подробнее ты прочитаешь ниже.

Добавляем сайт в ЯндексВебмастер

Шаг 1. Заходим в панель в вебмастера http://webmaster.yandex.ru/

Шаг 2. Для входа используйте свой логин пароль от почты Яндекса, если нет аккаунта то необходимо зарегистрироваться.

Шаг 3. Для добавления своего сайта нажмите кнопку «+».

Шаг 4. На следующей странице введите адрес вашего сайта и подтвердите его добавление.

Шаг 5. Для подтверждения прав на сайт, скачивам «HTML-файл» на рабочий стол.

Шаг 6. Теперь загрузите этот файл на ваш хостинг в корень вашего сайта. С помощью ftp клиента или файлового менеджера на хостинге.

Шаг 7. Убедитесь, что файл по адресу https://Вашсайт.ru/yandex_ВашФайл.html открывается и нажмите кнопку проверить. После успешного подтверждения прав доступа ваш сайт появится в панели вебмастера.

Что необходимо проверить и настроить в панели Вебмастера Яндекса

1. Настроить регион в котором будете продвигать свой коммерческий сайта с товарами или услугами. Для информационных сайтов регион не важен. Как добавлять в Яндекс справочник я расскажу в следующих постах. А сейчас можно добавить регион через вебмастер. Указать регион и ссылку на страницу контакты.

2. Проверить раздел «Диагностика сайта», Яндекс сразу покажет первые технические ошибки которые вам необходимо будет исправить.

Добавляем сайт в GoogleВебмастер

Шаг 1. Заходим в панель в вебмастера https://www.google.com/webmasters/

Шаг 2. Для входа используйте свой логин пароль от почты Google, если нет аккаунта то необходимо зарегистрироваться.

Шаг 3. Для добавление своего сайта жмём добавить ресурс.

Шаг 4. Введите url своего сайта и нажмите добавить.

Шаг 5. Для подтверждения прав на сайт, скачиваем «HTML-файл» на рабочий стол.

Шаг 6. Теперь загрузите этот файл на ваш хостинг в корень вашего сайта. С помощью ftp клиента или файлового менеджера на хостинге.

Шаг 7. Нажмите кнопку «Подтвердить» ниже. После успешного подтверждения прав доступа ваш сайт появится в панели вебмастера.

Что необходимо проверить и настроить в панели Вебмастера Google

1. Проверить раздел «Оптимизация HTML», Гугл подскажет ошибки в оптимизации сайта.

2. Проверить раздел «Меры, принятые вручную», Гугл подскажет вам есть на вашем сайта критические ошибки.

3. Раздел «Заблокированные ресурсы» покажет какие файлы сайта не доступны для гугла, лучше есть открыть просмотр этих файлов в robots.txt

4. В разделе «Ошибки сканирования» можно проверить и исправить ссылки которые нашел гугл на ваш сайт.

5. Проверить раздел «Проблемы безопасности» Гугл подскажет распространяет ли ваш сайт вредоносное ПО. На этом всё.

Домашнее задание:

1. Добавить свой сайт в Яндекс\Google вебмастер

2. Найти все ошибки сайта

3. Исправить все ошибки с помощью программиста или своими силами

4. Написать вопросы в комментариях

Избавляемся от дублей страниц

Сегодня мы исправить одну из критических ошибок которая мешает успешному продвижению вашего сайта. Так как любая админка будь то joomla, wordpress или битрикс обожают плодить дубли.

Проблемы к которым приводят дубли

  • Постоянная смена релевантной страницы
  • Обход роботом дублирующего контента
  • Затруднение сбора статистики
  • Неправильно распределяется внутренний ссылочный вес
  • Потеря внешнего ссылочного веса

Виды дублей

Явные дубли (Полностью идентичный контент)

  • Страницы со / и без /, .html, .php
  • Один товар в двух категориях и разным url
  • Страница версии для печати

Неявные дубли (Страницы с похожим содержимым) Похожие товары

  • Фото без описаний
  • Сортировка и фильтры товаров
  • Страницы пагинации

Дубли страниц это две или более страниц одного сайта, которые содержат идентичный или схожий контент. Довольно часто дубли — одна и та же страница сайта, доступная по разным url

Поиск дублей страниц на сайте

Способ 1. Смотрим в вебмастере страницы в поиске 

Способ 2. Смотрим выдачу с помощью оператора site:seopower.su 

Способ 3. С помощью программ https://www.screamingfrog.co.uk/seo-spider/http://home.snafu.de/tilman/xenulink.html 

Способ 4. В Google Search Console во вкладке «Оптимизация Html» можно посмотреть список страниц с повторяющимися мета-описаниями, т.е. список потенциальных дублей. 

Как удалить дубли страниц на сайте 

Шаг 1. Для страниц со / и без /, .html, .php настраиваем  301 редирект. 

Шаг 2. Для похожих товаров прописываем атрибут rel=»canonical» элемента link 

Шаг 3. Страницы версии для печати закрываем в robots.txt 

Шаг 4. Страницы c Get параметрами закрываем в robots.txt

Домашнее задание: Найди и избавиться от дублей контента на своём сайте. На все вопросы я отвечу в комментариях.

Проверяем индексацию сайта в поисковых системах

Перед начало продвижения вашего сайта, важно проверить его индексацию в поисковых системах в Яндекс и Google. Иначе если какие то страницы не проиндексированы то после их оптимизация, трафик на сайт не вырастит. А это потерянные потенциальные клиенты.

Проверяем индексацию сайта в панели вебмастеров

Шаг 1. Оцениваем сколько страниц на сайте, что бы понимать сколько страниц не попало в индекс. Для этого парсим сайт с помощью ComparseR-а (платная), бесплатно можно использовать Xenu. Краулер нашел 16 страниц. Не забываем что благодаря различным настройкам он может найти и системные страницы, которые не нужны пользователям.

Шаг 2. Теперь проверим все ли они проиндексированы, переходим в Яндекс.Вебмастер и выбираем нужный сайт. Если кто не добавил сайт в панель вспоминаем как добавить сайт в Яндекс, Гугл вебмастер.

Шаг 3. Переходим в раздел «Индексирование>Страницы в поиске>История»

Шаг 4. Смотрим и оцениваем как робот Яндекса индексировал сайт, какие страницы исключил, соответсвует ли количество страниц которые есть на сайте.

Шаг 5. Полезно посмотреть раздел «Структура сайта» там содержится информация о наибольшем количестве страниц которые находятся в какой то директории сайта. Один раз мне попалась категория в которой лежали дубли основных страниц и мешали им хорошо ранжироваться.

Шаг 6. Проверяем индексацию страниц в Google Search Console.

Шаг 7. Переходим в раздел «Индекс Google>Статус индексирования. »

Шаг 8. Так же полезно посмотреть разделы: «Заблокированные ресурсы, ошибки и статистика сканирования.» Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Индекс или поисковый индекс — база данных, содержащая информацию о документах, собранную роботами поисковых систем. Процесс занесения поисковым роботом информации о появившемся сайте в базу данных называется индексацией сайта. После обработки полученных данных поисковые системы с помощью соответствующих алгоритмов ранжирования получают возможность выводить сайт в выдаче результатов.

Проверяем индексацию сайта в поисковой выдаче

Шаг 1. Отпрываем поисковую систему Яндекс и Гугл.

Шаг 2. Вводим оператор «site:[url вашего сайта]» он выдает информацию о приблизительном количестве проиндексированных страниц. Полезно тоже просматривать что бы оценить ваши сниппеты.

Шаг 3. Вводим оператор «url:[url вашей страницы]» и проверяем индексацию конкретной страницы.

Почему не индексируется сайт?

1. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый.

2. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга.

3. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

4. Нет карты сайта (sitemap). Карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров и прописать в robots.txt.

5. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

6. И другие причины плохой индексации: дубли страниц; неуникальный контент; проблемы с доступностью и скоростью загрузки, на сайт наложены санкции.

Итого: После того как вы собрали всю информацию и сделали анализ ситуации, необходимо отправить на индексацию страницы которых нет в поиске или запретить индексацию не нужных вам страниц.

Домашка: Проверить насколько хорошо ваш сайт индексируется поисковыми машинами. Все вопросы бурно обсуждаем в комментариях.

Исправляем битые ссылки

Сегодня разбираем что же такое битые ссылки, и как они могут повлиять на поведенческие факторы сайты да и потерю потенциального клиента.

Основные причины появления битых ссылок:

  • неправильно прописан адрес;
  • ресурс был заблокирован.
  • адреса страниц, на которые ведет ссылка, были изменены;
  • срок хранения файла, на который ведет ссылка, истек;
  • файл, на который ведет ссылка, был удален или перемещен;
  • структура сайта была изменена;

Битые ссылки представляют собой URL, которые ведут пользователя на удаленные или неработающие страницы. При переходе по такой ссылке отображается ошибка 404. В большинстве случаев, обнаружив битую ссылку на сайте, пользователь моментально покидает ресурс.

Проверка битых ссылки в Яндекс Вебмастере и Search Console Гугла

В панелях вебмастеров Яндекса и Google можно будет узнать, на каких страницах и какие именно нерабочие гиперссылки были найдены, а затем, внести необходимые исправления в админке своего проекта.

Шаг 1. Переходим в Гугл Вебмастер (Search Console)

Шаг 2. Перейти из левого меню в «Сканирование» — «Ошибки сканирования»:

Шаг 3. На открывшейся странице перейти на вкладку «Не найдено» Но тут следует понимать, что поисковик рассматривает не только линки ведущие с вашего сайта, но и все те, что были проставлены с других ресурсов

Шаг 4. Заходим на необходимые страницы и исправляем внутренние ссылки на правильные.

Шаг 5. Для внешних ссылки в .htaccess настраиваем 301 редирект на правильный Урл

Шаг 6. Переходим в Яндекс Вебмастере

Шаг 7. В левом меню переходим на «Ссылки» — «Внутренние ссылки»

Шаг 8. Далее идете в админку своего сайта, отыскиваете нерабочую гиперссылку и либо исправляете ее, либо удаляете.

Проверка битых ссылок в программе Xenu

Шаг 1. Сначала вам нужно будет скачать Xenu Link Sleuth и установить на свой компьютер.

Шаг 2. Выберите из меню «File» — «Check URL» и в открывшемся окне введите URL вашего ресурса, поставьте галочку «Check external links» и нажмите «ОК».

Шаг 3. Ждем окончания парсинга. Все найденные неработающие гиперссылки в результирующем отчете будут помечены соответствующим образом (не найдено, не удалось связаться и т.д.).

Шаг 4. Для проверки именно битых ссылок нужно будет воспользоваться табулятором «Status», в результате чего все помеченные красным строки будут собраны в одном месте списка.

Шаг 5. Для того, чтобы узнать, а на какой именно странице проставлена неработающая ссылка, вам нужно щелкнуть по ней правой кнопкой и выбрать из контекстного меню вариант «URL Properties»

Шаг 6. Вам останется теперь зайти в админку своего сайт и провести необходимую правку.

Используем онлайн сервис проверки битых ссылок сайте

Шаг 1. Заходите на Broken Link Checker, вводите Урл вашего сайта в форму расположенную в правом верхнем углу открывшейся страницы и жмете на кнопку «Find broken links».

Шаг 2. Наблюдаете за результатом проверки, либо идете по своим делам не закрывая эту вкладку в браузере.

Шаг 3. Сервис Broken Link Checker будет вам сообщать о количестве проверенных страниц и потихоньку начнет выводить список найденных битых ссылок.

Шаг 4. Править их можно начинать прямо сейчас не дожидаясь окончания процесса проверки. Для этого достаточно будет кликнуть по кнопке «src» в нужной строке списка:

Шаг 5. Останется только найти в тексте статьи или в теле комментария проблемную ссылку и исправить ее.

Итого: Сегодня я показал вам как искать битые ссылки на сайте. Если у вас не получается но напишите мне я обязательно помогу.

Настраиваем главное зеркало сайта

Привет читатель, сегодня мы настраиваем главное зеркало сайта. Ты узнаешь как его определить и какое лучше выбрать с www или без.

Проблемы c зеркалами сайта.

1. В будущем это создаст проблемы с определением релевантности ваших страниц, так как ПС не всегда склеивают зеркала и в поиске присутствую несколько страниц с одинаковым контентом. Релевантная страница будет постоянно перебивать другую такую же страницу.

2. Поисковики могут автоматически выбрать вариант без www. В этом случае они не учитывают обратные ссылки с www. Ресурс теряет часть естественной ссылочной массы, которая могла бы работать на авторитет сайта. Поэтому те кто только запускает свой сайт лучше сразу определить главное зеркало. Какой вариант лучше: с префиксом www или без? Это вопрос личных предпочтений: выбирайте вариант, который вам больше нравится.

Зеркалами считаются сайты, являющиеся полными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (example1.com/page.html и example2.com/page.html). Например, в большинстве случаев хосты example.com и www.example.com являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.

Настраиваем 301 редирект на главное зеркало

  • Шаг 1. Подключитесь к серверу с помощью любого FTP-клиента, например, с помощью FileZilla.
  • Шаг 2. В корневом каталоге найдите файл .htaccess и нажмите редактировать.
  • Шаг 3. Пропишите 301 редикт на главное зеркало после RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.webcraft.su RewriteRule (.*) http://webcraft.su/$1 [R=301,L]
Шаг 4. Сохраните изменения в файле и загрузите его на сервер.

Шаг 5. Проверьте корректность работы визуально через браузер и сервис https://bertal.ru/

Шаг 6. В robots.txt прописываем директиву Host, файл лежит на сервере в корне сайта.

User-agent: *
Disallow: /engine/
Host: http://seopower.su
Sitemap: http://seooiwer.su/sitemap.xml

Итого: Если вы уже давно занимаетесь сайтом и только сейчас узнали про зеркала сайта. Необходимо проверить в какой ПС больше проиндексировано страниц и какое зеркало больше собирает трафика, после этого анализа сделать правильный выбор.

Домашнее задание: Сделать самому всё что написано в инструкции, если что то непонятно, то задавай свои вопросы в комментариях.

Создаём карту сайта sitemap.xml

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать сайт. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои особенно на крупных проектах в разделы которых можно попасть, только совершив длинную цепочку переходов.

Правильная настройка sitemap xml

Шаг 1. Генерируем карту сайта xml.

а. Самым популярным и оптимальным бесплатным решением является сервис — https://www.xml-sitemaps.com/, но есть ограничение до 500 страниц.

б. Есть еще 1 бесплатный вариант, это программа – Xenu Links Sleuth. http://home.snafu.de/tilman/xenulink.html

в. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).

г. Создаем в ручную, пример ниже
<?xml version='1.0' encoding='utf-8'?>
<urlset xmlns='http://www.sitemaps.org/schemas/sitemap/0.9' xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xsi:schemaLocation='http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd'>
<url><loc>http://webcraft.ru/</loc></url>
<url><loc>http://webcraft.ru/5-shag-4-ispravlyaem-dubli-stranic.html</loc></url>
<url><loc>http://webcraft.ru/2-shag-3-nastroyka-robotstxt.html</loc></url>
<url><loc>http://webcraft.ru/1-privet-mir.html</loc></url>
<url><loc>http://webcraft.ru/optimizaciya/</loc></url>
<url><loc>http://webcraft.ru/3-shag-2-nastraivaem-glavnoe-zerkalo-sayta.html</loc></url>
<url><loc>http://webcraft.ru/4-shag-1-dobavlyaem-sayt-v-yandeks-gugl-vebmaster.html</loc></url>
</urlset>

Шаг 2. Загружаем карту в корень сайта через фтп или файловый менеджер.

Шаг 3. Прописываем путь в файле robots.txt

Шаг 4. Добавляем в вебмастера Яндекс и Гугл.

Шаг 5.  Проверяем ошибки найденные в карте сайта. Если вы изменили добавленный в Вебмастер файл Sitemap, его не надо удалять и загружать снова — робот регулярно проверяет файл на обновления и ошибки. Для более глубокого изучения читаем справку https://yandex.ru/support/webmaster/indexing-options/ и https://support.google.com/webmasters/answer/183668?hl=ru

Sitemap.xml – это документ, отображающий полную информацию обо всех страницах сайта. С помощью файла Sitemap.xml можно сообщить поисковику об актуальной структуре сайта, последних обновлениях и приоритете обхода страниц

Домашнее задание: Сделать самому всё что написано в инструкции, если что то непонятно или не получается, то смело задавайте свои вопросы в комментариях.

Как настроить robots.txt

Сегодня мы поговорим про настройку файла robots.txt, он помогает закрывать не нужные страницы и экономить краулинговый бюджет который выделяет ПС на ваш сайт.

Что обычно закрывают от индексации в robots.txt

  • страницы с личной информацией пользователей;
  • корзину и сравнение товаров;
  • страницы поиска;
  • страницы с шаблонами сайта;
  • страницы регистрации и авторизации;
  • страницы для печати;
  • административную часть сайта.

Что должен содержать файл robots.txt

  • User-agent: *;
  • Disallow: /админка сайта/;
  • Адрес Sitemap;
  • Sitemap: http://mysite.com/sitemap.xml
  • Директива Host для Яндекса;
  • Host: mysite.com

Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Файл должен быть размещён в корневом каталоге сайта и быть доступен по адресу https://mysite.com/robots.txt.

Другие индивидуальные настройки

Crawl-delay; Директива Crawl-delay указывает время, которое роботы должны выдерживать между загрузкой двух страниц.

Clean-param; Для исключения страниц сайта, которые содержат динамические (GET) параметры.

Спецсимволы $, *, /, #;

Спецсимвол * (звёздочка) означает любую последовательность символов.

Спецсимвол # (решётка) используется для комментариев в файле для себя, пользователей.

Спецсимвол / (слеш) используется в каждой директиве Allow и Disallow. С помощью слеша можно запретить доступ к папке и её содержимому /category/ или ко всем страницам, которые начинаются с /category.

Спецсимвол $ запрещает конкретный url который вы указали

Как создать robots.txt

Многие CMS уже имеют файл в корне сайта по умолчанию, и поэтому вам не обязательно создавать его с нуля. Вы можете только немного его подкорректировать под свои нужды. Шаг 1. В текстовом редакторе создайте файл с именем robots.txt и заполните его в соответствии с представленными ниже правилами. Это не конечный вариант файла robots.txt. Этот набор правил редактируется под каждый сайт отдельно и зависит от того, что нужно закрыть, а что — оставить открытым.

Robots.txt для WordPress

User-Agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Allow: /wp-content/uploads/
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/*.css*
Allow: /wp-content/*.jpg
Allow: /wp-content/*.gif
Allow: /wp-content/*.png
Allow: /wp-content/*.js*
Allow: /wp-includes/js/
Host: mysite.com
Sitemap: http://mysite.com/sitemap.xml

Robots.txt для Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /media/*.png
Allow: /media/*.js
Allow: /modules/*.css
Allow: /modules/*.js
Host: mysite.com
Sitemap: http://mysite.com/sitemap.xml

Robots.txt для Bitrix

User-agent: *
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /upload/
Disallow: /search/
Disallow: /*/search/
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?*
Disallow: /*&print=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*action=*
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*print_course=Y
Disallow: /*COURSE_ID=
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Host: mysite.com
Sitemap: http://mysite.com/sitemap.xml

Шаг 2. Проверьте файл в сервисе Яндекс.Вебмастер (пункт меню Анализ robots.txt).

Шаг 3. Загрузите файл в корневую директорию вашего сайта с помощью ФТП клиента.

Шаг 4. Проверить открываться ли файл по адресу http://Вашсайт.ру/robots.txt

Вывод: Мы рассмотрели основные настройки файла Robots.txt. Для более подробного изучения читайте faq.

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html]Использование robots.txt справка Яндекс

https://support.google.com/webmasters/answer/7424835?hl=ru]Часто задаваемые вопросы о роботах

https://support.google.com/webmasters/answer/6062608?hl=ru]О файлах robots.txt справка Google

Домашнее задание: Проверить правильно ли настроен robots.txt на вашем сайте. Все ли важные страницы находятся в индексе ПС. На все вопросы я отвечу в комментариях. Бонус для читателей блога, генератор картинок для robots.txt  http://picascii.com

Как повысить скорость работы сайта

Пользовательский опыт – существенный для поискового продвижения фактор. А скорость загрузки сайта – является фактором, существенным для пользовательского опыта. Это значит, темпы загрузки страниц сайта влияют на успешность SEO-стратегии.

Со временем отношение пользователей к темпам загрузки сайта поменялись. Тому причина — переход на мобильные устройства, нацеленные на пользовательские потребности; глобальное внедрение широкополосной связи. Современные люди ожидают мгновенной загрузки страниц.

Совершенно закономерно, что теперь Google официально расценивает темпы загрузки сайта, как существенный фактор ранжирования.

С помощью представленных ниже рекомендаций вы сможете повысить темпы загрузки страниц до 1,8 сек.

Если вы хотите сделать качественный и удобный сайт, изначально побеспокойтесь о таком показателе, как скорость загрузки страниц.

Задействуйте сеть доставки содержимого

CDN или сеть доставки содержимого – серверы, посредством которых для пользователей предоставляются страницы сайтов, прочий контент согласно их местонахождения, источника страницы, а также ее сервера

CDN способна ускорять доставку контента, осилить интенсивный трафик.

Cloudflare — прекрасный бесплатный сервис для блогов на WordPress. Благодаря ему можно оптимизировать сайт под различные устройства и ускорить его работу.

Кроме того в Cloudflare имеются сервисы безопасности. С их помощью можно защитить сайт от ботов, сканеров, прочих злоумышленников.

Сжимайте картинки

Весьма эффективный подход. В случае использования CDN, часть работы сделана.

Доступен широкий выбор плагинов, благодаря которым можно сжать картинки на сайте. К примеру, ShortPixel. Это плагин WordPress, с помощью которого можно сжимать и старые, и новые картинки.

Плагин ShortPixel сжимает все изображения, а также уменьшает время, требуемое на резервное копирование, обеспечивает защищенность, безопасность обработанных файлов.

Избавьтесь от всплывающих окон, рекламных скриптов

В действительности, абсолютно устранить все всплывающие формы и рекламные скрипты — нереально. Необходимо просто сократить их воздействие на эффективность сайта.

Изначально отыщите сторонние скрипты, запускаемые на вашем сайте, определите их происхождение, воздействие на метрику сайта.

В таких целях используются спец инструменты, к примеру, Pingdom. Сервис анализирует все файлы и сценарии, на выходе получается детальный отчет о темпах загрузки элементов.

Такое же правило распространяется на плагины всплывающих окон. Наиболее быстрым плагином принято считать OptinMonster.

Выполните установку плагина кэширования

Благодаря плагинам создается статическая версия сайта, только ее и видят пользователи. Данный подход уменьшает в половину время загрузки страниц.

Для WordPress идеально подойдут такие плагины кэширования: W3 Total Cache, WP Super Cache. Они элементарны в установке, делают возможным подбирать страницы для кэширования – все или определенные – предлагают огромное количество параметров сжатия содержимого.

Отключайте плагины, которые не задействуются в работе

Из-за сотен плагинов WordPress ваш сайт работает не так быстро, как хотелось бы.

Оцените все то, что было установлено за период существования сайта, отключите те элементы, которые не применяются, либо же могут не применяться без ущерба для продуктивности сайта.

К тому же, стоит обновить плагины, таким образом можно сделать сайт более безопасным, увеличить темпы загрузки страниц.

Займитесь оптимизацией медиа файлов

В процессе оптимизации сайта может возникать следующая проблема: даже после установки плагинов сжатия, устранения рекламных скриптов и оптимизации картинок, могут оставаться такие формы медиа, из-за которых тормозится загрузка страниц.

Такой вопрос можно решить посредством плагина с отложенной загрузкой медиа — BJ Lazy Load. Изначально он показывает текстовый контент, после чего, когда посетитель прокручивает страницу вниз, выполняет загрузку медиа.

Бонусная рекомендация: ищите помощи у хостинга

В случае работы посредством WordPress, лучше всего сотрудничать с хостинговой фирмой, специализирующейся на данной структуре управления контентом. К примеру, Synthesis от Rainmaker, Presslabs или WP Engine.

Выводы

С каждым днем возрастает количество пользователей, что используют мобильные устройства с целью доступа к сети. Вот почему столь важно оптимизировать сайты под мобильное использование, искать подходы для сокращения времени загрузки страниц.

Учтите, если загрузка страниц медленная, повышаются показатели отказов. И даже если вы предлагаете качественный контент, мало кто готов расходовать свое время на ожидание. Вероятнее всего, они перейдут к конкурентам, с более быстрым сайтом.