Индексация сайта: что это?

Словарь маркетолога / Индексация сайта

Индексация сайта это процесс обхода поисковым роботом страниц сайта, их обработка и последующее добавление в базу (индекс) поисковой системы.

Поисковые системы хранят обработанные копии страниц, которые оценены по качеству и количеству внешних факторов (внешние ссылки, социальные сигналы и пр.) и внутренних факторов (ключевые слова в тексте, поведенческие факторы страницы и пр.).

Данные факторы являются факторами ранжирования и влияют на то - будет ли страница хранится в индексе поисковой системы или нет и по каким запросам и на какой позиции она будет отображаться в поисковой выдаче.

Как проверить индексацию сайта и страницы?

Проверка индексации сайта или страницы возможна как средствами Google Search Console, Яндекс.Вебмастер, так и обычным использованием оператора site: в поисковой строке плюс указание домена, например: site:chatim.io Таким образом, можно проверить все проиндексированные страницы данного сайта.

Чтобы проверить индексацию страницы нужно ввести её полный адрес в поисковую строку, либо же полный тайтл страницы, либо же воспользоваться инструментами для проверки индексации страницы, которые предоставляют поисковые системы.

Как ускорить индексацию сайта или страницы?

  • добавить новый сайт или новую страницу в очередь на индексирование в инструментах для вебмастера: Google Search Console и Яндекс.Вебмастер
  • сделать sitemap.xml сайта и добавить его также на индексацию
  • разместить несколько внешних ссылок на новую страницу или главную страницу нового сайта
  • провести анализ страниц сайта, если они отвечают требованиям поисковых систем (нет переспама, воды в тексте, большого количества исходящих ссылок, дубликатов страниц, правильно ли заполнены метатеги title, description и т.д.)
  • проверить правильность заполнения robots.txt в онлайн сервисах, если он не запрещает индексировать сайт или отдельные его разделы
  • проверить если в коде страницы нет тегов <noindex>, которые запрещают индексировать поисковому роботу часть или всю страницу
  • сделать продуманную внутреннюю перелинковку страниц сайта
  • проверить аптайм сайта, надежность хостинга
  • улучшить поведенческие факторы сайта (время проведенное на сайте, глубину просмотра страниц), установить для этого онлайн-чат для сайта или чат-бот и работать с уже поступающим трафиком на проиндексированные страницы. Предлагаем ознакомиться с нашей разработкой на главной странице.

Если сайт или страница долго не попадают в индекс (более 3 недель), следует проверить их на вышеизложенные факторы, установить и устранить их.

Как запретить индексацию сайта?

Чтобы закрыть индексирование сайта поисковым роботам нужно в файле robots.txt прописать следующие правила: User-agent: * (и вместо звёздочки указать какой поисковой системе следует не индексировать сайт Google или Yandex), либо прописать Disallow: / ,тогда все поисковые роботы не будут сканировать сайт.

Сколько времени необходимо для индексации сайта или страницы в Яндекс и Google?

Этот показатель зависит от качества сайта и наличия на него входящих обратных ссылок. Обычно для индексации нового сайта требуется около 2 недель, для индексации новой страницы на авторитетном сайте - несколько часов.

Чтобы страницы сайта быстрее индексировались, следует как можно чаще добавлять новый полезный контент, тогда роботы будут чаще посещать сайт и обновлять его индекс в поисковой базе.