Выпали все страницы из яндекса. Причины выпадения страниц из индекса

Сегодня я с ужасом обнаружил, что целая куча страниц на всех моих сайтах выпали из Яндекса. Из-за этого трафик везде просел в два-три раза, а как понимаете - это полная печаль 🙁 Почему страницы выпали из Яндекса?

Причина, скорее всего, кроется в недавнем падении моего сервера, об этом я писал в своем живом журнале, тут писать, по понятным причинам, не мог. Сервер лежал почти сутки, называется, поковырялся в пятницу вечером!

НИКОГДА НИЧЕГО НЕ ДЕЛАЙТЕ НА СЕРВЕРЕ В ПЯТНИЦУ ВЕЧЕРОМ!

Почему? Потому что и у ребят, которые держат хостинг тоже есть выходные. Они оставляют дежурного специалиста, и я на собственном опыте убедился, что в это время суток сажают не самых лучших. Но это ладно, тема для отдельного разговора.

Сначала я подумал, что трафик просел из-за Пасхи , люди гуляют, интернетом пользуются реже. На выходных у меня всегда проседает немного посещаемость, а на большие праздники еще сильнее.

Но наступил понедельник, а трафик так и остался на пасхальном уровне, и вот тогда я начал беспокоиться. Полез стразу в Яндекс вебмастер, и вот что я вижу:

40% статей на этом блоге вылетели из индекса! Понятно, почему ! Связано ли это с падением сервера? Захожу в Яндекс вебмастер и сморю на исключенные страницы:

Как хорошо видно на фото, страницы вылетели из индекса 23 числа. Когда было падение сервера? Смотрим:

Как видно на графике, падение сервера было тоже 23 числа. Но это пока догадки, написал в Яндекс, через несколько часов получил ответ:

Здравствуйте, Андрей!

Все указанные страницы Вы можете найти среди исключенных из поиска в соответствующем разделе "Яндекс.Вебмастера". Дело в том, что 23 апреля, когда робот обращался к ним, Ваш сервер вернул код ответа 404. Сейчас со страницами все в порядке, роботу уже об этом известно, поэтому они смогут вернуться в поиск уже после следующего обновления поисковой базы.

О двух других сайтах, пожалуйста, напишите отдельно с помощью формы на странице .

Правило вести о каждом сайте отдельную переписку помогает нам избежать путаницы и быстрее отвечать Вам.

Спасибо за понимание, ждем Вашего письма!

Все ясно, пришел робот, а сайт в ауте, он не долго мучаясь выкинул пол сайта из индекса. МОЛОДЕЦ! ВОЗЬМИ С ПОЛКИ ПИРОЖОК!

Я все понимаю, алгоритмы там всякие, но вот объясните мне, сотрудники Яндекса: почему ОДИН раз не найдя страницу ваша поисковая система сразу выкидывает ее из индекса? В то же время у меня до сих пор в индексе много страниц, которые я уже как пол года назад удалил, и они все в индексе?

Но не об этом даже хотел я написать, это была прелюдия. В процессе решения этого вопроса у меня возник закономерный вопрос:

Как найти страницы выпавшие из Яндекса?

Рыская по интернету я нашел отличное решение по МАССОВОМУ поиску выпавших из индекса страниц, будь то из Яндекса или Google. Для этого нам понадобятся две программы: SiteMap Generator и .

Первая программа (бесплатная) поможет нам выкачать с сайта все статьи. Запускаем программу, пишем адрес сайта и запускаем сканирование:

Когда все страницы собраны, переходим во вкладку Yahoo и копируем список всех страниц.

Далее вставляем все это в таблицу EXEL и сортируем по алфавиту. Так как программа спарсила нам и все картинки, которые нам не нужны, благодаря сортировке мы сможем все их быстро найти и удалить. Теперь открываем Key Collector и идем в НАСТРОЙКИ программы:

В ИНТЕРФЕЙСЕ настраиваем все так, как показано на фото выше. Далее переходим в другую вкладку и удаляем все символы из указанных полей:

Теперь прописываем в верхнем правом поле адрес нашего сайта и запускаем сбор позиций Яндекс или Google:

После того как все закончилось выгружаем результат в EXEL. Что мы видим?

А видим простую картину: если страница не в индексе, то в выдаче релевантной страницей будет главная страница или другая похожая статья. Отсортируем левую колонку по алфавиту и сразу увидим страницы, которые выпали из индекса:

Все это делается за пять минут. Что дальше? В моем случае нужно ждать обновления выдачи (сегодня утром он случился), если же страницы выпали из индекса по другим причинам, то можно загнать их обратно способами, изложенными в этой статье - как можно ускорить индексацию сайта?

Написал это больше для себя, чтобы не забыть алгоритм, все может повторится, ну и вам может быть пригодится. И еще урок для всех: держи ноги в тепле, в сервер в холоде...

Не нашли ответ? Воспользуйтесь поиском по сайту

Массовое выпадение посадочных страниц из индекса поисковых систем, а следовательно и из поиска, черевато падением позиций сайта и снижением объема органического трафика.

Можно отметить несколько основных и часто встречающихся причин, почему поисковые системы выкидывают страницы сайта из своего индекса и перестают их учитывать в ранжировании.

Причины выпадения страниц из индекса

1. Страницы, которые перенаправляют 301 или 302 редиректом на другие страницы или сторонние сайты, либо содержат слишком большое кол-во исходящих на сторонние ресурсы ссылок. Иначе их можно назвать дорвейными страницами .
2. Страницы которые отдают контент для поисковых систем отличный от того что видит пользователь, так называемый клоакинг .
3. Размещение на странице скрытого для пользователя контента, это может быть использовано программно (ошибки в коде или умышленно), а также с помощью разметки текста (очень маленький шрифт или цвет под фон)
4. Не уникальный или малополезный контент, а также страницы с дублирующимся контентом с других страниц сайта.
5. Страницы с большим количеством рекламных блоков, созданных преимущественно или исключительно, для заработка на рекламе.
6. Избыточное количество ключевых фраз на странице – переоптимизация.
7. Накрутка поведенческих факторов путем имитации действий пользователей
8. Использование на сайте технологии кликджекинга - размещением на сайте невидимых пользователю элементов, взаимодействие с которыми осуществляется без его ведома или создание на сайте невидимых пользователю элементов поверх кнопок, форм, видеороликов и т.п.
9. Ошибочное закрытие раздела сайта или страницы в файле robots.txt или мета-тегом robots.
10. Заражение сайта вредоносным кодом с точки зрения ПС.
11. Сбои в работе хостинга или CMS из-за чего страница длительное время не доступна для роботов ПС.

Как определить выпавшие из индекса Яндекса страницы

В Яндекс Вебмастере имеется достаточно удобный инструмент по анализу страниц, которые поисковая система посчитала не соответствующими необходимым критерия качества. Владея этой информацией Вы сможете устранить допущенные ошибки для возврата возврата необходимых страниц в индекс поисковой системы Яндекс.

Резюме:

Чтобы избежать выпадения страниц сайта из индекса ПС следует следить за техническим состоянием ресурса и своевременно устранять возникающие ошибки. Не злоупотреблять рекламными блоками для информационных проектов, а для E-commerce проектов вообще от них отказаться. Не использовать запрещенных поисковыми системами техник, таких как клоакинг, дорвеи и кликджекинг. А также наполнять свой ресурс качественным и уникальным контентом полезным не только для SEO , но и для пользователей.

С поисковыми системами нужно быть крайне осторожным, их алгоритмы совершенствуются постоянно, что приводит неопытных вебмастеров к серьезным проблемам.


Сделав одно не правильное действие, можно не то что попрощаться с ТОПом выдачи, но и вообще придти к исключению сайта из неё.

Почему страницы выпали из индекса? Для всех новичков мы уже рассказывали, . Делать это нужно постоянно, чтобы быстро определять проблемы.

Чем быстрее вы их выявите, тем проще будет всё исправить. Удаление страниц из поисковой выдачи может быть связано с различными причинами, попробуем в этом разобраться.

Страницы выпадают из индекса Яндекса, что делать?

Самая распространенная причина удаления страниц из списка проиндексированных – это попадание сайта под фильтры .

У поисковых систем создано несколько фильтров, под которые попадают ресурсы за нарушение разных правил. К примеру, под Минусинск попадают площадки, чьи владельцы покупали ссылки.

В одной из наших статей рассказывалось, . А вообще, сначала нужно отправить сообщение в тех. поддержку поисковых систем, чтобы выяснить, какой именно фильтр наложен и по какой причине.

Если речь идет о Google, то при ручных санкциях вебмастерам отправляются уведомления о наложении санкций. Автоматическое добавление под фильтры не сопровождается этим уведомлением.

На практике встречаются самые разнообразные факторы, из-за которых выпали страницы из индекса в Яндекс. К примеру, это может быть переспам ключевыми словами .

Если вы ещё не зарегистрированы в специальных сервисах для вебмастеров, обязательно это сделайте:

Это необходимо для сбора статистики, получения уведомлений и так далее. Даже если ваша площадка попадает под фильтры, вы сразу это заметите.

Если же вы не имеете представления, за что ваши страницы пропали из индекса, читайте, (это тех. поддержка Яндекса).

Общие причины попадания под фильтры

Чтобы вы не думали, что вашу площадку по ошибке добавили под фильтры, рассмотрите основные причины наложения санкций поисковыми системами и проанализируйте свою деятельность за последние месяцы.

Возможно, вы сами создали проблемы, если:

• использовали высокую плотность ключевых слов;
• покупали не качественные ссылки;
• публиковали на сайте копипаст;
• продавали ссылки (добавляли слишком много внешних ссылок);
• применяли запрещенные методы продвижения;
• пытались скрыть контент или подменить его;
• размещение слишком коротких статей (до 500 символов).

Дайте поисковой системе хотя бы один повод добавить вас под фильтры и санкции 100% будут наложены. Лучшее думать об этом заранее, так как вывести площадку из-под них не так просто. Для начала потребуется устранить проблему, а потом продолжать развивать проект.

Выпала страница из индекса, но фильтры не наложены

Бывают проблемы связанные с индексацией, которые не указывают на наложение санкций. Возможно, вы устанавливали какой-нибудь плагин или редактировали код, что может привести к закрытию страницы.

Хорошо, что в интернете есть профессионалы, готовые помочь и после создания темы на одном из популярных сервисов, выяснилось следующее.

>> Причины выпадения страниц сайта из выдачи поисковых систем

Причины выпадения сайта из (выдачи) индекса поисковых систем. Почему это происходит и как с этим бороться?

Здравствуйте, дорогие читатели!

В данной статье вы узнаете о том, что такое индекс поисковых систем (индексация сайта), какие причины могут способствовать тому, что ваш сайт частично либо полностью выпадает из индекса поисковых систем и какие последствия это несет за собой.

Чтобы сайт мог хорошо ранжироваться в поисковой выдаче, для начала его страницы должны хорошо индексироваться. Иначе как же спортсмен сможет победить в соревновании, если он даже не записан в списке участников?

Индекс поисковой системы , это как раз и есть тот самый список участников поисковой гонки.

Плохо, если страница сайта проседает в поисковой выдаче. Если же страницы сайта совсем нет в индексе, тогда она становится полностью недоступной для пользователей интернета.

Почему сайт вылетает и не остается в индексе поисковых систем?

Наиболее часто явление выпадения всего сайта или его отдельных страниц случается с молодыми сайтами.

Частично по причине ошибок самого веб-мастера, иногда из-за ошибки при выборе хостинга .

Третья причина плохой индексации новых сайтов - в недостаточном трасте у поисковиков. И если апдейты доверенных, старых ресурсов заносятся в индекс "не читая", то каждую новую статью, картинку на сайте новичка исследуют под микроскопом.

Новые страницы могут по этой причине "мигать" в выдаче. То появляться, то исчезать из списка проиндексированных страниц. Возможно недостаточное количество текстового контента, низкая уникальность , дублирование, переспам ключевых слов и так далее.

При публикации новых страниц можно легко допустить ошибки в настройке свойств. Забыть добавить новинку в общую навигацию, или случайно поставить галочку в боксе запрета на индексацию.

Наконец, причиной отсутствия в индексе поисковых систем большого количества страниц может стать плохо проработанная архитектура сайта. Поисковые роботы путаются и не могут попасть на некоторые страницы.

Чтобы избежать подобных проблем, перед каждой публикацией настоятельно рекомендуется проводить тестирование всего ресурса. Все ли страницы, которые должны, отображаются в браузере?

Проверить файл robots.txt на предмет правильности указаний, какие страницы допущены к индексации, какие запрещены.

При редактировании сайта возможны ошибочные действия, которые могут привести к нарушению структуры сайта. Тогда из навигации пропадут ранее отлично индексируемые страницы.

Если сайт редко обновляется, совсем мало посетителей, нет обратных ссылок или по ним никто не переходит, все это для поисковиков явные признаки заброшенности ресурса. Такие сайты роботы посещает все реже и реже. А по истечении кого-то периода совсем уделяют из списка живых.

Еще причиной почему в индекс поисковых систем не могут попасть страцицы сайта - это нестабильная работа серверов хостинг-провайдера. Если поисковый робот пришел, а сайт в это время оказался недоступен, страница может быть исключена из индексации. После нескольких повторов ситуации с недоступностью, поисковые роботы могут окончательно забыть о ресурсе.

Сюда же можно отнести ситуацию, когда сайт перестает индексироваться из-за сбоев в работе оборудования самой поисковой машины. В таком случае после восстановления функций поисковик заново проиндексирует сайт.

Это были перечислены технические причины. В последние годы все больше влияет на индексацию качество сайтов. Поисковые системы за краденный контент, черную и серую оптимизацию, продажные бэклинки все более применяют практику полного удаления страниц из индексации вместо понижения выдачи.

Особенно это касается именно покупных обратных сылок . При исчезновении большого числа страниц из индекса, вполне вероятно, что это сработал некий новый фильтр . В таком случае необходимо проводить полный аудит всех входящих и исходящих ссылок.

Удалять все подозрительные линки либо закрывать ссылки от индексации , блокировать их действие в инструментах для веб-мастеров Google (disallow links toot). Если и это не помогает, вступать в долгую переписку с поисковыми системами.

На этом у меня все. Надеюсь, ваш сайт полюбят поисковые системы, и он не будет выпадать из индекса поисковых систем , а вы в свою очередь станете немножко мудрее и будете серьезней относиться к своему сайту.

P.S. Постоянно анализируйте свой сайт и не делайте глупостей.

Желаю вам и вашему сайту хорошей и долгой индексации!

С уважением, Виталий Шматов!

У вас «выпали» страницы или целые разделы из индекса поисковой машины без видимых на то причин? Давайте разбираться. Потому как без причины такое случается очень редко. В понимании «Яндекса» каждый сайт должен представлять интерес – в первую очередь для пользователей. Если какая-то страница или весь сайт не имеют с этой точки зрения никакой ценности, они могут исключаться из индекса. И если эта беда приключилась именно с вашим ресурсом, нужно искать причину в самом сайте, иначе продвижение сайтов самостоятельно значительно затрудняется.

1. Проверьте, корректно ли загружается обозначенная страница: если роботам «Яндекса» закрыт доступ к серверам провайдера, из индекса может «вывалиться» весь сайт. Хотя проблемы отображения могут исходить и из самой CMS. Проверить, относится ли ваша проблема к техническим, довольно легко: добавьте свой сайт в сервис «Яндекс.Вебмастер» и просмотрите раздел «Ошибки».

2. Описанные выше трудности могут появиться и из-за некачественного, неуникального или отсутствующего контента. Так, если поисковая машина обнаружила на странице вашего сайта плагиат, она просто исключает его из поиска, чтобы не тратить свои мощности на обработку бесполезной информации (ведь то же самое можно найти на сотне других сайтов). По такому же сценарию «поисковик» поступает с контентом дорвейного вида, машинным рерайтом и так далее. Кстати, если на вашей странице контент уникален, но его очень мало (например, это может быть страница галереи, на которой размещена одна лишь фотография с подписью), к вам тоже легко могут применить санкции – такие страницы тоже считаются малоинформативными.

3. Причиной исключения страниц из индекса может стать большое число исходящих ссылок. Причем в каждом конкретном случае число ссылок, которое не понравится «Яндексу», может быть разным: иногда это 10 ссылок на одной странице, а иногда 5.

4. Придирчивому роботу может не понравиться и весь ваш сайт в целом. Нередко случается, что представления владельца сайта и «Яндекса» об уровне ресурса в корне не совпадают. В этом случае выход может быть один: анализируйте сайты удачливых конкурентов, изучайте требования самого «Яндекса» («Помощь вебмастеру») и глубже погружайтесь в поисковое продвижение сайтов , просите опытных специалистов оценить ваш сайт.

5. Создавать проблему вам могут и внутренние дубли страниц – это страницы либо с одинаковым, либо с очень похожим содержанием, которым присвоены разные адреса. Такое чаще всего случается при неправильной настройке CMS сайта. Запретить создание дублей можно в текстовом файле robots.txt, который находится в корневой директории ресурса.