SEO хитрость с датой публикации. Дублированный контент. Какие причины и решения

Дорогие друзья, сегодня я поделюсь с вами одной из своих свежих наработок по продвижению сайтов. Я расскажу, как удалить дату публикации из поисковой выдачи и какие преимущества это дает.

Как известно, в результатах выдачи у многих страниц сайтов выводится дата их публикации. Даты позволяют пользователям ориентироваться в результатах поиска и выбирать страницы с более свежей и актуальной информацией.

Я сам в большинстве случаев предпочитаю переходить на страницы, которые опубликованы не так давно, а материалы 3-5 летнего и более возраста посещаю намного реже, так как зачастую информация во многих тематиках быстро устаревает и теряет свою актуальность.

Как вы думаете, получит ли данная статья о плагинах Firefox максимальное количество переходов из поиска, если она датирована 2008 годом?

Или мой пост о плагинах WordPress от 2007 года:

Думаю, что нет, так как информация в данных тематиках с годами устаревает.

Я задумался о том, как можно использовать этот момент для увеличения посещаемости продвигаемых мной сайтов. Есть много "вечнозеленых" тематик, в которых информация практически не устаревает, и материалы, опубликованные несколько лет назад, будут также полезны и интересны для посетителей.

Например, возьмем тематику дрессировки собак. Там основные принципы не меняются по много лет. В то же время владельцу такого сайта будет грустно 😉 , когда через несколько лет на его статьи станет переходить меньше посетителей из поисковой выдачи, так как они будут видеть дату публикации и выбирать более новые статьи на других сайтах просто потому, что они более свежие, хотя они могут быть далеко не так интересны и полезны.

Но если взять такие тематики, как смартфоны, гаджеты, мода, женская одежда, то информация в них очень быстро устаревает и теряет свою актуальность. В них нет смысла убирать дату из поисковой выдачи.

🔥 Кстати! Я планирую выпустить платный курс по продвижению англоязычных сайтов. Если интересует, можете подать заявку в ранний список через эту форму , чтобы первыми узнать о выходе курса и получить специальную скидку.

Приглашаю вас подписаться на мои каналы в Telegram:

Желаю вам высокой посещаемости на ваших сайтах!

Десерт на сегодня - увлекательное видео о том, как один паренек катается на велосипеде 😉 . Слабонервным и впечатлительным людям лучше не смотреть 🙂 :

Сильные стороны языка запросов

Язык запросов Yandex выгодно отличается мощным аппаратом для работы с контекстом документа: операторы [&] для поиска в одном предложении и [&&] для поиска в пределах одного документа, практически не имеют аналогов у других крупных поисковиков. При этом оператор кавычки ["] также присутствует. Возможность использовать скобки для группировки отдельных частей запроса, также сильная сторона Yandex.

К логическим операторам Yandex относится или с двумя эквивалентными формами: и [|] , с некоторой натяжкой можно отнести знак минус [-] или двойной тильды c последующим пробелом [~~ ] , которые ставятся впереди слова (или группы в скобках) для исключения слова или группы слов из поиска.

С точки зрения документных операторов присутствует оператор для поиска в заголовках и оператор для поиска во фрагментах url. Все перечисленные операторы могут использоваться совместно с другими операторами. Пример: title:(разработка & сайта) перечислит страницы веб сайтов, которые имеют сочетание разработка сайта в одном предложении в заголовке документа.

Одним из интереснейших операторов Яндекса считается оператор неранжирующего и (<< ). Этот оператор позволяет ограничивать выборку не изменяя базового запроса, что позволяет проводить анализ Серпа на предмет аффилированных сайтов или определения региона для сайта.

Отсутствующие операторы

В Яндексе отсутствует оператор проверки ссылок на сайт и проверки наличия слов в анкоре ссылок . Отсутствие последнего видимо сделано для борьбы с seo, вообще говоря, оператор полезный и для простого пользователя.

Недокументированные операторы

К недокументированным возможностям следует отнеси использование оператора исключения слов в контексте к сайту, например: Запрос ~~ site:mysite . Интересен также оператор проверки последней индексации документов idate , например, запрос site:mysite.ru idate: покажет все документы с сайта mysite.ru, проиндексированные Яндексом после 3 января 2015 года.

Google

Специфика использования операторов языка запросов

Google, в отличие от Yandex, любит «навевать тень на плетень». Оператор присутствует, но годится только для относительной оценки популярности сайта или страницы сайта. Число показываемых ссылок в нем сильно ограничено, кроме того непонятно по какому принципу эти ссылки выбираются.

Единственным документированным оператором для работы с контекстом в Google является звездочка — [*] , которую можно вставлять на месте пропущенного слова, и кавычки ["] для обозначения фразы целиком.

Из документных операторов в Google представлены , . Справка google (http://www.google.com/intl/en/help/operators.html — уже нет:) объясняет, что для ряда слов эквивалентен простановке перед каждым словом.

К логическим операторам в Google можно отнести логическое или , записываемое любым из двух способов: ; [|] , и оператор исключения минус [-] , который должен ставиться непосредственно перед словом.

Пример: -intitle:seo intitle:оптимизация сайта
как ни странно запрос работает и показывает выдачу документов, со словом оптимизация и без слова seo в заголовке.

Недокументированные операторы Google

Операторы и , похоже, ищут как в заголовках документов, так и в url и анкорах (скорее они просто высвечивают эти документы, так как акорный текст становится их частью). Пример: allinanchor:раскрутка сайтов .
p.s. На сегодняшний день (2.05.2012) оператор inanchor:»фраза в кавычках» работает и позволяет найти документ, на который есть ссылка с анкором «фраза в кавычках».

Операторы , ищут вхождения ключевых слов в тексте документов. Пример: allintext:продвижение сайтов .

Оператор AROUND(n) позволяет искать слова, которые находятся на заданном числе слов друг от друга. Например, день AROUND(4) радио . AROUND должен быть написан прописными буквами.

Bing

Перечень операторов Bing находится в постоянном развитии (как в прочем и все у Microsoft:), охват российского интернета пока еще мал. Интересным представляется недокументированный оператор , позволяющий посмотреть все внешние ссылки с данного домена. Примеры: linkfromdomain:сайт , linkfromdomain:сайт site:dotorg.ru .

Данная статья будет в первую очередь полезна начинающим оптимизаторам, потому что более продвинутые и так должны знать о них все. Для того, чтобы использовать данную статью с максимальной эффективностью, желательно точно знать, какие слова необходимо поднять на нужные позиции. Если вы еще точно не уверены в списке слов, или воспользуйтесь сервисом подсказки ключевых слов, он немного запутан, но разобраться можно.

Важно! Будьте уверены, Google прекрасно понимает, что обычные пользователи не будут ими пользоваться и только специалисты по продвижению прибегают к их помощи. Поэтому Google может немного искажать предоставляемую информацию

Оператор Intitle:

Использование: intitle:слово
Пример: intitle:раскрутка сайта
Описание: При использовании этого оператора вы получите список страниц, в заголовке (title) которых есть интересующее вас слово, в нашем случае это фраза «раскрутка сайта» целиком. Обратите внимание на то, что после двоеточия не должно быть пробела. Заголовок страницы имеет важное значение при ранжировании, поэтому отнеситесь к составлению заголовков со всей ответственностью. При использовании этой переменной вы сможете оценить приблизительное количество конкурентов, которые так же хотят быть на лидирующих позициях по этому слову.

Оператор Inurl:

Использование: inurl:фраза
Пример: inurl:расчет стоимости поисковой оптимизации
Описание: Эта команда показывает сайты или страницы, которые имеют в адресе URL исходное ключевое слово. Обратите внимание на то, что после двоеточия не должно быть пробела.

Оператор Inanchor:

Использование: inanchor:фраза
Пример: inanchor:seo книги
Описание: Использование этого оператора поможет вам увидеть страницы, на которые есть ссылки с используемым ключевым словом. Это очень важная команда, но, к сожалению, поисковые машины неохотно делятся этой информацией с оптимизаторами по очевидным причинам. Есть сервисы, Linkscape and Majestic SEO, которые готовы предоставить вам эту информацию за определенную плату, но будьте уверены, информация того стоит.

Так же, стоит помнить, что сейчас Google все больше внимания уделяет «трастовости» сайта и все меньше ссылочной массе. Безусловно, ссылки все еще один из самых важных факторов, но «трастовость» играет все более значимую роль.

Неплохие результаты дает комбинация двух переменных, например intitle:продвижение inanchor:раскрутка сайта. И что же мы видим, поисковая система покажет нам основных конкурентов, в заголовке страницы которых содержится слово «продвижение» и входящими ссылками с анкором «раскрутка сайта ».

К сожалению, данная комбинация не позволяет узнать «трастовость» домена, которая как мы уже говорили, является очень важным фактором. К примеру, множество старых корпоративных сайтов не имеют такого количества ссылок, как их молодые конкуренты, но они имеют много старых ссылок, которые и вытягивают эти сайты на вершину поисковой выдачи.

Оператор Site:

Использование: site:адрес сайта
Пример: site:www.aweb.com.ua
Описание: С помощью этой команды вы можете увидеть список страниц, которые проиндексированы поисковой системой и о которых она знает. Применяется в основном для того, чтобы узнать о страницах конкурентов и проанализировать их.

Оператор Cache:

Использование: cache:адрес страницы
Пример: cache:www.aweb.com.ua
Описание: Эта команда показывает «снимок» страницы с того момента, когда робот заходил на сайт последний раз и вообще, как он видит содержимое страницы. Проверяя дату кэша страницы, вы можете определить, как часто роботы заходят на сайт. Чем более авторитетный сайт, тем чаще роботы на него заходят и соответственно, чем менее авторитетный (по мнению Google) сайт, тем реже роботы делают снимки страницы.

Кэш очень важен при покупке ссылок. Чем ближе дата кэширования страницы к дате покупки ссылки – тем быстрее ваша ссылка будет проиндексирована поисковой системой Google. Иногда получалось находить страницы с возрастом кэша в 3 месяца. Купив ссылку на таком сайте, вы только напрасно потратите свои средства, ведь вполне возможно, что ссылка никогда не будет проиндексирована.

Оператор Link:

Использование: link:url
Пример: link:www.aweb.com.ua
Описание: Оператор link: ищет и показывает страницы, которые ссылаются на указанный адрес url. Это может быть как главная страница сайта, так и внутренняя.

Оператор Related:

Использование: related:url
Пример: related:www.aweb.com.ua
Описание: Оператор related: выводит страницы, которые, по мнению поисковой системы, похожи с указанной страницей. Для человека все полученные страницы могут и не иметь ничего похожего, но для поисковой системы это так.

Оператор Info:

Использование: info:url
Пример: info:www.aweb.com.ua
Описание: При использовании этого оператора, мы сможем получить информацию о странице, которая известна поисковой системе. Это может быть автор, дата публикации и многое другое. Дополнительно, на странице поиска, Google предлагает сразу несколько действий, которые он может сделать с этой страницей. Или, проще говоря, он предложит использовать некоторые операторы, которые мы описали выше.

Оператор Allintitle:

Использование: allintitle:фраза
Пример: allintitle:раскрутка aweb
Описание: Если мы начнем поисковой запрос с этого слова, мы получим список страниц, в заголовке которых есть вся фраза. К примеру, если мы попробуем поискать слово allintitle:раскрутка aweb, то получим список страниц, в заголовке которых упоминаются эти оба слова. И совсем не обязательно они должны идти друг за другом, они могут располагаться в разных местах заголовка.

Оператор Allintext:

Использование: allintext:слово
Пример: allintext:оптимизация
Описание: Этот оператор ищет все страницы, в теле текста которых есть указанное слово. Если мы попробуем использовать allintext:оптимизация aweb, то увидим список страниц, в тексте которых встречаются эти слова. То есть, не вся фраза целиком «оптимизация aweb», а оба слова и «оптимизация» и «aweb».

Дополнительные команды поисковой машине Google позволяют вам добиться гораздо лучших результатов. С их помощью вы можете ограничить область поиска, а также указать поисковой машине, что не нужно просматривать все страницы.

Оператор «Плюс» (+):
Для ситуации, когда надо принудительно включить в текст какое-либо обязательное слово. Для этого используется оператор «+» перед обязательным словом. Предположим, если у нас запрос Терминатор 2, в результате запроса у нас появится информация и о фильме Терминатор, Терминатор 2, Терминатор 3. Чтобы оставить только информацию о фильме Терминатор 2, мы ставим «плюсик» перед двойкой: совсем немного про «Один дома I». Если же у нас запрос вида Терминатор +2.

Например:
Журнал +Мурзилка
Уравнение +Бернулли

Оператор site:

Например:
Музыка site:www.сайт
Книги site:ru

Оператор link:

Например:
link:www.сайт
Друзья link:www.сайт

Оператор диапозона (..):
Для тех, кому приходится работать с цифрами, Google дал возможность искать диапазоны между числами. Для того, чтобы найти все страницы, содержащие числа в неком диапазоне «от — до», надо между этими крайними значениями поставить две точки (..), то есть, оператор диапозона.

Например:
Купить книгу $100..$150

Исключение слов из запроса. Логическое «НЕ» (-):
Чтобы исключать какие-либо слова используются операторы исключения «минус» (-). То есть логическое «НЕ». Полезно в случаях, когда результаты прямого поиска слишком замусорены

Например:
Аквариум -группа — ищем все про аквариум исключая группу «Аквариум»

Поиск точной фразы («»):
Полезно для поиска конкретного текста (целой статьи по цитате). Для этого надо заключить запрос в кавычки (двойные кавычки).

Например:
«И темница тесна, и свобода одна И всегда на нее уповаем» — ищем балладу Высоцкого по одной строке

Примечание: Google позволяет вводить в строку запроса не более 32 слов.

Усечение слова (*):
Иногда требуется искать информацию о словосочетании слов, в котором неизвестно одно или несколько слов. Для этих целей вместо неизвестных слов используется оператор «*». Т.е. «*» — любое слово или группа слов.

Например:
Мастер и *
Леонардо * Винчи

Оператор cache:
Поисковая машина хранит версию текста, которая проиндексирована поисковым пауком, в специальном хранилище в формате, называемом кэшем. Кэшированную версию страницы можно извлечь, если оригинальная страница недоступна (например, не работает сервер, на котором она хранится). Кэшированная страница показывается в том виде, в котором она хранится в базе данных поисковой машины и сопровождается надписью наверху страницы о том, что это страница из кэша. Там же содержится информация о времени создания кэшированной версии. На странице из кэша ключевые слова запроса подсвечены, причем каждое слово для удобства пользователя подсвечено своим цветом. Можно создать запрос, который сразу будет выдавать кэшированную версию страницы с определенным адресом: cache:адрес_страницы, где вместо «адрес_страницы» — адрес сохраненной в кэше страницы. Если требуется найти в кэшированной странице какую либо информацию, надо после адреса страницы через пробел написать запрос этой информации.

Например:
cache:www.сайт
cache:www.сайт турниры

Надо помнить, что пробела между «:» и адресом страницы быть не должно!

Оператор filetype:
Как известно, Google индексирует не только html страницы. Если, к примеру, понадобилось найти какую-нибудь информацию в отличном от html типе файла, можно воспользоваться оператором filetype, который позволяет искать информацию в определенном типе файлов (html, pdf, doc, rtf…).

Например:
Спецификация html filetype:pdf
Сочинения filetype:rtf

Оператор info:
Оператор info позволяет увидеть информацию, которая известна Google об этой странице.

Например:
info:www.сайт
info:www.сайт

Оператор site:
Этот оператор ограничивает поиск конкретным доменом или сайтом. То есть, если сделать запрос: маркетинг разведка site:www.сайт, то результаты будут получены со страниц, содержащих слова «маркетинг» и «разведка» именно на сайте «www..

Например:
Музыка site:www.сайт
Книги site:ru

Оператор link:
Этот оператор позволяет увидеть все страницы, которые ссылаются на страницу, по которой сделан запрос. Так, запрос link:www.google.com выдаст страницы, в которых есть ссылки на google.com.

Например:
link:www.сайт
Друзья link:www.сайт

Оператор allintitle:
Если запрос начать с оператора allintitle, что переводится как «все в заголовке», то Google выдаст тексты, в которых все слова запроса содержатся в заголовках (внутри тега TITLE в HTML).

Например:
allintitle:Бесплатный софт
allintitle:Скачать музыкальные альбомы

Оператор intitle:
Показывает страницы, в которых только то слово, которое стоит непосредственно после оператора intitle, содержится в заголовке, а все остальные слова запроса могут быть в любом месте текста. Если поставить оператор intitle перед каждым словом запроса, это будет эквивалентно использованию оператора allintitle.

Например:
Программы intitle:Скачать
intitle:Бесплатно intitle:скачать софт

Оператор allinurl:
Если запрос начинается с оператора allinurl, то поиск ограничен теми документами, в которых все слова запроса содержатся только в адресе страницы, то есть в url.

Например:
allinurl:rus games
allinurl:books fantasy

Оператор inurl:
Слово, которые расположено непосредственно слитно с оператором inurl, будет найдено только в адресе страницы Интернета, а остальные слова – в любом месте такой страницы.

Например:
inurl:books скачать
inurl:games кряк

Оператор related:
Этот оператор описывает страницы, которые «похожи» на какую-то конкретную страницу. Так, запрос related:www.google.com выдаст страницы со схожей с Google тематикой.

Например:
related:www.сайт
related:www.сайт

Оператор define:
Этот оператор выполняет роль своего рода толкового словаря, позволяющего быстро получить определение того слова, которое введено после оператора.

Например:
define:Кенгуру
define:Материнская плата

Оператор поиска синонимов (~):
Если вы хотите найти тексты, содержащие не только ваши ключевые слова, но и их синонимы, то можно воспользоваться оператором «~» перед словом, к которому необходимо найти синонимы.

Например:
Виды ~метаморфоз
~Объектное ориентирование

Оператор диапазона (..):
Для тех, кому приходится работать с цифрами, Google дал возможность искать диапазоны между числами. Для того, чтобы найти все страницы, содержащие числа в неком диапазоне «от — до», надо между этими крайними значениями поставить две точки (..), то есть, оператор диапазона.

Например:
Купить книгу $100..$150
Численность населения 1913..1935

Поисковая система Google (www.google.com) предоставляет множество возможностей для поиска. Все эти возможности – неоценимый инструмент поиска для пользователя впервые попавшего в Интернет и в то же время еще более мощное оружие вторжения и разрушения в руках людей с злыми намерениями, включая не только хакеров, но и некомпьютерных преступников и даже террористов.
(9475 просмотров за 1 неделю)

Денис Батранков
denisNOSPAMixi.ru

Внимание: Эта статья не руководство к действию. Эта статья написана для Вас, администраторы WEB серверов, чтобы у Вас пропало ложное ощущение, что Вы в безопасности, и Вы, наконец, поняли коварность этого метода получения информации и взялись за защиту своего сайта.

Введение

Я, например, за 0.14 секунд нашел 1670 страниц!

2. Введем другую строку, например:

inurl:"auth_user_file.txt"

немного меньше, но этого уже достаточно для свободного скачивания и для подбора паролей (при помощи того же John The Ripper). Ниже я приведу еще ряд примеров.

Итак, Вам надо осознать, что поисковая машина Google посетила большинство из сайтов Интернет и сохранила в кэше информацию, содержащуюся на них. Эта кэшированная информация позволяет получить информацию о сайте и о содержимом сайта без прямого подключения к сайту, лишь копаясь в той информации, которая хранится внутри Google. Причем, если информация на сайте уже недоступна, то информация в кэше еще, возможно, сохранилась. Все что нужно для этого метода: знать некоторые ключевые слова Google. Этот технический прием называется Google Hacking.

Впервые информация о Google Hacking появилась на рассылке Bugtruck еще 3 года назад. В 2001 году эта тема была поднята одним французским студентом. Вот ссылка на это письмо http://www.cotse.com/mailing-lists/bugtraq/2001/Nov/0129.html . В нем приведены первые примеры таких запросов:

1) Index of /admin
2) Index of /password
3) Index of /mail
4) Index of / +banques +filetype:xls (for france...)
5) Index of / +passwd
6) Index of / password.txt

Нашумела эта тема в англо-читающей части Интернета совершенно недавно: после статьи Johnny Long вышедшей 7 мая 2004 года. Для более полного изучения Google Hacking советую зайти на сайт этого автора http://johnny.ihackstuff.com . В этой статье я лишь хочу ввести вас в курс дела.

Кем это может быть использовано:
- Журналисты, шпионы и все те люди, кто любит совать нос не в свои дела, могут использовать это для поиска компромата.
- Хакеры, разыскивающие подходящие цели для взлома.

Как работает Google.

Для продолжения разговора напомню некоторые из ключевых слов, используемых в запросах Google.

Поиск при помощи знака +

Google исключает из поиска неважные, по его мнению, слова. Например вопросительные слова, предлоги и артикли в английском языке: например are, of, where. В русском языке Google, похоже, все слова считает важными. Если слово исключается из поиска, то Google пишет об этом. Чтобы Google начал искать страницы с этими словами перед ними нужно добавить знак + без пробела перед словом. Например:

ace +of base

Поиск при помощи знака –

Если Google находит большое количество станиц, из которых необходимо исключить страницы с определенной тематикой, то можно заставить Google искать только страницы, на которых нет определенных слов. Для этого надо указать эти слова, поставив перед каждым знак – без пробела перед словом. Например:

рыбалка -водка

Поиск при помощи знака ~

Возможно, что вы захотите найти не только указанное слово, но также и его синонимы. Для этого перед словом укажите символ ~.

Поиск точной фразы при помощи двойных кавычек

Google ищет на каждой странице все вхождения слов, которые вы написали в строке запроса, причем ему неважно взаимное расположение слов, главное чтобы все указанные слова были на странице одновременно (это действие по умолчанию). Чтобы найти точную фразу – ее нужно взять в кавычки. Например:

"подставка для книг"

Чтобы было хоть одно из указанных слов нужно указать логическую операцию явно: OR. Например:

книга безопасность OR защита

Кроме того в строке поиска можно использовать знак * для обозначения любого слова и. для обозначения любого символа.

Поиск слов при помощи дополнительных операторов

Существуют поисковые операторы, которые указываются в строке поиска в формате:

operator:search_term

Пробелы рядом с двоеточием не нужны. Если вы вставите пробел после двоеточия, то увидите сообщение об ошибке, а перед ним, то Google будет использовать их как обычную строку для поиска.
Существуют группы дополнительных операторов поиска: языки - указывают на каком языке вы хотите увидеть результат, дата - ограничивают результаты за прошедшие три, шесть или 12 месяцев, вхождения - указывают в каком месте документа нужно искать строку: везде, в заголовке, в URL, домены - производить поиск по указанному сайту или наоборот исключить его из поиска, безопасный поиск - блокируют сайты содержащие указанный тип информации и удаляют их со страниц результатов поиска.
При этом некоторые операторы не нуждаются в дополнительном параметре, например запрос "cache:www.google.com " может быть вызван, как полноценная строка для поиска, а некоторые ключевые слова, наоборот, требуют наличия слова для поиска, например " site:www.google.com help ". В свете нашей тематики посмотрим на следующие операторы:

Оператор	Описание	Требует дополнительного параметра?
	поиск только по указанному в search_term сайту
	поиск только в документах с типом search_term
	найти страницы, содержащие search_term в заголовке
	найти страницы, содержащие все слова search_term в заголовке
	найти страницы, содержащие слово search_term в своем адресе
	найти страницы, содержащие все слова search_term в своем адресе

Оператор site: ограничивает поиск только по указанному сайту, причем можно указать не только доменное имя, но и IP адрес. Например, введите:

Оператор filetype: ограничивает поиск в файлах определенного типа. Например:

На дату выхода статьи Googlе может искать внутри 13 различных форматов файлов:

• Adobe Portable Document Format (pdf)
• Adobe PostScript (ps)
• Lotus 1-2-3 (wk1, wk2, wk3, wk4, wk5, wki, wks, wku)
• Lotus WordPro (lwp)
• MacWrite (mw)
• Microsoft Excel (xls)
• Microsoft PowerPoint (ppt)
• Microsoft Word (doc)
• Microsoft Works (wks, wps, wdb)
• Microsoft Write (wri)
• Rich Text Format (rtf)
• Shockwave Flash (swf)
• Text (ans, txt)

Оператор link: показывает все страницы, которые указывают на указанную страницу.
Наверно всегда интересно посмотреть, как много мест в Интернете знают о тебе. Пробуем:

Оператор cache: показывает версию сайта в кеше Google, как она выглядела, когда Google последний раз посещал эту страницу. Берем любой, часто меняющийся сайт и смотрим:

Оператор intitle: ищет указанное слово в заголовке страницы. Оператор allintitle: является расширением – он ищет все указанные несколько слов в заголовке страницы. Сравните:

intitle:полет на марс
intitle:полет intitle:на intitle:марс
allintitle:полет на марс

Оператор inurl: заставляет Google показать все страницы содержащие в URL указанную строку. Оператор allinurl: ищет все слова в URL. Например:

allinurl:acid acid_stat_alerts.php

Эта команда особенно полезна для тех, у кого нет SNORT – хоть смогут посмотреть, как он работает на реальной системе.

Методы взлома при помощи Google

Итак, мы выяснили что, используя комбинацию вышеперечисленных операторов и ключевых слов, любой человек может заняться сбором нужной информации и поиском уязвимостей. Эти технические приемы часто называют Google Hacking.

Карта сайта

Можно использовать оператор site: для просмотра всех ссылок, которые Google нашел на сайте. Обычно страницы, которые динамически создаются скриптами, при помощи параметров не индексируются, поэтому некоторые сайты используют ISAPI фильтры, чтобы ссылки были не в виде /article.asp?num=10&dst=5 , а со слешами /article/abc/num/10/dst/5 . Это сделано для того, чтобы сайт вообще индексировался поисковиками.

Попробуем:

site:www.whitehouse.gov whitehouse

Google думает, что каждая страница сайта содержит слово whitehouse. Этим мы и пользуемся, чтобы получить все страницы.
Есть и упрощенный вариант:

site:whitehouse.gov

И что самое приятное - товарищи с whitehouse.gov даже не узнали, что мы посмотрели на структуру их сайта и даже заглянули в кэшированные странички, которые скачал себе Google. Это может быть использовано для изучения структуры сайтов и просмотра содержимого, оставаясь незамеченным до поры до времени.

Просмотр списка файлов в директориях

WEB серверы могут показывать списки директорий сервера вместо обычных HTML страниц. Обычно это делается для того, чтобы пользователи выбирали и скачивали определенные файлы. Однако во многих случаях у администраторов нет цели показать содержимое директории. Это возникает вследствие неправильной конфигурации сервера или отсутствия главной страницы в директории. В результате у хакера появляется шанс найти что-нибудь интересное в директории и воспользоваться этим для своих целей. Чтобы найти все такие страницы, достаточно заметить, что все они содержат в своем заголовке слова: index of. Но поскольку слова index of содержат не только такие страницы, то нужно уточнить запрос и учесть ключевые слова на самой странице, поэтому нам подойдут запросы вида:

intitle:index.of parent directory
intitle:index.of name size

Поскольку в основном листинги директорий сделаны намеренно, то вам, возможно, трудно будет найти ошибочно выведенные листинги с первого раза. Но, по крайней мере, вы уже сможете использовать листинги для определения версии WEB сервера, как описано ниже.

Получение версии WEB сервера.

Знание версии WEB сервера всегда полезно перед началом любой атака хакера. Опять же благодаря Google можно получить эту информацию без подключения к серверу. Если внимательно посмотреть на листинг директории, то можно увидеть, что там выводится имя WEB сервера и его версия.

Apache1.3.29 - ProXad Server at trf296.free.fr Port 80

Опытный администратор может подменить эту информацию, но, как правило, она соответствует истине. Таким образом, чтобы получить эту информацию достаточно послать запрос:

intitle:index.of server.at

Чтобы получить информацию для конкретного сервера уточняем запрос:

intitle:index.of server.at site:ibm.com

Или наоборот ищем сервера работающие на определенной версии сервера:

intitle:index.of Apache/2.0.40 Server at

Эта техника может быть использована хакером для поиска жертвы. Если у него, к примеру, есть эксплойт для определенной версии WEB сервера, то он может найти его и попробовать имеющийся эксплойт.

Также можно получить версию сервера, просматривая страницы, которые по умолчанию устанавливаются при установке свежей версии WEB сервера. Например, чтобы увидеть тестовую страницу Apache 1.2.6 достаточно набрать

intitle:Test.Page.for.Apache it.worked!

Мало того, некоторые операционные системы при установке сразу ставят и запускают WEB сервер. При этом некоторые пользователи даже об этом не подозревают. Естественно если вы увидите, что кто-то не удалил страницу по умолчанию, то логично предположить, что компьютер вообще не подвергался какой-либо настройке и, вероятно, уязвим для атак.

Попробуйте найти страницы IIS 5.0

allintitle:Welcome to Windows 2000 Internet Services

В случае с IIS можно определить не только версию сервера, но и версию Windows и Service Pack.

Еще одним способом определения версии WEB сервера является поиск руководств (страниц подсказок) и примеров, которые могут быть установлены на сайте по умолчанию. Хакеры нашли достаточно много способов использовать эти компоненты, чтобы получить привилегированный доступ к сайту. Именно поэтому нужно на боевом сайте удалить эти компоненты. Не говоря уже о том, что по наличию этих компонентов можно получить информацию о типе сервера и его версии. Например, найдем руководство по apache:

inurl:manual apache directives modules

Использование Google как CGI сканера.

CGI сканер или WEB сканер – утилита для поиска уязвимых скриптов и программ на сервере жертвы. Эти утилиты должны знать что искать, для этого у них есть целый список уязвимых файлов, например:

/cgi-bin/cgiemail/uargg.txt
/random_banner/index.cgi
/random_banner/index.cgi
/cgi-bin/mailview.cgi
/cgi-bin/maillist.cgi
/cgi-bin/userreg.cgi

/iissamples/ISSamples/SQLQHit.asp
/SiteServer/admin/findvserver.asp
/scripts/cphost.dll
/cgi-bin/finger.cgi

Мы может найти каждый из этих файлов с помощью Google, используя дополнительно с именем файла в строке поиска слова index of или inurl: мы можем найти сайты с уязвимыми скриптами, например:

allinurl:/random_banner/index.cgi

Пользуясь дополнительными знаниями, хакер может использовать уязвимость скрипта и с помощью этой уязвимости заставить скрипт выдать любой файл, хранящийся на сервере. Например файл паролей.

Как защитить себя от взлома через Google.

1. Не выкладывайте важные данные на WEB сервер.

Даже если вы выложили данные временно, то вы можете забыть об этом или кто-то успеет найти и забрать эти данные пока вы их не стерли. Не делайте так. Есть много других способов передачи данных, защищающих их от кражи.

2. Проверьте свой сайт.

Используйте описанные методы, для исследования своего сайта. Проверяйте периодически свой сайт новыми методами, которые появляются на сайте http://johnny.ihackstuff.com . Помните, что если вы хотите автоматизировать свои действия, то нужно получить специальное разрешение от Google. Если внимательно прочитать http://www.google.com/terms_of_service.html , то вы увидите фразу: You may not send automated queries of any sort to Google"s system without express permission in advance from Google.

3. Возможно, вам не нужно чтобы Google индексировал ваш сайт или его часть.

Google позволяет удалить ссылку на свой сайт или его часть из своей базы, а также удалить страницы из кэша. Кроме того вы можете запретить поиск изображений на вашем сайте, запретить показывать короткие фрагменты страниц в результатах поиска Все возможности по удалению сайта описаны на сранице http://www.google.com/remove.html . Для этого вы должны подтвердить, что вы действительно владелец этого сайта или вставить на страницу теги или

4. Используйте robots.txt

Известно, что поисковые машины заглядывают в файл robots.txt лежащий в корне сайта и не индексируют те части, которые помечены словом Disallow . Вы можете воспользоваться этим, для того чтобы часть сайта не индексировалась. Например, чтобы не индексировался весь сайт, создайте файл robots.txt содержащий две строчки:

User-agent: *
Disallow: /

Что еще бывает

Чтобы жизнь вам медом не казалась, скажу напоследок, что существуют сайты, которые следят за теми людьми, которые, используя вышеизложенные выше методы, разыскивают дыры в скриптах и WEB серверах. Примером такой страницы является

Приложение.

Немного сладкого. Попробуйте сами что-нибудь из следующего списка:

1. #mysql dump filetype:sql - поиск дампов баз данных mySQL
2. Host Vulnerability Summary Report - покажет вам какие уязвимости нашли другие люди
3. phpMyAdmin running on inurl:main.php - это заставит закрыть управление через панель phpmyadmin
4. not for distribution confidential
5. Request Details Control Tree Server Variables
6. Running in Child mode
7. This report was generated by WebLog
8. intitle:index.of cgiirc.config
9. filetype:conf inurl:firewall -intitle:cvs – может кому нужны кофигурационные файлы файрволов? :)
10. intitle:index.of finances.xls – мда....
11. intitle:Index of dbconvert.exe chats – логи icq чата
12. intext:Tobias Oetiker traffic analysis
13. intitle:Usage Statistics for Generated by Webalizer
14. intitle:statistics of advanced web statistics
15. intitle:index.of ws_ftp.ini – конфиг ws ftp
16. inurl:ipsec.secrets holds shared secrets – секретный ключ – хорошая находка
17. inurl:main.php Welcome to phpMyAdmin
18. inurl:server-info Apache Server Information
19. site:edu admin grades
20. ORA-00921: unexpected end of SQL command – получаем пути
21. intitle:index.of trillian.ini
22. intitle:Index of pwd.db
23. intitle:index.of people.lst
24. intitle:index.of master.passwd
25. inurl:passlist.txt
26. intitle:Index of .mysql_history
27. intitle:index of intext:globals.inc
28. intitle:index.of administrators.pwd
29. intitle:Index.of etc shadow
30. intitle:index.of secring.pgp
31. inurl:config.php dbuname dbpass
32. inurl:perform filetype:ini

"Hacking mit Google"

Учебный центр "Информзащита" http://www.itsecurity.ru - ведущий специализированный центр в области обучения информационной безопасности (Лицензия Московского Комитета образования № 015470, Государственная аккредитация № 004251). Единственный авторизованный учебный центр компаний Internet Security Systems и Clearswift на территории России и стран СНГ. Авторизованный учебный центр компании Microsoft (специализация Security). Программы обучения согласованы с Гостехкомиссией России, ФСБ (ФАПСИ). Свидетельства об обучении и государственные документы о повышении квалификации.

Компания SoftKey – это уникальный сервис для покупателей, разработчиков, дилеров и аффилиат–партнеров. Кроме того, это один из лучших Интернет-магазинов ПО в России, Украине, Казахстане, который предлагает покупателям широкий ассортимент, множество способов оплаты, оперативную (часто мгновенную) обработку заказа, отслеживание процесса выполнения заказа в персональном разделе, различные скидки от магазина и производителей ПО.