Как удалить сайт или его отдельные страницы из поиска Яндекс и Googlе
Неактуальное содержимое, закрытие ресурса, приостановка деятельности, обновление контента после покупки другого сайта. Да что угодно может послужить причиной для удаления сайта или его страниц из поиска. Этот мертвый груз в поиске не нужен, к тому же он может вводить людей в заблуждение. Также несуществующие страницы ухудшают продвижение в поисковой выдаче. Поэтому их лучше удалить из поиска вовсе.
Еще один важный аспект непопадания страниц в выдачу – это личные данные. Если вдруг на одной из страниц сайта есть чьи-то персональные данные, да даже просто ФИО с годом рождения, это может оказаться поводом для проблем, ведь не каждый хочет, чтобы в поиске красовались личные данные. Вконтакте, кстати, решили эту проблему: теперь человек сам выбирает, можно его найти в поиске Яндекс или Google или нет.
Решается это довольно просто: необходимо встроить на сайт авторизацию, через неё уж точно поисковые роботы пройти не смогут.
Зачастую несуществующие ссылки появляются в поиске из-за того, что пользователь не даёт наводку роботу о том, что страницы не существует. Страницу с сайта удалили, но не принудили сделать переобход роботом.
Так вот, ниже мы разберемся, как удалить свой сайт или отдельную его страницу из поиска Яндекс или Google.
Удаление сайта из поиска Google
Для этого потребуется аккаунт в Search Console с подтвержденными правами владельца сайта.
Google предоставляет 3 варианта удаления:
- временный;
- удаление сайта навсегда;
- удаление сайта из-за нежелательного контента.
Рассмотрим каждый по отдельности.
Временное удаление сайта
Изначально Google предполагает удаление сайта из поиска Google на 6 месяцев, а также его описание и кэшированную версию. Нельзя по клику удалить сайт навсегда.
Для этого в Search Console переходим в раздел «Индекс» =>"Удаления" и нажимаем на кнопку «Создать запрос», далее вводим URL сайта или страницы, который нужно удалить из поиска.
После клика по этой кнопке необходимо указать адрес страницы, который хотим удалить. Но если требуется ликвидировать весь сайт, то вводим его доменное имя.
Google даст на выбор два варианта удаления:
- Скрыть страницу из выдачи и кэша поисковика (на 6 месяцев)
- Скрыть весь каталог и страницы, которые с ним связаны
Дополнительно проверяем, доступна ли удаляемая страница (если удаляем страницу отдельно) по другим адресам, если да, то проделываем вышенаписанные манипуляции и с ними. Отправленные запросы будут отображены на той же странице.
Важно понимать, что во время этого удаления Google продолжит сканировать страницы в штатном режиме, если пользователь не установит на неё пароль. По истечении срока страница появится в выдаче. Временное удаление можно включить повторно в этом же разделе.
Удаление страниц или сайта навсегда
Для удаления сайта навсегда из поиска Google нет волшебной кнопки, как для временного удаления, но Google рекомендует дополнительные меры:
- Удалить или изменить контент ресурса и удостовериться в том, что веб-сервер отдает код статуса HTTP 404 (не найдено) или 410 (удалено)
- Установить пароль, чтобы заблокировать доступ к контенту
- С помощью метатега noindex запретить сканирование страницы: <meta name="googlebot" content="noindex«>
- Документы в формате PDF рекомендуется удалять с сервера полностью
Больше статей на схожую тематику:
Удаление сайта из-за нежелательного контента
Если кого-то лично задел контент сайта (неприемлемое содержание, например), то можно наябедничать.
Проходим по ссылке, выбираем продукт Google, где находится нежелательный контент.
Далее выбираем причину блокировки и нажимаем на кнопку «Следуйте инструкциям на этой странице». И следом заполняем форму от Google.
Далее Google поблагодарит вас за содействие. В этом варианте нет какой-то формы отслеживания заявки. Придется вручную проверять доступность ресурса.
Мы привели способы удалить сайт из поиска Google штатными средствами самих Google, теперь пора разобраться с Яндексом.
Удаление сайта из поиска Яндекс
В случае с Яндексом удаление страницы из поиска начинаем с robots.txt.
Если страница уже удалена с сайта, то прописываем директиву Disallow в robots.txt для User Agent Яндекса.
Далее настраиваем сервер так, чтобы при обращении робота к адресу страницы он отправлял статус с кодом 404 (Not Found), 403 (Frobidden) или 410 (Gone), для этого в файле .htaccess прописываем строку: ErrorDocument 404 http://example.com/404.html. и не забываем указать на странице, которую удаляем из поиска, метатег robots с директивой noindex в <head>:
Далее для ускорения удаления страницы переходим в Вебмастер с аккаунта с подтвержденными правами на доступ к управлению сайтом. Затем в раздел «Инструменты» и в «Удаление страниц из поиска» и вводим URL либо отдельной страницы, либо всего сайта. Этим мы сообщаем роботу, что данные страницы должны быть в приоритете при обходе роботом.
После этого можно отслеживать состояние статуса в данном разделе:
- в очереди на добавление
- в процессе
- удалена
- отклонено
После очередного обхода страниц роботу станет известно о запрете на индексирование, и страница пропадет из результатов поиска в течение нескольких дней. После этого адрес страницы отобразится в разделе Индексирование => Страницы в поиске Вебмастера в списке исключенных.
Нравится статья? Тогда смотрите наши курсы!
Другие способы удаления страниц сайта из поиска
Редиректы
Убираем страницу из поиска с помощью 301 и 302 редиректа (переадресации).
Если на сайте есть страница с неактуальным контентом, и этот контент актуальным явно не станет в будущем (товар больше не появится в продаже, например), то и индексировать этот URL больше не нужно, и, следовательно, нужно убрать его из поля взора поисковых роботов. Взамен этой показать пользователям другую, актуальную страницу. Здесь и спасет 301 и 302 редирект.
- 301 редирект для навсегда удаленных или перемещенных страниц
- 302 редирект для временно неактуальных страниц, которые останутся в поиске
Для настройки редиректа можно воспользоваться специальным сервисом, указав там нужные ссылки. В первом поле вводим URL старой страницы, с которой будет осуществляться переадресация, а во втором поле вводим URL новой страницы, на которую будет переадресация. Далее в файле .htaccess вставляем сгенерированный код и сохраняем.
Метатег noindex
Noindex – сокрытие от поисковых ботов контента (целиком страницы или куска кода). Можно настроить для определенного бота, таким образом закрыть страницу от индексации отдельно для Яндекса или Google.
Устанавливается в HTML-коде страницы в <head>. Метатег блокирует работу ботов Яндекса и Google во время очередного обхода для вывода страницы в выдачу.
Прописывается noindex так:
Ищем страницу, которую нужно скрыть. Открываем HTML-файл этой страницы и прописываем meta-тег:
Для определенного бота, если вдруг хотим запретить индексацию конкретно для робота Яндекса или Google.
После этих манипуляций страница больше не будет выводиться в поиске, а роботы не будут обращать на неё внимание.
Также метатег noindex можно использовать совместно с тегом nofollow. Например, <meta name="robots" content="noindex, nofollow" /> дает запрет на индексацию контента на странице и запрещает роботам переходить по ссылкам.
Важно понимать, что для удаления контента может потребоваться не один день.
Disallow в robots.txt
Благодаря этой директиве в robots.txt пользователь дает указания роботу не посещать список внесенных страниц или всего ресурса. Обычно директиву используют для системных разделов, но если пользователю важно закрыть страницу с неактуальным контентом, то она подойдет.
Чтобы запретить индексацию всего сайта, достаточно в robots.txt прописать Disallow: /, если нужен запрет на определенную страницу, то пишем Disallow: /page
Если на эту страницу ссылаются другие страницы на сайте, то она может все равно быть проиндексирована, так что стоит обратить на это внимание заранее.
Также стоит помнить о том, что данные действия для поисковиков несут лишь рекомендательный характер для GoogleBot. Например, если на сайт есть внешние ссылки, то страница может быть проиндексирована.
Пароль на странице или разделе
Если раздел или сайт защитить паролем, то поисковики не смогут получить доступ к страницам, и из-за этого страницы не смогут попасть в индекс.
Примеры роста кликов, конверсий, заказов и прибыли:
Вывод
На самом деле удалить страницу или даже сайт из поиска не так уж и трудно, главное – соблюдать некоторые правила, описанные выше. Также можно комбинировать эти способы.
Если у вас возникнут трудности при удалении страниц или сайта из поиска или любые другие технические проблемы, то всегда можно обратиться к нам – мы обязательно поможем.
Как удалить страницу из поиска Google в Search Console
В этой подробной инструкции расскажем, как временно удалить страницы из индекса Google и посмотреть результаты, отфильтрованные безопасным поиском.
Инструмент удаления URL страницы дает возможность владельцу сайта временно убрать некоторые страницы из результатов выдачи из поиска Google, посмотреть кто из совладельцев и других пользователей отправлял запросы на удаление ранее и на какие страницы сайта жаловались из-за наличия запрещенного контента.
Как временно убрать URL страницу своего сайта
Ниже расскажем как скрыть тот или другой адрес страницы собственного ресурса в результатах поиска Google.
В каких случаях нужно использовать инструмент для удаления URL
- Когда нужно быстро заблокировать показ страницы в Google поиске, который относится к вашему ресурсу в Search Console. Например: URL адрес веб-страницы или изображения. Если вам нужно удалить навсегда URL из поиска Google — понадобится сделать дополнительные действия.
- Вы удалили из сайта нерелевантную или конфиденциальную информацию и хотите, чтобы изменения были отражены в результатах выдачи Google.
В каких случаях не следует применять инструмент для удаления веб-страниц
- Блокировка страницы сайта, который вам не принадлежит.
- Если нужно навсегда удалить URL из поиска Google, так как для этого потребуются дополнительные действия. Использовать только этот инструмент будет недостаточно.
- Вам не понравился любой другой контент в Интернете.
- Удалить контент из других поисковых систем. Этот инструмент позволяет блокировать материалы только из поиска Google.
- Вы хотите убрать ненужный вам контент, который считаете к примеру устаревшим или пользователи которые заходят на страницу и видят там 404 ошибку. Если структура сайта была изменена и некоторые страницы устарели, поисковые роботы обнаружат изминения и заново просканируют их, а старые станицы будут постепенно исключаться из поисковой выдачи. Таким образом, нет необходимости отправлять запрос на удаление.
- Вы решили устранить ошибки из сканированием страниц в своем аккаунте Search Console. Инструмент удаления только препятствует показу веб-страницы а не блокирует её в аккаунте. Не нужно вручную удалять страницы, так как они будут со временем исключены автоматически.
- Если вы беспокоитесь о принятых мерах с вашим сайтом вручную, или если вы недавно купили домен и устранили проблемы, которые остались после него, то лучше запросить повторную проверку с указанием проблем и изменениями на сайте.
- Вам нужно отключить сайт после взлома мошенниками. В том случае, если вы беспокоитесь о проиндексированных страницах с возможным вредоносным кодом, используйте инструмент удаления URL для блокировки веб-адресов, которые были созданы хакерами. Те страницы сайта, которые будут индексироваться в будущем, лучше не блокировать. Вместо этого удалите вредоносный код и отправьте страницы на пересканирование роботами Google.
- Вам важно, чтобы индексировалась нужная версия сайта. На многих ресурсах можно найти одинаковые HTML-страницы на разных адресах (дубликаты). Не используйте инструмент удаления URL, чтобы удалить нежелательные версии URL. Это не поможет сохранить в Google Поиске предпочтительную версию страницы, зато вероятно удаление всех версий URL (с префиксом http или https, с субдоменом www и без него).
Как заблокировать URL
Важные моменты:
- Страницы блокируются на период до 6 месяцев. После этого они снова могут появиться в выдаче Google.
- Блокировка URL не запрещает сканирование страницы для поискового робота Google, а лишь препятствует показу в результатах поиска. Гугл далее будет сканировать страницу, если она существует и не заблокирована другими методами, например с помощью тега noindex. Таким образом Google кеширует страницу до того, когда вы удалите её с сайта или защитите паролем.
- Если вы используете инструмент удаления и страницу невозможно открыть (код статуса 404, 502, 503), Google добавит её к удаленным и ваш запрос на блокировку будет аннулирован. В таком случае любая страница, которая появиться позже по тому же адресу, будет считаться как новая и будет свободно показываться в результатах поиска.
Как временно скрыть страницу
Чтобы временно скрыть страницу или обновить её вид в поиске после изменений контента, УРЛ страницы должен относиться к вашему ресурсу в Search Console.
Шаг 1. Зайдите в Search Console.
Шаг 2. Выберите нужный вам ресурс в списке.
Шаг 3. Слева в меню нажмите на раздел «Удаления». Откроется окно в котором вы сможете увидеть следующие разделы:
- временные удаления;
- устаревший контент;
- фильтрация безопасным поиском.
Шаг 4. Выберите раздел «Временные удаления». Откроется окно, в котором увидите:
- отправленные ранее запросы на удаления;
- url-адреса страниц;
- типы запросов (временное удаление или удаление кэшированной копии страницы);
- даты отправления запроса;
- статусы запроса (временно удален, срок истек, запрос обрабатывается и другие).
Шаг 5. Чтобы создать запрос, нажмите на красную кнопку «Создать запрос».
Шаг 6. В следующем окне выберите тип удаления. Введите URL страницы и выберите тип действия: удалить только этот урл или все урл с префиксом. Действие повлияет на все варианты URL (с префиксом http или https, с www или без). Нажмите кнопку «След».
Дубли страниц могут выглядеть примерно так:
- example.com/stranitsa
- example.com/Stranitsa
- example.com/page?1234
Добавьте все ссылки, которые необходимо удалить. Если вы добавите неверный УРЛ страницы, который не относится к вашему ресурсу, получите следующее сообщение:
Если удаление возможно, вы увидите окно, в котором нужно отправить запрос. Если все прошло успешно, страница добавится в общий список запросов со статусом «Запрос обрабатывается». Если нужно удалить запрос, нажмите на троеточие справа от запроса.
Как найти тот самый правильный URL
При отправке запроса на удаление нужно указать точный урл адрес страницы, который проявляется в поиске Google. Например страницы example.com/stranitsa и example.com/Stranitsa являются двумя разными страницами.
Чтобы указать URL страницы правильно, сделайте следующее:
- найдите страницу из поиска и скопируйте её адрес;
- найдите все дополнительные страницы с одним и тем же контентом:
Если вам нужно удалить URL страницы окончательно, а не временно, читайте ниже.
Как удалить страницу из Google Поиска навсегда
Инструмент удаления URL позволяет лишь временно скрыть страницу приблизительно на 6 месяцев. Чтобы полностью удалить страницы из выдачи, необходимо сделать следующее:
Шаг 1. Удалите или измените контент на странице и убедитесь в том, что сервер отправляет 404 (не найдено) или 410 (удалено) код страницы. Файлы, которые отличаются от формата HTML, например документы PDF, следует удалять с сервера полностью.
- Заблокируйте доступ к контенту, например установите пароль.
- Запретите сканирование страницы с помощью тега noindex в разделе head HTML страницы. Этот метод является менее безопасным.
- Не используйте файл robots.txt, чтобы скрыть страницу из поиска Google.
Шаг 2. Если перед удалением контента вы уже блокировали страницу ранее (шаг 1), то снимите блокировку, а затем снова её включите. Тогда страница пропадет из индекса, когда Googlebot повторно просканирует ее после блокировки.
Как удалить из Google страницу, размещенную на вашем сайте
Если вы воспользуетесь инструментом удаления URL, то страница вашего сайта будет исключена из результатов поиска Google в течение дня.
Зачастую на одну и ту же страницу ведут разные URL, например example.com/puppies , example.com/PUPPIES и example.com/petchooser?pet=puppies , поэтому, чтобы заблокировать контент в Google, нужно удалить или скрыть все указывающие на него URL. Узнайте, как найти URL страницы или изображения.
Как удалить контент из Google Поиска навсегда
Запросы, сделанные с помощью инструмента удаления URL, учитываются нашими системами в течение шести месяцев. Если вы хотите навсегда заблокировать страницу в результатах поиска Google, выполните одно из следующих действий:
- Удалите или измените контент на нужной странице. Это самый надежный способ. Он гарантирует, что ваша страница не появится в других поисковых системах, которые могут не принимать во внимание тег noindex , и не будет видна пользователям.
- Защитите страницу паролем. В этом случае контент будет виден пользователям, которым вы предоставите доступ к странице, но поисковые роботы (например, Googlebot) не смогут ее индексировать.
- Добавьте на страницу тег noindex . Тег noindex блокирует ее показ в результатах поиска Google. При этом другие поисковые системы, не принимающие во внимание тег noindex , а также обычные пользователи по-прежнему могут получить доступ к странице.
Как удалить изображение из результатов поиска
Как удалить информацию из других сервисов Google
Чтобы удалить контент из других сервисов Google, следуйте инструкциям в документации к этим сервисам. Например, вы можете:
-
в Google Покупках и некоторых других наших сервисах; профиль своей компании в Google; информацию в блоке знаний.
Как удалить контент с сайта, который принадлежит не вам
Отправить отзыв о документации
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons «С указанием авторства 4.0», а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.