Как да премахнете даден сайт или неговите фрагменти от индекса на Google

Според концепцията за индексиране приет от Google, отчетени за пълнота, обективност на информацията, както и съответствието на заявката за търсене в издаването на резултатите. Ако индексът пада сайт с незаконно съдържание, или ресурс за спам, на страниците на този сайт няма да бъдат маркирани в общата база данни за търсене на двигателя. За нас е важно да се научите как да премахнете обект от издаването на резултатите от сървъра за търсене.

Варианти на нула индексиране Google

След като търсене робот - програма за събиране на информация за нови ресурси - ще сканира страница по страници, а след това, когато по силата на изискванията на правилата на Google за разбор, то ще се индексира. Но ние също така ще ви покаже как да премахнете вашия сайт или фрагменти за търсачките чрез robots.txt - индексиране и търсене в същото време спирка.

За да се изключи от издаването на ресурса като цяло, в главната папка на сървъра, на който се намира на мястото, създава определен текст площ - каза robots.txt. Тази зона се третира с търсачките и да действа в съответствие с инструкциите четат.

Имайте предвид, че индексите на Google търсачката на страницата, дори ако потребителят има достъп, за да видите забранено. Когато браузърът отговаря с 401 или 403 "Достъпът е невалиден", това се отнася само за посетители, а не на програми, които се събират за тази търсачка.

За да се разбере как да се премахне сайта от индексиране на търсачката, текст показалеца трябва да въведете следните редове:

User-Agent: Googlebot

Disallow: /

Това показва на робота да индексира забраната на цялото съдържание на сайта. Ето как да премахнете даден сайт в Google, така че тя не се кешират на ресурса в списъка на открит.

Изпълнения на сканиране за различни протоколи

Ако трябва да се изброят отделните комуникационни стандарти, за които искате да се прилагат специални правила за индексиране на Google, например, отделно за хипертекст протоколи HTTP / HTTPS, също така е необходимо да се регистрирате в robots.txt по следния начин (например).

(Http://yourserver.com/robots.txt) - име на домейн на сайта си (има такива)

User-Agent: * - всяка търсачка

Позволете: / - позволява пълна индексация

Как да премахнете обект от проблема напълно да протокол HTTPS

(Https://yourserver.com/robots.txt):

User-Agent: *

Disallow: / пълна забрана за индексиране

Ускорено премахване URL- ресурсни адреси от Google SERPs

Ако не искате да чакате за повторно индексиране и сайта, който искате да скриете като, аз препоръчвам да използвате http://services.google.com/urlconsole/controller на услугата може по-скоро. Предварително robots.txt трябва да бъде поставен в основната директория на сървъра на сайта. Тя трябва да се предписва необходимите указания.

Ако стрелката по някаква причина не може да се редактира в главната директория, създаване на достатъчно в папката с целите, за които искате да се скрие от търсачките. След като направите това и се отнасят до услугата автоматично премахване на хипертекст адреси, Google няма да сканира папките, които разписани недостатък в robots.txt.

Срокът на тази невидимост е настроен на 3 месеца. След този период, който е изтеглен от издаване директория, отново ще бъдат обработени от Google сървър.

Н поток за отстраняване на сайт за сканиране частично

Когато един бот търсене се запознае със съдържанието на robots.txt, че някои решения се вземат въз основа на неговото съдържание. Да речем, че искате да изключите показването на цялата директория, наречена Anatom. Достатъчно е да се определи такава нормативна уредба:

User-Agent: Googlebot

Disallow: / Anatom

Или, например, искате да не индексира всички видове изображения .gif. За да направите това, добавете следния списък:

User-Agent: Googlebot

Забрани: /*.gif$

Ето още един пример. Оставете ги да се изтрие от анализирането на информация за динамично генерирани страници, при добавяне на типа на влизане индекс:

User-Agent: Googlebot

Disallow: / *?

Това е за, и се посочват правилата за търсачките. Друго нещо е, че тя е много по-удобно да се използва само този МЕТА таг. И уебмастъри често използват само такъв стандарт за регулиране на работата на търсачките. Но ние ще разгледаме това в бъдещите членове.