Jak odstranit stránky nebo její fragmenty z indexu Google

Podle koncepce indexování přijatého Googlu, představovaly pro úplnost, objektivitu informací a jejich shody s vyhledávacím dotazem při vydávání výsledků. V případě, že index klesne webové stránky s nelegálním obsahem, nebo zdroj pro spam, stránky tohoto webu nebudou označena ve společném vyhledávači databázi. Pro nás je důležité naučit se , jak odstranit stránky z vydávání výsledků vyhledávací server.

Varianty nulové indexování Google

Jakmile do vyhledávacího robota - program ke shromažďování informací o nových zdrojů - bude skenovat stránku webu po stránce, pak, když v souladu s požadavky politiky společnosti Google pro analýzu, bude indexována. Ale také ukážeme, jak odstranit vaše stránky nebo fragmenty pro vyhledávače přes robots.txt - index a hledat zároveň doraz.

Vyřadit z vydání prostředku jako celku, v kořenové složce serveru, na němž se nachází místo, vytváří určitou textovou oblast - řekl robots.txt. Tato zóna je zacházeno s vyhledávačů a jednat v souladu s pokyny pro čtení.

Mějte na paměti, že indexy Google vyhledávač stránky, iv případě, že uživatel má přístup k zobrazení zakázány. Když prohlížeč reaguje s 401 nebo 403 „Přístup je neplatná“, se vztahuje pouze na návštěvníky, spíše než programy, které se shromažďují v tomto vyhledávači.

Abychom pochopili, jak odstranit stránky z indexování vyhledávače, musí ukazatel textu zadejte následující řádky:

User-agent: Googlebot

Disallow: /

To znamená, aby prohledávač indexovat zákaz veškerého obsahu na webu. Tady je , jak odstranit stránky Google, takže tento neukládá do mezipaměti na zdroj v seznamu zjištěných.

Provedení testu pro různé protokoly

Pokud potřebujete vypsat jednotlivé komunikační standardy, pro které chcete použít zvláštní pravidla pro indexování Googlu, například zvlášť pro hypertextové protokoly HTTP / HTTPS, je nutné se zaregistrovat na robots.txt v následujícím způsobem (příklad).

(Http://yourserver.com/robots.txt) - název domény vašeho webu (jakýkoliv)

User-agent: * - libovolný vyhledávač

Allow: / - umožnit plnou valorizaci

Jak odstranit stránky z emise úplně protokol https

(Https://yourserver.com/robots.txt):

User-agent: *

Zakázat: / úplný zákaz indexování

Urychlené odstranění URL- prostředku adresy z Google SERPs

Pokud nechcete čekat na opětovné indexaci, a stránky, které chcete skrýt, jako, doporučuji nejdříve použít servisní http://services.google.com/urlconsole/controller jak je to možné. Pre robots.txt musí být umístěn v kořenovém adresáři serveru. Měla by být stanovena příslušná instrukce.

Pokud ukazatel z nějakého důvodu nelze upravovat v kořenovém adresáři, vytvořte ji dost ve složce s cíli, pro které chcete skrýt z vyhledávačů. Jakmile to uděláte, a odkazují na službu automaticky odstraňuje hypertextové adresy, Google nebude skenovat složky, které detailně vysvětlené chybu v souboru robots.txt.

Doba tohoto neviditelnosti je stanovena na 3 měsíce. Po uplynutí této doby je adresář stažen z problému bude opět zpracovány serverem Google.

J ak odstranění stránky pro skenování částečně

Při vyhledávání bot čtení obsahu souboru robots.txt, že některá rozhodnutí jsou činěna na základě jeho obsahu. Řekněme, že chcete vyloučit ze zobrazování celý adresář s názvem anatom. To je dost, aby předepsat tyto předpisy:

User-agent: Googlebot

Zakázat: / anatom

Nebo například, že chcete není index všechny typy obrázků GIF. Chcete-li to provést, přidejte následující seznam:

User-agent: Googlebot

Zakázat: /*.gif$

Zde je další příklad. Nechť jsou odstraněny z analýze informací o dynamicky generovaných stránek, zatímco přidá k typu záznamu index:

User-agent: Googlebot

Disallow: / *?

To je asi, a vysvětluje pravidla pro vyhledávačů. Další věc je, že je mnohem pohodlnější prostě používat tuto značku META. A webmasteři často používají právě takové normy upravující fungování vyhledávačů. Ale my budeme diskutovat v dalších článcích.