Zamezení výskytu určitých adresářů / stránek ve výsledcích vyhledávání Google
Mám svou osobní domovskou stránku a chci, aby se hlavní stránka sama objevila ve výsledcích vyhledávání. Nechci však, aby se ve výsledcích vyhledávání Google objevil určitý adresář a jeho podadresáře. Jak to mám udělat?
K tomu můžete použít několik mechanismů.
První je soubor robots.txt . Toto je protokol, který dobrovolně následují „dobré“ vyhledávače od společnosti Google, a umožňuje vám vyjmenovat části vašeho webu, které nebudou následovat.
User-agent: *
Disallow:/myfolder /
Další jsou meta tagy. Jednotlivé stránky lze označit pomocí metadat, která robotům říká, aby je neindexovaly ani nezobrazovaly. Google má Pěkný zápis o tom, jak je implementovat .
<meta name="robots" content="noindex,nofollow">
Posledním mechanismem, pokud již byly stránky indexovány, je použití mechanismu odstranění vyhledávače, pokud takový existuje. Zde jsem propojil dokumentaci k mechanismům pro odstranění Google, Bing a Yahoo:
zakažte vyhledávací roboty pro vstup do těchto umístění:
http://www.robotstxt.org/robotstxt.html
google popisuje postup celkem dobrý , uvedený příklad:
User-agent: *
Disallow: /folder1/
Toto zakáže všem robotům indexovat obsah "/ folder1 /"
Použijte soubor robots.txt v hlavní složce a nastavte jej na:
User-agent: *
Allow: /
Do složky, kam nechcete, aby měl kdokoli přístup, vložte soubor robots.txt s tímto tělem:
User-agent: *
Disallow: /
Pokladna http://www.robotstxt.org/ Další informace o souborech robot.txt.