Pokud se přes site:pooh.cz či site:365tipu.cz podíváte (lépe řečeno, podívali jste se) na věci zaindexované Google, tak uvidíte šílený zmatek Několik tisíc výsledků zahrnujících v prvním případě na dvě tisícovky (v druhém tisícovku) zaindexovaných štítků.
Google štítkové stránky na jednu stranu miluje, ale na druhou stranu jsou kontraproduktivní. Pokud máte větší web (jako ty dva výše uvedené), máte možní i stovky štítků. 365tipů jich má aktuálně 1130 a to i přes čistku, která proběhla před pár měsíci.
TIP: Jednou za čas si dělejte kontrolu rubrik a štítků. Budete dost překvapení
Rubrik je v indexu zpravidla méně (desítky u 365tipů, ale skoro tisícovka u pooh.cz), ale zmatek vytvářejí stejný.
TIP: Pokud jste nepočeštili adresy, tak se můžete podívat pomocí inurl:tag a inurl:category na to, co v indexu je uloženo pro štítky a co pro rubriky. V lokalizovaném provedení se prostě mrkněte na to jaké slovo je použito pro štítek a rubriku.
Problém stovek až tisícovek stránek se štítky či rubrikami je dvojí. Je to duplicitní obsah a pro samotný Google potřeba vlastně nejsou, vaše stránky stejně zpravidla indexuje jinudy (přes sitemap.xml, ale i přes interní prolinkování). Duplicitní obsah sice není přímo škodlivý, ale ovlivňuje (může ovlivnit) to jak váš web Google vnímá.
Druhý problém je pro uživatele. Google dost rád právě štítkové či rubrikové stránky předkládá při vyhledávání, což se na menších webech dá využít, ale pokud máte tisíce článků, tak to moc nefunguje. Hledající dostane zmatek co už navíc nemusí platit – prostě v době kdy Google daný štítek zaindexoval, tak na dané stránce opravdu byl hledaný obsah, ale vy jste mezitím přidali něco nového a hledaný obsah se posunul.
Třetí problém je, s tím, že Google na každé indexování webu má vyhrazený jen určitý objem, takže pokud mu předkládáte tisíce štítků a rubrik, tak to většinou znamená, že perfektně indexuje právě tyto stránky, ale ty skutečné, tedy články, indexuje pomaleji.
Vedlejší efekt je i ten, že váš web je indexací zbytečně nadměrně zatěžován. Indexovat nebude totiž jenom Google, ale i další roboti. Zamezením indexování tohle moc nezměníte, ale mohli byste jít o úroveň výše a kompletně vše zablokovat v robots.txt
Vedle štítků a rubrik je ještě více taxonomií, které mohou být problematické:
- Média, protože ta se objevují v indexu rovněž a pokud ke každému obrázku nemáte dostatek textu, tak moc dobře neslouží.
- Stránky autora, které dávají docela smysl na webech s více autory (a na menších webech), ale třeba na 365tipech jsou prakticky všechny články od “365tipů” a indexovat je také moc nedává smysl. Na webu jako /author/
- Aby toho nebylo málo, tak mohou existovat stránky podle data (Yoast SEO automaticky vypína), archivy, zásadně problematické je případné stránkování a neméně komplikované může být vyhledávání či 404ky, které indexovat také nedává moc smysl.
POZNÁMKA: Při psaní tohoto tipu (někdy týden před vydáním) jsem na Bradbury.cz s pomocí níže uvedené noindex SEO zamezil indexaci pro rubriky, štítky, datumové archivy, vyhledávání, příloh, náhledů a 404. Web je to malý, pouze 69 stránek v indexu, ale 28 z nich jsou štítky, 8 z nich rubriky.
Na Pooh.cz došlo k noindex na štítky i rubriky s pomocí Yoast) a výchozí stav je 8 480 v indexu (2070 štítků, 537 rubrik), podle GWS 10 702.
Nezapomeňte, pokud používáte cache tak případně smažte obsah, ať se začnou dodávat aktualizované stránky s novými META. Pokud nespěcháte, tak to nechte a počkejte až vyprší platnost uložených podob.
Zamezit indexování
Teoreticky nic nebrání tomu, abyste vyhledávačům řekli, že nemají štítkové a rubrikové stránky (přehledy) indexovat. Vaše SEO to ovlivní spíše pozitivním směrem a uděláte něco dobrého pro vaše čtenáře, tedy ty co vás budou hledat.
Nejpraktičtější je ale využít META značku
<meta name='robots' content='noindex, follow' />
Tu je nutné dostat na všechny /tag/ a případně i /category/ a vyhledávačům říká, aby takovéto stránky nezahrnovaly v indexu (noindex), ale aby byly použity pro zjištění dalšího obsahu (follow) a s odkazy v ní počítal.
YOAST SEO plugin umí v nastavení aktivovat vyjmutí určitých taxonomií z indexování, takže stačí prostě aktivovat, že štítky (či rubriky) nechcete. Nepočítejte ale s tím, že po aktivaci hned tak již zaindexované stránky z Google zmizí, bude to trvat poměrně dlouho.
Pluginů co to umí je víc, pokud nechcete monstrózní YOAST SEO tak prostě při hledání pluginů napište “noindex” a můžete zkusit jiné. Třeba noindex SEO – umí přidat noindex prakticky všude a je extrémně snadný pro nastavení. Přidává META robots noindex (pouze).
Populární All In One SEO umí totéž, najdete v Search Apperarance -> Taxonomie. Můžete tam potlačit indexaci rubrik, štítků, štítků médií. Stejně tak i archivy podle data. Některé věci jsou potlačeny ve výchozí podobě (například vyhledávání). Jen pozor, tento plugin na velkém webu může znamenat dost zásadní zátěž databáze.
AIOS mám na Kolotipy,cz. Vypnul jsem rubriky i štítky (761 stránek v indexu, 157 štítky, rubriky tam používány nejsou)
POZNÁMKA: Štítky či rubriky na webu používat nemusíte. Štítky vůbec, zejména s ohledem na to, že mají tendenci nekontrolované růst. Rubriky se hodí pro základní strukturu, ale pokud máte web s tisíci články, tak rubriky rovněž ztrácejí smysl. Bohužel u WordPressu se nejde vyhnout použití alespoň jedné základní rubriky, ale štítky lze kompletně eliminovat. Mimochodem, viz třeba Why you should stop using tags
TIP: Ke štítkům viz Jak pracovat se štítky u článků? Kompletní návod jak na štítky u obsahového webu (1)
Použít robots.txt?
Mohli byste do robots.txt dát zamezení pro /tag/ a /category/, ale tady pozor. Nedělejte to jako první. nejprve využijte META robots, počkejte až Google pročistí index a pak teprve případně zamezte indexaci v robots.txt – uděláte.li to hned, tak Google nebude zkoumat vaše aktualizované stránky s pokynem “neindexovat”.
Čistě prakticky bych ale striktní omezení v robots.txt spíš neřešil. noindex/follow kombinace v META robots je praktičtější. Nezapleveluje se index, ale slouží k indexování dalšího obsahu, tedy konkrétních článků.
Google ostatně nedoporučuje používat robots.txt pro blokování obsahu.
Google Webmaster Tools
V GWT (bývalé Search Console) najdete možnost požádat o odstranění – v menu v Removals. Lze tím urychlit odstranění z indexu, ale není to trvalé – při další indexaci se může vrátit (Google uvádí, že to funguje na zhruba šest měsíců), pokud existuje a je přístupný.
Znamená to tedy to, že stejně musíte použít META robots.
V Removals můžete požádat o odstranění jediné URL, ale také ´více URL, které mají shodný počátek, takže například https://pooh.cz/tag/ pro odstranění všech stránek štítků z indexu. Nezapomeňte, že je to tam nutné psát kompletní, tedy od https:// …
Po odeslání požadavku na smazání se můžete dívat zda už došlo ke zpracování, případně je možné i požadavek na odstranění zrušit. Odstranění samozřejmě není okamžité – uvádí se, že trvá tak jeden až dva dny, ale může to být i za pár hodin.
