Když na začátku dubna Facebook upozornil, že data všech 2.2 miliardy uživatelů jsou už nejspíš kompromitována, tak to podložil tím, že uživatelé si neuměli vypnout možnost vyhledání podle e-mailu a telefonního čísla – což Facebook nastavil automaticky jako zapnutí. Nezmínil při tom ale to, že je tam ještě jedna zásadní volba, veřejné informace byly indexovány a zpřístupněny přes vyhledávače.
Pokračování textu TIP#1053: Jak omezit přístup vyhledávačů k mému profilu na Facebooku?
Kdysi dávno jsme tu už řešili robots.txt a nástroj Google Search Console. V obou tipech je v zásadě pouze zmínka o sitemap.xml, velmi užitečném nástroji pro zjednodušení a zrychlení indexování vašeho webu. Takže odpověď na „k čemu slouží sitemap.xml“ jste se v zásadě právě dozvěděli. Ale pojďme to trochu rozvést.
Pokračování textu TIP#672: Co je to sitemap.xml, k čemu to slouží a jak s tím mám zacházet
Pokud třeba spouštíte nový web, tak chcete vědět, kdy se mu podařilo dostat do vyhledávačů. Protože od toho se i dost odvíjí to, zda vám z nic začnou chodit návštěvníci a také jak hodně budete muset ještě zapracovat na obsahu.
Věc jménem robots.txt budete potřebovat, pokud provozujete web či blog. Je to soubor, který říká robotům (hlavně vyhledávačům) jak mají zacházet s vašim webem při procházení a indexaci obsahu. Můžete s jeho pomocí říci robotům, že někam jít nemají (ale nepočítejte s tím, že to spolehlivě dodrží). Ale také třeba jak často mají chodit (pokud to daný robot podporuje), abyste trochu ulehčili vašemu přetíženému systému.
Robots.txt pro @365tipu najdete snadno, stejně jako pro každý jiný web – 365tipu.wordpress.com/robots.txt. Pohledem do něj zjistíte, že robots.txt se používá i pro sdělení kde se nachází mapa webu používaný vyhledávači (sitemap, sitemap.xml). A také, pokud se nad tím trochu zamyslíte, že robots.txt může často prozradit, kde se na webu nacházejí „zajímavé“ věci.
Pokračování textu TIP#106: robots.txt? K čemu něco takového je? A proč je to užitečné?
