Robots.txt
Robots Exclusion Protocol
Datoteka koja tražilicama daje upute o tome koje dijelove Vaše web stranice smiju pregledavati.
Čemu služi
Robots.txt pomaže usmjeriti tražilice na sadržaj koji trebaju pregledavati. Može im zabraniti dohvaćanje određenih dijelova weba, primjerice nepotrebnih adresa koje nastaju filtriranjem ponude. Pogrešna zabrana može otežati pronalaženje važnih stranica.
Za mali poslovni web najčešće je važno da javne stranice ostanu dostupne Googleu. Datoteka zato treba odgovarati stvarnim potrebama weba, bez kopiranja tuđih pravila. Provjera pripada tehničkom dijelu SEO-a.
Kako radi
Datoteka se nalazi na adresi poput vasafirma.hr/robots.txt. Sadrži naziv robota na koji se pravilo odnosi i putanje koje ne treba dohvaćati. Može sadržavati i adresu sitemapa, popisa stranica koje želite učiniti lakše pronalažljivima.
Zabrana pregledavanja nije isto što i zabrana indeksiranja. Adresa se ponekad može pojaviti u pretrazi i bez pregledanog sadržaja, ako druge stranice povezuju na nju. Za uklanjanje stranice iz indeksa koriste se druge odgovarajuće postavke.
Primjer
Stolarija iz Križevaca objavljuje novu stranicu. Tijekom pripreme bila je postavljena zabrana pregledavanja cijelog weba. Nakon objave nitko je nije uklonio, pa Google ne može normalno dohvatiti opise usluga.
Pregledom se pronalazi pogrešno pravilo i uklanja zabrana. Zatim se u Google Search Consoleu provjerava dostupnost važnih adresa. Pojavljivanje u rezultatima ipak nije trenutačno niti zajamčeno.
Na što paziti
Robots.txt je javno dostupan i ne štiti povjerljive podatke. Dokumente za zaposlenike zaštitite prijavom i odgovarajućim pravima pristupa. Ako niste sigurni što pravilo radi, zatražite pregled stranice prije promjene.