Kontrola Googlebota

Objavio: Bruno Šarić Objavljeno: 09/07/2006 Kategorija: Tehničke stvari

Na koji način spriječit Googlebot da indeksira nešto što ne želite. 

Jednostavno za nešto što ne želite da itko vidi, uključujući posjetitelje, znači nešto do čega nema nigdje linka koristite .htacces i zaštite folder ili sajt. Jer često se dogodi da netko kaže da su mu stranice indeksirane za koje tvrdi da nema linka do njih, ako nema linka do njih ne mogu niti biti indeksirane, ali na kraju se ispostavi da jedan link negdje postoji kojeg tražilica isprati i indeksira. Ima i slučajeva gdje stvarno link ne postoji, a stranica dobije PR i bude indeksirana, ali to su rijetke situacije. Uglavnom takve dijelove stranice najbolje je zaštitim lozinkom i .htaccessom.

Osim .htaccess datoteke, dodajte i robots.txt u root folder, u kojem je potrebno specifirati što da se indeksira, što ne. Za spriječavanje pojavljivanje jedne stranice u indeksu preporuka je da se koristi noindex meta tag. Osim njega možete postavit zaštitu i na link koristeći nofollow atribut na linku.

Ako je već indeksirano nešto što ne želite preporuča se URL removal tool od Googlea, no ja ga osobno nikad ne bi koristio.

Gornji dio je ukratko prepričan post Matt Cuttsa. Moj savjet da se sve te opcije iskoriste za zaštitu ne samo jednu, jer se zna dogodit da neki puta Googlebot ne posluša naredbu i indeksira nešto što je recimo spriječeno samo robots.txt datotekom.