Indeksiranje stranica sajta prevedeno na srpski znači obilazak sajta od strane Google, Yahoo i drugih prertaživača, radi prikupljanja informacija o sajtu i radi pozicioniranja sajta u prertaživačima. Pretraživači šalju svoje pauke (crawlers/spiders/bots) kako bi pročešljali stranice koje već imaju u bazama podataka u potrazi za novim sadržajem na njima. Nove strane i nov sadržaj nalaze pomoću linkova postavljenim ka tim novim stranicama. Dakle, ako je vaš sajt još uvek nov i ne nalazi se u indesku prertaživača, možete da ubrzate ovaj proces na taj način što ćete postaviti link ka toj novoj stranici na neku od stranica koja je već indeksirana. Ovo je verovatno i najbolji način za indeksiranje stranica sajta, tačnije kada je dodavanje sajta na Google u pitanju. Na ovaj način, čak i novi sajtovi mogu biti indeksirani veoma brzo, za nekoliko dana a nekada i brže. Ukoliko se koristi regularan način, preko „dodaj sajt“ ili add url to Google, čekanje se može znatno produžiti, čak i do tri meseca, samo za indeksiranje sajta.

Kako da se sajt nađe što je moguće brže u Google rezultatima prertage?

Morate da olakšate Google koliko je god moguće da indeksira strane sajta.

Ukoliko želite da se vaš sajt nađe što pre u rezultatima Google i drugih pretraživača, morate da proverite da li vaš sajt ispunjava sve preduslove i da li nudi sve što je neophodno za indeksiranje stranica.

1. Vaš server mora da omogući Google da indeksira strane vašeg sajta

Proverite vaš robots.txt fajl ukoliko postoji na serveru i uklonite disallow liniju ukoliko je potrebno. Proverite da li strane vašeg sajta sadrže noindex meta tagove, uklonite ih ako ih ima. Vaš server ne treba da koristi softver koji blokira botove ili neke cloaking skripte. Ovo može da spreči Googlebot od indeksiranja strana sajta.

2. Vaš sajt mora imati smisla za Google

Ako imate sajt sa samo jednom stranom ili ako je vaša internet prezentacija urađena samo u flešu, onda su veoma velike šanse da Google neće naći dovoljno korisnog sadržaja za indeksiranje na tom sajtu.

Optimizujte što je moguće više strana na sajtu i na taj način pokažite Google-u da je sajt pun kvalitetnog sadržaja koji treba da bude predstavljen u prertaživaču. Što više korisnog sadržaja Google pronađe na sajtu, povećava se i verovatnoća da se taj sajt rangira bolje u rezultatima prertage.

3. Vaše veb stranice moraju imati dobre i kvalitetne povratne linkove

Ukoliko dosta sajtova linkuje ka vašem sajtu, onda će i Google da obilazi češće taj sajt u potrazi za novim kvalitetnim i relevantnim sadržajem, a istovremeno će se takav sajt znatno pre pojaviti u prertaživaču.

Morate da budete strpljivi

Pre nego što Google prikaže vaš sajt u svojim rezultatima prertage, morate da sačekate neko vreme.

1. Iz tehničkih razloga

Nakon objavljivanja vaših optimizovanih strana sajta, morate da sačekate još neko vreme dok Google poseti sajt. Kada Googlebot dođe u obilazak sajta, nemora da znači da će odmah da obiđe ceo sajt. Pored toga, možda neće sve strane koje je obišao da budu indeksirane.

Indeksirane strane moraju biti analizirane da bi im se dodelile ključne reči za prertagu. Pored ovoga, Google ocenjuje kvalitet određenog veb sajta i upoređuje njegov sadržaj u odnosu na druge sajtove. Za ovaj proces je potrebno određeno vreme. Međutim, što više povratnih linkova vaš sajt ima, toliko će se ovaj proces ubrzati.

2. Google algoritam

Potrebno je određeno vreme da bi Google stekao poverenje za određeni sajt. Ako imate novi sajt, potrebno je određeno vreme da bi on stekao reputaciju kod Google. Što je sajt stariji i ako ima dosta kvalitetnih povratnih linkova, Google će imati više poverenja u njega.

3. Кljučne reči

Potrebno je znatno više vremena za dostizanje visoke pozicije u Google pretraživaču za konkurentne ključne reči. Ukoliko želite brze rezultate, počnite sa manje konkurentnim ključnim rečima pa tek onda i sa onim konkurentnijim, ali tek kada se sajt pojavi na prvoj strani to jest u prvih 10 rezultata za nekoliko manje traženih ključnih reči. Kada se to desi, biče mnogo lakše i u dosta konkurentnijim uslovima.

Treba imati u vidu da Google kao najvažniji prertaživač ali i svi ostali pretraživači konstantno indeksiraju stranice sajta. Ako neki sajt često dodaje nove strane, kao i nov, zanimljiv i relevantan sadržaj i ukoliko ima dobre, kvalitetne i relevantne linkove ka sebi, prertaživači mogu dolaziti i više puta dnevno na takav sajt, dok na sajtove koji su više statični i na kojima nema česte promene i dodavanja novog sadržaja, prertaživači mogu doći jednom ili dva puta mesečno.

Robots.txt

Šta je robots.txt? Robots.txt predstavlja najobičniji tekstualni fajl u kome se nalaze uputstva za Google i sve druge pretraživače, šta mogu da obilaze a šta ne.

Ukoliko želimo da Google obiđe sve foldere i fajlove u našem public_html ili www direktorijumu, onda možemo koristiti najjednostavniji kod za robots.txt:

User-agent: *
Disallow:

Ovakav robots.txt omogućava svim prertaživaćima pristup svim fajlovima i folderima koji se nalaze u glavnom direktorijumu, dok je naprimer ovakav kod za robots.txt nešto sasvim suprotno od toga:

User-agent: *
Disallow: /

Ovakav kod zabranjuje Google i drugima da obilaze naš glavni direktorijum na serveru i može se koristiti naprimer ukoliko se izrada sajta vrši na samom serveru, pa ne želimo da nam prertaživači obilaze sajt dok ga nismo do kraja završili. Takođe, ukoliko imamo neki folder koji ne želimo da prertaživači obilaze, možemo upisati sledeći kod:

User-agent:
Disallow: /folder-ne-obilazi

U slučaju da ne želimo da dozvolimo samo Google pretraživaču da obilazi ovaj folder, dodaćemo sledeći kod u naš robots.txt:

User-Agent: Googlebot
Disallow: /folder/

Primer kako Google koristi svoj robots.txt možete da pogledate ovde https://www.google.com/robots.txt .

Kreiraje Mapu Sajta

Mapa sajta je datoteka koju pravimo sami (u WordPress i Joomla koriste se pluginovi) i koja treba da sadrži linkove ka svim stranama našeg sajta sa datumom poslednje izmene određene strane. Ovaj datum je bitan u tom smislu jer će prertaživač znati da li treba ponovo da obilazi ovu stranu u potrazi za novim sadržajem ili ne.

Dodajte link sajta u direktorijume u relevantnu kategoriju, ostavljajte komentare na blogovima relevantnog sadržaja sa vašim sajtom sa linkom u potpisu, učestvujte u diskusijama na forumima sa temama iz vaše oblasti…

Osim navedenog ono što treba izdvojiti je definitivno sadržaj sajta koji igra veoma važnu ulogu u celom procesu. Dakle, ako imate sajt bogat relevantnim sadržajem, dobro napisanim tekstovima, slikama, videom i ako često dodajete sadržaj koji je interesantan posetiocima sajta, oni će sami stavljati linkove prema njemu. I sam Google će imati dosta više teksta i sadržaja za indeksiranje, tako da će se mogućnosti za dobro pozicioniranje znatno povećati.