==Kontroliuok paieškų sistemų robotus==

Kontroliuok paieškų robotus

2019-09-10 Parengė Gediminas

1 Komentarai

Sužinosite: kaip kontroliuoti paieškų sistemų robotus

TURINYS

1. Įsileiskite paieškų sistemų robotus robots.txt

2. Robots META TAG naudojimas

3. Indeksacijos tikrinimas

4. Priverstinis paieškų sistemų robotų iškvietimas

1. Įsileiskite paieškų sistemų robotus į savo elektroninę parduotuvę

Nepaisant to, kad šiuolaikinės paieškų sistemos (tokios kaip gogle, yahoo, bingo ir t.t.) itin gerai ir labai greitai indeksuoja (indeksuoja tai reiškia, kad specialios paieškų programos perskaito Jūsų internetinės svetainės turinį, kad jį pateiktų į žmonių ieškančių informacijos internete užklausų sąrašą; pvz.: google paieškoje įvedus norimą paieškos žodį google sistema pateikia svetainių sąrašą (be to tik suindeksuotas svetainės rodomos paieškų sąraše) visas naujas ir esamas svetaine ir elektronines parduotuves, vis tiek derėtų papildomai nurodyti savo internetinėje svetainėje arba elektroninėje parduotuvėje, kur ir kokie paieškų sistemų robotai yra kviečiami apsilankyti pas Jus.

Ką daryti, kad paieškų sistemų robotai suindeksuotų/aplankytų Jūsų svetainę?

Reikia sukurti specialų failą (robots.txt) ir įkelti į Jūsų serverio root direktoriją. Jeigu nežinote kaip tai padaryti kreipkitės į svetainės ar elektroninės parduotuvės programuotoją. Kadangi prieš indeksaciją „robotai“ visų pirma patikrina ar yra robots.txt failas, o tuomet pagal šiame faile esamus nurodymus svetainė yra indeksuojama arba neindeksuojama arba indeksuojamas tik kažkurios nurodytos direktorijos ar failai.

Kaip patikrinti ar turite paieškų robotams skirtą failą?

Parašykite savo svetainės adresą (domeną), o jo gale pridėkite „/robots.txt“. Pavyzdys: www.el-parduotuve.lt/robots.txt

Turėtumėt pamatyti kažką panašaus į tai:

User-agent: *
Disallow: /admin/
Disallow:
Sitemap: http://el-parduotuve.lt/index.php?route=information/sitemap

User-agent: * - reiškia, kad į svetainę yra įleidžiamos visos paieškų sistemos.
Disallow: / - su ženklu „/“ nurodome ko nenorime indeksuoti.
Disallow: - be šio ženklo „/“ tai kas indeksuojama. Ir šiuo atveju geriausia nurodyti.

Disallow: /admin/ - reiškia, kad paieškų sistemų robotams yra uždrausta indeksuoti admin direktoriją, kuri yra skirta elektroninės parduotuvės informacijos valdymui. Tai yra elektroninės parduotuvės TVS. Kodėl verta uždrausti indeksuoti? Nes jums nėra jokio tikslo, kad robotai indeksuotų administracinio valdymo failus. Plius dėl to, kad išvengti informacijos dubliavimo (kas nepatinka google) ir dėl kitų panašių priežasčių. Nors tiesą sakant google yra pakankamai protinga sistema ir praktiškai ji neindeksuoja admin direktorijų, tačiau bet kokiu atveju yra rekomenduotina uždrausti šios direktorijos indeksaciją

Du atkreiptini dalykai naudojant robots.txt:

Paieškų sistemų robotai gali ignoruoti Jūsų robots.txt faile esamus nurodymus. Ypač tokie robotai, kurie skanuoja internetą dėl saugumo ir interneto pažeidžiamumo ir tokie robotai (spec. programos), kurie spam tikslais renka elektroninio pašto adresus nekreips dėmesio į robots.txt.
Pats robots.txt failas yra visiem prieinamas ir matomas, todėl kiekvienas gali matyti tai ką Jūs nustatėte (pvz.: kokių serverio failų neindeksuoti).

Taigi robots.txt failas nėra skirtas tam, kai visiškai norite paslėti nuo paieškų sistemų tam tikrą informaciją.

PAPILDOMI PAVYZDŽIAI kaip sukofiguruoti robots.txt failą

UŽDRAUSTI visiems paieškų sistemų robotams indeksuoti visą svetainę/serverį:

User-agent: *
Disallow: /

LEISTI visiems paieškų sistemų robotams indeksuoti

User-agent: *
Disallow:

(pagal nutylėjimą yra leidžiama indeksuoti, todėl tokiu atveju galima ir nekurti robots.txt failo arba tiesiog palikti jį tuščią)

DALINAI UŽDRAUSTI indeksuoti nurodytas direktorijas

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk

UŽDAUSTI konkretų paieškos sistemų robotą

User-agent: BadBot
Disallow:

LEISTI indeksuoti TIK vienam paieškų sistemų robotui

User-agent: Google
Disallow:

User-agent: *
Disallow: /

UŽDRAUSTI indeksuoti visas serverio direktorijas (folderius) išskyrus vieną Tai šiek tiek keblu nes nėra funkcijos "Allow". Paprasčiausias būdas yra visus failus, kurie nebus indeksuojami patalpinti į atskirą direktoriją pavyzdžiui "stuff", o kitus failus palikti vienu lygu aukščiau už „suff“ direktoriją:

User-agent: *
Disallow: /~joe/stuff/

UŽDRAUSTI konkrečius failus:

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

2. Robots META TAG naudojimas

Į elektroninės parduotuvės kodą įtraukti ir specialų meta tagą, kuris atrodo taip:

Kur įtraukti ir kaip tai padaryti?

Šį kodą reikia įterpti į elektroninės parduotuvės head skiltį, kuri išskirta taip: <head> </head>

Šis meta name pasako, kad svetainė yra atvira paieškų sistemų indeksavimui (t.y. paieškų sistemų robotams leidžiama apsilankyti nurodytame svetainės puslapyje. Esant poreikiui papildomai galima nurodyti, kas kiek laiko paieškų sistemų robotai turėtų apsilankyti Jūsų svetainėje sekantį kartą pridedant tokį kodą:

Tačiau šią koduotę pravartu naudoti tik tuomet, kai jūs kas savaitę (arba nurodytų periodiškumu) atnaujinate svetainę arba pridedate daug naujos informacijos (tai daugiau tinkama naujienų, straipsnių katalogams). Tačiau jeigu Jūs reguliariai talpinsite naują informaciją (ŽINOMA JI TURI BŪTI UNIKALI IR NEKOPIJUOTA) į svetainė bus indeksuojama irgi gana gerai. Nes paieškų sistemų robotai pamatę, kad svetainė yra nuolat atnaujinamam (kas patinka paieškų sistemoms) tokiu atveju robotai ir patys dažniau apsilankys Jūsų svetainėje.

3. Indeksacijos tikrinimas

Kaip patikrinti ar Jūsų svetainė ar elektroninė parduotuvė suideksuota?

Galim labai paprastai patikrinti ar puslapis buvo suindeksuotas ar ne. Jums reikia į google paieškos sistemą įvesti: site:jūsųdomenas. Pvz.: site:seopaslaptys.lt

Jeigu svetainė buvo suindeksuota tuomet google paieškų sistema pateiks visus Jūsų svetainės puslapius, kurie buvo suindeksuoti. O jeigu nebuvo suindeksuota tuomet nepateiks jokių jūsų svetainės puslapių.

O jeigu norėtumėte patikrinti, kuris Jūsų elektroninės parduotuvės ar internetinės svetainės puslapis yra geriausioje pozicijoje pagal tam tikrą raktažodį tuomet google paieškoje turėtumėte rašyti taip (bet geriausiai tai daryti privačiame lange atsijungus nuo google paskiros):

Raktažodis site:jusudomenas.lt

4. Priverstinis paieškų sistemų iškvietimas

Pasinaudoti GOOGLE WEBMASTER TOOLS galimybėmis:

Dar vienas būdas iškviesti paieškų sistemų robotus, kad aplankytų Jūsų svetainę arba elektroninę parduotuvę. Pasinaudoti GOOGLE WEBMASTER TOOLS. Užsiregistruokite ir patvirtinkite savo svetainę. Kad iškviesti paieškų sistemų robotus reikia eiti į: Health Fetch as Google

Čia google suteikia teisę iškviesti paieškų robotus į konkretų svetainės puslapį. Jūs galėsite suindeksuoti ne tik konkretų nurodytą puslapį, bet ir visus susijusius puslapius (t.y. visus Jūsų svetainės puslapius