Promet s tražilica je najpoželjniji za bilo koji resurs. Ali kako bi ljudi mogli pronaći stranicu u Rezultati pretraživanja, prije svega mora ući u indeks. Neki webmasteri tome ne obraćaju dovoljno pozornosti, nadajući se da će tražilice same pronaći njihovu stranicu ili njezine nove stranice. Nažalost, možete čekati jako dugo.
Ovdje se posebno razlikuje indeksiranje web mjesta u Yandexu. Ako Google zgrabi stranicu doslovno za nekoliko dana, onda je glavna tražilica Runeta bez pomoć izvana možda mjesecima ne obraća pozornost na stranicu.
Ali možemo sve popraviti. Ako znate kako postupiti, Yandex može indeksirati stranice u roku od nekoliko minuta nakon što se pojave. A što se brže vaši unosi pojave u bazi podataka ove tražilice, to će brže početi njihova promocija - lakše ćete dobiti posjetitelje i steći popularnost na Internetu.
Koliko brzo se stranica indeksira u Yandexu?
Svi resursi mogu se podijeliti u nekoliko grupa na temelju brzine indeksiranja njihovih novih stranica:
- 1. Brzo indeksirane stranice. Tu prije svega spadaju novinski portali i poznati forumi. Novi upisi doslovno završe u indeksu za nekoliko minuta, što je i sasvim logično - vijest ostaje vijest vrlo kratko. Također, brzi ulazak u Yandex bazu podataka osiguravaju stalno ažurirani resursi povjerenja. Već su osvojili njegovo povjerenje kvalitetom sadržaja i godinama.
- 2. Dobro indeksirane stranice. To su resursi koji su tražilicu navikli na redovita ažuriranja. Nisu nužno pouzdani ili stari, jednostavno neprestano oduševljavaju i korisnike i tražilice novim sadržajem. Yandex dobro postupa s takvim stranicama i stranice su izvan indeksa najviše nekoliko dana.
- 3. Stranice koje je teško indeksirati. To se odnosi na nove resurse, osobito ako webmasteri ne poduzimaju nikakve radnje da ih populariziraju. Osim toga, stranice koje se dugo ne ažuriraju loše su indeksirane. Ako ne dodajete nove unose nekoliko mjeseci, Yandex prestaje posjećivati web mjesto - vratit će se kada poželi, možete čekati jako dugo.
Ovo je klasifikacija. Jasno je da je to uvjetno, na temelju zapažanja webmastera i optimizatora. Yandex nikada nikome neće reći po kojem principu indeksira stranice i kako određuje koga posjetiti, a tko nije vrijedan njegove pažnje. Ali iz ove se podjele mogu izvući vrlo korisni zaključci.
Koje stranice Yandex brzo indeksira:
- često ažuriran: što se zapisi češće pojavljuju, to brže ulaze u indeks;
- povjerenje: dob, pokazatelj TIC-a, promet, broj stranica - što je više, što je veće povjerenje Yandexa u web mjesto, to češće dolazi robot tražilice.
Naravno, i drugi čimbenici mogu utjecati na indeksiranje, kao što su predmet stranice, vanjske poveznice, čimbenici ponašanja. Stoga se nitko neće obvezati jamčiti brzo pojavljivanje stranica u rezultatima pretraživanja, čak ni za pouzdana mjesta. Baš kao što nije nužno da će novostvorena web stranica čekati mjesecima na indeksiranje u Yandexu. Štoviše, mi sami možemo imati određeni utjecaj na ovaj proces.
Kako brže indeksirati stranicu u Yandexu?
Da biste ubrzali indeksiranje u Yandexu, preporučujemo kupnju tweetova na twitterstock burzi; tweetove možete kupiti s računa povjerenja za 3 rublje. Brzi robot stiže vrlo brzo
Prije svega, trebate dodati svoju stranicu na Yandex webmaster panel (Yandex.Webmaster). Na taj način ćete obavijestiti tražilicu o dostupnosti novog izvora. Proces je jednostavan, ali vrlo koristan, pogotovo zato što će vam dati priliku da pratite kako Yandex percipira vašu stranicu.
Osim toga, možete dodati svaku novu stranicu u addurilku (u istom Yandex.Webmasteru, stavka "Prijavi novu stranicu"). Iako ovo nije jamstvo indeksiranja, neće biti suvišno.
- izradite mapu stranice: najbolje dvije vrste su HTML za korisnike i XML za robote za pretraživanje. Zahvaljujući ovoj stranici, Yandex će moći odmah vidjeti strukturu web mjesta i sve njegove zapise, što će mu omogućiti brzo indeksiranje svega;
- napraviti interno povezivanje: veze s jedne stranice na drugu vode tražilicu kroz cijeli resurs, a pronađene zapise uključuje u indeks;
- redovito ažurirajte web mjesto: naviknite Yandex na činjenicu da stalno imate nove unose - i on će češće posjećivati resurs.
Da biste ubrzali indeksiranje u Yandexu, trebate privući robota za pretraživanje na svoju stranicu iz drugih izvora putem vanjskih veza:
- 1. Najava u u društvenim mrežama i blog platforme. Ovo je možda najviše do sada učinkovita metoda ubrzati indeksiranje u Yandexu. Na primjer, poveznice s Twittera mogu robota za pretraživanje dovesti do vaše stranice za nekoliko minuta. Yandex voli svoju zamisao - blogove Ya.ru. Popularan alat Za brzo indeksiranje tu su i VKontakte, LiveInternet, LiveJournal. Jasno je da mnogo ovisi o promociji računa ili bloga - ako je izvan Yandex indeksa, ne biste trebali očekivati da će veza s njega pomoći.
- 2. Komentari na blogu i postovi na forumu. Posebno je učinkovito ako su ti resursi dobro indeksirani - robot će odmah slijediti vezu na vašu stranicu. Ova metoda je najprikladnija kada trebate dodati novu web stranicu u Yandex indeks, jer je ovaj proces prilično naporan i može se koristiti za ubrzavanje indeksiranja svake novi unos iracionalan.
- 3. RSS emitiranje u specijaliziranim katalozima. Yandex prilično često posjećuje neke RSS direktorije, pa ako tamo dodate svoju web stranicu i oni emitiraju nove unose, to će ubrzati indeksiranje.
- 4. Dodavanje u društvene oznake. MyPlace, BeaverDobr, Delicious, Toodoo su najpoznatiji od njih. Tražilice prate ažuriranja u tim uslugama, tako da vaše stranice imaju sve šanse brzo ući u indeks.
- 5. Dodavanje stranica u bijele imenike. Posebno je dobro ako vaš resurs uspije ući u Yandex.Catalog. To će već pokazati povjerenje tražilice u nju, a time i dobro indeksiranje.
- 6. Kupnja linkova. Najučinkovitije veze bit će iz izvora od povjerenja, kao i s portala s vijestima - oni se sami brzo indeksiraju i to će pružiti vašoj stranici. Također možete naručiti veze s blogova, na primjer, Ya.ru ili LiveJournal - oni su jeftini i rade odlično.
Naravno, ovaj popis se može nastaviti, dopuniti i ažurirati. Pogotovo ako uzmete u obzir da tražilice neprestano mijenjaju i poboljšavaju svoje algoritme, što znači da bilo koja od metoda može postati nevažna ili, naprotiv, više pridonijeti brzom indeksiranju web mjesta u Yandexu. Ali ovo je dobar početak za promociju web stranice - koristeći gore navedene metode, možete prikazati svoj resurs tražilicama, a istovremeno ga poboljšati i povećati masu poveznica.
Često se novo mjesto ne može pronaći u Yandexu. Čak i ako upišete njegovo ime u traku za pretraživanje. Razlozi za to mogu biti različiti. Ponekad tražilice jednostavno još ne znaju da se pojavio novi izvor. Da biste shvatili što se događa i riješili problem, morate registrirati svoju stranicu na Yandex.Webmasteru.
Što je indeksiranje web mjesta u Yandexu
Prvo, shvatimo kako tražilice općenito saznaju za nove stranice ili promjene na njima. Yandex ima poseban program, koji se naziva robot za pretraživanje. Ovaj robot surfa internetom i traži nove stranice. Ponekad ode do starih i provjeri je li se na njima pojavilo što novo.
Kada robot pronađe korisnu stranicu, dodaje je u svoju bazu podataka. Ova baza podataka naziva se indeks pretraživanja. Kada tražimo nešto u pretrazi, vidimo stranice iz ove baze podataka. Indeksiranje je kada robot tamo dodaje nove dokumente.
Robot ne može pretražiti cijeli Internet svaki dan. On za to nema dovoljno snage. Stoga mu je potrebna pomoć - prijaviti nove stranice ili promjene na starim.
Što je Yandex.Webmaster i zašto je potreban?
Yandex.Webmaster je službeni servis iz Yandexa. Morate mu dodati web mjesto kako bi robot znao za njegovo postojanje. Uz njegovu pomoć, vlasnici resursa (webmasteri) mogu dokazati da je ovo njihova stranica.
Također možete vidjeti u Webmasteru:
- kada i gdje je robot ušao;
- koje stranice je indeksirao, a koje nije;
- koje ključne riječi ljudi traže?
- ima li tehničkih grešaka?
Putem ove usluge možete postaviti web stranicu: postavite regiju, cijene robe, zaštitite svoje tekstove od krađe. Možete zatražiti od robota da ponovno posjeti stranice na kojima ste izvršili izmjene. Yandex.Webmaster olakšava prelazak na https ili drugu domenu.
Kako dodati novu web stranicu na Yandex.Webmaster
Idite na ploču webmastera. Pritisnite "Prijava". Možete unijeti prijavu i lozinku koju koristite za prijavu na Yandex mail. Ako ga još nemate račun, morat ćete se registrirati.
Nakon prijave, bit ćete preusmjereni na stranicu s popisom dodanih resursa. Ako do sada niste koristili uslugu, popis će biti prazan. Za dodavanje novog izvora kliknite gumb "+".
Na sljedećoj stranici unesite adresu svoje stranice i potvrdite njezino dodavanje.
U posljednjoj fazi morate potvrditi svoja prava- dokažite Yandexu da ste vlasnik. Postoji nekoliko načina za to.
Kako potvrditi prava na web stranicu u Yandex.Webmasteru
Najlakši način za potvrdu prava u Yandex.Webmasteru je dodati datoteku na mjesto. Da biste to učinili, kliknite na karticu "HTML datoteka".
Preuzet će se mala datoteka. Ova će vam datoteka sada trebati, pa je spremite negdje gdje je možete vidjeti. Na primjer, na radnoj površini. Nemojte preimenovati datoteku! Ne treba ništa mijenjati u vezi s tim.
Sada prenesite ovu datoteku na svoju web stranicu. Obično se koristi za ovo upravitelji datotekama, Ali korisnici ne trebaju činiti ništa od ovoga. Samo idite u back office, kliknite "Datoteke". Zatim na vrhu stranice - "Dodaj datoteku". Odaberite datoteku koju ste ranije preuzeli.
Zatim se vratite na ploču Yandex.Webmaster i kliknite gumb "Provjeri". Nakon uspješne potvrde prava pristupa, vaša će se stranica pojaviti na popisu dodanih. Dakle, obavijestili ste Yandex.Webmaster o novoj stranici.
Meta oznaka Yandex.Webmaster
Ponekad gore opisana metoda ne radi, a vlasnici ne mogu potvrditi prava na web mjesto u Webmasteru. U tom slučaju možete isprobati drugu metodu: dodajte redak koda u predložak.
U Webmasteru idite na karticu "Meta oznaka".. Vidjet ćete redak koji treba dodati u HTML kod.
Korisnici mogu kontaktirati tehničku podršku i zatražiti umetanje ovog koda. To će biti učinjeno u sklopu besplatne revizije.
Kad ovo rade u Webmasteru kliknite gumb "Provjeri".. Čestitamo, registrirali ste svoju stranicu u tražilici!
Preliminarna postavka Yandex.Webmaster
Stranica je dodana u pretragu, sada će vam robot sigurno doći i indeksirati je. To obično traje do 7 dana.
Dodajte poveznicu na svoj sitemap
Kako bi robot brže indeksirao resurs, dodajte datoteku sitemap.xml webmasteru. Ova datoteka sadrži adrese svih stranica resursa.
Mrežne trgovine već imaju konfiguriranu ovu datoteku i treba je automatski dodati Webmasteru. Ako se to ne dogodi, dodajte vezu na sitemap.xml u odjeljku “Indeksiranje” - “Datoteke karte web mjesta”.
Provjerite robots.txt
U datoteci robots.txt označava stranice koje robot ne treba posjećivati. To su košarica, blagajna, back office i drugi tehnički dokumenti.
Prema zadanim postavkama stvara robots.txt, koji se ne mora mijenjati. Za svaki slučaj, preporučamo provjeru grešaka u robotima. Da biste to učinili, idite na "Alati" - "Analiza robots.txt".
Postavite regiju stranice
Na stranici “Informacije o web mjestu” - “Regija” možete postaviti regiju web mjesta. Za online trgovine to su gradovi, regije i zemlje u koje se isporučuje kupljena roba. Ako nemate trgovinu, već imenik ili blog, onda će regija biti cijeli svijet.
Postavite prodajnu regiju kao što je prikazano na snimci zaslona:
Za što je još koristan Webmaster?
Na stranici "Upiti za pretraživanje" možete vidjeti izraze koji vam dolaze iz pretraživanja.
Odjeljak "Indeksiranje" prikazuje informacije o tome kada je robot bio na stranici i koliko je stranica pronašao. Pododjeljak “Premještanje web mjesta” pomoći će vam ako se odlučite za instalaciju i prebacivanje na https. Pododjeljak “Povratak stranica” također je izuzetno koristan. U njemu možete robotu naznačiti stranice na kojima su se podaci promijenili. Zatim će ih, prilikom sljedećeg posjeta, robot prvi indeksirati.
Na stranici "Proizvodi i cijene" u odjeljku "Informacije o web mjestu" možete dati informacije o svojoj internetskoj trgovini. Da biste to učinili, resurs mora biti konfiguriran za prijenos podataka o proizvodima i cijenama u YML formatu. Na ispravna postavka Cijene i podaci o dostavi bit će prikazani u rezultatima pretraživanja na stranicama proizvoda.
Ako želite poboljšati vidljivost svoje tvrtke u uslugama Yandexa, trebali biste koristiti odjeljak “ Korisne usluge». U Yandex.Directory možete navesti telefonski broj, adresu svoje trgovine i radno vrijeme. Ove informacije bit će prikazane izravno u rezultatima Yandexa. Ovo će vas također dodati na Yandex.Maps.
Yandex.Metrica - još jedan važan alat za vlasnika internetskog izvora, koji prikazuje podatke o prometu. Statistika i dinamika posjećenosti stranice prikazani su u tablicama, dijagramima i grafikonima koje je lako analizirati.
Nakon povezivanja s uslugama Yandex.Webmaster i Yandex.Metrica, dobit ćete dovoljnu količinu informacija za upravljanje pozicijama i prometom stranice. Ovo su nezamjenjivi alati za vlasnike web stranica koji žele promovirati svoje resurse u najpopularnijoj tražilici u Rusiji.
Sljedeći korak u promociji web stranice je putem slične usluge Search Console. To je sve, sretno s promocijom!
Što je indeksiranje? Ovo je proces u kojem robot prima sadržaj stranica vaše web-lokacije i uključuje taj sadržaj u rezultate pretraživanja. Ako pogledamo brojke, baza podataka robota za indeksiranje sadrži trilijune adresa web stranica. Svaki dan robot traži milijarde takvih adresa.
Ali cijeli ovaj veliki proces indeksiranja interneta može se podijeliti u male faze:
Prvo, robot za indeksiranje mora znati da se stranica na vašem web-mjestu pojavila. Na primjer, indeksiranjem drugih stranica na internetu, pronalaženjem poveznica ili preuzimanjem skupa nemp. Saznali smo za stranicu, nakon čega planiramo indeksirati ovu stranicu, poslati podatke na vaš poslužitelj kako bismo zatražili ovu stranicu stranice, primili sadržaj i uključili ga u rezultate pretraživanja.
Cijeli ovaj proces je proces razmjene robota za indeksiranje s vašim web mjestom. Ako se zahtjevi koje šalje robot za indeksiranje praktički ne mijenjaju, a mijenja se samo adresa stranice, tada odgovor vašeg poslužitelja na robotov zahtjev za stranicu ovisi o mnogim čimbenicima:
- iz vaših CMS postavki;
- iz postavki pružatelja usluga hostinga;
- od rada posrednika pružatelja.
Ovaj odgovor se samo mijenja. Prije svega, kada zatraži stranicu, robot s Vaše stranice dobiva sljedeći servisni odgovor:
Ovo su HTTP zaglavlja. Sadrže razne servisne informacije koje omogućuju robotu da shvati koji će se sadržaj sada prenositi.
Želio bih se usredotočiti na prvo zaglavlje - ovo je kod HTTP odgovora koji robotu za indeksiranje ukazuje na status stranice koju je robot zatražio.
Postoji nekoliko desetaka takvih statusa HTTP koda:
Reći ću vam o najpopularnijima. Najčešći kod odgovora je HTTP-200. Stranica je dostupna, može se indeksirati, uključiti u rezultate pretraživanja, sve je u redu.
Suprotno ovom statusu je HTTP-404. Stranica nije na web-mjestu, nema se što indeksirati i nema što uključiti u pretraživanje. Kada mijenjate strukturu web stranica i mijenjate adrese internih stranica, preporučujemo postavljanje 301 poslužitelja za preusmjeravanje. Samo će ukazati robotu na to stara stranica preselio na novu adresu te je potrebno novu adresu uvrstiti u rezultate pretraživanja.
Ako se sadržaj stranice nije promijenio od zadnjeg puta kada je robot posjetio stranicu, najbolje je vratiti HTTP-304 kod. Robot će shvatiti da nema potrebe ažurirati stranice u rezultatima pretraživanja, a sadržaj se također neće prenijeti.
Ako je vaša stranica dostupna samo kratko vrijeme, na primjer, dok radite na poslužitelju, najbolje je konfigurirati HTTP-503. To će pokazati robotu da su stranica i poslužitelj trenutno nedostupni, morate se vratiti malo kasnije. U slučaju kratkoročne nedostupnosti, to će spriječiti izuzimanje stranica iz rezultata pretraživanja.
Osim ovih HTTP kodova i statusa stranice, također morate izravno dobiti sadržaj same stranice. Za običnog posjetitelja stranica izgleda ovako:
ovo su slike, tekst, navigacija, sve je vrlo lijepo, zatim za robota za indeksiranje svaka stranica je samo skup izvornog koda, HTML koda:
Razni meta tagovi, tekstualni sadržaji, linkovi, skripte, puno svakakvih informacija. Robot ih prikuplja i uključuje u rezultate pretraživanja. Čini se da je sve jednostavno: zatražili su stranicu, dobili status, dobili sadržaj i uključili ga u pretragu.
Ali nije bez razloga usluga pretraživanja Yandexa primila više od 500 pisama od webmastera i vlasnika web stranica u kojima se navodi da su se pojavili određeni problemi s odgovorom poslužitelja.
Svi ovi problemi mogu se podijeliti u dva dijela:
To su problemi s HTTP kodom odgovora i problemi s HTML kodom, s izravnim sadržajem stranica. Za te probleme može postojati veliki broj razloga. Najčešći je da robota za indeksiranje blokira davatelj usluga hostinga.
Na primjer, pokrenuli ste web stranicu i dodali novi odjeljak. Robot počinje češće posjećivati vašu stranicu, povećavajući opterećenje poslužitelja. Davatelj usluga hostinga to vidi na svom nadzoru, blokira robota za indeksiranje i stoga robot ne može pristupiti vašoj stranici. Odete na svoj resurs - sve je u redu, sve radi, stranice su lijepe, sve se otvara, sve je super, ali robot ne može indeksirati stranicu. Ako je stranica privremeno nedostupna, na primjer, ako ste zaboravili platiti Naziv domene, stranica nije radila nekoliko dana. Robot dolazi na stranicu, nedostupan je, pod takvim uvjetima može nestati iz rezultata pretraživanja doslovno nakon nekog vremena.
Netočno CMS postavke, na primjer, prilikom ažuriranja ili prelaska na drugi CMS, prilikom ažuriranja dizajna, također može uzrokovati nestanak stranica vaše stranice iz rezultata pretraživanja ako su postavke netočne. Na primjer, prisutnost zabranjujuće meta oznake u izvorni kod stranice web mjesta, netočna postavka kanonskog atributa. Provjerite jesu li stranice dostupne robotu nakon svih promjena koje napravite na stranici.
Alat Yandex pomoći će vam u tome. Webmasteru da provjeri odgovor poslužitelja:
Možete vidjeti koja HTTP zaglavlja vaš poslužitelj vraća robotu i sadržaj samih stranica.
Odjeljak “indeksiranje” sadrži statistiku u kojoj možete vidjeti koje su stranice izuzete, dinamiku promjena u tim pokazateljima te vršiti razna sortiranja i filtriranja.
Također, već sam govorio o ovom odjeljku danas, o odjeljku "dijagnostika stranice". Ako vaša stranica postane nedostupna robotu, primit ćete odgovarajuću obavijest i preporuke. Kako se to može popraviti? Ako se takvi problemi ne pojave, stranica je dostupna, zadovoljava kodove 200 i sadrži točan sadržaj, tada robot počinje automatski način rada posjetiti sve stranice koje on prepoznaje. To ne dovodi uvijek do željenih posljedica, pa se aktivnosti robota mogu na određeni način ograničiti. Za to postoji datoteka robots.txt. O tome ćemo govoriti u sljedećem odjeljku.
Roboti.txt
Sama datoteka robots.txt je mala Tekstualni dokument, nalazi se u korijenskoj mapi web-mjesta i sadrži stroga pravila za robota za indeksiranje kojih se mora pridržavati prilikom indeksiranja web-mjesta. Prednosti datoteke robots.txt su u tome što vam za njezino korištenje nije potrebno nikakvo posebno ili specijalizirano znanje.
Sve što trebate učiniti je otvoriti Notepad, unijeti određena pravila formata, a zatim jednostavno spremiti datoteku na poslužitelj. U roku od jednog dana, robot počinje koristiti ova pravila.
Ako uzmemo primjer jednostavne robots.txt datoteke, evo je, na sljedećem slajdu:
Direktiva "User-Agent:" pokazuje kojim je robotima pravilo namijenjeno, direktive za dopuštanje/odbijanje i pomoćne direktive za Sitemap i Host. Malo teorije, htio bih prijeći na praksu.
Prije nekoliko mjeseci htio sam kupiti pedometar, pa sam se obratio Yandexu. Market za pomoć pri izboru. Premješteno s glavne stranice Yandexa na Yandex. Tržište i dobio početna stranica servis.
Ispod možete vidjeti adresu stranice na koju sam otišao. Adresa samog servisa također je dodala identifikator mene kao korisnika na stranici.
Zatim sam otišao u odjeljak "katalog".
Odabrao sam željeni pododjeljak i konfigurirao parametre sortiranja, cijenu, filter, način sortiranja i proizvođača.
Dobio sam popis proizvoda, a adresa stranice je već narasla.
Otišla sam do željenog proizvoda, kliknula na gumb “dodaj u košaricu” i nastavila naplatu.
Tijekom mog kratkog putovanja adrese stranica su se na određeni način mijenjale.
Dodani su im servisni parametri koji su me identificirali kao korisnika, postavili sortiranje i naznačili vlasniku web mjesta odakle sam došao na ovu ili onu stranicu web mjesta.
Mislim da takve stranice, servisne stranice, neće biti jako zanimljive korisnicima tražilica. Ali ako su dostupni robotu za indeksiranje, mogu biti uključeni u pretraživanje, budući da se robot u biti ponaša kao korisnik.
On odlazi na jednu stranicu, vidi vezu na koju može kliknuti, odlazi na nju, učitava podatke u bazu podataka svog robota i nastavlja indeksirati cijelu stranicu. Ova kategorija takvih adresa također uključuje osobne podatke korisnika, na primjer, kao što su podaci o isporuci ili kontakt podaci korisnika.
Naravno, bolje ih je zabraniti. Upravo u tome će vam pomoći datoteka robots.txt. Večeras možete otići na svoju web stranicu na kraju Webmastera, kliknuti i vidjeti koje su stranice zapravo dostupne.
Za provjeru robots.txt postoji poseban alat u Webmasteru:
Možete preuzeti, unijeti adrese stranica, vidjeti jesu li dostupne robotu ili ne.
Napravite neke promjene, pogledajte kako robot reagira na te promjene.
Pogreške pri radu s robots.txt
Osim takvog pozitivnog učinka - zatvaranja servisnih stranica, robots.txt može odigrati okrutnu šalu ako se njime nepravilno rukuje.
Prvo, najčešći problem kod korištenja robots.txt je zatvaranje stvarno potrebnih stranica web mjesta, onih koje bi trebale biti u pretrazi i prikazane za upite. Prije nego što napravite izmjene u robots.txt, svakako provjerite prikazuje li se stranica koju želite zatvoriti za upite pretraživanja. Možda se stranica s nekim parametrima nalazi u rezultatima pretraživanja i posjetitelji na nju dolaze iz pretraživanja. Stoga svakako provjerite prije korištenja i izmjena robots.txt.
Drugo, ako vaša stranica koristi ćirilične adrese, nećete ih moći navesti izravno u robots.txt; Budući da je robots.txt međunarodni standard koji slijede svi roboti za indeksiranje, svakako će ih trebati kodirati. Nije moguće eksplicitno odrediti ćirilicu.
Treći najpopularniji problem su različita pravila za različite robote različitih tražilica. Za jednog robota za indeksiranje zatvorene su sve stranice za indeksiranje, za drugog ništa nije zatvoreno. Kao rezultat toga, u jednoj tražilici je sve u redu, željena stranica je u pretrazi, ali u drugoj tražilici može biti smeće, razne stranice za smeće i još nešto. Budite sigurni da ako postavite zabranu, to mora biti učinjeno za sve robote za indeksiranje.
Četvrti najpopularniji problem je upotreba direktive Crawl-delay kada nije potrebna. Ova vam direktiva omogućuje da utječete na čistoću zahtjeva robota za indeksiranje. Ovo je praktičan primjer, mala web stranica, postavljena na mali hosting, sve je u redu. Dodali smo veliki katalog, došao je robot, vidio hrpu novih stranica, počeo češće pristupati stranici, povećao opterećenje, skinuo je i stranica je postala nedostupna. Postavili smo direktivu Crawl-delay, robot to vidi, smanjuje opterećenje, sve je u redu, stranica radi, sve je savršeno indeksirano, nalazi se u rezultatima pretraživanja. Nakon nekog vremena stranica još više raste, prebacuje se na novi hosting koji je spreman nositi se s tim zahtjevima, s velikim brojem zahtjeva, a zaborave ukloniti Crawl-delay direktivu. Kao rezultat toga, robot razumije da se mnogo stranica pojavilo na vašem web-mjestu, ali ih ne može indeksirati samo zbog uspostavljene direktive. Ako ste ikad koristili direktivu za odgodu indeksiranja, provjerite da sada nije tu i da je vaša usluga spremna podnijeti opterećenje od robota za indeksiranje.
Uz opisanu funkcionalnost, datoteka robots.txt omogućuje vam rješavanje dva vrlo važna zadatka - riješite se duplikata na web mjestu i naznačite adresu glavnog zrcala. Upravo o tome ćemo govoriti u sljedećem odjeljku.
Parovi
Pod duplikatima podrazumijevamo nekoliko stranica iste stranice koje imaju potpuno identičan sadržaj. Najčešći primjer su stranice sa i bez kose crte na kraju adrese. Također, duplikat se može shvatiti kao isti proizvod u različitim kategorijama.
Na primjer, klizaljke mogu biti za djevojčice, za dječake, isti model može biti u dva dijela u isto vrijeme. I treće, to su stranice s beznačajnim parametrom. Kao u primjeru s Yandexom. Tržište definira ovu stranicu kao "ID sesije"; ovaj parametar u načelu ne mijenja sadržaj stranice.
Da biste otkrili duplikate i vidjeli kojim stranicama robot pristupa, možete koristiti Yandex. Webmaster.
Osim statistike, tu su i adrese stranica koje je robot preuzeo. Vidite šifru i zadnji poziv.
Problemi do kojih dovode duplikati
Što je toliko loše u dvojnicama?
Prvo, robot počinje pristupati apsolutno identičnim stranicama web mjesta, što stvara dodatno opterećenje ne samo na vašem poslužitelju, već također utječe na indeksiranje web mjesta u cjelini. Robot počinje obraćati pozornost na duplicirane stranice, a ne na one stranice koje je potrebno indeksirati i uključiti u rezultate pretraživanja.
Drugi problem je što duplicirane stranice, ako su dostupne robotu, mogu završiti u rezultatima pretraživanja i natjecati se s glavnim stranicama za upite, što, naravno, može negativno utjecati na mjesto koje se pronalazi za određene upite.
Kako se možete nositi s duplikatima?
Prije svega, preporučujem korištenje oznake "canonical". kako bi se robot usmjerio na glavnu, kanoničku stranicu, koja bi trebala biti indeksirana i pronađena u upitima za pretraživanje.
U drugom slučaju možete koristiti preusmjeravanje poslužitelja 301, na primjer, za situacije s kosom crtom na kraju adrese i bez kose crte. Postavili smo preusmjeravanje - nema duplikata.
I treće, kao što sam već rekao, ovo je datoteka robots.txt. Možete koristiti i deny direktive i Clean-param direktivu da biste se riješili beznačajnih parametara.
Ogledala stranice
Drugi zadatak koji robots.txt omogućuje rješavanje je usmjeravanje robota na adresu glavnog zrcala.
Ogledala su skupina stranica koje su potpuno identične, poput duplikata, samo su dvije stranice različite. Webmasteri se obično susreću s ogledalima u dva slučaja - kada žele prijeći na nova domena, ili kada korisnik treba učiniti dostupnima nekoliko adresa web stranica.
Na primjer, znate da kada korisnici upisuju vašu adresu ili adresu vaše web stranice u adresnu traku, često čine istu pogrešku - krivo napišu, stave krivi znak ili nešto treće. Možete kupiti dodatnu domenu kako biste korisnicima pokazali ne dopunu davatelja usluga hostinga, već stranicu na koju su stvarno željeli otići.
Usredotočimo se na prvu točku, jer upravo s njom najčešće nastaju problemi pri radu s ogledalima.
Savjetujem vam da cijeli postupak selidbe provedete prema sljedećim uputama. Mala uputa koja će vam omogućiti da izbjegnete razne probleme prilikom prelaska na novi naziv domene:
Prvo morate učiniti stranice dostupnima robotu za indeksiranje i na njih postaviti potpuno identičan sadržaj. Također provjerite zna li robot za postojanje stranica. Najlakši način je dodati ih na Yandex. Webmaster i potvrdite im prava.
Drugo, koristeći Host direktivu, usmjerite robota na adresu glavnog zrcala - onog koji bi trebao biti indeksiran i biti u rezultatima pretraživanja.
Čekamo lijepljenje i prijenos svih pokazatelja sa stare stranice na novu.
Nakon toga možete postaviti preusmjeravanje sa stare adrese na novu. Jednostavna uputa, ako se selite, svakako je upotrijebite. Nadam se da neće biti problema sa
kreće se.
Ali, naravno, greške nastaju pri radu s ogledalima.
Prije svega najviše glavni problem– to je nedostatak eksplicitnih uputa robotu za indeksiranje na adresu glavnog zrcala, adresu koja bi trebala biti u pretrazi. Provjerite na svojim web-lokacijama imaju li direktivu o hostu u svojoj robots.txt i pokazuje li točno ona adresa koju želite vidjeti u pretrazi.
Drugi najpopularniji problem je korištenje preusmjeravanja za promjenu glavnog zrcala u postojećoj grupi zrcala. Što se događa? Staru adresu, budući da preusmjerava, robot ne indeksira i isključuje je iz rezultata pretraživanja. U tom se slučaju nova stranica ne pojavljuje u pretraživanju jer nije glavno ogledalo. Gubite promet, gubite posjetitelje, mislim da ovo nikome ne treba.
I treći problem je nedostupnost jednog od ogledala prilikom kretanja. Najčešći primjer u ovoj situaciji je kada su kopirali sadržaj stranice na novu adresu, ali je stara adresa jednostavno bila onemogućena, nisu platili naziv domene i ona je postala nedostupna. Naravno, takve stranice neće biti spojene; one moraju biti dostupne robotu za indeksiranje.
Korisni linkovi u radu:
- Više korisna informacija naći ćete u usluzi Yandex.Help.
- Svi alati o kojima sam govorio i još više - postoji beta verzija Yandex.Webmastera.
Odgovori na pitanja
“Hvala vam na izvješću. Je li potrebno onemogućiti indeksiranje CSS datoteka za robota u robots.txt ili ne?
Ne preporučujemo da ih trenutno zatvorite. Da, CSS JavaScript je bolji napustite, jer sada radimo na tome da robot za indeksiranje počne prepoznavati i skripte na vašoj web stranici i stilove, i vidjeti kako to radi posjetitelj iz uobičajenog preglednika.
"Recite mi, ako su URL-ovi stranica isti za staru i novu, je li to normalno?"
U redu je. Uglavnom, samo ažurirate dizajn, dodate nešto sadržaja.
“Site ima kategoriju i sastoji se od nekoliko stranica: kosa crta, stranica1, stranica2, do 10 npr. Sve stranice imaju isti tekst kategorije, a ispada da je duplikat. Hoće li ovaj tekst biti duplikat ili ga treba nekako zatvoriti, novi indeks na drugoj i daljnjim stranicama?
Prije svega, budući da se paginacija na prvoj stranici i sadržaj na drugoj stranici općenito razlikuju, neće biti duplikati. Ali trebate očekivati da druga, treća i daljnje stranice paginacije mogu ući u pretraživanje i prikazati se za neki relevantan upit. Bolje u stranicama paginacije, preporučio bih korištenje kanonskog atributa, u najboljem slučaju - na stranici na kojoj su prikupljeni svi proizvodi tako da robot ne uključuje stranice paginacije u pretragu. Ljudi vrlo često koriste canonical na prvoj stranici paginacije. Robot dolazi na drugu stranicu, vidi proizvod, vidi tekst, ne uključuje stranicu u pretragu i razumije zahvaljujući atributu da je to prva stranica paginacije koja treba biti uključena u rezultate pretrage. Koristite canonical, a zatvorite sam tekst, mislim da nema potrebe.
Izvor (video): Kako postaviti indeksiranje stranice- Aleksandar Smirnov
Magomed Čerbižev
Napravili ste web stranicu, ali je ne možete pronaći u tražilicama? Nema problema! U ovom materijalu naučit ćete kako indeksirati web mjesto u Yandexu i Googleu u najkraćem mogućem vremenskom razdoblju. O prednostima brzog ulaska u indeks tražilice vjerojatno je nepotrebno govoriti. Uostalom, svatko razumije da što se prije njegova web stranica pojavi u rezultatima pretraživanja, to će se brže pojaviti novi klijenti. A da bi ovo funkcioniralo, morate ući u bazu podataka tražilice.
Usput, hvala pravi pristup, novi materijali na našoj stranici prilično su dobri i što je najvažnije, tražilice ih uvijek brzo indeksiraju. Možda ste došli na ovu stranicu nakon što ste upotrijebili odgovarajući zahtjev u traci za pretraživanje. Prijeđimo s teksta na praksu.
Kako saznati je li stranica indeksirana?
Prvo što trebate učiniti je saznati je li stranica indeksirana od strane tražilica. Moguće je da web mjesto jednostavno nije na prvoj stranici pretraživanja za upit koji ste unijeli. To mogu biti upiti velike količine na kojima je potrebno poraditi da bi se pojavili SEO promocija, a ne samo napraviti i pokrenuti web stranicu.
Dakle, da provjerimo, idemo na sve tražilice na koje ima smisla ići ( Yandex, Google, Mail, Rambler) i na liniju upit za pretraživanje unesite adresu stranice.
Ako vaš resurs još nije indeksiran, ništa se neće prikazati u rezultatima pretraživanja ili će se pojaviti druge stranice.
Kako indeksirati stranicu u Yandexu?
Prvo ćemo vam reći kako indeksirati web stranicu u Yandexu. Ali prije nego što dodate svoj resurs, provjerite radi li ispravno, otvara li se ispravno na svim uređajima i sadrži li samo jedinstven sadržaj. Na primjer, ako dodate web mjesto u fazi razvoja, možete jednostavno pasti pod filter - to nam se jednom dogodilo i morali smo čekati cijeli mjesec da Yandex shvati da imamo visokokvalitetnu stranicu i ukine sankcije .
Da biste obavijestili Yandex o novoj web stranici, morate dodajte ga Yandex Webmasteru I instalirajte Yandex Metrica, prvi alat je odgovoran za Dodatne informacije o resursu ( regija, struktura, brze poveznice) i kako stranica izgleda u organskim rezultatima, druga za prikupljanje podataka na stranici ( prisustvo, ponašanje itd.), što, prema našem iskustvu, također utječe na indeksiranje stranice i njenu poziciju u pretraživanju. Također, svakako napravite kartu web stranice i označite je na ploči webmastera.
Kako indeksirati stranicu u Googleu?
Najčešće, Google sam brzo pronalazi nove stranice i stavlja ih u pretragu, ali čekati da Google dođe i obavi sav posao za nas je previše drsko, pa razmislimo kako indeksirati stranicu u Googleu.
Nakon dodavanja web-mjesta, trebalo bi proći od 3 do 7 dana, prije nego što tražilice ažuriraju podatke i indeksiraju stranicu.
Uvijek želite da se nove web stranice pojave u rezultatima pretraživanja što je brže moguće, a za to postoji nekoliko tajnih (i vrlo jednostavnih) načina za ubrzavanje indeksiranja web stranica u tražilice.
3. Da biste izvršili manipulaciju opisanu u paragrafu 2, samo za Google tražilicu, idite na Search Console. Odaberite "Skeniraj" i "Gledaj kao Googlebot"- dodajte adresu nova stranica i kliknite na “Skeniraj”, nakon čega zahtijevamo indeksiranje.
Analiza indeksiranja stranice
Zaključno, treba napomenuti da ni nakon uspješnog indeksiranja stranice u tražilicama posao tu ne završava. Potrebno je povremeno analizirati indeksiranje web mjesta, kao i ukloniti pozicije za popularne upite. To će vam omogućiti da držite prst na pulsu i da ne završite u situaciji da značajan dio prometa iz organskih rezultata pretraživanja jednostavno nestane.
To se dogodilo mnogim starim stranicama koje su nakon izlaska koristile stare metode promocije Yandex algoritam Baden-Baden. Istodobno, Yandex je unaprijed najavio da pokreće ovaj algoritam i da će preoptimizirane stranice biti isključene iz pretraživanja, dok Google nikada ne izvještava o puštanju novih algoritama. Stoga će vam samo neumorno praćenje omogućiti da ostanete ili postanete voditelj teme!
