Mivel a mutató Yandex

Az indexelés a honlap egy speciális automata program - a keresőrobotok, amely automatikusan ellenőrzi az új oldalakat a World Wide Web, végző folyamatos szkennelés vannak weboldalak az interneten, fájlok, és összeköti őket, hogy minden erőforrás.

Ellenőrzi a robot folytatja a könyvtárat, ahol a tartalom elhelyezkedik egy adott szerveren. Amikor kiválasztunk egy új helyszínen robot által vezérelt elérhetőségét. Például úgy véljük, hogy a „Yandex” beolvassa az első oldalakon létrehozott orosz nyelvű tartomány és az orosz - ru, az Orosz Föderáció, vagy a su ua, és csak ezután továbbmegy más régiókban.

A robot mozog a helyén, és keresse annak szerkezetét, az első keresve mutató további fájlokat keresni. Például a webhely beolvasott sitemap.xml vagy a robots.txt. Ezeket a fájlokat lehet állítani lánctalpas viselkedés vizsgálat során. A rendszer segítségével a helyszínen térkép (sitemap.xml) robot pontosabban kap egy ötlet a szerkezet a forrás. Keresztül a robots.txt web-mester megadja a fájlokat, hogy ő nem akar, hogy kiadták a keresési eredmények között. Például lehet, hogy személyes adatait, vagy más nem kívánt adatokat.

Beolvasása után a két dokumentumot és kapja meg a szükséges utasításokat, a robot kezd, hogy elemezze a HTML-kódot, és feldolgozza a kapott tag . Alapértelmezésben, ha nincs robots.txt fájl kereső elindul a folyamat minden dokumentumot a szerveren tárolt.

Az, hogy újra kell-scan is automatikusan határozza robotok. A program összehasonlítja a vizsgálat eredményére áll egy frissített változata a honlapon a második áthaladását indexelés. Ha az adatokat megkapta a program különböző, frissítik példányát a helyszínen, és a szerver „Yandex”.