Kérdések és válaszok (FAQ)

Csökkentse a terhelést a szerveren, és megszünteti a problémát a helyszínen, amikor az indexelést, valamint javítják az indexelő helyes, akkor a «Crawl-delay» - irányelvek a robots.txt fájlban. Ez lehetővé teszi, hogy az időintervallum között a letöltési oldalon a szerver, amely stabilizálja a működését a forrás a többszörös kérelmek indexelés. Először is, fontos, hogy a nagy oldalak és források, a nem megfelelő minőségű tárhely.

Vezetett a „magatartási szabályok” fájlban van leírva, a robot kezd letölteni a webhely oldalain magát az adatbázisban, az indexelés és rangsorolás, amely után a felhasználók megtalálják a forrás a keresési lekérdezések. Bizonyos esetekben (a nagy oldalak száma az oldalon, gyenge hosting) a robot címét a szerver létrehoz egy nagy terhelés, ami a helyszínen, hogy ideiglenesen leáll. Ez a probléma, és célja, hogy megoldja az irányelv «Crawl-delay», ahol meg lehet kérdezni Yandex „do füst break” között az injekció végén az egyik oldalon, és a másik kezdetét. Ez számít egész és tört értékek. Például, hogy beállít egy timeout 6,5 másodperc levelet:

User-agent: Yandex
Crawl-delay: 6.5

Ez nem azt jelenti, hogy a robot lesz letölteni az oldalt pontosan időközönként 6,5 másodperc, de meghatározza a minimális idő a hívások között a szerverre.

Mivel az irányelv „megérteni”, nem minden kereső pókok, meg kell tenni a végén a robots.txt fájl szabályainak után tiltása (vagy engedélyezése):

User-agent: *
Disallow: / kb
Crawl-delay: 6.5

Az irányelv biztosítja webmesterek a kezében egy további eszköz hatékonyságának fokozása a weboldalak és javítsák a láthatóság a keresőkben.

Get kereskedelmi
ajánlat

A szakértő válaszol minden
kérdésekre, és elküldjük
kereskedelmi ajánlat