Site fájl létrehozása, a helyes beállítást iránymutatások példákkal, ellenőrizze - seo blog pingo

Robots.txt - azaz, miért van szükség és hol él?

Így az első oktatási program azok számára, akik teljesen ismeretlenek a témát.

Robots.txt - egy szöveges fájl, amely utasításokat helyszínen indexelési kereső robotokat. Ebben a fájlban a webmester paraméterek határozhatók meg indexelni a webhely összes robot egyszerre, és az egyes keresési külön rendszer (például google).

A szerkezet és a megfelelő beállítás a robots.txt fájl

1. irányelv User-agent

Mit kell írni ebben a részben? Ez az irányelv előírja, hogy bizonyos, hogy egy robot tervezett az alábbi utasításokat. Például, ha szánják őket a robotok, elegendő tervezni a következő:

A robots.txt fájl szintaxisa karakter „*” egyenértékű az „semmit.” Ha meg szeretné adni utasítást adott kereső, vagy robot, a csillagok helyett az előző példa van írva a neve, például:

Minden kereső, van egy sor, hogy a robotok funkciókat látnak el. Yandex kereső robotok itt bemutatásra. Általánosságban az ott van a következő:

• Yandex - jelzi a robot Yandex.
• GoogleBot - Google indexeli az alap robot.
• MSNBot - alapanyagok indexelő robot Bing.
• Aport - Aport robotok.
• Mail.Ru - robotok PS Mail.

Ha van egy irányelv egy adott kereső, vagy robot, az általános figyelmen kívül hagyja.

2. Hagyja irányelv

Lehetővé teszi, hogy külön részben az oldalon, ha, mondjuk, már korábban teljesen zárva indexálás. Például:

User-agent: *
Disallow: /
Hagyjuk: /otkrytaya-stranitsa.html

Ebben a példában nem engedélyezzük indexelés az egész site kivéve poni.html oldal

Ez az opció használható bizonyos mértékig, hogy jelezze kivételek által meghatározott szabályok az irányelv tiltása. Ha nincsenek ilyen helyzetekben az irányelvet nem lehet használni egyáltalán. Ez nem teszi lehetővé, hogy nyissa ki a helyszínen, hogy indexelt, mint sokan gondolják, mert ha nincs tilalom típus Disallow: /, akkor nyitva van alapértelmezés szerint.

2. tiltása irányelv

Az ellentéte Allow és bezárja indexelni egyes oldalakat, szakaszokat vagy az egész oldalon. Ez egy analóg NOINDEX tag. Például:

User-agent: *
Letiltás: /zakrytaya-stranitsa.html

3. irányelv Host

Régen csak a Yandex, és rámutat az elsődleges tükör oldalon. Úgy néz ki, mint ez.

A fő tükör nélkül www: