A Robots.Txt egy olyan fájl, amely utasításokat ad a keresőmotorok lánctalpasainak arra vonatkozóan, hogy a webhely mely oldalait kell indexelni vagy kizárni az indexelésből. Segít a webhelytulajdonosoknak a weboldalak láthatóságának kezelésében és a webhely keresőmotorok számára történő optimalizálásában. Ezenkívül egyszerű és hatékony módja az aldomainek keresőmotorok általi indexelésének megakadályozására.
Az aldomainek indexelésének blokkolása elengedhetetlen, ha duplikált tartalma van, vagy ha az aldomain nem releváns a webhely fő témájához. Például, ha van egy blogja egy aldomainnel az online áruháza számára, akkor érdemes blokkolni az áruház aldomainjének indexelését, hogy elkerülje a blog tartalma relevanciájának felhígulását a keresőmotorok számára.
Egy aldomain blokkolásához hozzá kell adnia a Disallow-t: / a Robots.Txt fájlban az aldomain User-agentje alá. Például a bolt aldomain blokkolásához a következő kódot kell hozzáadnia a Robots.Txt fájljához:
User-agent: *
Ez a kód utasítja a keresőmotorok lánctalpas programjait, hogy ne indexeljenek semmilyen oldalt a bolt aldomainben. Wildcardokat is használhat a domain alatti összes aldomain vagy könyvtár blokkolásához. Például a domainje alatti összes aldomain blokkolásához használhatja a következő kódot:
User-agent: *
Disallow: /*.
Ez a kód arra utasítja a keresőmotorok lánctalpas programjait, hogy ne indexeljenek semmilyen aldomaint vagy könyvtárat az Ön tartománya alatt.
Miután hozzáadta a kódot az aldomainek blokkolásához a Robots.Txt fájlban, tesztelnie kell azt, hogy megbizonyosodjon a helyes működésről. A Google Search Console robots.txt tesztelőjét használhatja a Robots.txt fájl helyes működésének ellenőrzésére. A Google Search Console a Google által biztosított ingyenes eszköz, amely segít a webhelytulajdonosoknak nyomon követni és optimalizálni webhelyük teljesítményét a keresőmotorokban.
A Robots.Txt fájl használata az aldomainek blokkolásához egyszerű és hatékony módja a webhely keresőmotorok számára történő optimalizálásának. Segít megelőzni a duplikált tartalmakat és fenntartani a webhelye tartalmának relevanciáját. Ráadásul könnyen megvalósítható és tesztelhető a Google Search Console robots.txt tesztelőjének használatával. Ezért ha olyan aldomainjei vannak, amelyek nem relevánsak webhelye fő témájához, vagy duplikált tartalmat tartalmaznak, érdemes megfontolnia a Robots.txt használatát, hogy megakadályozza ezek keresőmotorok általi indexelését.
Igen, a robots.txt az aldomainekre is vonatkozik.
A robots.txt egy olyan fájl, amely arra szolgál, hogy megmondja a keresőmotorok robotjainak, hogy a webhely mely oldalait vagy részeit kell feltérképezniük, és melyeket nem. Ezt a fájlt a webhely gyökérkönyvtárában helyezik el, hogy a keresőmotorok elérhessék.
Az aldomainek a fődomaintől különálló egységeknek tekintendők, és saját robots.txt fájljuk lehet. Ha azonban egy aldomainnek nincs saját robots.txt fájlja, akkor a fődomain robots.txt fájljából örökli az irányelveket.
Fontos megjegyezni, hogy ha meg akarja akadályozni a keresőmotorokat egy adott aldomain feltérképezésében, akkor külön robots.txt fájlt kell létrehoznia az adott aldomain számára, és hozzá kell adnia a megfelelő irányelveket. Ellenkező esetben a keresőmotorok azt fogják feltételezni, hogy az altartományt a fő tartomány robots.txt fájljában lévő irányelvek alapján engedélyezik a feltérképezést.
Összefoglalva, a robots.txt az aldomainekre vonatkozik, és ajánlott minden egyes aldomainhez külön robots.txt fájlt létrehozni a keresőmotorok általi megfelelő feltérképezés és indexelés biztosítása érdekében.
Egy aldomain blokkolása különböző módszerekkel történhet az Ön által használt tárhely- és domainszolgáltatótól függően. Íme néhány általános lépés egy aldomain blokkolásához:
1. Jelentkezzen be a tárhely-fiókjába vagy a vezérlőpultba, és navigáljon a domain szekcióba.
2. Keresse meg a blokkolni kívánt aldomain-t, és kattintson rá.
3. Keresse meg az aldomain DNS-bejegyzéseinek szerkesztési lehetőségét.
4. Adjon hozzá egy új „A” típusú rekordot, és állítsa be az IP-címet 127.0.0.1-re.
5. Mentse a módosításokat.
Ez hatékonyan blokkolja az aldomaint azáltal, hogy az oda irányuló kérelmeket a 127.0.0.0.1 loopback IP-címre irányítja át, amely egy nem átirányítható IP-cím, amelyet általában a helyi számítógépre való hivatkozásra használnak. Ez azt jelenti, hogy az aldomain elérésére tett kísérletek sikertelenek lesznek, és a felhasználó hibaüzenetet kap.
Fontos megjegyezni, hogy ez a módszer nem minden tárhelyszolgáltatónál és domain-regisztrátornál működik, és lehetnek alternatív módszerek is. Fontos figyelembe venni az aldomain letiltásának következményeit is, mivel ez hatással lehet a webhelye vagy az arra támaszkodó egyéb szolgáltatások működésére.
A robots.txt nem elavult, és továbbra is fontos eszköz a webhelytulajdonosok számára, amellyel szabályozhatják, hogy a keresőmotorok hogyan másszák át webhelyeiket. A robots.txt szabványt utoljára 1997-ben frissítették, de a mai napig hatékonyan működik.
A robots.txt egy olyan fájl, amelyet a webhelytulajdonosok a webhelyük gyökérkönyvtárában helyeznek el, hogy megmondják a keresőmotorok lánctalpasainak, hogy mely oldalakat lássák és indexeljék, és melyeket hagyják figyelmen kívül. Ez a fájl segít abban, hogy a keresőmotorok csak a weboldal azon részeit kutassák fel, amelyeket a tulajdonos szeretne, hogy feltérképezzenek.
Bár a robots.txt fájl technikailag nem szükséges egy weboldal üzemeltetéséhez, a keresőmotor-optimalizálás szempontjából erősen ajánlott. A robots.txt fájl nélkül a keresőmotorok feltérképezhetnek és indexelhetnek olyan oldalakat, amelyeket a webhely tulajdonosa nem szeretne indexelni, ami negatívan befolyásolhatja a keresőmotorok rangsorát.
Összefoglalva, a robots.txt nem elavult, és továbbra is alapvető eszköz a webhelytulajdonosok számára a keresőmotorok feltérképezésének és indexelésének kezeléséhez. A megfelelő keresőmotor-optimalizálás biztosítása érdekében minden új weboldal beállítási folyamatába bele kell foglalni.