Weboldalak és fájlok letöltése a wget használatával

A wget segédprogram weboldalakat, fájlokat és képeket tölt le az internetről a Linux parancssor használatával. Egyetlen wget paranccsal tölthet le egy webhelyről, vagy beállíthat egy bemeneti fájlt több fájl letöltéséhez több webhelyről. A kézi oldal szerint a wget akkor is használható, ha a felhasználó kijelentkezett a rendszerből. Ehhez használja a nohup parancsot.

A wget parancs jellemzői

A wget használatával teljes weboldalakat tölthet le, és konvertálja a hivatkozásokat helyi forrásokra mutatva, hogy offline megtekinthesse a webhelyet. A wget segédprogram újrapróbálkozik a letöltéssel, amikor a kapcsolat megszakad, és folytatja onnan, ahol abbahagyta, ha lehetséges, amikor a kapcsolat visszatér.

A wget további jellemzői a következők:

Fájlok letöltése HTTP, HTTPS és FTP használatával.
Folytassa a letöltéseket.
Konvertálja a letöltött weboldalakon az abszolút linkeket relatív URL-ekké, hogy a webhelyeket offline módon lehessen megtekinteni.
Támogatja a HTTP-proxykat és a cookie-kat.
Támogatja a tartós HTTP kapcsolatokat.
Akkor is fut a háttérben, ha nincs bejelentkezve.
Linux és Windows rendszereken működik.

Hogyan töltsünk le egy weboldalt a wget használatával

Ebben az útmutatóban megtudhatja, hogyan töltse le ezt a Linux blogot:

wget www.ever

Mielőtt elkezdené, hozzon létre egy mappát a gépen az mkdir paranccsal, majd a cd paranccsal lépjen át a mappába.

Például:

mkdir everydaylinuxuser
cd dailylinuxuser
wget www.ever

Az eredmény egyetlen index.html fájl, amely a Google-tól származó tartalmat tartalmazza. A képeket és a stíluslapokat a Google tárolja.

A teljes webhely és az összes oldal letöltéséhez használja a következő parancsot:

wget -r www.ever

Ez az oldalakat rekurzív módon, legfeljebb 5 szint mélységig tölti le. Öt szint mélysége nem biztos, hogy elég mindent megszerezni a webhelyről. Használja a -l kapcsolóval állíthatja be a kívánt szintek számát az alábbiak szerint:

wget -r -l10 www.ever

Ha végtelen rekurziót szeretne, használja a következőket:

wget -r -l inf www.ever

Cserélheti a inf val vel 0, ami ugyanazt jelenti.

Van még egy probléma. Lehet, hogy az összes oldalt helyileg kapja meg, de az oldalakon található linkek az eredeti helyre mutatnak. Nem lehet helyileg kattintani az oldalakon található linkek között.

A probléma kikerüléséhez használja a -k kapcsoló az oldalakon található hivatkozások helyileg letöltött megfelelővé történő konvertálásához az alábbiak szerint:

wget -r -k www.ever

Ha egy webhely teljes tükrét szeretné beszerezni, használja a következő kapcsolót, amely elveszíti a -r, -kés -l kapcsolók.

wget -m www.ever

Ha van weboldala, ezzel az egyszerű paranccsal teljes biztonsági másolatot készíthet.

A wget futtatása háttérparancsként

A wget futtatható háttérparancsként, így a fájlok letöltése közben a terminál ablakában folytathatja munkáját. Használja a következő parancsot:

wget -b www.ever

Kombinálhatja a kapcsolókat. A wget parancs futtatásához a háttérben, miközben tükrözi a webhelyet, használja a következő parancsot:

wget -b -m www.ever

Ezt tovább egyszerűsítheti az alábbiak szerint:

wget -bm www.ever

Fakitermelés

Ha a háttérben futtatja a wget parancsot, nem jelenik meg a képernyőn elküldött normál üzenetek egyike sem. Ha el akarja küldeni ezeket az üzeneteket egy naplófájlba, hogy bármikor ellenőrizhesse a haladást, használja a tail parancsot.

Ha információkat szeretne kimenni a wget parancsból egy naplófájlba, használja a következő parancsot:

wget -o / path / to / mylogfile www.ever

Ennek fordítottja: nincs szükség naplózásra és nincs kimenet a képernyőre. Az összes kimenet kihagyásához használja a következő parancsot:

wget -q www.ever

Letöltés több webhelyről

Beállíthat egy bemeneti fájlt letöltésre számos különböző webhelyről. Nyisson meg egy fájlt a kedvenc szerkesztőjével vagy a cat paranccsal, és a fájl minden sorában sorolja fel a letölteni kívánt webhelyeket vagy hivatkozásokat. Mentse a fájlt, majd futtassa a következő wget parancsot:

wget -i /

Amellett, hogy biztonsági másolatot készít a webhelyről, vagy letöltésre váró tartalmat talál offline módban, valószínűtlen, hogy teljes weboldalt szeretne letölteni. Nagyobb eséllyel töltsön le egyetlen URL-t képekkel, vagy töltsön le fájlokat, például zip fájlokat, ISO fájlokat vagy képfájlokat.

Ezt szem előtt tartva nem kell a következőket beírnia a bemeneti fájlba, mivel ez időigényes:

http://www.myfileserver.com/file1.zip
http://www.myfileserver.com/file2.zip
http://www.myfileserver.com/file3.zip

Ha tudja, hogy az alap URL megegyezik, adja meg a következőket a bemeneti fájlban:

file1.zip
file2.zip
file3.zip

Ezután megadhatja az alap URL-t a wget parancs részeként, az alábbiak szerint:

wget -B http://www.myfileserver.com -i /

Újrapróbálkozási lehetőségek

Ha a bemeneti fájlban letölti a fájlok sorát, és a számítógépet futni hagyja a fájlok letöltésére, akkor a bemeneti fájl elakadhat, amíg távol van, és megpróbálja újra letölteni a tartalmat. A következő kapcsolóval megadhatja az újrapróbálkozások számát:

wget -t 10 -i /

Használja a fenti parancsot a -T kapcsoló az időkorlát másodpercekben történő megadásához, az alábbiak szerint:

wget -t 10 -T 10 -i /

A fenti parancs 10-szer próbálkozik újra, és 10 másodpercig csatlakozik a fájl minden egyes hivatkozásához.

Az is kényelmetlen, ha a 75 gigabájtos fájl 4% -át lassú szélessávú kapcsolatra tölti le, csak a kapcsolat megszakadásához. A wget használatával próbálkozzon újra onnan, ahol abbahagyta a letöltést, használja a következő parancsot:

wget -c www.myfileser

Ha ütközik egy szerverrel, a gazdagépnek nem biztos, hogy tetszik, és blokkolhatja vagy megöli a kéréseket. Megadhat egy várakozási periódust az egyes lekérések közötti várakozási idő meghatározásához, az alábbiak szerint:

wget -w 60 -i /

A fenti parancs 60 másodpercet vár minden letöltés között. Ez akkor hasznos, ha sok fájlt tölt le egyetlen forrásból.

Egyes webhostok észlelhetik a frekvenciát és blokkolhatnak. Véletlenszerűvé teheti a várakozási időt, hogy úgy tűnjön, mintha nem használna programot, az alábbiak szerint:

wget --random-wait -i /

Védje a letöltési korlátokat

Sok internetszolgáltató letöltési korlátokat alkalmaz a szélessávú használatra, különösen azok számára, akik egy városon kívül élnek. Érdemes hozzáadni egy kvótát, hogy ne lépje túl a letöltési korlátot. Ezt a következő módon teheti meg:

wget -q 100m -i /

A -q parancs egyetlen fájlnál sem fog működni. Ha 2 gigabájt méretű fájlt tölt le, használja a -q 1000m nem akadályozza meg a fájl letöltését.

A kvóta csak akkor kerül alkalmazásra, ha rekurzívan tölt le egy webhelyről, vagy ha bemeneti fájlt használ.

Kerülje át a biztonságot

Néhány webhelyen be kell jelentkeznie a letölteni kívánt tartalom eléréséhez. A következő kapcsolók segítségével adja meg a felhasználónevet és a jelszót.

wget --user = felhasználóneved - jelszó

Többfelhasználós rendszeren, amikor valaki futtatja a ps parancsot, láthatják az Ön felhasználónevét és jelszavát.

Egyéb letöltési lehetőségek

Alapértelmezésben a -r A switch rekurzív módon letölti a tartalmat és könyvtárakat hoz létre. Ha az összes fájlt egyetlen mappába szeretné letölteni, használja a következő kapcsolót:

Ennek ellentéte a könyvtárak létrehozásának kikényszerítése, amely a következő paranccsal érhető el:

Bizonyos fájltípusok letöltése

Ha rekurzívan szeretne letölteni egy webhelyről, de csak egy adott fájltípust szeretne letölteni, például MP3-t vagy képet, például PNG-t, használja a következő szintaxist:

wget -A &

Ennek fordítottja bizonyos fájlok figyelmen kívül hagyása. Talán nem akar futtatható fájlokat letölteni. Ebben az esetben használja a következő szintaxist:

wget -R &

Cliget

Van egy cliget nevű Firefox kiegészítő. Ennek hozzáadása a Firefox-hoz:

Látogasson el a https://addons.mozilla.org/en-US/firefox/addon/cliget/ oldalra, és kattintson a hozzá a Firefoxhoz gombot.
Kattintson az telepíteni gombra, majd indítsa újra a Firefoxot.
A cliget használatához látogasson el egy letölteni kívánt oldalra vagy fájlra, és kattintson a jobb gombbal. Megjelenik egy helyi menü, amelyet cligetnek hívnak, és vannak opciók másold wget és göndörítésre másol.
Kattintson az másolás wget-be opciót, nyisson meg egy terminálablakot, majd kattintson a jobb gombbal és válassza a lehetőséget tészta. A megfelelő wget parancs beillesztésre kerül az ablakba.

Ez megment minket attól, hogy saját maga írja be a parancsot.

összefoglalás

A wget parancsnak számos opciója és kapcsolója van. A wget kézi oldalának elolvasásához írja be a következőket egy terminálablakba:

ember wget