Hvordan

Hvordan bruke Wget til å laste ned alt fra Internett

Hvordan bruke Wget til å laste ned alt fra Internett

Wget er et kommandolinjeprogram som kan brukes til å laste ned nesten alt som er tilgjengelig på internett. Haken er at den skal være tilgjengelig via HTTP-, HTTPS- eller FTP-protokoller. Ellers vil ikke Wget kunne laste den ned. Det er flere måter Wget kan brukes på, for eksempel kan du bruke Wget til å laste ned hvert bilde på et nettsted, eller du kan også laste ned en enkelt fil. Wget er til og med i stand til å gjenoppta nedlastinger når det er mulig. Så hvis du lurer på hvordan Wget fungerer, og hva det kan gjøre for deg, her er hvordan du bruker Wget:

Installerer Wget

1. Installere Wget på macOS Sierra

Før vi begynner å bruke Wget, må vi installere det på systemet vårt. Nå, heldigvis, kommer de fleste Linux-distribusjoner med Wget forhåndsinstallert, slik at du ikke trenger å gjøre noe ekstra arbeid. Imidlertid, hvis du bruker Mac, må du installere Wget. Dette kan enkelt gjøres ved hjelp av Homebrew (nedlasting). Hvis du trenger hjelp, er det trinnene du må følge:

/ usr / bin / ruby ​​-e "$ (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

bryg installere wget

wget -V

2. Installere Wget på Windows

Installering av Wget på Windows tar litt mer innsats, men det kan enkelt gjøres. Hvis du vil installere Wget på Windows-PCen din, følger du trinnene nedenfor:

Det er det. Wget er nå installert på din Windows-PC. Du vil imidlertid ikke kunne kjøre den fra ledeteksten. I stedet må du start Cygwin Terminal, og bruk Wget derfra.

Hvordan bruke Wget

Nå som vi har Wget i gang på systemet vårt, la oss utforske alle de kule måtene vi kan bruke Wget til å laste ned filer, mapper og til og med hele nettsteder fra internett. Her er et par interessante ting du kan gjøre med Wget på systemet ditt.

MerkJeg bruker Wget på en MacBook Air som kjører macOS Sierra 10.12.3 beta. Siden verktøyet vi bruker er det samme (Wget), vil kommandoene være de samme på ethvert operativsystem du bruker Wget på.

1. Bruk Wget til å laste ned filer

Du kan enkelt bruke Wget til å laste ned filer fra internett. Bare bruk følgende kommando

wget 

Filer på servere har noen ganger de rareste navnene, og det kan være lurt å laste ned filen og la Wget automatisk endre navn på den til noe som gir deg mer mening. For å gjøre dette, bruk bare følgende kommando

wget -o  

En webserver kan være vert for en rekke forskjellige filer. Så hva om du bare vil laste ned alle PDF-filene på serveren, eller kanskje alle GIF-ene? Bare bruk følgende kommando:

wget -r -A pdf 

Denne spesielle kommandoen ble brukt av Mark Zuckerberg i hans sovesal i Harvard, for å laste ned alle bildene med bare en kommando, og bygge det beryktede nettstedet "facesmash.com".

wget -r -A jpg, jpeg, png, bmp 

2. Last ned filer fra flere nettadresser med Wget

Si at du må laste ned filer fra en rekke forskjellige steder på internett. Det kan være en PDF-fil på url1, en viktig ZIP-fil på url2, og noe annet i url3. Hvis du brukte Wget på tradisjonell måte, må du kjøre det tre ganger. Det er imidlertid en mye enklere måte å gjøre dette på.

wget -i 

hvor "filnavner navnet på filen du opprettet med alle nettadressene du trengte å laste ned ting fra.

3. Last ned et helt nettsted med Wget

Ja, du leste riktig. Du kan også bruke Wget til å laste ned innholdet på et helt nettsted. Åpenbart, hvis nettstedet er for stort, vil denne kommandoen ta mye tid å fullføre, for ikke å nevne at den vil spise opp mye plass på systemet ditt. Når det er sagt, hvis du vil bruke Wget til å laste ned et helt nettsted, er det bare å bruke følgende kommando:

wget --speil -p  -P ./LOCAL-DIR WEBSITE-URL

Dette vil laste ned hele nettstedet i en mappe “LOKAL-DIR”I arbeidskatalogen din. Filene på nettstedet lagres i en mappe med samme navn som nettstedet, takket være “NETTSIDEADRESSE“.

4. Bruk Wget som en web-edderkopp

Du kan også få Wget til å fungere som en web-crawler (eller en web-edderkopp). Dette er nyttig når du vil bekreft at URL-adressen til filen du vil laste ned er gyldig. For å bruke Wget som en web-edderkopp, og sjekke gyldigheten til URL-er, bruk bare følgende kommando:

wget - edderkopp 

Dette vil sjekke om nettadressen du har nevnt eksisterer, og du vil få et svar som forteller deg resultatene av sjekken.

5. Fortsett ufullstendige nedlastinger

Dette er en annen veldig kul ting som Wget kan gjøre. Si at du lastet ned en fil med Wget, men av en eller annen grunn måtte du slå av den bærbare datamaskinen. Neste gang du vil prøve å laste ned den samme filen, kan Wget faktisk fortsett nedlastingen for deg. Du må bare sørg for at du er i samme mappe der du lastet ned filen sist, og bruk deretter følgende kommando:

wget -c 

Når Wget ser at en del av filen allerede er tilstede i systemet ditt, fortsetter den automatisk nedlastingen.

Merk: Hvis filen på serveren er endret siden forrige gang du prøvde å laste den ned, bør du ikke bruke denne kommandoen, fordi den vil resultere i en ødelagt fil som du ikke kan lese.

Hvis serveren ikke tillater fortsatt nedlasting, vil Wget nekte å starte nedlastingen fra bunnen av. Hvis du vil starte nedlastingen fra bunnen av, må du slette den delvis nedlastede filen fra systemet ditt, først.

Det er noen flere betingelser for å bruke dette argumentet, og du kan lese mer om det på Wget man-siden.

6. Begrens nedlastingshastigheten

Hvis du bruker Wget til å laste ned filer og surfer på internett ved siden av det, vil du sannsynligvis ikke at all båndbredden din skal brukes av Wget. Heldigvis inkluderer Wget et argument som du kan bruke til begrense mengden båndbredde som Wget kan bruke til å laste ned filer på systemet ditt:

wget --grense-rate = 

MerkHusk at hastigheten er nevnt i Bytes, og ikke Bits. Så hvis du bruker Wget -limit-rate = 20k, vil det begrense bruken av båndbredde til 20 kB, og ikke 20 kb.

7. Bruk Wget til å laste ned filer fra FTP-servere

Hvis du trenger å laste ned en fil fra en FTP-server, kan du også gjøre det med Wget. Bare bruk følgende kommando for å laste ned filer fra FTP-servere:

wget 

Hvis FTP-serveren din krever pålogging for å tillate nedlastingsfiler, kan du bare sende legitimasjonen med Wget også. Bare bruk følgende kommando:

wget --ftp-brukernavn = USERNAME --ftp-passord = PASSORD 

SE OGSÅ: 30 Mac-terminalkommandoer for å få tilgang til skjulte funksjoner

Bruk Wget enkelt til å laste ned filer fra Internett

Du kan bruke Wget til å laste ned filer fra hvor som helst på internett. Imidlertid, mens Wget nesten alltid fungerer, er det visse servere som forhindrer tilgang til Wget. I så fall kan du prøve å endre -user-agenten for Wget-kommandoen. Dette er imidlertid ikke et anbefalt tiltak, med mindre du absolutt vet hva du gjør. For det meste lar Wget deg laste ned alle filer fra internett, så lenge du har tilgang til den, og dens URL.

Så har du noen gang brukt Wget til å laste ned filer fra internett? Gi oss beskjed om din erfaring med å bruke Wget til å laste ned filer via HTTP-, HTTPS- og FTP-protokollene. Hvis du vet om noen andre bruksområder for Wget du synes fortjener å være på denne listen, kan du gi oss beskjed om dem i kommentarfeltet nedenfor.

Historie bak Twitter #Hashtags
Twitter-hashtag ble født 23. august 2007, oppfunnet av Chris Messina som nå jobber som en åpen web-talsmann for Google. Den første tweeten med en has...
15 Inspirerende og kreative Facebook-tidslinjeforsidebilder
Rett etter at Facebook introduserte forsidebilder for tidslinjen, fulgte mange andre sosiale nettverk den samme trenden og introduserte forsidebilder....
Se Mark Zuckerberg tale på Internet.org-toppmøtet i Delhi
Mark Zuckerberg har landet i India, og han har nettopp holdt en tale den første dagen på Internet.org-toppmøtet. Mottoet han har kommet med er å sørge...