Bygg en nedladdningschemaläggare med lite programmeringsförmåga

Vi älskar alla att ladda ner saker från internet, och det finns massor av bra verktyg för nedladdningshantering som vi kan använda för att schemalägga våra nedladdningar. Det kan bara vara lättare att använda en nedladdningshanterare, men det är ingen skada att utforska verktygen som redan finns med vår Ubuntu och utnyttja den fullständigt.

I den här artikeln kommer vi att visa dig en inbyggd programvara i Ubuntu som vi kan använda för att ladda ner saker från internet med wget. Dessutom kommer vi att visa hur du schemalägger nedladdningen med Cron.

Hämta med Wget

Wget är ett gratis mjukvarupaket för att hämta filer med hjälp av HTTP, HTTPS och FTP, de mest använda Internetprotokollen. Det är ett icke-interaktivt kommandoradsverktyg, så det kan enkelt ringas från skript, cron-jobb, terminaler utan X-Windows-support, etc..

Öppna din terminal och låt oss undersöka hur vi kan använda wget för att ladda ner saker från nätet. Den grundläggande syntaxen för nedladdning med wget är följande:

wget [alternativ] ... [URL] ...

Kommandot laddar ner wget-manualen till din lokala enhet

wget http://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntu kommer med en cron-demon som används för schemaläggning av uppgifter som ska utföras vid en viss tidpunkt. Med Crontab kan du ange åtgärder och tider som de ska utföras. Så här planerar du normalt en uppgift med kommandoradsverktyget.

Öppna ett terminalfönster och ange crontab -e.

Var och en av sektionerna i en crontab separeras av ett utrymme, varvid den sista sektionen har ett eller flera utrymmen i den. En cron-post består av minut (0-59), timme (0-23, 0 = midnatt), dag (1-31), månad (1-12), veckodag (0-6, 0 = söndag), kommando. Den tredje posten i ovanstående crontab nedladdningar wget.pdf kl 2. Den första posten (0) och den andra posten (2) betyder 2:00. Den tredje till den femte posten (*) betyder vilken tid på dagen, månaden eller veckan som helst. Den sista posten är wget-kommandot för att hämta wget.pdf från den angivna webbadressen.

Det är grundläggande på wget och hur Cron fungerar. Låt oss ta ett loot i ett verkligt livsexempel på hur du schemalägger en nedladdning.

Schemaläggning Hämtning

Vi ska ladda ner Firefox 3.6 klockan 2 AM. Eftersom vår Internetleverantör endast ger en begränsad mängd data måste vi stoppa nedladdningen klockan 8. Så här ser inställningen ut.

Ignorera de första 2 inmatningarna i ovanstående crontab. Det tredje och fjärde kommandot är de enda 2 kommandon som du behöver. Det tredje kommandot ställer in en uppgift som laddar ner Firefox klockan 2:

[koda]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=sv-GB
[/koda]

Alternativet -c anger att wget ska återuppta befintlig nedladdning om den inte har slutförts.

Det fjärde kommandot kommer att stoppa wget kl 8. 'Killall' är ett unix-kommando som dödar processer med namn.

[koda]
0 8 * * * killall wget
[/koda]

Killall wget berättar Ubuntu att stoppa wget från att ladda ner filen vid 8 AM.

Andra användbara wget-kommandon

1. Ange katalogen för att ladda ner en fil

[koda]
wget -output-document = / home / zainul / Nedladdningar / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/koda]

Alternativet -output-dokumentet låter dig ange katalogen och namnet på filen du laddar ner

2. Ladda ner en webbplats

wget kan också ladda ner en webbplats.

[koda]
wget -m http://www.google.com/profiles/zainul.franciscus
[/koda]

Ovanstående kommando kommer att ladda ner hela mina google profilwebbsidor. Alternativet '-m' berättar wget att ladda ner en 'spegel' -bild av den angivna webbadressen.

Ett annat viktigt alternativ är att berätta wget hur många länkar som ska följas när den laddar ner en webbplats.

[koda]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/koda]

Ovannämnda Wget-kommando använder två alternativ. Det första alternativet '-r' berättar att wget hämtar den angivna webbplatsen rekursivt. Det andra alternativet '-l1' berättar att wget bara får den första nivån på länkar från den angivna webbplatsen. Vi kan ställa upp till tre nivåer '-l2' och '-l3'.

3. Ignorera robotinmatning

Webmaster behåller en textfil kallad Robot.txt. "Robot.txt" behåll en lista med URL som en webbläsare som wget inte ska genomsöka. Vi kan berätta för wget att ignorera alternativet 'Robot.txt' med '-erobots = off'. Följande kommando berättar wget att ladda ner den första sidan i min google-profil och ignorera "Robot.txt.

[koda]
wget -erobots = av http://www.google.com/profiles/zainul.franciscus
[/koda]

Ett annat användbart alternativ är -U. Det här alternativet kommer att maskera wget som en webbläsare. Observera att maskering av ett program som en annan applikation kan bryta mot en tjänstleverantörs term och tjänst.

[koda]
wget -erobots = av -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/koda]

Slutsats

Wget är en mycket gammal skola men hackbar GNU mjukvarupaket som vi kan använda för att ladda ner filer. Wget är ett interaktivt kommandoradsverktyg som innebär att vi kan låta det springa på vår dator i bakgrunden utan att behöva starta någon applikation. Kolla in wget man sidan

[koda]
$ man wget
[/koda]

att förstå andra alternativ som vi kan använda med wget.

länkar

Wget Manual
Så här kombinerar du två nedladdade filer När wget misslyckas halvvägs
Linux QuickTip: Nedladdning och un-tarring i ett steg