1 votes

Comment ajouter un minuteur entre les téléchargements HTML de wget?

J'ai trouvé ce script très utile qui fait le travail que je cherche à accomplir.

Il a été pris de ce post : Batch download URLs from a .txt file

Pour utiliser la méthode suivante, vous devrez installer wget. Créez un fichier avec l'extension .sh dans le même répertoire que votre fichier contenant les liens et ajoutez ce texte :

mkdir ~/Desktop/download

while read line; do wget -E -H --directory-prefix=/Users/username/Desktop/download -k -p $line; done < file.txt

cd ~/Desktop/download

Assurez-vous de modifier le script et de changer le nom d'utilisateur en votre nom d'utilisateur. Cela lit file.txt pour les URL et exécute la commande wget plusieurs fois avec tous les liens un par un, les enregistrant dans un dossier nommé download sur votre bureau.

J'ai juste besoin de faire une petite modification pour m'assurer qu'entre une demande et une autre, le script attend 5 minutes.

Pouvez-vous me dire comment le modifier?

1voto

nohillside Points 82672

wget peut lire directement des URLs à partir d'un fichier (-i fichier), et sait comment faire des pauses entre les téléchargements (-w secondes), donc vous n'avez vraiment pas besoin d'une boucle du tout. De plus, wget télécharge par défaut dans le répertoire courant donc vous n'avez pas vraiment besoin de --directory-prefix non plus.

Il suffit d'exécuter

mkdir -p ~/Bureau/telechargement
cd ~/Bureau/telechargement
wget -E -H -k -p -w $((5*60)) -i fichier.txt

PS : Vous voudrez peut-être également ajouter --random-wait pour demander à wget d'attendre entre 0,5 et 1,5 fois le nombre de secondes que vous avez spécifié. Cela pourrait aider à éviter les problèmes avec les sites qui prennent des mesures extrêmes pour détecter et bloquer les requêtes de wget.

LesApples.com

LesApples est une communauté de Apple où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres utilisateurs d'appareils Apple, poser vos propres questions ou résoudre celles des autres.

Powered by:

X