Commande shell ou série de commandes similaire à l'action Automator "Obtenir les URLs des liens des pages Web"

Voici un script pour vous aider :

#!/bin/bash

urls="/chemin/vers/Liste_d_URL_d_entree.txt"
output="/chemin/vers/URLs_de_liens_de_sortie.txt"

n="$(awk 'END {print NR}' "$urls")"
echo "Traitement de $n URLs..."

cat "$urls" | \
while read url; do
    lynx -dump -listonly "$url" >> "$output"
    sleep 5
    n=$((n-1))
    echo "$n URLs restantes à traiter..."
done

Cela va mettre tous les liens dans un fichier que vous pouvez ensuite traiter en fonction de ce que vous recherchez. Du code supplémentaire pourrait être ajouté pour filtrer et traiter la sortie, cependant sans savoir ce dont vous avez besoin, vous devrez y travailler ou poser des questions supplémentaires.

Pour nettoyer la sortie, utilisez ceci comme exemple :

En utilisant "https://www.google.com" comme l'un des URL, la sortie ressemblerait à ceci :

$ lynx -dump -listonly "https://www.google.com"

Références

    1. https://www.google.com/imghp?hl=en&tab=wi
    2. https://maps.google.com/maps?hl=en&tab=wl
    3. https://play.google.com/?hl=en&tab=w8
    4. https://www.youtube.com/?tab=w1

J'ai tronqué la sortie, il y a en fait 19 URL de liens.

Pour que la sortie soit juste une liste d'URL, sans numéros ni espace, etc., utilisez awk soit en conjonction avec lynx soit après.

$ lynx -dump -listonly "https://www.google.com" | awk '/:/{print $2}'
https://www.google.com/imghp?hl=en&tab=wi
https://maps.google.com/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
https://www.youtube.com/?tab=w1

Donc si vous voulez que le fichier de sortie contienne juste les URL de liens, changez la ligne de commande lynx en :

lynx -dump -listonly "$url" | awk '/:/{print $2}' >> "$output"

Vous pouvez toujours traiter ultérieurement le contenu du fichier de sortie dans le script ou après pour le réduire aux URL de liens vraiment voulu et utiliser un autre paramètre de recherche dans awk, par exemple, j'ai utilisé ":" pour éliminer les lignes vides dans la sortie de lynx et montrer un exemple de filtrage. Dans cet exemple, seuls les URL de liens sont redirigés dans le fichier de sortie car seules les lignes contenant un : sont affichées par awk, car tous les URL devraient avoir un deux-points en eux. Le {print $2}, simplifié dans cette explication, supprime tout à gauche de l'URL de lien réel.

Voici un script mis à jour qui trie et supprime les URL de liens en double :

#!/bin/bash

urls="/chemin/vers/Liste_d_URL_d_entree.txt"
output="/chemin/vers/URLs_de_liens_de_sortie.txt"

n="$(awk 'END {print NR}' "$urls")"
echo "Traitement de $n URLs..."

cat "$urls" | \
while read url; do
    lynx -dump -listonly "$url" | awk '/:/{print $2}' | sort | uniq >> "$output"
    sleep 5
    n=$((n-1))
    [[ $n -gt 0 ]] &&  echo "$n URLs restantes à traiter..." || echo "Traitement terminé!"
done

Mise à jour pour capturer la stderr sortie de lynx dans un fichier :

Pour capturer la stderr sortie de lynx dans un fichier, redirigez stderr vers un fichier disque, par exemple, 2>>"$fichier" ajouté après "$url", par exemple :

lynx -dump -listonly "$url" 2>>"$fichier" >> "$output"

Ajoutez errlog="/chemin/vers/Erreurs_Lynx.txt" sous output="/chemin/vers/URLs_de_liens_de_sortie.txt" puis changez la ligne de commande lynx en, par exemple :

lynx -dump -listonly "$url" 2>>"$errlog" >> "$output"

Ou :

lynx -dump -listonly "$url" 2>>"$errlog" | awk '/:/{print $2}' | sort | uniq >> "$output"

Exemple :

#!/bin/bash

urls="/chemin/vers/Liste_d_URL_d_entree.txt"
output="/chemin/vers/URLs_de_liens_de_sortie.txt"
errlog="/chemin/vers/Erreurs_Lynx.txt"

n="$(awk 'END {print NR}' "$urls")"
echo "Traitement de $n URLs..."

cat "$urls" | \
while read url; do
    lynx -dump -listonly "$url" 2>>"$errlog" | awk '/:/{print $2}' | sort | uniq >> "$output"
    sleep 5
    n=$((n-1))
    [[ $n -gt 0 ]] &&  echo "$n URLs restantes à traiter..." || echo "Traitement terminé!"
done