1


0

Webページのリストをダウンロードしたいです。 私はwgetがこれを実行できることを知っています。 ただし、5分ごとにすべてのURLをダウンロードしてフォルダに保存するのは、wgetの機能を超えているようです。 誰かがタスクを達成するためのjava、python、またはPerlのいずれかのツールを知っていますか?

前もって感謝します。

2 Answer


7


http://www.scrounge.org/linux/cron.html[cget with wget]を使用したいようです

'' '' '

しかし、あなたがpythonを使い始めたのなら:

インポート時間インポートos

wget_command_string = "wget ..."

trueの場合:os.system(wget_command_string)time.sleep(5 * 60)


5


wgetを使用するbashスクリプトを書き、5分ごとに実行するようにそれをcrontabに入れます。 (* / 5 * * * *)

これらすべてのWebページの履歴を保存する必要がある場合は、スクリプトの先頭に現在のunixtimeを使用して変数を設定し、それを出力ファイル名に追加してください。