リモートサーバーからデータセットをwgetすると、403 Forbiddenが出ました。
(wget <URL> -dで確認すると、You don't have permission to access <URL> といわれていました)。
いつもはsshでデータを送っていたのですが、今回は600GBを超えていました. (ローカルはあと5GBしかない...)
データセットを自動setupしてくれるscriptが、最近試したnvidiaのサンプルコードにあったので、 参考にして、Pythonで何とかしようとしました。 (メモリがあふれていたのとデータが大きすぎて途中で止めていたことに気づかず結構はまりました。)
requests.Sesssionの.iter_contentでメモリを分けてダウンロードし、 tqdmでプログレスバーを表示させるとうまくいきました。