pipでインストールしたlibを消して、再びinstallしようと思います。
PyTorchのバージョンをあげるとき、大学サーバーのメモリが上限の30GBを超えており、
datasetsやcheckpointsを消してみても、22GBも使っていました。
通常ならpip freeze > instaled.txt→pip uninstall -r installed.txtで
使っていないlibやバージョンを消せるらしいですが、普段--userオプションでインストールしていろので、
一気に削除しようとするとPermission Errorで処理が止まってしまうので、Pythonでなんとかしようと思いました。
[***@sol ~]$ du -h -d 3 | sort -hr | head -25
22G .
12G ./IED_HOME
9.1G ./.ced_ubuntu
5.7G ./IED_HOME/notebook
5.2G ./IED_HOME/notebook/project
3.9G ./.ced_ubuntu/.cache
3.3G ./IED_HOME/.cache
2.9G ./IED_HOME/.local
2.9G ./.ced_ubuntu/.cache/pip
2.7G ./IED_HOME/.local/lib
2.7G ./IED_HOME/.cache/pip
2.7G ./.ced_ubuntu/.conda/pkgs
2.7G ./.ced_ubuntu/.conda
1.9G ./.ced_ubuntu/.local
1.8G ./.ced_ubuntu/.local/lib
549M ./IED_HOME/.cache/torch
549M ./.ced_ubuntu/.torch/models
549M ./.ced_ubuntu/.torch
549M ./.ced_ubuntu/.cache/torch
464M ./.cache
445M ./.cache/mozilla/firefox
445M ./.cache/mozilla
374M ./.ced_ubuntu/.cache/mozilla
281M ./IED_HOME/notebook/y7_test_super_slomo
206M ./IED_HOME/.local/share
pythonからpipを実行するために、次のような関数を定義しておきます。
import os
import sys
import subprocess
def run(cmd):
proc = subprocess.Popen(cmd, shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.STDOUT)
buf = []
while True:
line = proc.stdout.readline().decode('utf-8')
buf.append(line)
sys.stdout.write(line)
if not line and proc.poll() is not None:
break
return ''.join(buf)
次に、現在の library を取得し、配列を返す関数を用意します。
def get_libs():
run('python3 -m pip freeze > libs.txt')
with open("libs.txt", 'r') as f:
return [l.rstrip('') for l in f.readlines()]
if __name__=='__main__':
pre_libs = get_libs()
# delete libs
cmd = ["python3 -m pip uninstall %s -y"%l.split('==')[0] for l in installed_lib]
_ = [print(run(c)) for c in cmd]
del_libs = [l for l in get_libs() if not l in pre_libs]
# result
libs_len = tuple(len(l) for l in [pre_libs, get_libs(), del_libs])
print("pre:%s, now:%s, del:%s" % libs_len)
_ = [print("\tdel:",l) for l in del_libs ]
結果を確認すると、ちょっとへったかもでした。
pre:250, now:209
22→20G .
12→7.4G ./.ced_ubuntu
1.9G→0? ./.ced_ubuntu/.local
1.8G→0? ./.ced_ubuntu/.local/lib
conda clean --allしたらちょっと減りました。
20→18G .
7.4→4.8G ./.ced_ubuntu
1.9G→177M ./.ced_ubuntu/.local
1.8G→?M ./.ced_ubuntu/.local/lib
iedでもcedと同様にためしました。
pri:249 now:239 del:3
18→16G .
12→11G ./IED_HOME
2.9G→0?M ./.ced_ubuntu/.cache/pip
2.9→1.5G ./IED_HOME/.local
2.7G→0?M ./IED_HOME/.local/lib
2.7→1.3G ./IED_HOME/.local/lib
.cache削除したらすごいことになった（消していいのかよくわかってないです）
8.5G .
7.3G ./IED_HOME
5.7G ./IED_HOME/notebook
5.2G ./IED_HOME/notebook/project
1.5G ./IED_HOME/.local
1.3G ./IED_HOME/.local/lib
899M ./.ced_ubuntu
549M ./.ced_ubuntu/.torch/models
549M ./.ced_ubuntu/.torch
206M ./IED_HOME/.local/share
177M ./.ced_ubuntu/.local
123M ./.local
114M ./.local/share
113M ./.local/share/Trash
90M ./.ced_ubuntu/.local/lib
87M ./.ced_ubuntu/.local/share