0


0

Python-cPickleを使用して以前に保存したpickleを読み込むと、メモリが大量に消費されますか?

Python-cPickleを使用して以前に保存したpickleを読み込むと、メモリが大量に消費されますか?

私のピクルファイルは約340MBですが、ロード時に6GBのメモリの29%を占有​​します。 これは少し多すぎるようです。 pickleファイルは辞書の辞書です。 これは適切ですか? +使用されるコード:

import cPickle as pickle

file = pickle.load( file_handle )

ありがとう

2 Answer


1


私はいつも大きなピクルスとサブディクショナリーでメモリの問題がありました。 そのため、私はpprintを介してオブジェクトをファイルに書き込み、後でカスタムモジュールローダーを介してそのファイルをインポートして、プロセススコープにデータを戻しました。 正常に動作し、メモリを浪費しません。


0


約1.7GBは少し大きいようですが、不可能ではありません。 データをピクルスする前にどのくらいのメモリを使用しましたか?

データのピクルを外した後、ピクルする前に使用したのとほぼ同じ量のメモリを使用する必要がありますが、ディスク上のフォーマットの大きさはそれほど重要ではありません。