pandasは、データサイエンスにおいてすごく便利で必須なライブラリの1つですが、大きな難点が1つあります。 メモリめっちゃ食う。 csv ファイルを DataFrame として読み込む場合は、元の容量の3倍はメモリが食われることを覚悟しないといけません。 DataFrame が ...

Pythonでオブジェクトのシリアライズを行う時、たいていpickleを使おう、と思いますよね。cloudpickleもあるか。最近だと機械学習のタスクで大きめのnumpy行列やpandasのDataFrameをピクルス化して各所に保存したりもするんですよね。で、使っていると直面するのが ...