ジェネレータとは、Pythonにおける特殊な種類のイテレータを作成するための機能です。ジェネレータは、一度に全ての要素をメモリに格納するのではなく、必要になったときに一つずつ要素を生成します。この特性により、大量のデータを扱う際にメモリ ...

以下の記事が面白かったので、簡単にまとめました。 「GaLore」は、「NVIDIA RTX 4090」などの家庭用GPU上で、Llamaなどの最大7Bパラメータを持つモデルの学習を容易にします。これは、学習プロセス中のオプティマイザの状態と勾配に従来関連付けられていた ...