このビデオチュートリアルでは、LLM（Language Model）アプリケーションにおいてキャッシュ技術を使用してOpenAI APIのコストを節約する方法について説明します。キャッシュとは、元のプロンプトとレスポンスを一時的なストレージであるキャッシュに保存し ...

以下の記事が面白かったので、簡単にまとめました。 「Prompt Caching」は、最近使用した入力トークンを再利用することができる機能です。開発者は50%の使用料金の割引とプロンプト処理時間の短縮を実現できます。チャットボットと長時間の複数ターン会話 ...