FWIW, I used the outetts python library and fastapi to make an openai compatible API server. Works well in silly tavern and kobold lite, and it handles the voices/speaker json files just fine using ...
conda activate outetts CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS -DLLAVA_BUILD=off " pip install llama-cpp-python --upgrade --force-reinstall --no-cache ...
こんにちは。この記事では、私が実際に RTX3060 12GB 搭載PCでローカルLLMを動かしてみた方法を、初心者向けにわかりやすく紹介します。難しいことは抜きにして「まずは動かす」ことをゴールにしています。 必要なものと簡単な説明 Windows PC（RTX3060 12GB ...
ローカル環境で大規模言語モデル（LLM）によるテキスト生成を実行できるオープンソースのツールです。 もともとはAIによる物語創作支援で知られるKoboldAIプロジェクトに触発されて開発されたそうです。 Facebook社のLLM「LLaMA」をローカルで動かすための llama ...
一部の結果でアクセス不可の可能性があるため、非表示になっています。
アクセス不可の結果を表示する
フィードバック