今回はベアボーンのMinisforum AI X1 PROにUbuntu 24. 04. 3をインストールし、さらにROCm 6. 4.4とllama. cppを組み合わせてLLMを高速に動作させます。 ミニPCでLLM 筆者はこれまで、主にディスクリートGPU （グラフィックボード、以下dGPU） でLLMを動作させていましたが ...

2023年2月にMetaが発表した大規模言語モデル「LLaMA」は、従来のGPT-3よりも小規模でありながらGPT-3に匹敵する性能を単体GPUの環境でも示すことが可能とされており、2023年3月にはエンジニアのジョージ・ゲルガノフ氏がM1などのApple シリコン搭載MacでLLaMAを動作 ...

AIモデルをローカルで実行できるオープンソースソフトウェア「llama.cpp」が画像の入力に対応しました。画像とテキストを同時に入力して「この画像には何が写っている？」といった質問に回答させられます。 server : vision support via libmtmd by ngxson · Pull Request ...

近年、高度な生成AIや大規模言語モデルが多数登場していますが、それらを動作させるには高価なGPUなど、相応の機器が必要となります。しかし、Intelが提供するPyTorch用エクステンションの「IPEX-LLM」では、Intel製ディスクリートGPUなどでGemmaやLlamaなどのAIを ...

If you're just getting started with running local LLMs, it's likely that you've been eyeing or have opted for LM Studio and Ollama. These GUI-based tools are the defaults for a reason. They make ...

Jeffrey Hui, a research engineer at Google, discusses the integration of large language models (LLMs) into the development process using Llama.cpp, an open-source inference framework. He explains the ...