Sakana AI（株）は6月5日、会計不正検知をはじめとする高度な金融タスクにおける大規模言語モデル（LLM）の性能を測定する日本語金融ベンチマーク「EDINET-Bench」を開発した。データセットをHugging Faceにて、構築ツールおよび評価コードをGitHubにて公開している。

Weights & Biases Japan株式会社（以下、W&B Japan）は、日本最大級のLLM日本語能力比較サイト「Nejumi LLMリーダーボード」（https ...

・具体的にどういう業務が、どのベンチマークに該当するのか知りたい方 ・数多あるベンチマーク中、学術的な裏付けのあるベンチマークがどれなのか知りたい方 ⚠️ 注意 ・記事には個人の主観や感想も含まれます こんにちは、Givery AI Lab所属AI ...

LLMの性能をまとめて評価したい場合に有用なのが、リーダーボードだ。さまざまなLLMの性能を評価した情報が公開されている。LLM選びの参考にできる、主要なリーダーボードを紹介する。 LLMやベンチマークの情報を収集するのであれば、AI（人工知能 ...

こんにちは！株式会社AI Nestです。 「ChatGPTは外向的？」「GPT-4は道徳的？」「LLMに心の理論はある？」—これらは単なる比喩的な問いではなく、現在のAI研究の最前線で真剣に探求されている課題です。今回は、大規模言語モデル（LLM）の評価に心理測定学 ...