はてなブックマーク

日本語LLMの評価および分析を目的として、伝統的なタスクから現代的なタスクまでを網羅するオープン日本語LLMリーダーボードを公開しました。オープン日本語LLMリーダーボードは、LLM-jpとHugging Faceの協力により作成されました。 オープン日本語LLMリーダーボードでは、投稿されたLLMはHugging Faceの推論エンドポイントを用いて自動的に実行され、llm-jp-evalライブラリで評価されます。この評価プロセスでは、メモリ効率の良い推論を行うvLLMを利用しており、評価スコアの計算は全てmdxプラットフォーム上で行われます。 オープン日本語LLMリーダーボード: https://huggingface.co/spaces/llm-jp/open-japanese-llm-leaderboard Hugging Face ブログ記事: https://huggingfa

日本語LLMまとめ ​[ English | Français | 日本語 ] 日本語LLM・海外LLMのパラメータ数の推移。日本語モデルの情報は本記事、海外モデルの情報は LifeArchitect.ai の Models table を参照しています（ただし、図のスペース上一部のモデルは省略。また、海外モデルのパラメータ数は推測値を含む）。修正・追加等ありましたらお知らせ下さい。この記事は、一般公開されている日本語LLM（日本語を中心に学習されたLLM）および日本語LLM評価ベンチマークに関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。 ⚠ 以下の点について、あらかじめご理解とご了承をお願いいたします： 本記事の内容は、完全性や正確性を保証するものではありません。これらの情報は予告なく変更されることがあり、ま