ストックマークではGENIACの第2期のプロジェクトで日本語を主な対象とした1000億パラメータのLLMの開発を行なっています。このブログではGENIACの取り組みについて簡単に紹介します。また、開発自体はまだ続いていますが、一定の性能が出てきたことから、現段階のモデル、Stockmark-2-100B-Instruct-betaをベータ版としてHuggingFace HubでMITライセンスで公開します。日本語MT-Benchではこれまで日本で開発されてきたオープンなモデルに比べて高い性能を示すことがわかりました。このモデルは1.5兆トークンのデータで事前学習を行い、その後に事後学習を行なったモデルです。 モデル:https://huggingface.co/stockmark/Stockmark-2-100B-Instruct-beta 開発の背景 2024年10月に国立研究開発法人新
