1.Xwin-LMの概要Xwin-LMは、中国科学院や精華大学の研究者らが開発した中国製の大規模言語モデル(LLM)です。 Metaが開発したオープンソースLLMのLlama 2をベースに、教師ありファインチューニング、報酬モデル、リジェクトサンプリング、人間フィードバックによる強化学習(RLHF)などを利用して調整したものとなっています。 今回、70億、130億、700億の3種類のパラメータ数のモデルが公開されており、700億パラメータのモデルは、LLMのベンチマークサイトのAlpacaEvalの評価基準(Text-Davinci-003に対する勝率)でGPT-4を追い抜き、第1位を獲得したとされています。 出典:https://tatsu-lab.github.io/alpaca_eval/ 2.Xwin-LMの利用方法今回は、Google Colab上で、130億パラメータの4ビット
