前編のあらまし さくらインターネットの芦野です。 前編の記事では、さくらのクラウド高火力プランの概要や事例、それから大規模言語モデル(LLM)の概要や主な実装をご紹介しました。それに続く本記事では、さくらのクラウドでLLMを動かす方法の解説や、LLMを使って実装したチャットボットのデモなどをご紹介します。 さくらのクラウドで大規模言語モデルを動かすための手順 それでは、さくらのクラウドで大規模言語モデルを動かすための手順の説明に入っていきたいと思います。今回は先ほどもご紹介しました、サイバーエージェント社が公開しているOpenCALMを動かしてみます。OpenCALMは、私が知る限りでは数少ない日本語大規模言語モデルの一つで、公開されている中では唯一なのかなと思ってたりしております。Hugging Faceという、機械学習のモデルを公開・共有できるプラットフォームにて公開されております。
1. Text generation タブ「Text generation タブ」は、テキスト生成を行うタブです。 以下の3つのモードがあり、「Inference mode タブ」で切り替えます。 ・chatモード : チャットアプリ風のモード ・notebookモード : Playground風のモード ・defaultモード : 入出力が別れているモード 1-1. chatモード・Input : メッセージ入力 ・Stop : テキスト生成の停止 ・Generate : テキスト生成 ・Continue : テキスト生成の続きの生成 ・Impersonate : なりすまし ・Regenerate : テキスト再生成 ・Remove last : 最後の会話ペアの削除 ・Copy last reply : 最後の返信のコピー (最後の返信→Input) ・Replace last re
「text-generation-webui」で「Rinna」のLoRAファインチューニングを試したので、まとめました。 前回 LoRAファインチューニングを試すLoRAファインチューニングの手順は、次のとおりです。 (1) 前々回と同じ手順で、Rinnaと会話できるように設定。 今回は、Rinnaのベースモデル (rinna/japanese-gpt-neox-3.6b) を使いました。 (2) 「Modelタブ」で「load-in-8bit」をチェックして、Rinnaモデルを再読み込み。 (3) 「あかねと〜くデータセット」(dataset_plain.txt) をダウンロードして「training/datasets」フォルダに配置。 今回は、EOSのないプレーンの方を使いました。 (4) 「Training タブ」で「Name」にLoRAモデル名を指定し、「Override Exis
text-generation-webui Python製 主にオープンな言語モデル向け stable-diffusion-web-uiと同じ立ち位置を目指しているらしい 普通にChatGPTっぽくつかうというよりは、オープンソースの言語モデルを色々試したり、細かいパラメータ設定したり、トレーニングさせたり、少し専門家向けに柔らかいUI用意した、みたいな感じに近いと思う。 なので、今回の目的とはちょっと立ち位置が違うとは思いつつも、今まで触ってこなかったのもあって、すこし触ってみる。 インストール Windows/Linux/macOS/WSL向けにワンクリックでローカルで実行できるインストーラが用意されているのだけど、中を見てるとcondaとか使ってるみたい。個人的にはcondaをグローバルにインストールすることに躊躇するところがあって、他の方法はないかなーとおもってたらDockerでで
次々と発表されるオープンな日本語大規模モデル どうなっているの？？という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DockerでGPU学習環境構築 背景 ディープラーニングでローカルPCのGPUを使った学習環境を構築した経験のある人は、一度はNVIDIAのドライバやCUDA周りでハマった経験があるのではないでしょうか？そんなバッドノウハウ（怪文章？）をまとめたQiita記事（TensorFlowでGPU学習させるためにCUDA周りではまったときの対処法）に、なんとNVIDIAの中の人(@ksasaki さん）から「Dockerを使えば…人類は幸せになれる（超意訳）」とのコメントをいただきました！ 喜び勇んで、NVIDIAのドライバをアップデートした
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
