本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対
以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間とほぼ同じです。英語のテキストおよびコードでは「GPT-4 Turbo」のパフォーマンスに匹敵し、英語以外の言語のテキストでは大幅に改善されており、APIでははるかに高速で50%安価です。「GPT-4o」は、既存のモデルと比較して、特に視覚と音声の理解に優れています。 2. モデルの機能「GPT-4o」以前は、音声モードを使用して、平均2.8秒 (GPT-3.5) および5
はじめにこの記事は、初めてStable DiffusionのLoRAを作成する方に向けた解説です。わかりづらかったらすみません。 この解説ではSDXLベースのAnimagine-XL-3.1で二次元イラストのキャラクターのLoRAを作成します。 注意すでにWebUIの環境構築と生成ができていて生成に慣れている前提のガイドとなります。 Windows向けのガイドです。 また、NVIDIAのGeForce RTXグラフィックボード(VRAM 8GB以上)が搭載された高性能なパソコンが必要です。 そもそもLoRAってなんぞや？Low-Rank Adaptationが正式名称です。 難しくいうと、ウェイトとデータセットの差分を出力するものです。低ランクの行列に分解してからファインチューンすることで少ないメモリで学習できるようにしたものです。 簡単に言えば、LoRAはキャラ、衣装、シチュエーションや
はじめにこんにちは、AI Picasso社の開発チームです。ふたたび、皆様に重要なお知らせがあります。高品質AIアート用画像生成AI、Emi 2 を商用利用可能で無償公開します。この画像生成AIは商用利用が可能であり、追加学習において無断転載画像を学習していません。 Emi 2 は以下のURLにて無料で利用することができます。 Emi 2の特徴１．AIアートへさらに特化このモデルは、イラストやアニメ、マンガのようなAIアート生成に特化しています。GMOインターネットグループが提供する「ConoHa byGMO」のトライアル版の採用により最先端の開発機材NVIDIA H100によって作られた画像生成Emi、モデルマージやフルファインチューニングといったAI Picasso社のノウハウを用いて高品質な画像が生成されるように尽力しました。参考として簡単な生成例を以下に紹介します。 比較のために、
なぜ人は生成AIに学習されることに嫌悪感を抱くのか言語化してみる｜リツ こちらを読んで書いてます 何が嫌なのかを再確認自分の個性・アイデンティティ、しかも自分ですら気がついてない無意識でやっていることまでもが、いつの間にか知らないうちに誰かに使用される。そのことに人間は恐怖する。この恐怖を勝手に「無意識の複製」とでも呼んでおこう。 よく、生成AIと写真・活版印刷は同じであると言っている人がいるが、写真や活版印刷はそっくりそのまま複製するものである。しかし、生成AIはそのままの複製ではない。無意識までもを複製する。 この文章とクローンの話をしていることから察するに 自分と同様の成果物を無限に生成されるのは恐怖だと言いたいのだと思う つまりは 自分が代替えされてしまうことへの恐怖かな 人間とAIの違い具体的な違いの説明はこの文章だと思う 自然人の学習は、完成品から原作者について様々な考察をしな
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
まとめ Danbooru タグをいい感じに生成・補完してくれる LLM を作ることができた データセットやトークナイザーの作成、事前学習、SFT、推論の最適化まで一通り体験できた 作成したもの: モデル (SFT): モデル (事前学習): デモ: 🤗 Space はじめに 最近いい感じの画像生成 AI が流行ってきていて、プロンプトを指定するといい感じの画像が生成できるようになってきました。 しかし、いい感じの画像生成モデルを使っていてもプロンプトがしっかりしていないといい感じになってくれません！困りました！ DALL-E 3 では画像生成をお願いすると、ChatGPT が指定された情報にさらに詳細な情報を追加し、長いプロンプトにしてから画像を生成するようになっています。 少ない情報から情景を想像して詳しい情報を追加している (実際の生成では英語が使われる) DALL-E 3 の論文に
日本音響学会 学生・若手フォーラム Advent Calendar 2023 24日目 Suno AI とは、歌詞と曲のスタイル（と曲名）を指定するだけで、自動で歌詞入りの楽曲を作成してくれる生成 AI サービスです。 Suno AI 最近ではこのほかにも様々な音楽生成AIが発表されていますが、 Suno AI が特にバズっている要因はおそらく歌詞入力という他サービスではあまり無い UI と、 ボーカルが付加されることにより生成楽曲の面白さが格段に上がる点が大きいのではないでしょうか。 Suno AI 自体の使い方や詳細は多くのブログで紹介されているため特に取り上げる必要はないかと思いますが、 本記事では技術者の観点から Suno AI のようなシステムをどのようにすれば作れるか具体的に解説します。 個人的には Suno AI について、以下のような所見を持っています。 Suno AI は
Swallow (on Llama 2) Llama 2の日本語能力を強化した大規模言語モデル (7B, 13B, 70B) です。モデルのパラメータ（重み）が公開されていますので、LLAMA 2 Community Licenseに従う限り、研究や商業利用など自由に利用できます。 (2023年12月19日公開) View on HuggingFace 大規模言語モデルSwallowは東京工業大学情報理工学院の岡崎研究室と横田研究室、国立研究開発法人産業技術総合研究所の研究チームで開発された大規模言語モデルです。英語の言語理解や対話で高い能力を持つ大規模言語モデルLlama 2 7B, 13B, 70Bの日本語能力を拡張するため、研究チームは言語モデルに日本語の文字や単語などの語彙を追加したうえで、新たに開発した日本語データを用いてモデルの構築を継続的に行う継続事前学習を行いました。研究チ
ChatGPTを活用した英語学習の「応用編」 橋本大也氏（以下、橋本）：ここからは、ChatGPTのプラグインとか、有料版のAdvanced data analysisの高度な機能を使った応用編ですね。ChatGPTを使って「え、こんなこともできるの!?」という例を紹介していきます。 最初は和製英語についてです。和製英語は「Japanglish」と言いますが、「和製英語の例をください」と入れると、Salaryman、OL、Skinship、Consentとか、いろいろな英語で答えてくれるんですね。 私はこのままmore、moreを繰り返して、100個くらい和製英語をリストにしてもらいました。このデータから30個ばかり「これはおもしろいね」「知らなかったよ」「知ってたけどおもしろい！」と思うものを選びました。 それをBingのImage Creator、画像生成AIに1個ずつ入れていくと、全
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、最大68億パラメータの日本語LLM（Large Language Model、大規模言語モデル）を一般公開したことをお知らせいたします。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況です。 ■最大68億パラメータの日本語LLM（大規模言語モデル）の公開について こうした背景のもと、当社は日本語LLMの開発に取り組んでおり、このたび一部モデルをHugging Face Hubにて公開いたしました。公開されたモデルはオープンな日本語データ※2で学習したもので
2022/09/07 (更新日: 2023/08/07) 英語を「約１年」ほど、ガチで学んでみた結果【ヒント：完全無料です】 ENGLISH こんにちは、マナブです。 先日に、下記のツイートをしました。 英語を「約１年」ほど、ガチで学んでみた結果😌 ✅学習前： 英語を読むのが死ぬほど遅い。日常会話は、ギリOK。半年の留学経験あり ✅学習後： 英語をスラスラ読める。情報収集は全て英語。ビジネス会話OK。英語が楽しい １円も使わずに学びました。ニーズがありそうなら、学習方法を全て書きます — Manabu (@manabubannai) August 29, 2022 Twitterで「300回以上」も拡散され、大きな反響でした。 データを見ると、なんと「100万回」も表示されています。 Twitter上での「拡散データ」がこちら というわけで、本記事で「僕のノウハウ」を全て書きます。 とは
最近のAIブームで、色々と得心が行った。私の行動はAIと同じだったんだと気づいたのだ。 自分は今まで生きてきておそらく全く思考というものを行っていないのだ。ただ今まで学習してきた何かしらの文書から得られた学習の結果としての何らかのあやふやなデータから、ただ周囲から与えられている入力に対して反射的に出力を行っているだけなのだ。 仮に、思考というものが存在するというのなら、それはおそらくNSFWフィルタのようなフィルタリング機構であって、それ以外は私の身体には実装されていない。普通は、実装されているのかもしれないが、少なくとも私には実装していない。 お絵かきAIに絵を描かせている人がつぶやいていた「AIはてっきり論理ばかりがわかって感情がわからないのかと思ったが、むしろ逆で感情ばかりわかって論理がわかっていない」という言葉が芯を得ていると深く感じた。本当に得心が行ったのだ。物理的な構成も論理的
ここ数年プログラミングを学びたい人が増えている。そうした需要に応じて有象無象のプログラミングスクールや不適当な内容の学習サイトも増えている。中には粗悪なスクールやオンラインサロンも沢山ある。しかし未経験者にはどれがいいスクールなのか悪いスクールなのか等の審美眼はない。 この記事では未経験者がそういった情報弱者を食い物にする偽物に騙されないように滑らかに学習を進めていくための道筋について書く。 この記事の対象読者は下記。 教養としてプログラミングを学びたい未経験者 とにかくWebサービスやアプリを作りたくてプログラミングを学びたい未経験者 プログラマとして職を得たい未経験者 以下、まずは全ての対象読者向けの下準備について書き、その後それぞれの対象読者向けに道筋を書く。 目次 準備 教養としてプログラミングを学びたい人の場合 とにかくwebサービスやアプリを作りたくてプログラミングを学びたい人
ホーム ブログ 人工知能（ＡＩ）、ビッグデータ法務 Midjourney、Stable Diffusion、mimicなどの画像自動生成AIと著作権｜知… はじめに Midjourney、Stable Diffusion、mimicなど、コンテンツ（画像）自動生成AIに関する話題で持ちきりですね。それぞれのサービスの内容については今更言うまでもないのですがMidjourney、Stable Diffusionは「文章（呪文）を入力するとAIが自動で画像を生成してくれる画像自動生成AI」、mimicは「特定の描き手のイラストを学習させることで、描き手の個性が反映されたイラストを自動生成できるAIを作成できるサービス」です（サービスリリース後すぐ盛大に炎上してサービス停止しちゃいましたが）。 で、この手の画像自動生成AIのようなコンテンツ自動生成AIですが、著作権法的に問題になる論点は大体決ま
自身のレベルにあった英文を「大量に＆楽しんで」読む学習方法です。 よくある勉強と違い、テストもなく、ただ楽しんで読むだけなので、最初は違和感があるかもしれませんが、読み続けることがやがて自然な言語習得につながります。 青の祓魔師 加藤和恵 アオハライド 咲坂伊緒 アンデッドアンラック 戸塚慶文 俺物語‼︎ アルコ・河原和音 かぐや様は告らせたい～天才たちの恋愛頭脳戦～ 赤坂アカ 君に届け 椎名軽穂 鬼滅の刃 吾峠呼世晴 黒子のバスケ 藤巻忠俊 ゴールデンカムイ 野田サトル 呪術廻戦 芥見下々 SPY×FAMILY 遠藤達哉 聖闘士星矢 車田正美 チェンソーマン 藤本タツキ テニスの王子様 許斐剛 DEATH NOTE 大場つぐみ・小畑健 東京喰種 石田スイ NANA −ナナ− 矢沢あい NARUTO −ナルト− 岸本斉史 ニセコイ 古味直志 ハイキュー‼︎ 古舘春一 花より男子 神尾葉子
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
