2025年1月31日、スタンフォード大学で大規模言語モデルを研究するニクラス・ミュニホフ氏らの研究チームが、少ないデータサンプルと簡単な方法でOpenAI o1-previewとほぼ同等のスケーリングとパフォーマンスを再現する手法を、未査読論文リポジトリのarXivに発表しました。AIアーキテクトでソフトウェアエンジニアのティム・ケロッグ氏が、この論文について解説しています。 [2501.19393] s1: Simple test-time scaling https://arxiv.org/abs/2501.19393 S1: The $6 R1 Competitor? - Tim Kellogg https://timkellogg.me/blog/2025/02/03/s1 ミュニホフ氏らが発表した論文は、テスト時の計算リソースを増やすことで言語モデルの推論性能を向上させる「Sim
DeepSeek-R1は、ローカル環境での大規模言語モデル（LLM）の実行を可能にする強力なモデルです。Ollamaは、そのセットアップと実行を簡素化するツールとして最適です。この記事では、Ollamaを使用してDeepSeek-R1をローカルで実行する手順を説明します。 DeepSeek-R1をローカルで実行するためのOllamaセットアップ手順 1. システム要件の確認 オペレーティングシステム：macOS、Linux、またはWindows ハードウェア： RAM：最低8GB（推奨16GB以上） GPU：NVIDIA GPU（CUDA対応）を推奨。ただし、GPUがない場合でもCPUでの実行は可能ですが、パフォーマンスは低下します。 ディスク容量：モデルサイズに応じて10GB以上の空き容量 なお、今回はGPUを搭載していないノートPCでOllamaを実行しました。 2. Ollamaのイ
中国のAI企業が2025年1月20日(月)にリリースしたAIモデル「DeepSeek-R1」は、「OpenAI o1」と同等の性能を備えつつ学習コストや運用コストが低いことを特徴としています。このDeepSeek-R1は、モデルデータが無料で公開されているのですが、学習に必要なデータセットやコードは公開されていません。新たに、AI開発プラットフォームの「Hugging Face」がDeepSeek-R1の非公開部分を再現してオープンソース化するプロジェクト「Open-R1」を開始しました。 Open-R1: a fully open reproduction of DeepSeek-R1 https://huggingface.co/blog/open-r1 DeepSeek-R1は中国に拠点を置くAI企業のDeepSeekが開発したAIモデルで、数学性能やコーディング性能などを測定する複
2025年1月20日、DeepSeekが推論モデルの「DeepSeek-R1-Zero」と「DeepSeek-R1」をMITライセンスの下でオープンソースとして公開しました。「R1」のトレーニングコストはOpenAIの推論モデル「o1」の約3％程度だとも伝えられたために、AIの開発に対する業界の見方を大きく変えたこのモデルについて、Apple、Microsoft、Automatticでの勤務経験があるアナリストのベン・トンプソン氏が解説しました。 DeepSeek FAQ – Stratechery by Ben Thompson https://stratechery.com/2025/deepseek-faq/ 17 Thoughts About the Big DeepSeek Selloff - Bloomberg https://www.bloomberg.com/news/ne
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 大規模言語モデル（LLM）をローカル環境で実行することへの需要が高まっています。本記事では、2025年1月にリリースされたDeepSeek-R1モデルファミリーを、Ollamaを使用してローカル環境で実行する方法について解説します。 Roo Codeと使用するには下記も御覧ください 環境要件 実行環境には以下が必要です： Ollamaがインストール済みであること GPUを使用する場合：NVIDIA GPUと対応するドライバー モデルに応じた十分なRAMとGPUメモリ（詳細は後述） まだOllamaをインストールしていない場合は、Olla
DeepSeek-R1にも採用されたLLMチューニングのための強化学習手法 GRPO（Group Relative Policy Optimization）について考えたことをまとめます。 GRPO: DeepSeek-R1の強化学習ファインチューニング手法 前提手法：TRPO/PPO TRPO: Trust Region Policy Optimization PPO: Proximal Policy Optimization GRPOとPPOの差分：①アドバンテージ算出と②参照モデルからのKL距離制約 変更点①： アドバンテージAの算出方法 REINFORCE： 価値関数近似なし方策勾配法 PPO（Actor-Critic）： 価値関数近似あり方策勾配法 GRPO： スケーリングされたREINFORCE 変更点 ②： 参照モデル（SFTモデル）からのKL距離制約 従来は参照モデル制約は
中国のAIスタートアップ「DeepSeek」は2025年1月20日、数学的推論やコーディング能力でOpenAIの最新モデル「o1」と同等性能を持つ大規模言語モデル「DeepSeek-R1」を公開した。 使用・複製・改変・再配布を自由に許可する寛容なMITライセンス下でのオープンソース提供および従来比95〜97%のコスト減となるAPI価格が特徴で、AI業界に激震が起きている。 強化学習を重視、コールドスタート問題にも対応 論文によると、DeepSeek-R1の特筆すべき点は、強化学習（RL：Reinforcement Learning）を駆使し、従来の教師あり学習（SFT：Supervised Fine-Tuning）に頼らず、自律的に思考連鎖（CoT：Chain-of-Thought）を学習する点だ。このアプローチにより、モデルは複雑な問題を解決するための思考の連鎖を探索し、自己検証や振り
本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対
1月20日（日本時間）に登場した大規模言語モデル「DeepSeek-R1」に、AI開発者やユーザーたちが驚いている。中国のスタートアップDeepSeekが開発したこのモデルは、分野によっては米OpenAIの「o1」に匹敵するとうたう性能が特徴。モデルは無料でダウンロードも可能で、商用利用も認められている。 DeepSeekはChatGPTに似たチャットUIも無料で提供しており、同サービス上では、現時点ではo1と併用できないWeb検索機能も利用できる。つまり、OpenAIをはじめとした他社のハイエンドモデルに近い性能のモデルがスタートアップから突然公開され、さらに同等以上の機能とコストパフォーマンスを持つサービスとしてもリリースされたわけだ。 それだけでも衝撃だが、開発コストや地政学的リスクなど、業界に影響を与える話題は枚挙にいとまがない。世界中のハイテク株に影響を与えた可能性も出ており、S
Meta Platforms社のLlamaモデルならびにLlamaライセンス契約(Llama Community License Agreement)がオープンソースに全く該当しないことは既に解説した通りであるが、Llamaライセンス契約にはオープンソースであるか否かという観点において直接的に関係せず、実用に際して予期せぬライセンスの終了にも繋がりかねない幾つかの重大な問題が潜んでいると考えられる。Llamaのオープンソース性に関する論考と重複する部分も多く含まれるが、ここではそれらの問題に対する危険性について雑多に解説する。 なお、本稿はLlama派生モデルの開発やLlamaモデルを自社サービスに組み込もうと検討している企業・エンジニア・コンプライアンス担当者を主な対象としてLlamaモデル利用における潜在的リスクを整理したものであるが、具体的な利用事案への法的助言を提供するものではなく
一昔前まではグラフィックボードのメイン用途はゲームなどの3Dグラフィック処理でしたが、近年では「ローカルでAIで動作させる」ということを目的にグラフィックボードを選択する事例も増えています。大量のNVIDIA製グラフィックボードやApple製チップで大規模言語モデル「LLaMA 3」の推論処理を実行した際の処理性能をまとめたウェブページ「GPU-Benchmarks-on-LLM-Inference」を見つけたので、内容をまとめてみました。 GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference? https://github.com/XiongjieDai/GPU-Benchmarks-on-
AIのスケーリング則は2020年1月にOpenAIが提唱した法則で、「AIモデルの性能は、『学習に使われるデータの規模』『学習に使われる計算量』『モデルのパラメーター数』が増加するほど強化される」というものです。この法則について、AIの動向に詳しいゲイリー・マーカス氏が「AI業界ではスケーリング則が通用しなくなっている」と指摘する記事を公開しています。 The new AI scaling law shell game - by Gary Marcus https://garymarcus.substack.com/p/a-new-ai-scaling-law-shell-game マーカス氏によると「スケーリング則」という言葉の意味は変化を続けており、記事作成時点で語られるスケーリング則は大きく3種類に分かれるとのこと。1つ目はOpenAIが提唱したものに近い「学習時間が長いほどAIの性
はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識別する必要があったり、縦書きなど日本語ドキュメント特有のレイアウトに対処する必要があったりと日本語特有の難しさがあります。 ですが、今後、海外の開発者がこれらの課題に対処するため、日本のドキュメント画像解析に特化したものをリリースする可能性は低く、やはり自国の言語向けのサービスは自国のエンジニアが開発すべきだと筆者は考えています。 もちろん、Azure Document Intelligenceをはじめとした、クラウドサービスのドキュメント解析サービスはありますが、クラウドを利用できないユ
近年、AIの中でも大規模言語モデル（LLM）の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす（推論する）だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア（OSS）でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードにな
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 所属大学にて9月に1日で機械学習なんもわからん状態から生成モデルを組めるようになろうというワークショップをした。普通に考えて参加者側の視点に立ったら無理なんだが, まあとにかくそういうイベントをやった。やってみたところ, 「何話してるのかわからん」という感想が多く大絶賛だった(反省しています)。 ただワークショップ中にきた質問が結構自分も最初のころは躓いたところだな〜〜というものも多く, ワークショップ中にきた質問点をまとめていけば案外生成AIをフルスクラッチで作れる技術者になるためのTips集が作れるのではないかと思い, この記事を書
はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、
sponsored CORSAIR「iCUE LINK TITAN RX RGB」をチェック iCUE LINKで面倒な取り付けやRGB設定が超簡単、冷却性能もバッチリ高いCPUクーラーが3万円強！ sponsored ASUSの新ケース「TUF Gaming GT502 Horizon」にCore Ultra 9 285Kを採用 あれもこれもASUS！ 新ピラーレスケースも渋カッコいいBTOPCのコダワリを聞く sponsored 基調講演には総務省 CISOの山内智生氏が登壇、サイバー空間をめぐる脅威動向や政策を紹介 ランサム感染の実体験からMDR導入事例までが語られた「Canon Security Days 2024」 sponsored 「LEVEL-15FXA61-R7-RM4X」を試す、重さは2.26kg、144Hzにも対応 実家・ホテル・コタツでゲームしたいなら、Ryzen
AI界を席巻する「Transformer」を解説するシリーズ1日目です。 原文は、「Attention Is All You Need」で、Google Brain、Google Research、University of Trontoのメンバー達が2017年に公開したものです。論文は分かりにくいタイトルが多い中で、このタイトルは秀逸ですね。 入れ替わりが激しいAI技術ですが、Transformerは、2021年5月時点でむしろその勢いを増してる技術で、今回はその土台となった論文です。 Attention Is All You Needの論文PDFはこちら 1日目： Abstract 2日目： Introduction / Background 3日目： Model Architecture 1 4日目： Model Architecture 2 5日目： Model Architect
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
