すべての経済活動を、デジタル化したい松村(@yu-ya4)です。LayerXのバクラク事業部機械学習グループにおいて機械学習エンジニア兼マネージャーを務めています。 先日、代表の福島(@fukkyy)が以下のnoteを公開しました。LayerXの発信を見てくださっている社外の方々から「もう入るには遅い会社だよね?」と言われることが最近増えたことに対して、LayerXがまだ全然完成されていない、成長機会だらけのこれからの会社であるということを綴った内容となります。 note.com 今回はこの内容を受け、LayerXのバクラク事業部においてAIや機械学習を活用した機能の開発・顧客価値の提供に責任を持っている機械学習グループについても、まだまだこれからの組織であり、今入っていただくことで様々な挑戦や成長の機会を提供できるということをお伝えしたいと思います。 現在のLayerX バクラク事業部
はじめに 東京工業大学の藤井です。 今回は、GENIACにてNII 国立情報学研究所が現在(2024/7/1)も学習している172Bモデルに関連した事前学習パートに特化した学習知見について共有させていただきます。 この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の助成事業（JPNP20017）の結果得られたものです。 GENIACプロジェクトにおける分散学習環境の整備に関しても同様に記事を作成しています。 ぜひご覧ください。 LLMの学習 大まかにLLMを作成するための手順を下記に記しました。 今回は、これらの中でも特に"事前学習"に焦点を絞って知見の共有を行います。 現在の学習状況 まず、GENIACで学習しているモデルの現在の学習状況についてです。 2024/06/30現在、約1.45 T Token(1.45兆トークン)を事前学習にて学習済みです。 以下がそ
~「AWS LLM開発支援プログラム」で開発、近日公開予定~ カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、アマゾン ウェブ サービス ジャパン合同会社（以下、AWSジャパン）の「AWS LLM 開発支援プログラム」を活用し、2023年9月より国内最大規模となる700億パラメーターのLLMを開発いたしました。2024年1月18日に、LLMのベンチマークテスト「Japanese MT-Bench」で性能評価を実施し、国産LLMモデルとして最高性能（※）の評価が採点されました。世界市場での競争力を持った国産AIモデルの構築を加速するため、本モデルを公開可能な形に修正して、近日中に公開する予定です。 ※ 「Japanese MT-Bench」はStability AI社が提供しているベンチマークテストです。2024年1月18日に性能
米Autodesk（オートデスク）は、設計作業を自動化する人工知能（AI）の「大規模製品モデル（Large Product Model）」を開発する取り組みを開始した。2023年7月19日に同社の製造業担当シニアディレクターのデトレフ・ライヒネーダー（Detlev Reicheneder）氏が東京都内で会見し、明らかにした。大規模製品モデルは製品の3D形状や設計技術、生産技術、技術上の問題の解決法といった情報を学習したモデルという。 同社は既に、一定の制約条件と目的のもとで多数の設計案を自動生成する「ジェネレーティブ・デザイン」の機能を製品化している。しかし現状の機能では、ユーザーが制約条件などを細部の数値に置き換えて指定する必要がある。これに対して大規模製品モデルでは、設計概念を直接扱えるようにするとともに、現状よりも多様な設計案を生成できる機能の実現を目指す。 大規模言語モデルが文章や
以下の記事が面白かったので、かるくまとめました。 ・Eureka! NVIDIA Research Breakthrough Puts New Spin on Robot Learning 1. Eureka「NVIDIA Research」が開発した、ロボットに複雑なスキルを学習させることができる新しいAI エージェントは、ロボットハンドにペン回しを教えることができました。 これは、ロボットを学習させるための報酬アルゴリズムを自律的に作成する 「Eureka」のおかげで、ロボットが達成できるようになった30近くのタスクのうちの1つになります。引き出しやキャビネットを開ける、ボールを投げる、キャッチする、ハサミを使うなどの作業も覚えました。 公開された「Eureka」の研究には、論文とプロジェクトの AI アルゴリズムが含まれており、開発者は強化学習研究用の物理シミュレーション リファレン
ビジネスのドメインや最新情報に対応した130億パラメータの日本語LLMの公開
はじめに Microsoft Ignite 2023でのAzure AIのアップデートをまとめました。 まずは下記ブログの翻訳を中心にしています（ほぼ翻訳です）。 Ignite 2023: What’s new in Azure AI Platforms – Charting the Future with Innovative AI and ML - Microsoft Community Hub 主要なアップデート Azure AI Studioのパブリックプレビュー サティヤ・ナデラの基調講演で、Azure AI Studioのパブリックプレビューが発表されました。これは、生成型AIアプリケーションとコパイロット開発を簡素化する最先端のプラットフォームです。Azure AI Studioは、急速に成長しているモデルカタログ、ツール、サービスをシームレスに統合し、統一された開発体験を提
![[Ignite 2023] Azure AI アップデートまとめ](https://cdn-ak-scissors.b.st-hatena.com/image/square/bb5f379136a8cb00351aad61a1fcd78ab2f50db7/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--oUqgiPjo--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BIgnite%2525202023%25255D%252520Azure%252520AI%252520%2525E3%252582%2525A2%2525E3%252583%252583%2525E3%252583%252597%2525E3%252583%252587%2525E3%252583%2525BC%2525E3%252583%252588%2525E3%252581%2525BE%2525E3%252581%2525A8%2525E3%252582%252581%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AShohei%252520N.%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2MzZDNiN2I3OGYuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3AMicrosoft%252520%252528%2525E6%25259C%252589%2525E5%2525BF%252597%252529%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzEzNmNkNzdkYWMuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Weights & Biases のnoteをフォローしてください大規模言語モデル（LLM）の可能性を引き出し、その機能を拡張してアプリケーションを開発・提供するためのワークフローは、どのようなものなのでしょうか。私たちはここ数ヶ月、様々な場所でこの課題を耳にしてきました。 これまで機械学習モデルの開発と運用を統合するMLOps（Machine Learning Operations）のワークフローの構築において最も信頼されてきたWeights & Biasesは、OpenAIやStability AIなど、生成AIの開発で最先端をいく企業に活用されてきました。 この経験をもとに、本稿ではMLOpsのベストプラクティスをレビューし、この概念がどのようにLLMOpsに適用されていくのか、現時点のベストプラクティスを示していきます。 特にLLMOpsにおいては、多くの場合社外で開発された基盤モ
はじめにこんにちは、Lightblueの樋口です。 大規模言語モデル(LLM)は大変注目を集めていますが、日本語で事前学習された公開モデルは限定的です。LLMの事前学習は大きなコストがかかるとされており、公開されているモデルは海外のビッグテックが中心で、国内では2件しか例がありません。 ■サイバーエージェント OpenCALM GPT (small, medium, large, 1.4b, 2.7b, 6.8b) 日本語 Wikipedia + Jpanese mC4+ Japanese CC-100 ■rinna rinna GPT GPT (xsmall, small, medium, 1b, neox-small, neox-3.6b) 日本語 Wikipedia + Japanese CC-100 (1b 以降のモデルではさらに Japanese mC4 を追加) その他、日本語
はじめにこんにちは、Lightblueの園田です。 四畳半のオフィスで70億パラメータのLLMを事前学習した話ではエンジニアの樋口さんがlightblue/japanese-mpt-7bの開発・性能評価について報告しました。 本記事では、四畳半のオフィスで70億パラメータのLLMを事前学習した話で語りきれなかったしくじりも含めた開発裏話について紹介します。 LLM開発に必要なリソース一般的に、LLMの開発にはA100やH100といった最新の高性能のGPUが使われます。 本日公開されたLlama2の70Bモデルでは、A100を1,720,320時間分利用し学習されています。 このようなリソースはGPUボードの費用だけでなく、電気代も高額になることから、LLMの開発には資本力が必要とされています。 H100はパブリッククラウドでほとんど提供されていないことから、LightblueでもA100を
大規模言語モデル（LLM）を、実際にプロダクトや実務に役立つかたちで利用している各社が見た使いどころや、実践の上での工夫について学び合うためのイベント第二弾。今回のテーマは「大規模言語モデルがつくる新しい顧客体験」。ここで登壇したのは、株式会社LayerXの松村優也氏。機械学習の民主化とMLPdMの重要性について発表しました。 LayerX社・機械学習チームのマネージャーの松村優也氏松村優也氏：それでは、LayerXの松村優也が「機械学習エンジニアから見るプロダクト開発におけるLLM」を副題として、「機械学習の民主化とMLPdMの重要性」というタイトルで10分お話しします。お願いします。 簡単な自己紹介ですが、あらためて、松村です。（スライドの）右上の黒いアイコンでよくSNSをやっています。「Twitter」などのIDはご覧のとおりです。 バックグラウンド的には、もともと京都大学で情報検索
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、最大68億パラメータの日本語LLM（Large Language Model、大規模言語モデル）を一般公開したことをお知らせいたします。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況です。 ■最大68億パラメータの日本語LLM（大規模言語モデル）の公開について こうした背景のもと、当社は日本語LLMの開発に取り組んでおり、このたび一部モデルをHugging Face Hubにて公開いたしました。公開されたモデルはオープンな日本語データ※2で学習したもので
米Microsoftは4月12日、ChatGPTのようなモデルを生成できるツール「DeepSpeed-Chat」を公開した。GPU1台で100億以上のパラメータを持つモデルの学習ができる上、学習速度も既存技術の15倍以上としている。 DeepSpeed-ChatはChatGPTでも採用されている学習手法「RLHF」を効率的に実行するためのツール。これまでは高価なGPUを大量に使う必要があったが、DeepSpeed-Chatは少ないGPUで効率的に学習ができる。 例えば、クラウド上でGPU「A100-80GB x8」を使って大規模言語モデル「OPT-B13」を訓練する場合、9時間程度で完了し、コストも290ドル程度という。複数台のGPUを使えば1000億パラメータ規模のモデルの学習にも対応する。 関連記事 ChatGPTが職務経歴書を作成するサービス続々 エンジニア向けから看護師まで ファイ
ほしいWebアプリの説明を書くだけで、ChatGPTが作って即Web公開してくれるサービス「GPTApp」を、ゲームアプリの企画・開発を手掛けるミリオンダウト代表のTakayuki Fukudaさんが公開した。 アプリのイメージを考えてフォームにテキストで入力すると、ChatGPT（GPT-3.5）がコードを出力してWebに実装する。開発にかかるのは約30秒と“爆速”。Web単体で動く簡単なアプリのみ開発できる。 うまくいけばきちんと動くが、失敗することも多い。アプリ完成画面で「ChatGPTの返信を見る」をクリックすると、ChatGPTが書いたコードも表示される。 GETAppはFukudaさんの個人開発だが、経営するミリオンダウトでは、ChatGPTなどのAIを使ったアプリを開発しているという。 関連記事 LINEでChatGPTと会話「AIチャットくん」100万ユーザー・2000万メ
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 Google Researchに所属する研究者らが発表した論文「SingSong: Generating musical accompaniments from singing」は、歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告である。入力した歌声に合わせてインストゥルメンタル音楽（インスト）を生成し、す入力の歌声と生成した楽器を合成した新たな音源を出力る。 SingSongは、音源分離とオーディオ生成の2つのモデルから構成される。まず既存の音源分離アルゴリズムを用い、大規模で多様な音楽コーパスをボーカルと楽器の音源のペアに分離し
関連キーワード コミュニケーション オープンソースソフトウェア（OSS）の「Open Assistant」は、ビジネスユーザーおよび開発者向けの「ChatGPT」の代替を狙う。ChatGPTは、人工知能（AI）ベンダーOpenAIが開発した、自然なやりとりをするチャットbotだ。 「Open Assistant」とは？ “OSS版ChatGPT”で終わらない訳 併せて読みたいお薦め記事 「ChatGPT」は開発者を不要にするか 衝撃の「ChatGPT」 その可能性と“限界”とは？ ChatGPTが宣告 「プログラマーはコーディングさえできればよい」時代の終わり 「Open Assistantによって、言語におけるイノベーションを生み出したい」と、Open Assistantの開発チームは考えている。具体的には自然言語を使って、人とコンピュータのスムーズな対話の実現を目指す。2022年に登場
機械学習を用いてビジネスや生活の課題を解決するには、その課題に機械学習が本当に必要なのか、そのほかにどんな要素や技術を組み合わせればいいのかという課題解決のシナリオを設計することが重要です。澁井雄介さんによる書籍『現場で使える！機械学習システム構築実践ガイド』（翔泳社）では、需要予測などのビジネスで発生する課題のシナリオにもとづいてシステムやワークフローに機械学習を組み込む手法が解説されています。今回は本書から「Chapter 1 課題、チーム、システム」の冒頭部分を公開しますので、書籍内容を知る参考にしていただければと思います。 本記事は『現場で使える！機械学習システム構築実践ガイド デザインパターンを利用した最適な設計・構築・運用手法』の「Chapter 1 課題、チーム、システム」から抜粋したものです。掲載にあたって一部を編集しています。 ソフトウェア技術によってビジネス課題を解決す
TypeScriptは近年JavaScriptに代わってWebフロントエンド開発で利用されているプログラミング言語です。TypeScriptは開発生産性および開発者体験に優れていることから、開発現場で広く採用されています。TypeScriptを学ぶことは、今後のWebフロントエンド開発では、ほぼ必須といって良いでしょう。この記事ではTypeScriptを使うメリット、ならびに「TypeScript Deep Dive 日本語版」を活用してTypeScriptを短期間で学習する方法を紹介します。 はじめに 筆者はSIer出身のITエンジニアです。ゲーム開発会社などを経由して現在は一般企業でエンジニアとして勤務しています。はじめてTypeScriptの重要さを知ったのは、2018年ごろに「TypeScript Deep Dive」を読んだときでした。そして、今後必ず多くの人に役立つと考え、オリ
rinna株式会社が、日本語に特化した画像生成AIモデル「Japanese Stable Diffusion」を9月9日（金）に発表した。 この「Japanese Stable Diffusion」は、画像生成AIモデル「Stable Diffusion」に、約1億枚の日本語キャプション付き画像を追加学習させることで開発されたもの。 オープンソースコミュニティ・Hugging FaceとGitHubで公開されている。 【画像】「Japanese Stable Diffusion」で生成された画像（6枚） オープンソースで公開 画像生成AI「Stable Diffusion」 テキストから画像生成「DreamStudio」の使い方 商用利用も可能な次世代AI 「Midjourney」や「Dream by WOMBO」をはじめ、昨今SNSを賑わせている画像生成系AIサービス。 8月22日、no
「iPhone/Androidアプリ開発者のための機械学習・深層学習 実践入門」をご恵贈いただきました。機械学習関連の技術書は数あれど、モバイルアプリ開発者向けを謳ったものは日本語では初だと思います。 iPhone/Androidアプリ開発者のための機械学習・深層学習 実践入門posted with amazlet at 19.01.24布留川 英一 ボーンデジタル (2019-01-26) 売り上げランキング: 171,507 Amazon.co.jpで詳細を見る モバイル向けというとCore ML/ML Kit等の学習済みモデルを活用するフレームワークやツール群を想起しますが、本書ではCreate ML、Turi Create、TensorFlow、Cloud AutoMLといったモデル作成側についても解説されています。 また目次を見るとわかりますが、機械学習／ディープラーニングの定番
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
