マイクロソフトが開発した DeepSpeed は、深層学習を大規模かつ高速に実行するためのオープンソースソフトウェアです。5 月下旬、DeepSpeed のミートアップを日本マイクロソフトの品川本社にて開催、DeepSpeed チームの主要メンバーが概要を語ったほか、すでに DeepSpeed を採用しているユーザー企業が活用法などを語りました。 ■DeepSpeed の機能を紹介 今回のミートアップでは、マイクロソフト コーポレーションで DeepSpeed のプリンシパルリサーチャー (Principal Researcher) を務める田仲正弘が、「DeepSpeed は AI 分野のオープンソースソフトウェアとして最も広く活用されているもののひとつ」として、機能の紹介をしました。 深層学習では、大量の訓練データを与えてモデルを訓練しますが、計算量やメモリ量、処理データ量が非常に多く

特徴量/featureの設定 ここがElasticの提供するLearning To Rankで特徴的な箇所だと思われます。今あるジャッジメントリストを見ると、クエリー文字列に対してドキュメントの関連度が定義されているので、もう学習ができそうにも見えるかもしれません。しかし、一般的に機械学習では文字列は直接学習に利用することはできません。Elasticseachで言うところのkeywordのように、いくつかの種類をとるような文字列パターンのみならエンコーディングというテクニックを使って数値化する方法も使えるかもしれませんが、通常クエリーには自然文が入ってきます。時には比較的長い文章になることもあるでしょう。そういった文章に対して、適切にエンコーディングを行うことは難しいものと考えられます。 そこでElasticsearchでは、そのクエリーを実際にElasticsearchで検索してみて、そ

写真　Snowflakeの利用画面。アカウント作成後、画面上でデータを取り込む操作をすると高速化のためのパーティショニングなどが自動で設定されて利用できるようになる。左側メニューから使いたい機能を選んでデータにアクセスする データがある場所で機械学習やデータ処理を実行 Snowflakeが以前からあるDWHと違う点は、機械学習やアプリケーション、データ処理などをデータがある場所で実行できることです。これまでのDWHは、データを蓄積して高速に分析処理を実行できる基盤であり、機械学習やアプリケーションなどは別の実行基盤に実装し、DWHに接続して処理していました。全体のアーキテクチャーは利用者が設計していました。 Snowflakeは「データクラウド」を標榜しており、機械学習やアプリケーション、データ処理、データガバナンスなどを実行する多様な機能をオールインワンで備えたプラットフォームになってい

Charmingとは Charmingは、Rustの強力なチャートレンダリングライブラリです．美しく高品質なデータ可視化します．GitHub上で以下のようなグラフが紹介されています． 後述しますが，このCrateは適切にStructが分割されているので，可読性の高い可視化用のコードを作ることができます． 簡単に散布図を作成する Datasaurusのデータを使います．ここでは，csvファイルをダウンロードして使っています． もちろん表示するのはdinoです． この記事では，cargo new project_nameした後に，data dirとoutput dirを作っていることを想定します．

As we continue to focus our AI research and development on solving increasingly complex problems, one of the most significant and challenging shifts we’ve experienced is the sheer scale of computation required to train large language models (LLMs). Traditionally, our AI model training has involved a training massive number of models that required a comparatively smaller number of GPUs. This was th

Metaは2024年4月にオープンソースの大規模言語モデルであるLlama 3をリリースしたほか、広告主向けに宣伝用画像やテキストのAI生成ツールを展開するなど、大規模言語モデルの開発に注力しています。そんなMetaが大規模言語モデルのトレーニングにおいて何を課題と認識していたのか、どのようにトレーニングに取り組んだのかについて解説しました。 How Meta trains large language models at scale - Engineering at Meta https://engineering.fb.com/2024/06/12/data-infrastructure/training-large-language-models-at-scale-meta/ Metaは以前から、FacebookやInstagramのレコメンデーションシステムのため、さまざまなAIモ

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、75億パラメータの日本語VLM（Vision Language Model、大規模視覚言語モデル）を公開したことをお知らせいたします。 近年、OpenAI社が開発した「GPT-4o」※1 を始めとした画像も扱えるLLMが急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。 当社においてもデジタル広告におけるクリエイティブ制作において、2023年5月に画像を考慮した「広告コピー自動生成機能」を実装するなど、画像とテキストの複合領域での研究開発および活用に取り組んでおります。 一方、既存の公開されているVLMのほとんどは英語を中心に学習されているため、日本文化の理解や日本語での会話に強いVLMは少ない状況です。 こうした背景のもと、当社は日本語VLMの開

サイバーエージェントは6月13日、75億パラメータの日本語大規模視覚言語モデル（Vision Language Model、VLM）を一般公開した。Hugging Faceで商用利用可能なAIモデルや、研究用途でのみ使えるデモを公開中だ。 VLMとは、画像とテキストを複合して扱えるマルチモーダルなAIモデル。画像とテキストを理解できることで「この写真に写っているものは何ですか？」のような質問にも対応できる。米OpenAIの「GPT-4o」などが代表的なモデルで、近年では画像を扱えるAIモデルの進化が急速に進んでいる。 一方で「VLMのほとんどは英語のデータを中心に学習しており、日本文化の理解や日本語での会話に強いVLMは少ない状況」とサイバーエージェントは説明する。このような背景から同社は日本語に強いVLMを公開。日本語大規模言語モデルで合成して作ったデータセットをメインに学習させたという

Design and Strategy: How to Deal with People Who Don’t "Get" Design

拡散モデルの学習 入力 • 画像 • 時間 t ∊ [0, T] 出力 • 時間 t におけるノイズ除去する方向 （scoreと呼ぶ） 目標 • 真のscoreとの距離の最小化* *ただし、真のscoreは未知なため、条件付き分布のscoreによって 近似している（Denoising score matching） “Score-Based Generative Modeling through Stochastic Differential Equations” https://arxiv.org/abs/2011.13456

2024年6月13日に大阪大学大学院 情報科学研究科で行った「情報科学特別講義Ⅰ」の講義資料です。 https://www.ist.osaka-u.ac.jp/japanese/news/newsDetailNews.php?id=308

AI（人工知能）スタートアップのPreferred Networks（プリファードネットワークス、PFN、東京・千代田）は、基盤モデル事業を加速させる。まず、1000億パラメーターの大規模言語モデル（LLM）を基盤モデルとして、早ければ2024年8月、遅くとも同年秋には外部提供を開始する。さらに、同LLMをベースに音声や画像に対応させたマルチモーダル基盤モデルの提供も目指す。

2024年6月13日に開催された APPS JAPAN の講演資料です。 講演詳細についてはこちらをご覧ください。 https://forest.f2ff.jp/introduction/9185?project_id=20240601

経済産業省は2024年6月10日、デジタル推進人材育成プログラム「マナビDX Quest」の受講生の募集を開始した。マナビDX Questは、実践的な「ケーススタディー教育プログラム」と、デジタル技術を活用した「地域企業協働プログラム」で構成されている。学生や社会人などが対象で、無料で受講できる。 AIによる需要予測やデータ分析による収益改善について学べる 経済産業省はマナビDX Questの目的を「地域企業や産業のDX（デジタルトランスフォーメーション）の実現に向けて、ビジネスの現場での課題解決の実践を通じた能力を磨くこと」としている。プログラムは2つあるが、2024年6月に受験生の募集を開始したのは企業データに基づく実践的な「ケーススタディー教育プログラム」となる。 関連記事 生成AIの用語10選 ～ 一般ユーザーが知っておくべき基礎知識 生成AI時代を生きる社会人に必須の基礎知識を身

米OpenAIは6月13日（現地時間）、元米国家安全保障局（NSA）長官兼米サイバー軍司令官のポール・ナカソネ氏（60）を取締役に迎えたと発表した。同氏は最近設立した「安全およびセキュリティ委員会」にも参加する予定。 OpenAIは発表文で「ナカソネ氏の洞察は、サイバーセキュリティの脅威を迅速に検知し対応することで、AIをどのように活用してサイバーセキュリティを強化できるかをより深く理解するというOpenAIの取り組みにも貢献するだろう」と説明した。 ナカソネ氏は発表文で「OpenAIの使命に対する献身は、私自身の価値観や公務員としての経験と一致している」と語った。 同氏はNSAと米サイバー軍で数十年の経験を積んでおり、当然これらの組織へのコネクションも持っている。 これで取締役会は、サム・アルトマンCEO、アダム・ダンジェロ氏、ラリー・サマーズ氏、ブレット・テイラー氏、ビル＆メリンダ・ゲ

【シリコンバレー=山田遼太郎】米新興企業オープンAIは13日、前米サイバー軍司令官兼国家安全保障局（NSA）局長のポール・ナカソネ氏を同日付で理事（企業の取締役に相当）に起用したと発表した。人工知能（AI）が高度になり不正利用対策やデータ保護の重要性が高まっている。サイバー防御に詳しい同氏の知見を生かす。5月に新設した「安全・セキュリティー委員会」にも同氏が加わる。同委員会は安全性にかかわる重

生成AI（人工知能）の急速な進歩にどう向き合うか、世界のメディア企業が経営判断を迫られている。インターネットの登場時のように、新しいテクノロジーはメディアに変革をもたらす。AIをどう生かすかが今後の経営を左右する。「デジタル時代の真実、美徳、価値の新たな基準になると確信する」。米メディア大手ニューズ・コーポレーションは5月、米新興企業オープンAIと提携すると発表し、ロバート・トムソン最高経営責

Snipping Toolの便利な機能を紹介 Windows 11の標準スクリーンキャプチャーツール「Snipping Tool」には、スクリーンキャプチャーや画面の録画をするだけでなく、ちょっとした編集も可能になっている。本Tech TIPSでは、いつの間にか追加された「OCR機能」と「墨消し機能」の2つの使い方を紹介しよう。 Windows 11でスクリーンキャプチャーを撮る場合、［Windows］＋［Shift］＋［S］キーを使っている人も多いのではないだろうか。［Windows］＋［Shift］＋［S］キーを押すと、Windows 11の標準スクリーンキャプチャーツール「Snipping Tool」が呼び出される。このツールは、着々と進化しており、単純にスクリーンキャプチャーや画面の録画をするだけでなく、ちょっとした編集も可能になっている。 本Tech TIPSでは、「Snippi

Microsoftは、Snapdragon X Eliteなどの高性能NPUを搭載してAIの実行に適したPC「Copilot＋ PC」向けに、PC上で見たものや行ったことをすべて記録して後から検索できる機能「Recall」をリリースすると発表しました。このRecall機能を、NPUを搭載していないPCで再現するオープンソースのツール「OpenRecall」が公開されています。 GitHub - openrecall/openrecall: OpenRecall is a fully open-source, privacy-first alternative to proprietary solutions like Microsoft's Windows Recall. With OpenRecall, you can easily access your digital history

The third generation of Llama models provided fine-tunes (Instruct) versions that excel in understanding and following instructions. However, these models are heavily censored, designed to refuse requests seen as harmful with responses such as "As an AI assistant, I cannot help you." While this safety feature is crucial for preventing misuse, it limits the model's flexibility and responsiveness. I

年換算したOpenAIの売上高が、過去6カ月で2倍以上の34億ドル(約5330億円)になったとの試算結果を、海外メディアのThe Informationが発表しました。このうち、OpenAIが他社を通じてAI製品を提供することによる間接的な利益がわずかであることから、収益の大部分はOpenAIが自社で提供しているサブスクリプションサービスやAPIによるものだと指摘されています。 OpenAI’s Annualized Revenue Doubles to $3.4 Billion Since Late 2023 — The Information https://www.theinformation.com/articles/openais-annualized-revenue-doubles-to-3-4-billion-since-late-2023 OpenAI's revenue

本田 雅一 / アップルは過去何年にもわたって、AI機能を自社ハードウェアに組み込んできた。動画から文字を認識・抽出する機能や被写体を自動的に切り抜く機能、多重露出したうえで合成したかのように表示できる広ダイナミック

Appleは、2024年6月11日(火)に開催した年次開発者会議「WWDC24」の基調講演で、Apple製デバイスにChatGPTを活用した機能を追加することを発表しました。このChatGPT関連機能を追加するためにAppleとOpenAIが交わした契約について、Apple関連情報に詳しいマーク・ガーマン氏が報告しています。 Apple to ‘Pay’ OpenAI for ChatGPT Through Distribution, Not Cash - Bloomberg https://www.bloomberg.com/news/articles/2024-06-12/apple-to-pay-openai-for-chatgpt-through-distribution-not-cash AppleはWWDC2024の基調講演でiPhoneやMacなどのApple製デバイスで動作

Microsoftは2024年3月に、Copilotに搭載されたAIチャット機能「Copilot GPT」をカスタマイズできるサービス「GPT Builder」の提供を、Copilot Proユーザー向けに開始しました。しかし、リリースからわずか3カ月後の6月10日に、Microsoftが個人向けのGPT Builderの提供を打ち切ることを発表しました。 GPT Builder is being retired - Microsoft Support https://support.microsoft.com/en-us/topic/gpt-builder-is-being-retired-d1de6c3a-4c7a-4bcd-98ff-2f65f3d23cd1 Microsoft makes Copilot Pro less appealing, ditches ChatGPT's G

Lance Whitney （Special to ZDNET.com） 翻訳校正： 緒方亮 吉武稔夫 （ガリレオ） 2024-06-13 09:43 Microsoftの有料人工知能（AI）サービス「Copilot Pro」で「GPT Builder」を使った人もいるだろう。そうであれば、GPT Builderに別れを告げる時だ。7月10日になると、MicrosoftはGPT Builderを永久に廃止する。少なくとも、一般ユーザー向けのCopilotについては。 Microsoftが公開したサポートページには、「GPT」作成機能を7月10日から廃止し、さらに、Microsoftが作成したものも顧客が作成したものも含めて、すべてのGPTを7月10日から7月14日にかけて削除すると書かれている。プライバシーを考慮して、GPTに関連するデータ、GPTで収集されたデータもすべて消える。 3カ月