「ブリング」を含む日記 RSS

はてなキーワード: ブリングとは

2024-08-10

女性の色覚の繊細さを実感した出来事

幼稚園の頃、マーブリングという水面に絵の具を垂らしてできた模様を紙に転写する遊びをやったんだけど、女の子はみんなピンクオレンジ、水色などのパステルカラーや混色を選んでいたのに対して、男の子は赤や黒、青みたいなザ・原色を選んでいたのを思い出した。

「いやいや、黒なんて選んだらマーブル模様が汚くなるでしょ」と思ったし、どうして男の子は汚い色を平気で選ぶのか理解できなかったけど、今思うと色彩感覚の違いだよなぁと思う。

女性は幼少期から色覚が発達してるからパステルカラーや混色を好むし、男性は色の識別能力が劣っているから赤青黒みたいな分かりやすくて強い色を好む。

色覚異常割合も男女で大きく違うようだし、X染色体が2本あることは色覚において重要なんだなぁと思う。

2024-07-05

歯の衛生週間も終わったし好きなお菓子と嫌いなお菓子でも書くか

好きなお菓子ᥫᩣ ̖́-

ブリングルスのサワークリーム

デブだし。中身たっぷりでうれしい

ママから禁止されてる

いちごスペシャル

でっかい

萩の月

ふわふわだし

コーラアップ

長い時間楽しめるし

フェットチーネグミ

意味はないけど

抹茶ロールケーキ

ふわふわほろにが

マカロン

さくさく

ガトーショコラ

誕生日に必ず食べてる。高い

あんみつ

最高の和菓子

いちご大福

交通費を間違えてこれに捧げたことがある

サラミ

サラミから

嫌いなお菓子(>_<)

ハッピーターン

なにがハッピーなんだろう

キャラメルコーン

幼虫

源氏パイ

おいしいと思ったことがない

ねり飴

手がべとべとする。味も好きじゃない

ハイチュウ

飽きた

チーズケーキ

しょっぱいし

よっちゃんいか

すっぱいのはちょっと…かたいし

枝豆おかし

枝豆は嫌い

2024-06-05

I.GPT-4からAGIへ:OOMを数える(10)

繰り返しになるが、非常に賢いChatGPT想像するだけではいけない。趣味的な進歩ではなく、リモートワーカーや、推論や計画エラー訂正ができ、あなたあなた会社のことを何でも知っていて、何週間も単独問題に取り組めるような、非常に賢いエージェントのようなものになるはずだ。

私たち2027年までにAGIを実現しようとしている。これらのAIシステムは、基本的にすべての認知的な仕事リモートでできるすべての仕事を考える)を自動化できるようになるだろう。

はっきり言って、エラーバーは大きい。データの壁を突破するために必要アルゴリズムブレークスルーが予想以上に困難であることが判明した場合データが足りなくなり、進歩が停滞する可能性がある。もしかしたら、ホッブリングはそこまで進まず、専門家の同僚ではなく、単なる専門家チャットボットに留まってしまうかもしれない。もしかしたら10年来のトレンドラインが崩れるかもしれないし、スケーリングディープラーニングが今度こそ本当に壁にぶつかるかもしれない。(あるいは、アルゴリズムブレークスルーが、テスト時間計算オーバーハング解放する単純なアンホブリングであっても、パラダイムシフトとなり、事態さらに加速させ、AGIをさらに早期に実現させるかもしれない)。

いずれにせよ、私たちOOMsを駆け抜けているのであり、2027年までにAGI(真のAGI)が誕生する可能性を極めて真剣に考えるのに、難解な信念は必要なく、単に直線のトレンド外挿が必要なだけである

最近、多くの人がAGIを単に優れたチャットボットなどとして下方定義しているように思える。私が言いたいのは、私や私の友人の仕事を完全に自動化し、AI研究者エンジニア仕事を完全にこなせるようなAIシステムのことだ。おそらく、ロボット工学のように、デフォルト理解するのに時間がかかる分野もあるだろう。また、医療法律などの社会的な普及は、社会選択規制によって容易に遅れる可能性がある。しかし、ひとたびAI研究のもの自動化するモデルができれば、それだけで十分であり、強烈なフィードバックループ始動させるのに十分であり、完全自動化に向けて残されたすべてのボトルネック自動化されたAIエンジニア自身解決することで、非常に迅速にさらなる進歩を遂げることができるだろう。特に、数百万人の自動化された研究者たちによって、アルゴリズムさらなる進歩のための10年間が1年以内に圧縮される可能性は非常に高い。AGIは、まもなく実現する超知能のほんの一端に過ぎない。(詳しくは次の記事で)。

いずれにせよ、目まぐるしい進歩のペースが衰えることはないだろう。トレンドラインは無邪気に見えるが、その意味するところは強烈である。その前の世代がそうであったように、新世代のモデルが登場するたびに、ほとんどの見物人は唖然とするだろう。博士号を持っていれば何日もかかるような信じられないほど難しい科学問題を、間もなくモデル解決し、あなたコンピュータのまわりを飛び回り、あなた仕事をこなし、何百万行ものコードからなるコードベースゼロから書き上げ、これらのモデルによって生み出される経済的価値が1年か2年ごとに10倍になるとき、彼らは信じられないだろう。SF小説は忘れて、OOMを数えよう。AGIはもはや遠い空想ではない。単純なディープラーニング技術スケールアップすることがうまくいき、モデル学習したがり、2027年末までにさら100,000倍を超えようとしている。私たちよりも賢くなる日もそう遠くはないだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/gan_progress-1.jpeg

GPT-4はほんの始まりに過ぎない。GANの進歩に見られるように)ディープラーニング進歩の速さを過小評価するような間違いを犯さないでほしい。

続き I.GPT-4からAGIへ:OOMを数える(11) https://anond.hatelabo.jp/20240605212014

I.GPT-4からAGIへ:OOMを数える (9)

3.コンピュータ使用

これはおそらく3つの中で最も簡単方法だ。現在のChatGPTは、基本的に、テキスト入力できる孤立した箱の中に座っている人間のようなものだ。初期のアンホブリング改良では、個々の孤立したツールの使い方をモデルに教えていましたが、マルチモーダルモデルでは、近いうちにこれを一挙にできるようになると期待しています

まりZoomでの通話に参加したり、オンラインで調べ物をしたり、メッセージ電子メールを送ったり、共有されたドキュメントを読んだり、アプリや開発ツールを使ったりといったことだ。(もちろん、より長いホライゾン・ループモデルがこれを最大限に活用するためには、テスト時間コンピューティングをアンロックする必要がある。)

最終的には、ドロップイン・リモートワーカーのようなものができると期待している。エージェントは、あなた会社入社し、新しい人間雇用のようにオンボードされ、Slackあなたや同僚にメッセージを送り、あなたソフトウェア使用し、プルリクエストを行い、大きなプロジェクトがあれば、人間独立してプロジェクト完了するために数週間留守にするのと同等のことができる。これを実現するためには、GPT-4よりもいくらか優れたベースモデル必要だろうが、おそらくそれほどでもないだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/devin.gif

Devinは、完全に自動化されたソフトウェアエンジニアを作るために、モデル上の「エージェンシーオーバーハング」/「テストタイムコンピューティングオーバハング」を解除する初期のプロトタイプだ。Devinが実際にどの程度機能するかはわからないし、このデモは、適切なチャットボットエージェントのアンホブリングがもたらすものに比べれば、まだ非常に限定的ものだが、近々登場するものティーザーとしては役に立つだろう。

ところで、私は、アンホブリングの中心性が、商業的応用という点で、少々興味深い「ソニックブーム効果につながると期待している。現在ドロップイン・リモートワーカーの中間モデルは、ワークフローを変更し、統合して経済的価値を引き出すためのインフラを構築するために、膨大な手間を必要とする。ドロップイン・リモートワーカーは、統合が劇的に簡単になる。つまりリモートでできるすべての仕事自動化するために、ドロップインするだけでいいのだ。つまりドロップイン・リモートワーカーが多くの仕事自動化できるようになる頃には、中間モデルはまだ完全に活用され統合されていないため、生み出される経済価値ジャンプはやや不連続になる可能性がある。

次の4年間

https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_gpt2togpt4.png

https://situational-awareness.ai/wp-content/uploads/2024/06/overview_ooms_2023to2027.png

GPT-4に先立つ4年間の進歩原動力と、GPT-4後の4年間に期待されることについての推計のまとめ。


数字をまとめると、GPT-4に続く4年間で、2027年末までにGPT-2からGPT-4規模のジャンプが再び起こると(おおよそ)予想される。

GPT-4のトレーニングに3ヶ月かかったとしよう。2027年には、一流のAIラボGPT-4レベルモデルを1分で訓練できるようになるだろう。OOM効果的なコンピュート・スケールアップは劇的なものになるだろう。

それは我々をどこへ連れて行くのだろうか?

https://situational-awareness.ai/wp-content/uploads/2024/06/overview_counting_the_ooms.png

OOMカウントのまとめ。


GPT-2からGPT-4までで、私たちは~未就学児から~賢い高校生になった。とんでもないジャンプだ。もしこれが、私たちが今一度カバーする知能の差だとしたら、それは私たちをどこに連れて行くのだろうか?私たちは、それが私たちをとてもとても遠くに連れていっても驚かないはずだ。おそらく、ある分野の博士や最高の専門家凌駕するようなモデルまで到達するだろう。

(このことを考える1つの良い方法は、現在AI進歩の傾向は、子供の成長のおよそ3倍のペースで進んでいるということだ。あなたの3倍速の子どもは高校卒業したばかりだが、いつの間にかあなた仕事を奪っていくだろう!)

続き I.GPT-4からAGIへ:OOMを数える(10) https://anond.hatelabo.jp/20240605211837

I.GPT-4からAGIへ:OOMを数える (8)

チャットボットからエージェント兼同僚へ

今後数年間の野心的なアンホブリングはどのようなものになるのでしょうか?私が考えるに、3つの重要な要素がある:

1."オンボーディング問題 "の解決

GPT-4は、多くの人の仕事の大部分をこなせるだけの生の賢さを持っているが、それは5分前に現れたばかりの賢い新入社員のようなものだ:関連するコンテキストを持っておらず、会社ドキュメントSlack履歴を読んだり、チームのメンバーと会話したり、会社内部のコードベース理解するのに時間を費やしたりしていない。賢い新入社員は、着任して5分後にはそれほど役に立たないが、1ヶ月後にはかなり役に立つ!例えば、非常に長いコンテクストを通じて、新しい人間の同僚を雇うようにモデルを「オンボード」することは可能なはずだ。これだけでも、大きなアンロックになるだろう。

2.テスト時間計算オーバーハング(より長いホライズン問題に対する推論/エラー訂正/システムII)

今のところ、モデル基本的に短いタスクしかこなせない。しかし、これでは非常に限界がある。5分どころか、数時間、数日、数週間、数ヶ月かかるのだ。

難しい問題について5分間しか考えることができない科学者は、科学的なブレークスルーを起こすことはできない。ソフトウェアエンジニアは、より大きな仕事を与えられ、計画を立て、コードベース技術ツールの関連部分を理解し、さまざまなモジュールを書いて段階的にテストし、エラーデバッグし、可能性のある解決策を検索し、最終的には数週間の仕事集大成である大規模なプル・リクエストを提出する。などなど。

要するに、テスト時間計算オーバーハングが大きいのだ。GPT-4の各トークンは、問題を考えるときの内部モノローグ言葉だと考えてください。各GPT-4トークンは非常に賢いのですが、現在のところ、思考連鎖のために~数百トークンのオーダーしか効果的に使うことができません(あたか問題プロジェクトに数分しか内部独白思考を費やせないかのように)。

もし数百万トークンを使って、本当に難しい問題や大きなプロジェクトについて考え、取り組むことができるとしたらどうだろう?

トークンの数 私が何かに取り組むのに相当する時間...
100s 数分 ChatGPT (私たちはここにいる)
1000s 30分 +1 OOMsテスト時間計算
10,000 回 半日+2 OOMs
100,000ドル1週間 +3 OOMs
数百万回 複数+4 OOMs

人間が〜100トークン/分で考え、40時間/週働くと仮定して、「モデルが考える時間」をトークンで換算すると、与えられた問題/プロジェクトにおける人間時間になる。

仮に「トークンあたり」の知能が同じだったとしても、頭のいい人が問題に費やす時間が数分なのか数ヶ月なのかの違いになる。あなたのことは知らないが、私が数ヶ月でできることと数分でできることは、はるかに、はるかに、はるかに多い。もしモデルに「数分ではなく、数カ月に相当する時間、何かを考え、取り組むことができる」という能力を与えることができれば、その能力は飛躍的に向上するだろう。ここには膨大なオーバーハングがある。

今のところ、モデルにはまだこれができない。最近のロング・コンテキスト進歩をもってしても、このロング・コンテキストほとんどはトークンの消費にしか機能せず、トークン生産には機能しない。しばらくすると、このモデルはレールから外れたり、行き詰まったりする。しばらくの間、離れて単独問題プロジェクトに取り組むことはまだできない。

しかし、テスト時間計算を解除することは、単に比較的小さな「ホブリングしない」アルゴリズム勝利問題かもしれない。おそらく、少量のRLは、モデルエラー訂正(「うーん、これは正しくないようだ、再確認してみよう」)を学習したり、計画を立てたり、可能性のある解を探索したりするのに役立つだろう。ある意味モデルはすでに生の能力ほとんどを持っており、それをまとめるために、さらにいくつかのスキル学習する必要があるだけなのだ

要するに、私たちモデルに、困難で見通しの長いプロジェクトを推論させるシステムIIのアウターループのようなものを教えればいいのだ。

この外側のループを教えることに成功すれば、2、3段落の短いチャットボットの答えの代わりに、モデル問題を考え、ツールを使い、異なるアプローチを試し、研究を行い、仕事修正し、他の人と調整し、大きなプロジェクトを一人で完成させるような、何百万もの言葉ストリームあなたが読むよりも早く入ってくる)を想像してみてほしい。

他のML領域におけるテスト時間と訓練時間トレードオフ

続き I.GPT-4からAGIへ:OOMを数える(9) https://anond.hatelabo.jp/20240605210357

I.GPT-4からAGIへ:OOMを数える (7)

アンホブリング

最後に、定量化するのが最も難しいが、それに劣らず重要改善カテゴリーを紹介しよう。

難しい数学問題を解くように言われたとき、頭に浮かんだことを即座に答えなければならないとしたらどうだろう。最も単純な問題を除いて、苦労するのは明らかだろう。しかしつい最近まで、LLMにはそうやって数学問題を解かせていた。その代わり、私たちほとんどはスクラッチパッドで段階的に問題を解いていき、その方法はるかに難しい問題を解くことができる。「思考連鎖プロンプトは、LLMのそれを解き放った。生の能力は優れているにもかかわらず、明らかな足かせがあるため、LLMは数学が苦手なのだ

私たちはここ数年で、モデルの「足かせを外す」ことに大きな進歩を遂げました。これは単に優れたベースモデルトレーニングするだけでなく、アルゴリズムの改良によってモデル能力を引き出すものです:

足場作り。CoT++について考えてみよう:ただ問題を解くようモデルに求めるのではなく、あるモデル攻撃計画を立てさせ、別のモデル可能性のある解決策をたくさん提案させ、別のモデルにそれを批評させる、といった具合だ。例えば、HumanEval(コーディング問題)では、単純な足場作りによってGPT-3.5が足場なしのGPT-4を上回った。SWE-Bench(実世界ソフトウェアエンジニアリングタスクを解くベンチマーク)では、GPT-4は~2%しか正しく解くことができませんが、Devinのエージェントの足場があれば14-23%に跳ね上がります。(後ほど詳しく説明するが、エージェントのアンロックはまだ初期段階に過ぎない。)

ツール:もし人間電卓コンピュータを使うことを許されなかったらと想像してみてほしい。まだ始まったばかりだが、ChatGPTウェブブラウザを使ったり、コードを実行したりできるようになった。

エポックAIによる研究によると足場作りやツール使用など、これらのテクニックのいくつかを調査したところ、このようなテクニックは多くのベンチマークで通常5~30倍の効果的な計算量の向上をもたらすことがわかった。METR(モデル評価する組織)も同様に、同じGPT-4ベースモデルからのアンホブリングによって、エージェントタスクのセットで非常に大きなパフォーマンスの向上を発見しました。

https://situational-awareness.ai/wp-content/uploads/2024/06/metr_gains_over_time-1024x597.png

METRのエージェントタスクパフォーマンス。出典モデル評価と脅威研究


これらをコンピュートとアルゴリズム効率統一した実効的なコンピュート規模に当てはめることは困難ですが、少なくともコンピュート規模の拡大やアルゴリズム効率とほぼ同規模の大きな進歩であることは明らかです。(また、アルゴリズム進歩が中心的な役割を担っていることも浮き彫りになっています。0.5OOM/年の計算効率は、すでに重要ものではありますが、ストーリーの一部に過ぎません。)

「アンホブリング」こそが、実際にこれらのモデル有用になることを可能にしたのであり、今日多くの商業アプリケーションの足かせとなっているものの多くは、この種のさらなる「アンホブリング」の必要であると私は主張したい。実際、今日モデルはまだ信じられないほど足かせが多い!例えば

ここでの可能性は非常に大きく、私たちはここで急速に低空飛行の果実を摘んでいる。これは非常に重要です。"GPT-6 ChatGPT "を想像するだけでは完全に間違っていますGPT-6+RLHFと比べれば、進歩は段違いだ。2027年までには、チャットボットというより、エージェントのような、同僚のようなものが登場するだろう。

続き I.GPT-4からAGIへ:OOMを数える(8) https://anond.hatelabo.jp/20240605210232

I.GPT-4からAGIへ:OOMを数える (5)

アルゴリズム効率

コンピュートへの大規模な投資が注目される一方で、アルゴリズム進歩も同様に重要進歩原動力であると思われる(そして、これまで劇的に過小評価されてきた)。

アルゴリズム進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク高校生競技数学)において、わずか2年間で~50%の精度を達成するために必要価格が下がったことを示す次の図を考えてみてください。(比較のために、数学特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。

https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png

MATHのパフォーマンスを〜50%にするために必要な推論コストの概算。


これは推論効率だけの数字だが(公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない)、アルゴリズム進歩は非常に大きく、また実際に起こっている。

この記事では、アルゴリズム進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニング計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍(1OOM)になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデル能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズム進歩と考えることができます)。

一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドライン予測可能であり、グラフ上の直線であるトレンドラインを信じよう。

アルゴリズム研究ほとんど公開されており、10年前にさかのぼデータがある)ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています

https://situational-awareness.ai/wp-content/uploads/2024/06/pareto_frontiers_imagenet_epoch-1024x349.png

アルゴリズム進歩を測定することができます。同じ性能のモデルを訓練するために必要計算量は、2012年比較して2021年にはどれくらい少なくなっているのでしょうか?その結果、アルゴリズム効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.

これは非常に大きなことです。つまり、4年後には、~100倍少ない計算量で同じ性能を達成できるということです(同時に、同じ計算量ではるかに高い性能も達成できます!)。

残念ながら、研究室はこれに関する内部データ公表していないため、過去4年間のフロンティアLLMのアルゴリズム進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率トレンドは、同様に~0.5OOM/年である推定しています。(しかし、これはエラーバーが広く、また、主要なラボアルゴリズム効率公表を停止しているため、最近の上昇を捕捉していません)。

https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png

Epoch AIによる言語モデリングにおけるアルゴリズム効率推定。この試算によると、私たちは8年間で~4OOM効率向上を達成したことになります

より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした(論文によると)が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました:

最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルGPT-4よりも85倍/57倍(入力/出力)安い(驚異的な利益!)。

公開されている情報総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMアルゴリズム効率向上が含まれいたことになります

https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png

GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して~2OOMsの向上が見込まれます計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボ資金人材への投資は急速に増加しています。 (少なくとも、公開されている推論コスト効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。

これらをまとめると、2027年末までには(GPT-4と比較して)1~3OOMアルゴリズム効率向上が期待できることになります

続き I.GPT-4からAGIへ:OOMを数える(6) https://anond.hatelabo.jp/20240605205754

I.GPT-4からAGIへ:OOMを数える (1)

2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは〜未就学児から〜賢い高校生までの能力を手に入れた。計算能力(~0.5桁またはOOMs/年)、アルゴリズム効率(~0.5OOMs/年)、および「趣味のない」向上(チャットボットからエージェントへ)のトレンドライントレースすると、2027年までに再び未就学児から高校生規模の質的ジャンプが起こると予想される。


見て。モデルたちはただ学びたいだけなんだ。あなたはこれを理解しなければならない。モデルたちは、ただ学びたいだけなんだ。

イリヤスーツバー2015年頃、ダリオ・アモデイ経由)

GPT-4の能力は、多くの人に衝撃を与えた。コードエッセイを書くことができ、難しい数学問題を推論し、大学試験突破することができるAIシステムである。数年前までは、これらは難攻不落の壁だと思っていた。

しかGPT-4は、ディープラーニングにおける10年間の猛烈な進歩の延長線上にあった。その10年前、モデル犬猫の単純な画像識別するのがやっとだった。4年前、GPT-2は半可通な文章をつなぎ合わせるのがやっとだった。今、私たちは思いつく限りのベンチマークを急速に飽和させつつある。しかし、この劇的な進歩は、ディープラーニングスケールアップにおける一貫した傾向の結果に過ぎない。

ずっと以前から、このことを見抜いていた人々がいた。彼らは嘲笑されたが、彼らがしたのはトレンドラインを信じることだけだった。トレンドラインは強烈で、彼らは正しかった。モデルはただ学びたいだけなのだ

私は次のように主張する。2027年までには、モデルAI研究者エンジニア仕事をこなせるようになるだろう、と。SFを信じる必要はなく、グラフ上の直線を信じるだけでいいのだ。

https://situational-awareness.ai/wp-content/uploads/2024/06/base_scaleup-1024x790.png

過去と将来の有効計算量(物理計算量とアルゴリズム効率の両方)の大まかな見積もりモデルスケールアップすればするほど、モデルは一貫して賢くなり、"OOMを数える "ことによって、(近い)将来に期待されるモデルインテリジェンスの大まかな感覚を得ることができます。(このグラフベースモデルスケールアップのみを示している。)

この記事で取り上げた一般的推定に基づく、効果的な計算物理的な計算アルゴリズム効率の両方)の過去と将来のスケールアップの概算。モデルスケールアップするにつれ、モデルは一貫して賢くなり、「OOMを数える」ことで、(近い)将来に期待されるモデルインテリジェンスの大まかな感覚を得ることができる。(このグラフベースモデルスケールアップのみを示している。"unobblings "は描かれていない)。

この作品では、単純に「OOMを数える」(OOM = order of magnitude10x = 1 order of magnitude)ことにします。1)計算、2)アルゴリズム効率(「効果的な計算」の成長として考えることができるアルゴリズム進歩)、3)「アンホブリング」(モデルデフォルトで足かせとなっている明らかな方法修正し、潜在的能力を引き出し、ツールを与えることで、有用性を段階的に変化させること)の傾向を見ますGPT-4以前の4年間と、GPT-4後の2027年末までの4年間に期待されるそれぞれの成長を追跡する。ディープラーニング効率的な計算のすべてのOOMで一貫して向上していることを考えると、将来の進歩予測するためにこれを使うことができる。

世間では、GPT-4のリリースから1年間、次世代モデルオーブンに入ったままであったため、ディープラーニングは停滞し、壁にぶつかっていると宣言する人もいた。しかし、OOMカウントすることで、私たちは実際に何を期待すべきかを垣間見ることができる。

結果は非常にシンプルだ。GPT-2からGPT-4への移行は、時々まとまりのある文章を並べることに感動的だったモデルから高校入試エースになるモデルへの移行であり、一度だけの進歩ではない。私たちOOMsを極めて急速に克服しており、その数値は、4年以上かけてGPT-2からGPT-4への質的ジャンプさらに~100,000倍の効果的なコンピュート・スケールアップが期待できることを示している。さらに、決定的なことは、それは単にチャットボットの改良を意味しないということだ。"unhobbling "利益に関する多くの明らかな低空飛行の果実を選ぶことで、チャットボットからエージェントへ、ツールからドロップイン・リモートワーカーの代替のようなものへと我々を導いてくれるはずだ。

推論は単純だが、その意味するところは注目に値する。このような別のジャンプは、私たちをAGIに、博士号や同僚として私たちそばで働くことができる専門家と同じくらい賢いモデルに連れて行く可能性が非常に高い。おそらく最も重要なことは、これらのAIシステムAI研究のもの自動化することができれば、次回のテーマである強烈なフィードバックループが動き出すということである

現在でも、このようなことを計算に入れている人はほとんどいない。しかし、AIに関する状況認識は、一歩下がってトレンドを見てみれば、実はそれほど難しいことではない。AI能力に驚き続けるなら、OOMを数え始めればいい。

続き I.GPT-4からAGIへ:OOMを数える (2) https://anond.hatelabo.jp/20240605204240

2023-03-18

[] ボブ・ザ・バンブリングエージェント

遠い未来人類は究極の監視社会を構築していた。日常生活から親密な時間まで、人々の生活のあらゆる面が監視され、記録されていた。政府は「公共安全のために必要」と主張するが、多くの市民懐疑的だった。

ある日、ボブという名の不器用政府職員は、監視システムから逃れようとする反抗的市民グループ監視を任された。ボブは熱心だが、どこか抜けていて、ミスをしがちな職員だった。

グループ活動監視していたボブは、誤って監視システム不具合引き起こし、誤動作させてしまう。突然、街中の監視カメラにボブの顔がライブ映像で映し出されるようになり、ボブは恐怖を覚えた。

パニックになったボブは不具合を直そうとしたが、事態さら悪化した。この不具合は他の都市にも波及し、人々は自分プライベートな瞬間が映し出されることに気づき、混乱に陥る。

事態制御不能になるにつれ、ボブは自分の手に負えないことを悟った。監視していた反抗的市民たちと手を組み、監視システムを完全に停止させるため、荒々しい冒険の旅に出る。

監視システムを停止させようとするボブと反乱軍は、さまざまな困難や障害に遭遇する。

まず、監視システムのメインコトロールセンターにたどり着くには、迷路のような官庁街と地下トンネルを通り抜けなければならない。

ところが、そのコントロールセンターは、武装した政府職員巡回する厳重な警備が敷かれていた。

しかし、ボブが誤ってアラーム作動させてしまったため、連鎖的に捜査官たちに気づかれてしまう。

必死脱出で、ボブと反乱軍ハイテク変装、偽の身分証明書さらにはホバークラフトなど、あらゆる種類のガジェットやギズモを駆使して捜査から逃れることを強いられた。

ある時は、監視システムハッキングするための試作品を盗むために、政府研究室侵入しなければならなかった。

そして、その旅の間中、彼らを何としても阻止しようとする政府エージェント・チームが執拗に追いかけてきた。

しかし、ボブと反乱軍たちは、監視システムを停止させ、人々に自由を取り戻すという目標を決して見失うことはなかった。

そして、彼らの努力と決意は実を結んだ。監視システムを停止させ、その背後にいる腐敗した役人を暴くことに成功したのだ。

そして、最初はしがない政府エージェントだったボブは、監視コントロールによって抑圧された世界希望勇気象徴として、人々の目に映るヒーローになった。

そして、監視社会市民は、ボブとその仲間たちの不運にも善意ある努力によって、真のプライバシー自由享受することができたのだ。

塵も積もれば山となるで、ボブと反乱軍国民から英雄として讃えられた。政府はこの事態計画的テロ行為言い逃れようとしたが、圧倒的な証拠があり、市民はそれを受け入れなかった。

監視システム解体され、その実施に関与した政府関係者が裁かれたことで、社会再生し始めた。人々は互いにつながり、社交し、プライバシーを楽しむようになった。

ボブは、ある種の有名人になった。行く先々で人々が彼を呼び止めて自撮りをし、彼の姿がTシャツポスタープリントされ、街中に溢れた。

当初、ボブはその注目度の高さに圧倒され気味だった。しかし、時間が経つにつれて、彼は自分の名声を楽しむようになった。プライバシー自由の大切さを説く講演家として、全国を回るようになった。

監視システムについては、再建されることはなかった。その代わり、政府はより伝統的な法執行情報収集投資するようになり、侵略的な技術ではなく、人間の知性や探偵業に頼るようになった。

結局、監視社会の人々は、プライバシー自由はどんな犠牲を払ってでも大切にし、守るべき貴重なものであるという重要な教訓を得た。そして、すべてはボブという名の不器用政府エージェントの不運から始まったのである

2023-03-09

ドロドロにした芋を薄く焼いた筒状の容器に入ったお菓子チップスターだけ突出している

クソ安い輸入もののやつも、ブリングルスもポテトチップスクリスプもちょっと固すぎるんだよな。

サクッ、パリッっていうより、パキッみたいな食感があってまず入り口が弱い。

チップスターの適度なしっとり感というか、さくっとした食感は替えが利かない。

味も濃すぎず薄すぎず、ちょうどいい。

他の奴は基本的に味が濃すぎるのと香料が強いんだよな。

味はうすしお一択

 

袋入りだと少し幅が広がって、オーザックチップスターに肉薄していると思う。

あれも食感が非常に優れている。

オーザックうすしお味は他のどんなお菓子うすしお味とも違う謎の風味がある。

他はまぁ、誤差だな。

2022-09-09

anond:20220909141228

日本人の舌向けではチップスターの完成度が高すぎるのが悪い

ブリングルスですらチップスター食った後だとなんかちげーんだよなってなる

2022-09-07

ワイのオナラはブゥーンッとシルキーエンジン音じゃなくてバリバリとバブリング多めの排気音

2022-07-29

Metaはマジでメタバース成功しそう

VRゴーグル進化

VIVE Flowなんかがそうだけど、既にサングラス型のVRゴーグルは出てきてる

https://www.vive.com/jp/product/vive-flow/overview/

5年後ぐらいにはサングラス型が主流になると思う

デスクトップラップトップタブレットみたいに棲み分けてるのと同様に

大型VR(ケーブリング)・小型VR(現行Quest 2)・サングラス型みたいに棲み分けるだろうし

その中で一般に広まるのはサングラスなのは間違いないと思う

VRゴーグルは重いか流行らない」は古い感覚だと思う

AR可能

PS VR 2のデモ映像があるんだけど、その中で部屋の3Dスキャンをしてる

https://www.vive.com/jp/product/vive-flow/overview/

これ、PS5だから出来る、とかじゃなくて今のQuest 2でもほぼ出来てる

昔のiPhoneでもできるんだから当たり前ではあるんだけど、VRゴーグルかけたまま部屋を見渡せるのを知らない人は多いと思う

今は白黒だけどこれがカラーになるのはすぐだろうし

サングラス型でこれができるとまんま電脳コイル世界になる

技術的なハードルほとんどなくて後はやるだけの状態

目が悪くてもできる

眼鏡付けてる人はVRできないって思われがちだけど

Amazon検索するとQuest 2用のレンズって2000円ぐらいで売ってる

それを目のところにはめれば眼鏡なしでプレイできるしほぼ違和感ない

ちょっと見えにくいところはある)

これでサングラス型でARとかまで出てきたらもはや眼鏡を付けてる人は乗り換えない理由ほとんどなくなると思う

日本だとサングラス流行らないかもしれない

欧米人サングラスで目を隠すことに抵抗がないけれど日本人は目を隠したがらない

逆に日本人はマスクで口元を隠すけど欧米人は隠したがらない

仮面舞踏会だと目の部分にマスクがあるのに対して忍者が口元を隠してるのを見ても文化的にそうなのだと思う

なので欧米ではサングラスの代わりにVRっていうのが自然な流れだけど

日本電車に乗ってる人がサングラスVR付けてたら違和感しかないしあんまり流行らないかもしれない

2022-01-21

anond:20220120232402

ここは戦後日本アメリカかぶ精神を発揮して「シブリング」というカタカナ語を使うようにしてはどうだろうか。だって、ブーツにフェリータートルネックカーペットチケットにソックスにニットにと、身近なものは何でもカタカナ英語にしてきたんだし、もう一つ新しいカタカナ英語が増えるくらいなんでもないじゃんw  

ブリングでわからない人は落ちこぼれということで笑い者にすればいいんだしさww

2020-08-14

anond:20200731230055

ニュージェネレーションクライマックス 見たよ

ルー映画版で初登場したトレギアタイガTVシリーズを経ての最終決着。

まあ、なんつーか 悪い意味でのドラゴンボール 戦闘力青天井インフレしていく。

ウルトラマンサーガとか、ハイパーゼットンとかあの辺の時代映画は、予算がなかったのか とある謎の惑星原野 か 宇宙空間で 戦ってたんだが

今回はTV版と共通してのマーブリングファインアーツさんのご尽力で、今回 調布稲城秦野横浜市港北区~ あたりでロケしていた TVシリーズでいう綾香市世田原市北川町星山市ニュータウン下町風景連続性がある。

そこでやたら火力の強い映画版の光線技(ファイナルなんとか、ウルティメートなんとか)を敵味方がぽんぽん繰り出すものから(週に1回/30分ではなく、3回/80分)町の被害尋常じゃない。

火の七日間か、ってくらい調布稲城秦野横浜市港北区の街が、コラテラルダメージ蹂躙されていく。

これはきつい。 ベイルートか。東京大空襲か。

ティダイガイア兄弟映画あたりはCG宇宙空間戦で、敵が超巨大合体怪獣CG)なので ウルトラマンたちがハエに見えるという、オールファンにはすこぶる評判が悪かったのだが

映画ボスはそこまで巨大化しなかったのでよかったね。

2019-07-28

anond:20190728122910

最後netflixの”get down”というドラマにも触れておきたい。ヒップホップの創生について描いたドラマである監督は”華麗なるギャツビー”を手掛けたバズ・ラーマン。jaden smithがハウスクラブで、友達男の子キスをするシーンが話題になった。

ハウスは元々シカゴゲイディスコ”ウェアハウス”を由来とする。ヒップホップも元々、ディスコを由来としていて、初期はエレクトロなどの引用サンプリング)が多かった。故にハウスヒップホップディスコを親とした兄弟と呼ばれたりもする。

例えばSlum Villageのdj dezという人物象徴的で、ヒップホップDJでもあり、ハウスDJでもある。Andresという別名義で、moodymannというディープハウス大御所レーベルからリリースしてたりもする。

上記したキスシーンは、不寛容時代から現在へとブリッジするものとして描かれた(ようにかんじた)。少なくともラッパーが同性とぶっちゅーなんてのは、20年前にはできなかった表現である

 

Slum Village "Fall in love"

https://www.youtube.com/watch?v=s732BigTxZk

Andres "Moments In Life"

https://www.youtube.com/watch?v=nPT0Zw0z90g

Jose James "Desire (moodymann mix)”

https://www.youtube.com/watch?v=WHNZy-9u2FU

"Get Down"

https://www.youtube.com/watch?v=FYcVrWDOiao

 

 

補足。

Childish Gambinoは役者コメディアンとしても活躍しており、netflixなどで公開されている”Atlanta"はべらぼうに面白い

元嫁に尻に敷かれまくりながらも、養育費のためにがんばるサウスの男のお話

Frank Ocean "Super Rich Kids"はソフィア・コッポラの”ブリングリング”の劇中歌である。おもろい映画なので、おすすめしたい。

歌うラッパーは昔も少数いた。Outkast、Ceelo、Bone Thugs N HarmonyNelly、Nate doggなど。今のように誰でも歌ってる訳ではなかった。

SNS活用で一番最初に売れたのはSouja boyである。然しながら、今日のTypicalな成功例とはすこし趣が違っている。彼の場合は、まずダンスが先行した。

Kodie Shane "Sad"における三番目のナードな男の名前が"Napoleon"なのは、"バス男"("Napoleon Dynamite")から引用と思われる。いい映画です。勝手邦題暴力性よ。

2019-06-27

[][]

またまたヒトカラいってきた

6月末までのクーポンだけど事実上今日までに使うのが一番オトクだったか

時間フリードリンクポテトつきで300円!!!

平日昼間は安いな―

まあクーポンなかったら1時間フリードリンクで500円だけど

ポテト結構量あったから急いで食べたかったけど手づかみで食べなきゃだったから熱くて大変だった

でも歌いたかったのは一通り歌えたかなー

今日ちゃんデンモクのりれきを写メってセットリスト記録しといた!

時間も限られてるからバンバン途中停止してとにかく1時間でできるだけたくさん歌うぞ―とがんばった

カラフルデイズ

みなみけ1期ED

なんとなく好きだたこと思い出して入れてみた

AメロなんとかいけてBメロギリギリ結構いけるかもと思ったら、

まさかのサビがだいぶ忘れてた・・・

あとやっぱり地味だったから途中で停止した

空へ・・・

ロミオの青い空op

うーん男が歌うとやっぱりちょっと違う感が・・・

first good bye

ハルヒの歌

サウンドアラウンドっていうドラマCDに入ってる歌

ラスサビ前の間奏が長いのが困るけどサビまで飛ばす機能使えばok

ループ

坂本真綾 ツバサクロニクルed

全部いけると思ったらラストくるくるうんたらーってのが全然わかんなくて停止した

没落貴族のためのてーきゅう

テレビサイズならいけると思ったらかなりテレビと違うパターンですぐ停止した

メニメニマニマニ

2番まで歌ったところで合いの手と掛け声のところ飛ばしてラスサビだけ歌った

恋の爆弾でいと

君望あゆまゆ劇場の歌

あゆ好きなの

この歌も好き

君望といえばランブリングハーツの人が多いんだろうけど

ありがと・・・

君望涼宮茜キャラソン

茜が一番好きなんです

でもやっぱり茜が歌うからいいんであってryってことで2番まで歌って停止

Wonderful Life

酒井ミキオ

プラネテスED

前回のヒトカラで間に合わなくて歌えなかったかリベンジ

うーんやっぱり歌も好きだしもともと男の歌だから違和感なく歌えるのもいいなあ

Drastic my soul

スクライドED

試しに入れてみた

でもテレビサイズで満足して1番までで停止

Reckless fire TV size

スクライドOP

まさかアニメ本編OPがいっしょに流れたからすげー興奮した

サビ直前のてをのばーすうーーーージャンッのところで手を突き上げてぐいっとコブシつくるの気持ちよすぎwww

サビのキーが少し高くて歌うのきつかったから1番だけでちょうどよかった

トモシビ

アニメ東鳩2のED

suara

自分の声質的バラードとかこういうしっとり系のほうが合うし歌も好き

でも2番までで満足して停止

もってけセーラーふく

アニメ本編op流れたかTVサイズで演奏停止した

前回も歌ったけど今回も

うーんカラオケもうずっと行ってないせいでビブラートのきかせかた忘れちゃってるんだよなあ・・・

夢のダンス

aiko

単なるアルバム曲だけど地味に好きな曲なんだよね

なんか休日の昼下がりにゆっくり散歩しながらきく感じの曲

ログイン ユーザー登録
ようこそ ゲスト さん