気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント26件
- 注目コメント
- 新着コメント
mysql8
2021年プレ・シンギュラリティ(GPT-4 AGI)は近い パラメータ数が多い=ニューロンが多いほど頭がいいってことにならない？老化や萎縮でニューロンが減ると認知症やボケるってそうゆうことだよね？5000兆円あげるからAGI作って
stealthinu
凄い論文。Scaling Lawは上限がなく規模により性能が無限に上がるのとあらゆるドメインに適用できる可能性を示唆。極端なこと言えば予算あれば現在でもシンギュラリティ可能ってことでは。
otori334
“Transformer (言語モデル) の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 (Power Law)1 に従うという” “性能に限界が存在しない可能性があります”
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関... OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2021/01/05 リンク