  |
はてなキーワード: HPCとは
Apple、NVIDIAは盛り上がっているが、他の半導体企業は振るわない。
半導体チップというと、ロジック、メモリ、センサー、アナログ、車載など色々ある。
半導体株は一時期盛り上がっていたが、結局儲かっているのはApple、NVIDIA、設計ソフトEDAベンダーだ。
給湯器や車載向けの半導体が無くて作れないといったことが数年前に起こったが、一円以下の数銭単位で値引きされ利益がない。
メディアがIoTだ、車載だと騒ぎ立てたが、どこも稼げずジリ貧のまま事業続けているのが実態だろう。
性能がいくらあっても足りない。というよりスパコン、HPCだ。
単体GPUじゃデータが格納できないので、複数GPUでデータをやり取りすることになる。
NVIDIAはコンシューマ向けGPUでは不要だったスイッチチップも着々と用意していた。
NVIDIAのサイトを見てもらえばわかるが、GPU以外のハードと、それを使うためのソフトも沢山ある。
日本の研究だと低消費電力向けを研究しているのだが、IoTなどでもわかっていることだが
唯一無二の性能・販売価格でなければ他に埋もれて購入すらされなくなる。
ゲームだと1フィールド読み込めば使いまわしなどキャッシュが効きやすい、シェーダパイプラインが決まっている、
そもそもハード限界の中で仕様が決まるなどがあり、問題はなかったが、AIはチップの性能内で決まらない。
AIの場合、推論はKVキャッシュくらいは活用しようという動きが出てきたものの、メモリ全部にアクセスするのでキャッシュがバッファ的な意味合いでしか効いておらず、
メモリ帯域が物を言う。
あと日本はリソグラフィ限界のサイズの大きなチップを作ってこなかった。
4GHz,5GHzで駆動させると、チップ内を光速で信号が伝搬するとはいえ、チップサイズに対して伝搬速度が遅く、タイミングがMETしない。
大きめのチップを作っている企業もあるだろと指摘があるだろうが、物理設計は台湾企業に委託していたりとノウハウがない。
AIが盛り上がって数年経つが、個人が買えるような価格帯で、良いAI向けのハードが出てこない。
RTX 3090のVRAM24GBを大事に使っているが、そもそもVRAMに入らないモデルの方が多い。
複数のAIを立ち上げるなんてのは、VRAM容量が溢れるので、そもそも動かせない。
動けばNVIDIAの Nsight Systemsなどで遅い所などを探せるが、そこまでいかない。
複数のSSDを仮想メモリにするというのも、RTX 3090のNVLink BridgeでVRAMだけ拡張するなんてのも世の中に出てこない。
Appleもそろそろ出してくるかと思っていたが、M4は普通の順当進化だった。
M2 Ultraはチップtoチップを接続し2.5TB/sを謳ったが、同じチップを繋げたのでいらない機能が倍になっただけだった。
M4 Ultraで、片側のチップをGPU or NPU＋帯域の広いGDDR or HBMになればいいが、あまり期待が出来ない。
GPU or NPUのコアが増えたとしても、L2/L3キャッシュの容量が少なすぎる、増やしても距離が遠ければ性能も出ないので、
AppleもAMDのように3D V-CacheでSRAMを積み、Hybrid Bondingで上下の帯域を確保してくれないだろうか
IBMはTelum IIとSpyreを出してきたがエンタープライズ向けなのでパス
Groq社がLLM用LPU、HyperAccel社がLLM用ASICを出して来たが、
Groqは1枚のPCIeカードでは全くメモリ容量が足りず役に立たなそうで、HyperAccelはサーバー前提でこちらも個人から手が出しにくい。
FPGA＋HBMが載ったPCIeカードは個人向けには販売できるような価格でもなければ、そもそも販売すらされない。
ジム・ケラー率いるTenstorrentも1枚のPCIeだとメモリが足りないし、Ethernetでなんとかやりくりしようとしているが帯域に引っ張られそうに見える。
NextSilicon社がMaverick-2というIntelligent Compute Accelerator (ICA)というのも出してきたが、HPC向けで個人利用からは遠い。
中国も良いのが出てきていない。
Biren、Fuzhou Rockchip、VeriSilicon、Moore Threads、LinJoWing、Loongson、JingJia Micro、Cambricon、Vastai Technologies、Xiangdixian Computing、Enflame Technology、MetaX、Zhaoxin、Lingjiu Microelectronics、
DengLin Technology、Iluvatar CoreX、Innosilicon、Horizon Robotics、Black Sesame Technologies
画像を離散コサイン変換で、とか、仮想メモリ使いつつもキャッシュヒット率をいかに上げるかとか、そういうのから機械学習って遠い。
メモリの局所性なんぞないからキャッシュなんてメモリアクセスのレイテンシ隠蔽くらいにしかなってないし、
メモリは帯域はあればあるだけ、容量もあればあるだけ、
Flash AttentionでようやくDRAMへのアクセス減らそうとかあるけど、コンピュータの構成無視、
いかに長い文脈を認識させられるかになってデータの局所性なんてなくなって、どれだけ複雑な計算とデータ量を食わせるかになっている。
今までのHPCも同じでコンピュータサイエンスだと言われれば、そうなんだが
GPU使ってながらも、グラフィックスパイプラインみたいなのを、AIのレイヤー層ごとに作れているわけでもないし。
スパコンの事業仕分け・予算削減をしてHPC分野が大いに遅れることになったみたいなのは明らかにミスリードかつ結果論で、そもそもスパコン事業は問題が噴出しまくりだったので、予算削減についてはふつうに考えて合理的で理性的な判断だったと思う。
あと蓮舫はほぼ空気で、鬼詰めしていたのは金田評価者である。その合間の「2位じゃだめなんですか」発言なので、議事録の音声を聞いたことがある人ほど蓮舫の発言を「助け舟」と取るんじゃないのかな。
というのを昔書いたから読んで：https://anond.hatelabo.jp/20190904173524
金田先生との直接の質疑だったら専門的な説明にもなったと思うんだけどさ、理研の研究畑の人は泉さん（法学部卒）のこの質問に答えなくちゃいけなかったの。
○泉内閣府大臣政務官 これは、インターネットも含めて、多くの国民の皆さんも見ておられるということもあって、（略）高度な技術に対して国民の理解をというのは、大変難しいことかもしれませんが、やはり実際どう生きてくるのかが見えてこないと。
国民に伝わっているのは、例えば気象の予測が局地的にできるようになるということに、果たしてこれだけのお金を投じる必要があるのだろうかということも、実際にはなかなかつながってこないというのがあると思うんです。
なんつーかさ、ネットを介して見てる国民に何の役に立つか伝えろと言われたの。メッセージを届けろと言われたの。
専門分野の教授陣が審査する科研費申請とは、全然違う説明が必要でしょ？
どっちかというと科学コミュニケーターみたいなことを言わなくちゃいけないのかなって思っちゃうよね。
だから、（一般人の国民には）夢を与えるみたいなことしか言えなかったの。
まあ、事業として見直しが必要だったというのは間違いないんだよ。
蓮舫議員の質問が意味するものって、1位とか2位とかじゃなくて、コストがかかってもHPCの新規性のある研究を国家戦略的に続けるか、それとも先端研究としては断念して今あるもので便利な大規模コンピュータとしてわかりやすく役立てるビジネス方向に舵を切るプランBかって、そういう二択として受け止められるよね。で、コストカットイベントの場なんだから「満額は出せないけどプランBじゃダメ？プランBが嫌なら全カットになるけど」って意味になっちゃうよね。
蓮舫議員も法学部卒で、共同開発とかの言い方からして、新規性とか国際競争力とかそういう科学や研究の言葉で説明してもまったく響かなそうだし。
平易な言葉で説明しようとすると、中村進行役にさえぎられるし。
そんなわけで、もう研究者としては説明の言葉がなかったという感じ。負けは負け。せめてここの部分は金田先生と専門的な討論ができていればと思う。
平尾公彦氏は、すげえ損な役回りだったんだろうね。自分は専門外だし、理論武装してレクしてくれるはずの文科省はグダグダの総崩れだし、仕分け側では金田康正氏・松井孝典氏というHPC専門家がメチャメチャ厳しいこと言ってくるし。「フワッとしたこと言うしかなかった」というのは、まあわかる。
当時、当該プロジェクトの予算執行を正当化する立場から説明していた文科省のメンバーは以下の3人。
磯田文雄も倉持隆雄も内丸幸喜も、叩き上げの文科省エリート官僚で、HPCの研究者でも何でもないよ。経歴を調べてみればわかる。
この事業仕分けメンバーの中で一番HPCのことをわかってるエキスパートは、評価者の金田康正氏。んで、読めばわかる通り、文科省側の説明の適当さや誤魔化しの部分に対して、一番厳しい評価をしていたのも金田氏。蓮舫は金田氏のツッコミに対し、文科省側に助け船を出すという立場だった。
なお名前が出ていない「説明者（（独）理化学研究所） 」は、平尾公彦とされている。この人は専門が理論化学・計算化学なので立派に研究者ではあるが、当時すでに63歳の大御所で、論文も何年も前からlast authorとして関わるものばかりになっていた。
2009年当時は東大理事・副学長（普通の副学長より2ランク上）から転じて理化学研究所特任顧問・副本部長と東大名誉教授に就任。2010年には理化学研究所計算科学研究機構機構長に就任している。つまり、増田が言うところの
あの場には事業側の人を呼ばなくちゃだめだったんだよ。
という想定に最もフィットしていた（はずの）人間だと言える。本人もHPCwire Japanというサイト（https://www.hpcwire.jp/archives/16547）で
東大を定年退官する際に、ある私立大学から声を掛けて頂いていたのですが、契約書にサインをする直前に、理研から新たにスパコンのセンターを立ち上げるので、来てくれませんかと話が来ました。私自身は計算機を専門にやっているわけではなく、計算機を使って様々なサイエンスを展開する、計算科学の人間でしたので、果たして私に務まるのかと躊躇しました。
https://shueisha.online/articles/-/250836
この記事で、「実は蓮舫氏はスパコン事業に助け舟を出していた」と書かれているが真っ赤な嘘（憶測）である。
まず第1前提として、予算を決めるような大事な話ほど文書のやり取りにすべきである。あの事業仕分けはただのマイクパフォーマンス芸であり、言った言わないを避ける方法がないことを思い出してほしい。例示としては、科研費である。科研費の予算決めをマイクパフォーマンスにしたら成立しないのは想像に難くないだろう。
以下、蓮舫氏のあの発言＝助け舟というのはかなり怪しいという証拠を記していく。
https://www.amazon.co.jp/dp/4569779646
上手くいかなかった助け舟をタイトルにした本を普通出すか？本当にそう考えてたなら、それをタイトルに本出す奴はサイコパスやろ、という話である。
あのスパコンの事業仕分けでは、”予算要求通り”と評価した人は誰もいなかった。つまり蓮舫氏もそのように評価したのである。
だが、スパコンの重要性を理解していて研究が大事と評価していたなら、マイクパフォーマンスが悪くとも、”予算要求通り”にするのでは？という話である。そのマイクパフォーマンスの悪さ＝スパコン研究事業の無意味さと帰結主義に評価するのであれば、蓮舫氏の取った行動も帰結主義に評価すべきである。つまり、”予算要求通り”と評価してない蓮舫氏は、助け舟であの発言をしていないのである。
蓮舫氏は事業仕分け後の2009年12月にTwitterで息子の使ってたマジコンのことを聞き、ネットで物議を醸した。
https://getnews.jp/archives/42755
まずここで確認したいのは、蓮舫氏はTwitterを投稿できるようなインターネットを使える環境にあり、その息子もおそらくそのマジコンをネット購入してるようなネット環境があることである。そういった環境があるにも関わらず、一切調査もせず、Twitterに無邪気に質問を投稿しているのである。
この調査能力がない人物がはたしてスパコンの重要性やどんなシミュレーションに使われてるのか、当時理解してたのか？
この事業仕分けの一件により、近い界隈の研究・開発・教育現場で愚痴のように口酸っぱく言われるようになった。
「目標を1位にしても必ず1位にならず下の順位（e.g. 2位, 3位）になってしまう。つまり、2位,3位を目標にしてしまうとさらに下の順位(e.g. 4位,5位)になってしまい競争・開発力がどんどん落ちてしまう。だから目標は高いところにしなければならない。」
もしかして蓮舫氏はこの当たり前の話も知らなかったのではないですか？
この事業仕分けにより、あの時期のHPC分野は間違いなく衰退した。
仮に助け舟を出したとされる蓮舫氏は、その後HPC分野を改善させる何かをしたかというと何もしてない。
そして、今回の都知事の公約にも、これに近い話は一切ない。つまり、蓮舫氏はあの助け舟で上手くいかなかった事業仕分けを特に問題ないと考えてるだけである。
以上の点を考えていくと、蓮舫氏はあの発言を助け舟とは全く考えておらず、あの事業仕分け、予算削減を特に問題とは思ってないのである。
都知事選に出馬する上でのネガキャンを減らすためだけの理由で、後出しの歴史修正擁護にはウンザリである。
はてな民は騙されないように！
富士通に忖度してるとか言ってるけど、あれ、普通に取材NGだったんじゃないかな。
当時の経緯を知ってると「私の名前は出さないでください」ってなったとしても不思議じゃないと思う。そうなれば当然NHKも富士通も触れないし、本人が拒否したんですなんて発表するわけもないし（例え親族が声を上げたとしても）
京コンピュータって、富士通半導体の最後の打ち上げ花火だったんだよ。
京の開発が進み、実際に生産されるころは、経営方針として富士通は半導体撤退をするかどうかで揉めていたころだった。
京コンピュータは、富士通が自社工場で作った最後のスパコンであると同時に、国のトップ開発のHPCにおいて、富士通が単体で作り上げた初めてのHPCでもあった。
これは、富士通が優れている、というよりも、逃げ遅れたと表現してもよいかもしれない。HPCのプロジェクトからは、NECと東芝が次々と撤退していたのだ。
当時半導体の重い投資に堪えられなくなった電機各社とその銀行団は、自社から半導体部門、少なくとも工場を切り離したがっていた。まさに、それどころではなかったのだ。
しかし富士通はまだ撤退を決断せず、他社とは一線と画した対応をしていた。
ようにみえた。
京コンピュータのCPUは、45nmのプロセスで作ると言うことで言っていたためか、富士通はなんとか自社で開発した。けれど、京に乗せたプロセッサで最後になった。次のプロセスは開発されていない。
https://news.mynavi.jp/techplus/article/architecture-467/
さらに、当時、45nmのプロセスは安定して無い状況で無理矢理作ったと言う話もあったはずだ。これは京コンピュータ以降はTSMCに委託することが決まっていたため、既に投資が絞られていたためでもある。
（後にTSMC版の進んだプロセスで製造されたSPARCを使ったミニ京コンピュータが何個か作られたのだが、ノード辺りの性能が30％以上アップしたと言う。これはプロセスが細分化された以上の性能向上であった）
富士通が、自社の半導体部門を富士通セミコンとして切り離したのが2008年。京コンピュータ用のプロセッサを生産したのが2010年の三重工場であった。
その三重工場は2013年にさらに別会社として切り離され、現在は完全に売却されて富士通に残ってない。
また、同じく半導体工場としては福島県の會津富士通があったんだが、その時の工場撤退のエピソードは、今でも大企業は黒字でも簡単に工場を撤退させる事例として有名になった。かなり悲惨な事態だったと言える。
そうして重荷になっていたとされる工場を切り離しファブレスに近い業態にしたのは、富士通半導体を残すためだったと思われる。
しかし、そうした建前などなかったかのように2014年にはシステムLSI/SoCの開発部隊の分社化を決定。それが現在のソシオネクストである。PanasonicのLSI部隊と合弁した会社で、分離した当時、富士通は設立当初40％の株式を保持していたが、現在は完全に売却してしまった。
現在、富士通の半導体部門はFeRAMや光回路用の超特殊なものを除いて完全売却で撤退している。
なお、その後、ルネサステクノロジ（※富士通は合弁に参加していない）が組込向け半導体でほぼ世界首位と同率2位まで上り詰め、国内半導体の必要性が新たに叫ばれTSMCが国内に半導体工場を建設。Rapidusという日米政府が関わる半導体企業ができる流れになっている。もし将来、RapidusがプロジェクトXになるときには、大手電機産業からリストラされた技術者達の奮起という文脈が語られそうな気がする。閑話休題。
件の方がご退任をされたと言う2012年は、半導体のさらなる切り離し、売却などの決断と、次期スパコン（つまり富岳）がSPARCを捨ててARMになるという決断が行われた年であったと考えられる。（発表は後になる）
半導体を専門にされてずっとやってきた方には堪えられないもだったのではないかと拝察する。仮に、思い出したくもないし、宣伝にも使われたくないと判断されても仕方がないことでは無いかと思う。（もちろん 出演NGされたと言うのはワイの妄想なので注意)
その後、富士通はSPARCを使ったUNIXサーバーを作り続けてはいたが、大きくアーキテクチャを改善する開発は行われないまま（保守設計は続けられていたが）メインフレームとともに撤退が発表された。これはやむを得ないことだろう。
また、ARM化された富岳は、確かに性能面や利用面、汎用性では高い成果を出したが、富士通のビジネス的にはさっぱりだったと思われる。
アーキテクチャをARMに切り替えた理由は、ビジネス面でもあった。高性能タイプのARMを作ることによって、旺盛なクラウドDC需要などに対して食い込んでARMサーバを大きく拡販していくことだったと思われる。
が。富岳に乗せたARMプロセッサを利用した波及製品はみられなかった。
なぜか。それはAWS、MS Azure、Googleなど膨大な需要を持つ企業は、需要が巨大すぎてARMが搭載されたコンピュータを買うのではなく、自社でARMのIPを購入し独自開発することを選んだためである。
彼ら相手には商売にならなかった。それ以外のクラウドベンダーは無きに等しい。ARMなどアーキテクチャが影響しないのはPaaS以上の象徴度を持つサービスだが、寡占状態にある大手以外まともに提供出来ていないため、市場が無いのだ。
ただし、この時富士通とARMの競業によってARMは成果をあげた。アウトオブオーダー実行など、ARMは高性能コンピュータで必要な技術を富士通から取り込んで現在に至る。
それ故、富士通の商売は上手くいかなかったが、世の中的には良かったとは言えるのではあるのだ。そのIPで大手クラウド各社は自社向け半導体を作って商売をしているのだから。
https://newswitch.jp/p/41595
だから今のタイミングでプロジェクトXに乗ったのだと思うが、綺麗事では語れない話がたくさんありすぎる。
受注はまず間違い無く富士通だと言われている。と言うのは、開発の一部は既に行われているから。
https://monoist.itmedia.co.jp/mn/articles/2310/12/news074.html
そして、国内にもう国産でHPCを作ることの出来る会社はNECと富士通ぐらいになってしまったためである。
富士通は新しいHPCは1位を目指さないかもしれないという考えから、計算効率の方に大きく振った開発を進めおり、国内トップのHPCに採用されたという実績を背景に売り出そうというつもりではあると思われる。富岳の夢再び、だ。
https://cloud.watch.impress.co.jp/docs/special/1560540.html
https://www.fsastech.com/about/
ご覧の通り、富士通のブランドを一切使っていないのだ。既存の商品からも富士通マークを取り払っている。さらに、会社概要に株主欄がなく、富士通の名前が出てこない。（他の関連会社はそういった記載がある）
半導体がどうなったかの流れを知っていると、暗い予感しかしない。
そして、HPCはレイヤーの低い、ハードウエアに近い部分、さらにメカニカルな設計や冷却など物理的な部分のノウハウが多く必要とされる。それを富士通が分社化して製造能力を失っていく中で、果たしてまともにHPCが作れるのだろうか？
さらに、確かに2010年代半ばのころはワークロード不足に陥ってコンピュータは安売りに陥っていたが、現在AIと言う巨大な需要が生み出され、価格も回復、ハードウエアが再び重要と考えられ始めている。ハードウエアと同時に提案できる能力が強みになりつつある。
しかし、既に富士通はそれらに対応するための強みを、はした金と決算の数字をよくするためだけに売り払った後である。案の定、粉飾紛いの異様に高い目標に対して、結果が出ないと言う発表を繰り返している。
富士通はアクセンチュアを真似ていると言われる。以下の記事にはこうある
https://xtech.nikkei.com/atcl/nxt/column/18/00848/00049/
目指す先はアクセンチュア、富士通が主力工場を総務に移管する理由
時田社長は2019年9月に開いた初の記者会見で「開発製造拠点をどう整理するのか」という質問に「既に方向は定まっている。後は状況判断と時期の問題。富士通はサービスに集中する企業になる」と応じていた。
そこまでやったのに、ここ3年ほど株価は伸び悩みが続いている。アクセンチュアの真似をしますと言ったときは撥ねたがが、その後は同業他社や業界全体の株価上昇率に及ばない状況が続く。
それはそうだ。アクセンチュアの真似をしていてはアクセンチュアには勝てない。まして工場売却を通じ、元々の強みを捨て弱みまでアクセンチュアの真似をしているのだ。富士通がこの先生きのこるにはどうすればいいのか？
NVIDIAと、インテル・IBMはどうして差がついたのか、疑問に思う。
AIはニューラルネットワークを模倣していると言われ、ニューロモーフィックというチップを、IBMは作り、その後、メンバーが移籍してインテルも作った。
現在、ニューラルネットワークとは違うものになったが、勝っているのはNVIDIAになっている。
先日、1.58bitのBitNetが話題になったが、LLMではないが昔BinaryConnectで0.68bitまで下げる案を出したのもIBMのメンバーだ。
ハッカーニュースでBitNetについてIBMだった人がコメントしている。IBMはそれなりに早かったはずだ。
https://news.ycombinator.com/item?id=39544500
普通のGPUの会社だと、ゲーム用のGPUボードだけを作っていたと思うが、NVIDIAは色々と手を出している。
データ プロセシング ユニット (DPU)、InfiniBand、NVIDIA MetroXなど、
HPC向けで、インテルやAMD、IBMの方が得意だろうという分野まで手を出した。
RTX 4090はゲームするにはバカ高いがAI向けには性能不足で、単価が高いAI向けボードを売るという差別化も出来ている。
ファブレス企業だから、というだけでは説明不足で、TSMCにNVIDIA向けのカスタムプロセスを作らせることが出来ている点が差別化要因の1つだろう。
TSMCから出てくるデザインルールの通りにしか作らないと、どこの会社も似たりよったり性能になってしまう。
物理限界を他社（TSMC）に投げてしまうというのも、経営としては効いているのだろう。
そして物理限界のチップサイズを攻める。電力も物理限界を攻める。
日本の会社だと、電力のバカ食いで怒られるが、そこも攻めている。
インテルはGPUカードに参入したが、AI向けだけに限定した方が良かったのではないだろうか。
中国GPUメーカーがコケているのに対して、動いているだけでも流石インテルなのだが、競争力のあるGPUとは言えず、参入した意味とは？になってしまっている。
量産ではない先端プロセスは持っているし、特殊なチップも作れている。
CPUについてはPower関係の資産もあり、AI向けもユニークなのが作れているのに、ぱっとしなくなった。
RISC-Vが上手くいくのであれば、OpenPowerも上手くいくと思うのだが、そういう話も聞かない。
そもそも米中関係で、オープンソースのCPU/GPUが禁輸されそうな感じもしている。
結局、量子コンピュータについてもまだまだ先になりそうな雰囲気だ。
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる（第3次AIブームのおこり）
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易＝デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC（ハイパフォーマンスコンピューティング）におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン（革ジャンおぢ）が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard（Gemini）など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成（予定）。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
2009年11月のいわいる事業仕分けから、もう13年も経った。「2位じゃダメなんですか？」の質問の発言で非常に曰く付きとなったアレだ。
ところが最近、13年も経ってまだなおナゼ「2位」という言葉が出てきたかが理解できてない人がかなりいる事を知った。それどころか、スーパーコンピュータの京は、事業仕分け時点で世界一になることが明白だったなどという認識まで飛び出す始末である。
ただ、資料もなしにどこが変だと言っても仕方あるまい。何がどうして「2位」なのか、少し語ろうじゃないか。
初期の次世代スーパーコンピュータ (この時点では名前が付いていなかったが、以下わかりやすく京と呼ぶ) 計画 は、補助金を投入してのHPC産業育成に目を向けられていた[1]。世界一の性能を出していた海洋研究開発機構の地球シミュレータが、NECのSXシリーズをベースにしたベクトル型であり、ベクトル型のスーパーコンピュータは日本のお家芸とみなされていた。これを育成することが一つの目標。そして、立ち遅れていた当時の世界のスーパーコンピュータの潮流、スカラ型の開発に追いつくこと。これがもう一つの目標となった。結果、世界でも類を見ないベクトル型とスカラ型のハイブリットなどという中途半端な方式になる。実に日本的な玉虫色の決定と言えるだろう。しかし、補助金の注ぎ込みが不足し、事業者持ち出しの負担が大きくなってしまった。結果、事業費負担が高額になることを嫌い、NECと日立の撤退する[2]。これにより、世界の潮流通りのスカラ型とならざるをえなくなった。
CPUはというと、世界のスーパーコンピュータの潮流では当時から既に汎用のx86アーキテクチャのCPUが既に多くなってきていた中、富士通はSPARC64VIIIfxを採用した。よく国産CPUと表現されているが、SPARCの名で分かる通り、当然命令セットは米国Sun Microsystems (現 Oracle) のセカンドソースであり、端から端まで国産というわけではない。更に、業務用UNIXをささえるマシンとして一世を風靡したSPARCではあるが、当時ですらもう下火となっていた。京の事業費の約半分、実に600億円が、この専用CPUに注ぎ込まれることになった。なぜその選択をしたのか。富士通のサイトには省電力と安定性が理由として書かれている[3]。しかし、その省電力という目標も、後述するように微妙な結果となってしまった。また、ソフトウェアの使いまわしも微妙となった。
計画は2005年に始まる。世界でも類を見ないベクトル型とスカラ型のハイブリットという構成もあり、概念設計にはしっかり時間を費やした。2007年9月には性能目標は10P FLOPSと示した[4]。稼働開始は2010年、2012年に完成という工程も同時に示されている。直前の2007年6月のTOP500を見ると[5]、1位のIBM BlueGene/Lが370TFLOPS。5年後に30倍という性能を目指したことになる。当時の発表としては、世界一が取れるような計画だったが、しかし日進月歩の分野で5年は結果的に長かった。
さて、前述のように、ベクトル陣営は2009年5月に撤退を決めた。10P FLOPSの性能と決定した時には、ベクトル側も居たのに、そこがぽっかり空いた状態。10P FLOPSのあてはいつついたのだろうか？ 2009年7月の報告書[6]では、スカラ単体で10P FLOPSを達成できること、ベクトル部は存在していても接続まわりの性能が不足していて問題があったことが表明されている。結果的に、なくなってよかったというトホホな内容だ。さて、同報告書では、稼働開始前の2011年6月に、ベンチマークだけでも10P FLOPSを達成してTOP500の1位を目指すと書いてある。どうしてこうなったのだろうか。
遡ること半年の2009年2月3日、米国国家核安全保障局(NNSA)はIBMと新しいスーパーコンピュータ Sequoiaを展開すると発表した[7]。性能は20P FLOPS、京の予定性能の実に2倍を達成するという発表だ。しかも、提供開始は2011年～2012年。京の1年も前になる可能性があるという。
そう、双方が計画通りなら、京は2012年、提供を開始する時には既に2位になっているという話題が出ていたのだ。なるほど、あせって2011年にベンチマークだけでも「トップを取った」という実績を残したいわけである。
さて、その後のSequoiaはというと？
ある意味計画通りだろう、2012年に提供が開始され、2012年6月のTOP500[8]では予定通り20P FLOPSを叩き出し、1位になる。しかし、2012年11月のTOP500[9]では、Crayとオークリッジ国立研究所が作ったTitanが叩き出した27P FLOPSという数字ににあっさりと抜き去られ、2位になる。まるで幽遊白書のラストのような展開だ。しかも、SequoiaはIBMのPower系アーキテクチャで構築されたA2プロセッサだったのに対して、TitanはAMD OpteronとNVIDIA K20Xの組み合わせ。汎用性でも差を開けられている。これはお手上げというものだろう。
さて、話は京に戻す。京が有名になったのは2009年11月13日の行政刷新会議、いわいる事業仕分けである（ここは参考文献は要るまい）。このときまで、そんな計画があることを知らなかった人の方が多かったのではないだろうか。どういうニュアンスで言ったかわからない、まるで日本を貶めているかのように聞こえる「2位じゃダメなんですか？」という言葉が非常にインパクトを与えたことだろう。
さて、じゃぁ何が2位なのか。だ。前述の通り、この時点ではIBMのSequoiaに追い抜かされることが見えていた。TitanはGPUの調達など細かい話が決まってきたのは2010年なので、この時点ではほとんど影がなかったはず。ということで、3位じゃなくて2位としたのは、Sequoiaを意識してのことだろう。つまり、「2位じゃダメなんですか？」というのは、1位を諦めて2位の性能で我慢するべきということではなく、客観的に見れば「2位になるのが見えているのだけど、何で1位と言ってるの？」という話になってくるのが見て取れる。蓮舫氏がそこを意識してたか知らんけど。
共同事業者が撤退し、一応強気に「大丈夫」と言ってはいるが、本当に達成できるかは周りからは疑問符が付くグダグダなプロジェクト状況、ほぼ専用設計で量産時にどういう問題が出るかわからないCPU、ソフトウェアも新規制作。税金の投入は中途半端で、産業を育成したいのか企業負担を増やしたいのかよくわからない（だから撤退する事業者が出る）。そもそもここで出来たスーパーコンピュータ、CPU抜きにしても売れるのか分からない。そりゃ、金田康正教授でなくても、京にはため息が出るというものだ。
さて、京は何を達成したのだろうか？ 京は完成前ではあるもののベンチマークを実施し、見事11P FLOPSを叩き出し、2011年6月[10]と2011年11月[11]のTOP500でトップに躍り出る。この分野に日本ありと示した…かどうかはわからないが、一つの実績として言えるのは間違いない。いや、経緯のグダグダ感からして、見事なプロジェクト進行だったと称賛できる。しかし、前述の通り供用を開始した2012年9月[12]にはTOP500ではSequoiaに追い越されており、直後のTOP500ではTitanにも追い越されて3位となっていた。1位は、ベンチマークだけの存在だったと言える。
では目標の産業育成としてはどうだっただろうか。京をベースにしたスーパーコンピュータ PRIMEHPC FX10[13]やFX100は、東大[14]、名大[15]、キヤノン[16]、九大[17]、信大[18]、JAXA[19]、核融合科学研究所[20]、気象庁気象研究所と、調べるだけでも国内実績は多くある。国外実績は、台湾中央気象局[21]、シンガポールナショナルスパコンセンター、豪州 NCI、英国 HPC Walesと、それなりにある。ただどうだろう。産業としてうまくいったのだろうか。有価証券報告書を見ても、その他のセグメントに入ってしまっているため状況がつかめない[22]。謎ではある。とはいえもし、産業としてそれなりに育ったのならば、有価証券報告書で報告する事業セグメントとして独立したものを与えられてしかるべきだったのではなかろうか。少なくとも1000億も出したのだ。そのくらいではあってほしかった。更に言うなれば、特に競争の激しい国外市場をうまく取り込めたかというと、産業育成という視点では頑張ったとは思うものの心もとない結果だったように、少なくとも私には見える。
消費電力の面はどうだろうか。上述の通り、SPARCを使う理由には省電力が上げられていた。これをライバルのSequoia、Titanと比較してみよう。2012年11月のTOP500[9]で見ると、京は12.6MW消費するとある。Sequoiaは7.8MW、Titanは8.2MWだ。実はこの時の報告のあるスーパーコンピュータの中で、最大の電力消費量を誇っている。高いほうがいいのではなく、消費電力は低いほうがいいので、これはかなり問題がある。
費用面はどうだろうか。これもライバルと比較してみよう。京は日本円にして1120億円かかっている。対してSequoiaは2億5000万ドル[23]、Titanは9700万米ドル[24]だ。2012年11月で見るとドル円相場は82円なので、Sequoiaは約205億円、Titanは80億円となるだろうか。京のプロセッサ開発費を除いたとしても、数字が違いすぎるのだ。
纏めてみよう。京は、一時期でベンチマーク上だとしても、TOP500で1位を取った。これは「夢を与え」(平尾公彦氏)た結果だったろう。しかし、それは砂上の楼閣でもあった。しかしそれを実現するための費用は米国の5～10倍で、性能は実は半分、消費電力は1.5倍という結果になり、産業育成も盛り上がったかどうかは判然としない。こんなところだろうか。
近年のスーパーコンピュータを含めたHPC分野はどうなっているだろうか。近年のクラウドコンピューティングの流れを当然HPC分野も受けており、主要プレイヤーとしてAWSの名前が挙がっている[25]。またレポートでは挙がっていないものの、Google Cloudも猛追しており、円周率の計算では1位を叩き出している[26]。必要な時に、必要な規模で構築できるクラウドコンピューティングの波は、さてHPC分野でどこまで浸透していくのだろうか。産業育成の方向が、2009年時点では確かにハードウェア開発だったろう。しかし、事業仕分けへの反発により、日本は方向性を間違ってしまったのではないか。私は、そんな気がしてならない。
[1] ttps://www8.cao.go.jp/cstp/tyousakai/hyouka/kentou/super/haihu01/siryo2-3.pdf
[2] ttp://www.nec.co.jp/press/ja/0905/1402.html
[3] ttps://www.fujitsu.com/jp/about/businesspolicy/tech/k/whatis/processor/
[4] ttp://web.archive.org/web/20130207162431/https://www.riken.jp/r-world/info/release/press/2007/070914/index.html
[5] ttps://www.top500.org/lists/top500/2007/06/
[6] ttp://www.jaist.ac.jp/cmsf/meeting/14-3.pdf
[7] ttps://www.llnl.gov/news/nnsa-awards-ibm-contract-build-next-generation-supercomputer
[8] ttps://www.top500.org/lists/top500/2012/06/
[9] ttps://www.top500.org/lists/top500/2012/11/
[10] ttps://www.top500.org/lists/top500/2011/06/
[11] ttps://www.top500.org/lists/top500/2011/11/
[12] ttps://www.riken.jp/pr/news/2012/20120927/
[13] ttps://jp.reuters.com/article/idJPJAPAN-24020620111107
[14] ttps://pr.fujitsu.com/jp/news/2011/11/14.html
[15] ttps://pr.fujitsu.com/jp/news/2013/05/15.html
[16] ttps://pr.fujitsu.com/jp/news/2013/08/6.html
[17] ttps://pr.fujitsu.com/jp/news/2013/08/22.html
[18] ttps://pr.fujitsu.com/jp/news/2014/02/13.html
[19] ttps://pr.fujitsu.com/jp/news/2014/04/7.html
[20] ttps://nsrp.nifs.ac.jp/news/PS-next.html
[21] ttps://pr.fujitsu.com/jp/news/2012/06/25.html
[22] ttps://pr.fujitsu.com/jp/ir/secreports/2015/pdf/03.pdf
[23] ttps://arstechnica.com/information-technology/2012/06/with-16-petaflops-and-1-6m-cores-doe-supercomputer-is-worlds-fastest/
[24] ttps://web.archive.org/web/20120727053123/http://www.hpcwire.com/hpcwire/2011-10-11/gpus_will_morph_ornl_s_jaguar_into_20-petaflop_titan.html
[25] ttps://www.sdki.jp/reports/high-performance-computing-market/109365
[26] ttps://cloud.google.com/blog/ja/products/compute/calculating-100-trillion-digits-of-pi-on-google-cloud
https://anond.hatelabo.jp/20221016140905
2040 年前後、高度成長が一段落して成熟化した経済と喧伝される時節であっても
「バイデン老師は中国に於ける半導体産業興隆の父である」と大陸の業界関係者に
所謂、産業政策の観点からは 4 nm 以降の製造プロセス、製造や検査等の装置、
シリコンを代替可能な新素材の基礎研究に至るまで、純国産化を躊躇する理由が
arm や RISC-V の後継規格による SoC が HPC 、データセンタ、消費者向け端末等を
某社が PS3 Cell ブロードバンドエンジンで実現しようとしたことを具現化されますなぁ。
産業界と政治、官僚機構の回転ドア故の属人的な要素が悪い方向へ働き
ネガティブフィードバックを止められないといったところが、内実なのかもしれませんが
根拠のない皮算用 w で単年度 ￥ 8,000 億、20 年、短期的な成果を訴求せずに
投資すると腹をくくれば、世界の市場を飲み込む一大サプライチェーンが誕生すると
It is really a bad sign when someone starts claiming HPC leadership with benchmarks that are skewed to certain classes of apps. That’s marketing and not proper engineering.
https://twitter.com/ProfMatsuoka/status/1552644569892007937
And if you cannot show any reason which can be widely accepted in the society, using the word "radioactive" here can be seen as just a racism. If you use the word "radioactive" for daily joke, please stop it.
https://twitter.com/TJO_datasci/status/1422762826532233218
半導体の設計に必要なものとしては、人によって分け方に意見があるだろうが、ここでは下のように分ける。
1チップ作るのにソフトライセンス料金で数億かかる時代になっており、それだけ売上が見込める市場がないといけない。
またEDAソフトの使い方はGoogleで検索すれば出てくるものではないため、人材育成に時間がかかる。
先端ロジックを使うゲート規模になると最新のインテルサーバーを買ってきても時間がかかる。
クラウドもEDAベンダー的には今では対応しているが、クラウド代金も馬鹿にならない金額になる。
ただEDAソフトを使いこなせば性能が良いチップが出来るかとそういうわけではなく、製造してどこまでだったら動くのかギリギリを攻めないと競争に勝てず、
プロセス知識が必要になる。ファブレス企業を立ち上げただけで勝てないのは、そのあたりにあろう。
(米国のファブレスは人材の流動性やら、お金と規約で殴っているので解決できているはず）
差別化の為の設計をしようとするとツールが対応してないと出来ない。
国内で設計ソフトを持てなかった時点で駄目だったのかもしれない。
工場と装置を持ったとしても、そこで製造するチップがなければ意味がない。
かつ工場に継続的に投資をし先端を維持するには、製造するチップが扱う分野が成長市場でなければならない。
Googleはサーバー分野だと、速ければ速いほどよく大量に持てばよく、自社で使えない分は社外に開放して稼げるので、
車はあるが、要求スペックが高いわりに数が売れなかったり、単価交渉で車メーカーに負けていたりと、ババを引きたい企業しかやりたくない。
兎にも角にも、わざわざ半導体を作る必要があって、かつ数年で次世代半導体が必要になるような、
そんな針の穴を通すような成長分野を見つけないことには、日本の半導体復活は起こらない。
CPUやGPUやAI向けのような汎用計算用に乗り出すのが手っ取り早いのだが、
CPUやGPUの種類以上に日本で作っていた半導体は種類が多い。
日経などで少量多品種絶賛されていて、客の要望に合わせて機能を組み合わせた物を作った。
ある一部の顧客しか使わないような種類のチップをわざわざ切り替えるほど工場に余裕がない。
そしてそういう顧客が高い価格で買ってくれるかというとそうではない。
機能が多すぎるので、ウチの製品にしか使わない機能だけのチップにして安くしろ、という要望に答えたものだからだ。
Appleですら先端ロジックを使うとなると、M1を複数カテゴリーに投入といったように、
設計に金がかかりすぎて出来ない。
グローバルで馬鹿みたいに個数が売れるApple製品ですら、そんな状況だ。
半導体業界は実務で何をしているのかわからない、というのが殆どではないだろうか。
人手が必要だが、教育するための教科書も、これを読んでおけばひとまず業務が回せるようになるといったネットの記事もない。
このあたりの整備も必要ではないだろうか。
TSMCで半導体を製造しようとすると、米国産設計ソフトを使用する必要があり、
米国技術を使っている以上、海外に輸出するには米国法が適用され、好き勝手に輸出出来ない。
(もっともオープンソースだと機能が足りておらず先端ロジックは設計出来ない)
中国はCPUは以前から自前で設計出来ていたが、GPUも設計できるようになった。
ゲーム市場に規制が入る中国だと、ゲーム向けに性能を特化していくのはリスクがあるはずで、
CAEやらのシミュレーションソフト関係、HPCの関係でどこまでいけるか、というのが重要だろう。
製造業全般、もうどれだけ高度なシミュレーションを行って設計できるかが重要になってくる。
当然、軍事への展開もある。
ハードだけでなく、システムも巨大になっているので膨大な計算資源を持っている方が勝つ。
日本の製造業も計算機とその上で動くCAEを諦めるべきじゃなかったのではないか。
市場に出したら解析されるのが当り前の時代、クラウド側で隠蔽するのが普通になったし、
重要なハードは国内に置いておいてネットワーク越しで海外から使ってもらうのは普通になった。
iFixitのような解析会社のデータがオープンになっているのも、米国以外に下手に解析技術つけられても困るって側面もあるはずだ。
インテルやAMDはサーバー用CPUをスパコンに使ってもらえる。ノウハウも残る。
NVIDIAも同様。汎用機からのスケールアップなので、研究室にあるパソコンで環境を整えやすい。
RichReportのようにHPCを追いかけているメディアも日本にない。
https://www.youtube.com/user/RichReport/videos
｜因みに富嶽（富岳？）のCPUは命令デコーダをarm化したSparc64です。
｜https://monoist.atmarkit.co.jp/mn/spv/1905/07/news013.html
フリーライターの立場でこんな学術的な記事書けるのすごいと思うけど
”CPUは命令デコーダをarm化したSparc64です。”とかフリーライターの書いた記事を参考にしゃちゃダメでしょ・・・・
スパコン京の時に聞いた話だけど、HPC用のプロセッサは特注品でSI用に作ってるやつとは
わかりやすいとこだと、HPC用はL3キャッシュが無くてSI用はL3まである。
HPC用がL2までしかない理由は、これまたHPC用特別カスタムのLinuxカーネルに合わせるため。
LinuxカーネルがHPC用特別カスタムなのはそうしないと勝てないかららしい(OSノイズ)。
だから全部作り直しだと思うよ
HPCの富岳のやつ
