これはなに？ ちょっとした分析の用事で久しぶりにGoogle Colaboratory (以下 Colab) を触ったら結構良くなってました。Cursorでコード書くのも快適だけど、面倒なデータ分析やるならやっぱColabの方が便利だなぁと再認識しました。 そこで、最近Colabに追加されて便利になったと思う機能を簡単にまとめてみました。(見てわかる通りタイトルはもちろん話題のあの本のオマージュです😇) 最近のColab便利機能を使おう 粒度まちまちですがざーっと書いていきます。「最近」の定義は曖昧なのでご容赦ください。 Github Copilot的なコード補完を使おう Github Copilotみたいなコード補完機能がついにColabに搭載されました。↓のように補完してくれます。 VS CodeでもCursorでも一緒やん、って思われるかもしれませんが、Colabのような多機能No
はじめに以前のポストColab TPU で transformers Flax+JAX で文章分類を試してみるで、 TPU を使って Flax/JAX モデルで文章分類を試しました。 今回は、Pytorch 版のモデルで TPU(v2-8)を用いて文章分類を試してみます。Pytorch 版モデルで TPU 学習を簡単に行うための accelerate パッケージを利用します。 accelerateaccelerateは、pytorch 版のモデルを、マルチ GPU/TPU/fp16/deepspeed での学習を簡略化するためのパッケージで Huggingface によって公開されています。 accelerate はいろいろな実行方法があるのですが、今回は既存の学習スクリプトに対して CLI のラッパーのような形で実行する方法を試しました。 transformers の examples
#1.はじめに Google Colab で Google drive の公開ファイル (例えば、fastText日本語版の学習済みモデルとか) を使う場合は、PCに一旦ダウンロードしてから Google drive経由で使うのが一般的だと思います。 普通はこの方法で問題ないわけですが、場合によっては わざわざ別途手動でダウンロードせずに、Google Colab を先頭からポチポチするだけで動くコードにしたいと思ったりするわけです。 今回は、そのための良い方法をWebで見つけましたので、備忘録として残します。 #2.サンプルコード サンプル例は、fastText日本語版学習済みモデル です。URLをクリックすると、まずこの画面が現れます。 この画面で、赤枠のボタンを押すと、ダウンロード画面になります。 そうしたら、このダウンロード画面のURLを控えておきます。後は、以下のコードで、直接ダ
Google Colaboratry は機械学習向けの実験環境で、とても便利なんですが、そこで構築したモデルやツールのデモなどで、Colaboratry 上でウェブアプリや API を一時的に公開したいことがあります。 そんな時、今までは ngrok などの外部サービスを使って、半ば強引にポートを公開していたのですが、実はそんなことする必要がないことを知りました。 サーバーの立ち上げ まずは公開したいサーバーを立ち上げます。バックグラウンドで実行して欲しいので、 nohup と & を使ってやります。 PORT = 8000 PATH = '' # 検証用に適当なサーバーを立ち上げておく !nohup python3 -m http.server $PORT > server.log 2>&1 &
jupyter notebook中で書いたコードの実行時間やボトルネックを調査したい場面が出てくることもある。IPythonのマジックコマンドを用いると簡単にプロファイリングを実行できる %timeや%timeitを使うと、コードの実行時間を表示してくれる。 %%timeや%%timeitなどとすると、セル単位での実行時間の計測も可能 %timeはシングルショットの解析。%timeitはよしなに複数回での最速や平均、分散も出してくれるので、より正確なベンチマークを行いたい場合などは%timeitを使うのが良さそう %time x = map(lambda x: x * 2, range(10000)) CPU times: user 9 µs, sys: 1 µs, total: 10 µs Wall time: 15.7 µs %timeit x = map(lambda x: x *
Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など オープンソースのコードエディタ「Visual Studio Code」が10月のアップデートでPython関連機能の強化などを行いました。機能強化はおもにPython拡張機能を通じて提供されます。 The October release of the #Python extension for @code is here! Try out native editing of #JupyterNotebook files , a button to run Python files in the terminal ▶, and improvements to the Python Language Server. Learn more on our
記事一覧へ English Internet of Tomohiro よろしければ投げ銭をお願いします。 sshでGoogle Colaboratoryを使う2022/9/15: Google ColaboratoryでリモートデスクトップまたはSSH を使うことは許可されなくなりました VNCを使ってGoogle Colaboratory上のデスクトップ環境を使うこともできます。 必要なものパソコンまたはAndroidスマートフォン Googleアカウント Google Colaboratory が使えるブラウザ sshクライアント Windowsを使う場合は scoop を使うと簡単にopensshをインストールできます。 Androidスマートフォンを使う場合は JuiceSSH が使えます。 手順詳しい手順は以下のサイトをご覧下さい。 https://github.com/demo
RTX 2080Tiを2枚使って頑張ってGPUの訓練を高速化する記事の続きです。TensorFlowでは複数GPU時に訓練が高速化しないという現象がありましたが、PyTorchを使うとRTX 2080Tiでもちゃんと高速化できることを確認できました。これにより、2GPU時はTensorFlowよりも大幅に高速化できることがわかりました。 前回までの記事 対決！RTX 2080Ti SLI vs Google Colab TPU ～Keras編～ TensorFlow/Kerasでchannels_firstにするとGPUの訓練が少し速くなる話 ハードウェアスペック GPU : RTX 2080Ti 11GB Manli製×2 SLI構成 CPU : Core i9-9900K メモリ : DDR4-2666 64GB CUDA : 10.0 cuDNN : 7.5.1 PyTorch :
Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates. � �nNV P8�nNV
前回の記事で、Deep Learningの勉強にMicrosoft AzureのDeep Learning VMを借りようと考えてたのですが、主婦がちょろっと試すにはお値段が高いワ…と悩んでいました。そこで見つけたのがコレ↓ Google Colaboratory 機械学習/Deep Learningの教育や研究の促進を目的としたGoogleのプロジェクトらしい。機械学習を実験するのに必要なライブラリが一通りインストールされた仮想マシン上で、Jupyter Notebook(のようなもの)形式でPythonを実行することができます。その上、『NVIDIA Tesla K80』という1コ約80万円(価格.com調べw)もするGPUを無料で使わせていただけるそうですよ。さすがGoogle太っ腹ァ！！ ということで、Googleアカウントさえあれば無料GPU+環境構築不要ですぐにDeep Lea
前回の記事が思わぬ反響で驚愕していますが、今回はColabのTPUを限界まで試してみたいと思います。特殊な条件にするとColabのTPUは、GPU比で20倍以上速くなることがわかりました。しかも無料です。それを見ていきましょう。 TPUがGPUと比べて速くなる条件とは 前回の結果からTPUがGPUと比べて速くなる条件は2つあることがわかりました。 多層パーセプトロン（MLP）よりも畳み込みニューラルネットワーク（CNN）であること バッチサイズを大きくできること 1点目ですが、CNNだから速いのではなく、CNNがパラメーター数の割に計算量が多い、つまり訓練時間のうち計算量が支配的になるからと捉えることもできます。なぜなら、CNNは1つの畳み込みフィルターでパラメーターを使いまわしするのですから。 またGPUで行ったフレームワーク別の調査をTPUに適用したところ、TPUではモデル（ResNe
元ネタ https://discourse.julialang.org/t/julia-on-google-colab-free-gpu-accelerated-shareable-notebooks/15319 本記事の内容はこちらにすべて書かれてます。 以下はそれをやってみた系の備忘録となります。 手順 上記のリンク先では GPU を使うとのことですが、今回は普通に CPU でサクッと試してみます。 GPU を使う場合は、インストールに15~20分くらいかかるらしいですし、自分がやったときは Error でしくじりました。 1. Google Colabをひらく Python3 で新しいノートブックを作成してください 2. 以下のコードをセルにコピペして実行(Ctrl+Enter) !curl -sSL "https://julialang-s3.julialang.org/bin/l
修正(2020/9/8) さらに簡単になり、左上のフォルダマークから「ドライブをマウント」をクリックするだけでマウント完了するようになりました。 ドライブのマウントボタンを押すと… アクセスを許可するか聞かれるので、「Googleドライブに接続」をクリックして認証に進む 認証後、ドライブのマウントボタンに斜線が入り、driveフォルダ配下に「My Drive」がマウントされています ここから、フォルダ/ファイルのパスもコピーできるので、便利です！ ※場合によっては、クリックしてもマウントできず、マウントするためのセルの実行を求められることがあります。その場合は、言われた通り現れたセルを実行しましょう！ （参考） ##前提 私は、研究でGoogleのcolaboratoryを使用しています。 （研究室で使えるGPUがないからね！） なので、google driveに学習するデータをあげて、マ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
