RAG構築のためのAzure OpenAI Serviceリファレンスアーキテクチャ詳解/wakarimiragarchitecture
English version 要約 dockerはデフォルトでセキュリティ機構(Spectre脆弱性の対策)を有効にします。この影響で、RubyやPythonのようなインタプリタは速度が劣化します。特にCPU律速なプログラムで顕著に遅くなります(実行時間が倍くらいになることがあります)。 現象 Rubyで1億回ループするコードを、直接ホスト上で実行する場合と、docker上で実行する場合で実行時間を比較してみます。 直接ホスト上で実行した場合: $ ruby -ve 't = Time.now; i=0;while i<100_000_000;i+=1;end; puts "#{ Time.now - t } sec"' ruby 2.7.1p83 (2020-03-31 revision a0c7c23c9c) [x86_64-linux] 1.321703922 sec docker
社内でKubernetesハンズオンをやってみたのでおすそ分け。 参加者6人からバンバン出てくる質問に答えながらやって、所要時間4時間ほどでした。 SpeakerDeckにも資料を上げています。 https://speakerdeck.com/ktam1219/yaruze-kuberneteshanzuon (2019/07/11追記) 続編書きました! -> 今度はあんまりゴツくない!?「わりとゴツいKubernetesハンズオン」そのあとに ハンズオンの目標 Kubernetesとお友達になる イメージを掴む 触ってみる(ローカル・EKS・ちょっとGKE) 構築・運用ができるような気分になる 巷にあふれるKubernetesの記事・スライドが理解できるようになる EKSがメインになっているのは、会社の業務でAWSを使うことが多いからです。 純粋にKubernetesを勉強したいだけな
この方法が一番手軽なのですが、Selenium等のスクレイピングなどモジュール意外にも環境用の設定ファイルの引き継ぎが必要な場合にはLambdaはあまり向いていなく、手持ちのサーバーの隅っこに必要なときだけ呼び出せるAPIを実装しておいたら楽なのではないかと思っています。 Docker。それは、ローカルとリモートの環境の違いをなくす救世主 ローカルとリモートで環境構築を毎回し直すのは非常に面倒です。 そこで現れた救世主がDockerです。 Dockerというのは、Mac/Windows/Unix問わずで動作し、そのDockerと呼ばれる概念の上で、LinuxのOSを動作させます。 そのため、MacでもLinuxの環境で操作したり、WindowsでもLinuxの環境で操作しておくことで、サーバーに実装する際にそのまま持っていくことができます。 引用元:Get Started, Part 1:
Google、Dockerイメージに対するテスト自動化フレームワーク「Container Structure Tests」オープンソースで公開 Container Structure Testは、コンテナ内部でコマンドを実行することで正しい出力やエラーが帰ってくるかどうかや、コンテナ内部のファイルが正しく格納されているかなどの検証を実行できるフレームワークです。 具体的には下記のテストをサポートしていると説明されています。 Command Tests コンテナイメージ内部でコマンドを実行し、正しい出力やエラーが返ってくるかを検証する。 File Existence Tests コンテナイメージ内部に、あるファイルがファイルシステム内の適切な位置に存在しているかどうかを検証する。 File Content Tests コンテナイメージ内のファイルシステムにあるファイルのコンテンツとメタデータ
最近、SRE になった @b4b4r07 です。今回は、直近のタスクだった社内アプリを Kubernetes に載せ替えた話をします。 前置き メルカリでは全社的 1 に Crowi という Markdown で書ける Wiki アプリケーションをナレッジベースとして採用しています。 site.crowi.wiki 以前は、プロダクトチームは Qiita:Team、コーポレート系は Google Sites と言った具合に、各部署ごとに異なるドキュメントツールを使っていました。これではよくないと、エンジニアに限らず誰でも書きやすく参照しやすい Wiki のようなサービスが必要とされ、Crowi の採用に至りました。 まずはみんなに使ってもらうために広めていこうと、試験的に導入が始まったため、今回の移行話までは 1 台の EC2 インスタンスにアプリケーションサーバと Nginx、Mongo
Docker上のCentOSにPython3と、関連ライブラリpip, virtualenvとフレームワークDjango, bottle, Flaskのインストール!これらをまとめたDockerfile付き!PythonDjangoFlaskDockerbottle はじめに 「優しいIT」という理念の基、ITコンサルタントをしている亀井亮介と申します! 現在、仕事では要求分析・要件定義を中心に上流工程をしていますが、プログラムも書きます! 2016年7月17, 18日に友人と「Pythonハック会」をしています。 Python3系のDockerイメージは既にあると思いますが、今回作成したDockerfileを使えば、常に最新版のCentOSでPython環境を構築できるので、意味があるかと思います! フレームワークはDjangoだけでなく、bottleとFlaskのインストールも記載して
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 現在お手伝いしているアカウンティング・サース・ジャパンにて、ECSを使ったDockerの本番運用を始めたので、その一連の流れについてまとめました。 税理士向け会計システムを扱うアカウンティング・サース・ジャパンでは最近Scalaでの新規プロジェクトが立ち上がってきており、既存のプロジェクトはJavaであったり、Erlangであったりと様々な言語が用いられていますが、インフラ人員が少ないということもあり、なるべくシンプルなインフラ構成を実現する必要がありました。 そういった中、各アプリケーションをDocker化することでインフラ
追記 直近の Docker 界隈について Linux コンテナ 参考 Linux コンテナとは Linux コンテナを構成する主な機能 OS リソース毎の Namespace cgroup サブシステム こんなにざっくりでは、Linux コンテナは語れないと思うけど haconiwa haconiwa とは haconiwa で何が出来ると? haconiwa 導入 はじめての haconiwa (1) はじめての haconiwa (2) 〜 コンテナ作成 〜 はじめての haconiwa (3) 〜 コンテナ起動 〜 haconiwa で学ぶ Linux コンテナ .haco ファイル再掲 namespace を弄る前に namespace uts namespace pid 俺は Linux コンテナについてなんにも解っていなかった(まとめ) haconiwa は Linux コンテ
このブログはGitHub pagesを使って公開していたが、GKEに移行することにした。 はてなブログからHugo on Github Pagesに移行しました これを聞いて、99%の人が、HugoでHTMLファイルを生成して公開しているならわざわざサーバーなんて必要ないんじゃないか?金の無駄じゃないか?と思うかもしれない。 自分もそう思う。 今回GKEを使ったのはGKEとk8sでのコンテナ運用を経験したかったことが非常に大きい。 会社ではECSを本番運用しているが、ECSに比べてk8sの方が良さそうな雰囲気しかないのでGKEの方も触っておこうかと思って移行した。 また、今のところブログ以外に個人で運用しているWebサービス等はないため、ブログがちょうどいい題材だった。 GKEとは GCP(Google Cloud Platform)で提供されている、k8s(kubernetes)のフルマ
以前に私が書いた「 Dockerの本番運用:失敗の歴史) 」という記事は、非常に多くの反響を呼びました。 その後、長い議論を交わして、何百件ものフィードバックや何千件ものコメントを読み、さまざまな人々や主要事業者とも顔を合わせました。Dockerでの試みが増えるほど、その失敗談は増えていきます。そうした現状を、今回アップデートしておきたいと思います。 この記事では、最近の交流や記事から得た教訓を紹介しますが、その前に簡単におさらいをして軽く背景を説明しましょう。 免責事項:対象読者 たくさんのコメントから、世の中には10種類の人々が存在するということが明らかになりました。 1) アマチュア 実際のユーザがいない試用版のプロジェクトやサイドプロジェクトを実行している人々です。Ubuntuのベータ版を使用するのが当然だと考えており、「安定したもの」は古いものと見なすようなタイプです。 注釈:書
Microsoft Learn. Spark possibility. Build skills that open doors. See all you can do with documentation, hands-on training, and certifications to help you get the most from Microsoft products. Learn by doing Gain the skills you can apply to everyday situations through hands-on training personalized to your needs, at your own pace or with our global network of learning partners. Take training Find
ブロックチェーンのオープンソースプロジェクト "Hyperledger" で提供されているブロックチェーン基盤 "iroha" をDocker上で試してみました。 ブロックチェーンの勉強をこれから始めようと思っている人などの参考になれば幸いです。 "Hyperledgerプロジェクト" とは https://www.hyperledger.org/ "Hyperledgerプロジェクト" とは、Linux Foundationが中心となって運営しているブロックチェーン技術/P2Pレッジャー技術の確立を目指したオープンソースプロジェクトです。世界30以上のIT企業がこのプロジェクトに参画しており、有名どころではIBMや富士通、インテル、アクセンチュアなどが名を連ねています。 "Hyperledger iroha" とは "Hyperledger iroha(以下、iroha)"とは、このHy
[速報]オラクル、Docker StoreでOracle DatabaseやWebLogicなどのオフィシャルイメージを配布開始。開発やテスト用途は無料で利用可能。DockerCon 2017 テキサス州オースチンで開催中のイベントDockerCon 2017。2日目の基調講演において、オラクルは同社の主要ソフトウェアのDocke対応の推進とDocker Storeでの配布を開始したと発表しました。 2日目の基調講演にゲストとして登壇したオラクル製品開発担当VPのMark Cavage氏は、Oracle Database、Oracle WebLogic Server、MySQL、Oracle Linux、Javaなどの主要ソフトウェアのDocker対応と、オフィシャルイメージのDocker Storeにおける配布開始を発表。 これらを開発やテストの用途に使用する場合には、無料で使用可能であ
Docker、「LinuxKit」を発表。コンテナランタイムのためだけにゼロから開発されたセキュアなLinux Subsystem。DockerCon 2017 Dockerは、コンテナの実行に必要な機能に特化したLinux Subsystem「LinuxKit」を、テキサス州オースチンで開幕した同社のイベント「DockerCon 2017」で発表しました。 Linux Subsystemとは、例えばWindows 10のbash機能がWindows 10内部に用意されたLinux Subsystemで実現されているように、システムの一部として組み込まれて動作し、Linuxの機能を提供するコンポーネントを指す一般名称です。 つまりLinuxKitとは、コンテナプラットフォームに組み込まれてLinuxの機能を提供するコンポーネントということになります。 Linux Foundationなどと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く