Linuxサーバーの最適化: vmstatとiostatを活用した性能分析と対処法 0.目的 インフラ開発者として、必須な性能分析を身につけることを目的としています。 カーネルパラメータをチューニングをする際に性能分析を前提とし、分析結果からチューニングしていきますが、具体的な指標というものが少ないので参考になれば幸いです。 基本的なvmstatの使い方については、ちょっとググればいくらでも出てくるので割愛します。 「Linuxカーネルパラメータのチューニング＆設計」でロードアベレージが高い状態にある場合、次のアクションとしてCPU使用率の確認が必要となりますので、vmstatの結果分析および対処法について深堀していきます。 よって、vmstatの結果分析と対処法を理解すると性能試験を実施した際のその対処法とカーネルパラメータによるチューニングする対象が理解できるかと思います。 1.パフォ
【～8/28参加】超メルカリ市 ＆ 爆トク祭 (メルカード) メルカリとメルカードで夏の大型キャンペーンを開催中です。 概要 メルカリの超メルカリ市(前夜祭8/22～8/28、超メルカリ市8/29～9/17)と、さらにメルカードも最大13,00... サーバ上で作業する際のumask設定を統一したいことがあります。 ssh、sftp、scp、sudo、su等、多様なログインやユーザ切り替えを想定すると、たくさんの設定箇所を考慮する必要性があります。 本記事では、umask値を統一する方法についてまとめます。 本記事の目的 umask設定を統一する際のポイントを把握する 基本 前提 対象OSはRHEL8系(CentOS、AlmaLinux、RockyLinux等)、シェルは主にbashです。 他のOS、ディストリビューション、シェルでは関連するStartup Files(profileやba
はじめに 昨今では1行につき、1つの JSON を出力する様なログファイル形式も珍しくはありません。 grep しやすい データベース化しやすい これらの理由で各所で多く使われています。僕も仕事で普通に使っているのですが、ある日突然そのログファイルを集計するスクリプトで以下の様なエラーが出始めました。
Linuxディレクトリ構造とファイルの種類 Linuxのディレクトリ構造もまともに把握できないまま開発をしていたのでこの機会に勉強してみました。 Linux入門者は、まずLinuxの構造について先に習得し、Linuxに適応するのに早いです。 Linuxファイルシステム構造 [全体構造図] 🚩me/はただのユーザー名の例として認識してください。 / (root) 最上のディレクトリであるルートディレクトリを意味。リナックスのすべてのディレクトリたちのスタート地点。すなわち、すべてのディレクトリを絶対経路で表記する際にこのディレクトリから始める必要がある。 /bin /binフォルダはBinary Folderの略で、OSの最小限の正常な駆動のため、すべてのユーザーが使用する実行ファイルが入っているフォルダ。 つまり、基本的なコマンドが保存されたディレクトリで、cat、chmod、chown
Filesystem Hierarchy Standard（ファイルシステム・ハイアラーキー・スタンダード、FHS、ファイルシステム階層標準）は、Linuxを含むUnix系オペレーティングシステム (OS) での主なディレクトリとその内容を定めたものである。大部分において、BSD系のディレクトリ階層を基にして拡張し定式化している。 主要ソフトウェアおよびハードウェアベンダーからなる非営利組織Linux Foundationが保守管理しており、HP、レッドハット、IBM、デルといったベンダーが参加している。 2020年11月)現在の最新版は3.0で、2015年6月3日に発表された[1]。 多くのLinuxディストリビューションはFHS準拠を方針として宣言し、FHSにしたがっている[2][3][4][5]。 もともと、UNIXやUnix系OSには、/etcや/binや/usrなどごく基本的な部
できること sysstatを起動しておき、定期的に吐き出されるログから過去のリソース状況を遡れる 実行結果 使い方： sar オプション [-s 開始時刻] [-e 終了時刻] [-f ログファイル名] [表示間隔秒] [回数] sysstatパッケージをインストール&起動
概要 サーバの応答が遅くなるなど計算機のパフォーマンスに問題が生じたとき、原因としてCPU・メモリ・IO・ネットワークなど色々な原因が考えられます。原因を特定するために、それぞれのリソースの状況を見ていき、例えば「CPU使用率が100%近い値になっていないか」「メモリが足りなくなってスワッピングが頻繁に起きていないか」など考えられるものを検証していく必要があります。 計算機の状況を知るためのコマンドにはvmstatやiostat、topやpsなどいろいろあると思いますが、その中でもsarは様々なリソースについて過去に遡って見ることができるため、大まかな原因特定に非常に役立つので、使い方についてまとめておきます。 sarコマンドの基本的な使い方 オプション/引数 sarを使えば、CPU・メモリなど計算機のパフォーマンスに関わる様々なリソースの情報を得ることができます。引数やオプションの基本的
string meaning ------ ------- @reboot Run once, at startup. @yearly Run once a year, "0 0 1 1 *". @annually (same as @yearly) @monthly Run once a month, "0 0 1 * *". @weekly Run once a week, "0 0 * * 0". @daily Run once a day, "0 0 * * *". @midnight (same as @daily) @hourly Run once an hour, "0 * * * *".
はじめに これまで、cronの設定をする際は/etc/crontabに記述して設定を行っていました。 しかし、ある時/var/spool/cron/[user]というファイルを見つけてしまったので、この二つの違いを自分なりに調べてまとめてみます。 ちなみに、[user]には任意のOSのユーザー名が来ます。 比較 ##/etc/crontab システムジョブ（デイリーログローテーション、デイリーバックアップ等）で使用するもの すべてroot権限で実行 設定ファイル： /etc/crontab 設定方法: # vi /etc/crontabでファイルを編集 記述方法： 分 時 日 月 曜日 ユーザ コマンド 設定の反映には、HUPシグナルを手動で送信する必要あり（crondの再起動） ##/var/spool/cron/[user] ユーザージョブ（臨時バックアップなどの臨時で実行するジョブ）
![【違い】/etc/crontabと/var/spool/cron/[user] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fac4d822226a6e18d3bc53ef3c3a6cafc338dd09/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTY4NjM1JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDg4NTQyNTQ3P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWJjZmQ2MDljNTUzNzBhZmQ3ODdmYzJkYTIyZWI1OWQ5%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D6aeec010a388af6448a7de607e743b40%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JUUzJTgwJTkwJUU5JTgxJTk1JUUzJTgxJTg0JUUzJTgwJTkxJTJGZXRjJTJGY3JvbnRhYiVFMyU4MSVBOCUyRnZhciUyRnNwb29sJTJGY3JvbiUyRiU1QnVzZXIlNUQmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0zZWUxZmU5OWRiZGFlMmZmOWY4NTVmOGU2ZGM0MzU2Mg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB0YWthaGFzaGkta2F6dWtpJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NzIzNDgzN2NiNjlkNjk1ZmUwMmUyZDVmYTliMjk1YTk%26blend-x%3D242%26blend-y%3D454%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OY44OD44OJ44Km44Kp44O844K_44O844K5%26txt-x%3D242%26txt-y%3D539%26txt-width%3D838%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25231E2121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D28%26s%3Dbfed0b72242cf3c320d25ca948028aae)
システムにおけるスワップ運用の私見 Linuxのスワップ ～正確にはページフォルトですが～ は、どう運用すべきかを考えます。 まずスワップが必要か、必要でないかといえばスワップ領域は必要です。 実メモリ（物理的なメモリ）は、プログラムのメモリ空間だけではなく、I/Oのキャッシュバッファとしても使われます。 プログラムが使わなくなったメモリ空間を抱えていて、一方でパフォーマンスのために必要なI/Oのキャッシュバッファが十分に確保できないのでは本末転倒です。使わなくなったメモリ空間をスワップに追い出すことができれば実メモリを有効に活用できることになります。 古くから「メモリサイズの2倍か3倍のサイズを取る」というのが慣習的に行われています。 しかし、この数字はベストプラクティスであって、理論的背景があって決められている数字ではありません。 一律の値ではなく、稼働させるアプリケーションと搭載メモ
特別な理由がなければ，最低500Mバイトを確保しておけば十分ですが，緊急用の作業区画として4Gバイトほど用意しておくと安心です。 Linuxのインストール時に頭を悩ませるのが，スワップ区画にどの程度の容量を割り当てるかということです。スワップ区画とは，物理メモリーに入りきれないプロセスやデータを一時退避させる記録領域です。スワップ区画を設定することで，少ない物理メモリーしか搭載しないマシンでも大きなメモリーを必要とするプログラムの実行や，多数のプロセスを稼働させることなどができます*1。 最近はメモリーの低価格化が進んでいますから，個人のパソコンでも2Gバイト程度のメモリーを搭載するのは普通になってきました。この程度あれば，スワップ区画を設定しなくても通常は問題なくLinuxを利用できます。つまり十分な物理メモリーさえあれば，本来的にはスワップ区画は設定する必要はありませんし，設定する場合
手順はこちらの記事からの引用です。 http://piro791.blog.so-net.ne.jp/2009-03-05 同じように試してみて、できました。 swap領域の確認 現状のswap領域について確認するには /proc/swapsを見る。 [root@test-server1 ~]# cat /proc/swaps Filename Type Size Used Priority /dev/sda2 partition 2096472 2091628 -1 /dev/sda2に、およそ2GBのswap領域が作成されている。で、この2GBの領域をもうじき使い切りそうな勢いである。 swapを追加する方法としては、上記のように、ディスクにswap用のパーティションを作成する方法と、通常のファイルシステムの上にswap用のファイルを作成し、それをあたかもswap専用の領域として使わせ
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす Webアプリを動かして負荷をかけると、OSのプロセスという観点ではどのように見えるのでしょう？ それを通して運用やトラブルシューティングではどういったことが分かるのでしょう？ Linuxカーネルの開発者でもある武内覚（sat）さんによる解説です。 こんにちは、sat（@satoru_takeuchi）と申します。 コンピュータが誕生してから現在まで、最終的にエンドユーザが意識するアプリケーション開発はどんどん楽になっています。先人たちのたゆまぬ努力の結果、アプリ開発者はOSや、そのさらに下にあるハードウェアのことをほとんど意識することなく開発ができるようになりました。 しかし、「作ったアプリが、OSレベルでどのように動いているか？」が今一つピンと来なくて、モヤモヤしていないでしょうか。それ
Ubuntu 14.10 の仮想環境に追加のHDDをマウントする方法です。 まず VirtualBox の設定で HDDを追加します。 設定画面を開きます。 新規でHDDを追加します。 良くわからないのでデフォルト 可変にしておくと、使った分しかHDDを使用しないようです 余裕をもって50G くらい割り当てておきます さて、設定が終わったら仮想マシンを起動し 今作ったデバイスを確認します。 root@ubuntu:~# fdisk -l Disk /dev/sda: 20 GiB, 21474836480 bytes, 41943040 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal):
著者：江添亮 ブログ: http://cpplover.blogspot.jp/ メール: boostcpp@gmail.com Twitter: https://twitter.com/EzoeRyou GitHub: https://github.com/EzoeRyou アマゾンの江添のほしい物リストを著者に送るとブログ記事のネタになる 筆者にブログのネタになる品物を直接送りたい場合、住所をメールで質問してください。 gitの10周年を記念したLinus Torvalsへのインタビューの翻訳 10 Years of Git: An Interview with Git Creator Linus Torvalds | Linux.com gitの10週年を記念して、リーナス・トーバルズがインタビューに答えている。以下はその翻訳である。 なぜGitを作ったのか？ トーバルズ：俺はソース
column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。 以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://upload.wikimedia.org/wikipedia/commons/1/1b/Linux_Distribution_Timeline.svg
