気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
280 usersがブックマーク
30
30
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する
280 users
qiita.com/ko1nksm
記事へのコメント30件
- 注目コメント
- 新着コメント
xlc
シェルに限らずSQLを扱えた方がデータ処理には便利なので軽いDBMSのSQLiteはいろんな局面で使われるのだと思ってる。なので近頃のNoSQLの濫用は全く理解できない。何でハッシュに戻すかね。
n314
内容は正しいんだけど、ここまで執拗に書かれると「そんなに複雑で大量のデータをファイルで管理しようとする人いる…？」ってなるな。wikiとかgitとか、昔の掲示板はファイル管理だな。よくデータ飛んでた。
aa_R_waiwai
いいたいことは分からんでもないが、自分なら「DBで管理したい」って時点でシェルスクリプトは候補から外し、PHPかPythonで組んで、mariaDBとかにするかなあ。シェルスクリプトはテストもしにくいし、DBもdockerがあるし。
OkadaHiroshi
そもをも標準POSIXコマンドだけで完結させないのだったら、シェルスクリプトでなくPython, Ruby 等で書けば良いのにと思う、PythonだとSQLiteは標準ライブラリだし、rails アプリケーションならSQLite入っているだろう。
masatomo-m
「ちょっとしたデータ処理」が肥大＆複雑化していくのは良くある話なので悪くない方向だと思う。バッチ処理とかだとWebシステムほど同時実行制御を考えなくて良いのでファイルロック周りの問題は無視できるしね
yarumato
“Unixコマンドによるデータ管理は欠点多い。ランダムアクセスできない（大ファイルも全て読み込む）から検索・更新・ソートが遅い。テキスト形式は（1GBの）データ管理に適切ではない” ←UNIX哲学の否定
nakamura-kenichi
むかーし、winアプリのDBにSQLite使ったけど、すぐ壊れるんで最終的には自動リカバリーの為に何重にもバックアップ取る羽目になったなあ。あれから使ってないけどもう安定してんだろうか。
aa_R_waiwai
いいたいことは分からんでもないが、自分なら「DBで管理したい」って時点でシェルスクリプトは候補から外し、PHPかPythonで組んで、mariaDBとかにするかなあ。シェルスクリプトはテストもしにくいし、DBもdockerがあるし。
khtokage
shellに限らず、SQLなり簡易的にでもO/Rマッパー使えるようになるのでSQLite使うのは便利だよね。記事にあるように in memory にザッと入れてSQLで処理する、はスクリプトでもよくやる。
OkadaHiroshi
そもをも標準POSIXコマンドだけで完結させないのだったら、シェルスクリプトでなくPython, Ruby 等で書けば良いのにと思う、PythonだとSQLiteは標準ライブラリだし、rails アプリケーションならSQLite入っているだろう。
masatomo-m
「ちょっとしたデータ処理」が肥大＆複雑化していくのは良くある話なので悪くない方向だと思う。バッチ処理とかだとWebシステムほど同時実行制御を考えなくて良いのでファイルロック周りの問題は無視できるしね
n314
内容は正しいんだけど、ここまで執拗に書かれると「そんなに複雑で大量のデータをファイルで管理しようとする人いる…？」ってなるな。wikiとかgitとか、昔の掲示板はファイル管理だな。よくデータ飛んでた。
zoidstown
“一千万件のデータから、目的のデータを検索する例です。この例では Unix コマンド（awk）は sqlite3 に比べると 233 倍も遅いです。データの件数が増えれば増えるたびに Unix コマンドでは検索速度が遅くなってしまいます。
xlc
シェルに限らずSQLを扱えた方がデータ処理には便利なので軽いDBMSのSQLiteはいろんな局面で使われるのだと思ってる。なので近頃のNoSQLの濫用は全く理解できない。何でハッシュに戻すかね。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する
なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQL... なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人！？ SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える（やらなければいけない）のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2022/04/02 リンク