「JMeterの結果CSV、216万行か〜。これくらいだったらJMeterの「グラフ表示」で読み込んで見られるかな〜」 CPU「ブオオオオオオオオン！」 はじめに システムの負荷試験において、Apache JMeterのようなツールを使って試験を実施・結果を出力するケースもあると思います。結果ファイルのサイズがそれほど大きくない場合は、全データを計算する（JMeterでいう「統計レポート」）で問題ありませんが、例えば、長時間負荷をかけたので時系列でデータをグラフ化したい、といったことになると事情が変わってきます。JMeterの結果CSVは手元にあるので、なんとかこれを活用したいところではありますが、数百万行レベルのデータになると、とたんにExcelなどでは辛くなります（というか最大行数的に無理な気がします）。 そこで、ちょうど、弊社木戸がElasticsearchシリーズを連載しているとこ
CSVやTSVのデータを扱っていると、大容量になるとcatなんかでは抽出するのは辛くなってくる。 かと言って、grepで行抽出、awkで列指定しての行抽出となると毎回はちょっとつらいし、複数人にそれをやらせるとブーイングが来そうだ。DBにインポートすればよいのだろうが、それも面倒くさい。。。jsonであればjqコマンドを使えば良いのだけど、そうも言ってられないし、わざわざjson形式に切り替えるのも面倒くさい。 そんな時に使えそうなのが、csvファイルに対してSELECT文などを利用できるコマンド「q」コマンドだ。 これならSQL使えれば簡単に扱えるし、DBも必要なさそう。 1.インストール インストールは簡単で、こちらを参考に各OSに合わせてバイナリをインストールするだけだ。 今回はCentOS 7でインストールしてみる。 curl -s http://harelba.github.io
CSV ありますね。カンマ区切りのデータ形式。 なんか根強いファンがいて、どうしてもこの形式のファイルをダウンロードしたりアップロードしたりしたいという要望をよく聞きます。 CSV がほしい理由 これをやりたい理由のひとつとして、Microsoft Excel からエクスポートしたデータを読み込ませたいとか、逆にシステムにあるデータをエクセルで見たいとかいうのがあると思います。あると思いますっていうかほとんどそれじゃないかな。 けどこの場合、カンマ区切りである必要はないんですよね。要するにエクセルとやりとりできさえすればいいわけで。 だったらカンマじゃなくてタブですよタブ。 カンマ区切りをやめてタブ区切りにすると、いろいろいいです。 何もエクスポートしなくても、エクセルの画面で「すべて選択」して「コピー」したら勝手にタブ区切りになってるからそのまま貼っつけるだけでいい。 テキストエディタな
身近なオープンデータを簡単に公開して、アプリ化できるとして注目されているWebサイトがある。「LinkData.org」だ（図1）。理化学研究所 生命情報基盤研究部門長の豊田哲郎氏や、同情報基盤センター リサーチアソシエイトの下山紗代子氏らの研究グループが開発し、2014年10月に一般社団法人リンクデータを立ち上げた。 オープンデータとは、行政や企業が商用を含めて自由に加工・再配布できるように公開したデータのこと。政府や地方自治体を中心にオープンデータを積極的に進めており、身近な社会的課題解決から、企業がビジネスに役立てることもできる。オープンデータを活用した新たなビジネスも登場している。 とはいえ、日本でのオープンデータ活用は道半ばだ。地域住民に身近なデータを多く保有する地方自治体のうち、オープンデータに取り組んでいるのは2015年2月現在で100自治体だという。データ公開のノウハウや基
文字コード：UTF-16LE（BOM必須） 改行コード：CRLF 区切り文字：tab 出オチですが。 - 昨今は多言語に対応したフォームを作ってくれ、というオーダーもちらほらありますが、お客さんは管理画面からDLできるCSVをエクセルで開くわけで、何も考えて作らないとバリバリ文字化けします。 そういう時はエディタで開くとか、エクセルなんかではなくて、Open Officeとかで開くのが順当なんですがね、そんなちゃんとしたことが出来る方は滅多にいませんし。 Excelは当然ユニコード対応してるんですけど、なぜかUTF-8はちゃんと認識してくれない。 UTF-16とかいまさら誰がつかってんの（内部コード用にはよくつかわれてますけど、ファイルフォーマットとしては、UTF-8が世界的にもデファクトちゃうの？）という気がしますし、そもそもBOMがないとやっぱりコケるのが謎すぎる。 さらに、そのUTF
こんにちは。ウェブ開発担当の木戸です。 突然ですが、PHP で CSV ファイルを連想配列に変換してゴニョゴニョ…ってよくやりますよね？ 私も先日開発中に、CSV の関数なんだったかなーと思って「php csv」で検索していたのですが、ファーストビューが定番の fopen して fgetcsv の公式サンプルや記事ばかりでタイトル通り「？」だったので、調査してみたところ、意外と面白いことがわかりました。 やっぱり fgetcsv だけじゃなかった 似たような機能を持つ関数が複数あり、公式ドキュメントを見てもどれを使っていいかわからない、なんてこと PHP ではよくありがちです。CSV 変換もやっぱりいろんな方法がありました。 そこで今回は、あらゆる CSV 変換処理を検証し、処理時間とメモリ使用量を比較します。処理はレコードごとの連想配列に変換するのみで、よくセットでやる文字コードの変換や
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
