pandas.Series, pandas.DataFrameのメソッドとしてplot()がある。Pythonのグラフ描画ライブラリMatplotlibのラッパーで、簡単にグラフを作成できる。 pandas.DataFrame.plot — pandas 0.22.0 documentation Visualization — pandas 0.22.0 documentation Irisデータセットを例として、様々な種類のグラフ作成および引数の設定などをサンプルコード・結果とともに説明する。 Irisデータセット plot()メソッドの基本的な使い方 表示 画像ファイルとして保存 オブジェクトとして操作 共通の設定 サイズを変更 別々のサブプロットに描画 サブプロットのレイアウト サブプロットのx軸, y軸の共通化 プロットする列の指定 グラフの種類 折れ線グラフ（line plot）
環境情報・設定 pandasのバージョンを確認（pd.show_versions） オプション設定を確認・変更する方法 表示設定変更（小数点以下桁数、有効数字、最大行数・列数など） DataFrame, Seriesの基本 pandas.DataFrameの構造とその作成方法 行数、列数、全要素数（サイズ）を取得 pandasのデータ型dtype一覧とastypeによる変換（キャスト） pandas.DataFrameとSeriesを相互に変換 pandas.DataFrameにおけるビューとコピー pandas.DataFrame, Seriesが空か判定するempty ファイル入出力 CSV csv/tsvファイル読み込み（read_csv, read_table） csvファイルの書き出し・追記（to_csv） Excel（xls, xlsx） Excelファイル（xlsx, xls
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac
pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 本来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる！ という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ
※あくまでもイメージです（適当） 仕事じゃなくて、趣味の方の野球統計モデルで詰まった時にやったメモ的なやつです.*1 一言で言うと、 約19万レコード（110MBちょい）のCSVの統計処理を70秒から4秒に縮めました. # 最初のコード $ time python run_expectancy.py events-2018.csv RUNS_ROI outs 0 1 2 runner 0_000 0.49 0.26 0.10 1_001 1.43 1.00 0.35 2_010 1.13 0.68 0.32 3_011 1.94 1.36 0.57 4_100 0.87 0.53 0.22 5_101 1.79 1.21 0.50 6_110 1.42 0.93 0.44 7_111 2.35 1.47 0.77 python run_expectancy.py events-2018.c
Table Of Contents What’s New Installation Contributing to pandas Frequently Asked Questions (FAQ) Package overview 10 Minutes to pandas Tutorials Cookbook Intro to Data Structures Essential Basic Functionality Working with Text Data Options and Settings Indexing and Selecting Data MultiIndex / Advanced Indexing Computational tools Working with missing data Group By: split-apply-combine Merge, join
このブログ中の pandas 関連のエントリをまとめた目次です。 最近 pandas 開発チーム と PyData グループ の末席に加えていただき、パッケージ自体の改善にもより力を入れたいと思います。使い方についてご質問などありましたら Twitter で @ ください。 目次につけた絵文字は以下のような意味です。 🔰: 最初に知っておけば一通りの操作ができそうな感じのもの。 🚧: v0.16.0 時点で少し情報が古く、機能の改善を反映する必要があるもの。 🚫: 当該の機能が deprecate 扱いとなり、将来的に 代替の方法が必要になるもの。 基本 簡単なデータ操作を Python pandas で行う 🔰 Python pandas でのグルーピング/集約/変換処理まとめ 🔰 また、上記に対応した比較エントリ: R {dplyr}, {tidyr} Rの data.tab
s1 = pd.Series([1,2,3,4,5], index=[0,1,2,3,4]) s2 = pd.Series([10,20,30,40,50], index=[10,11,12,13,14]) s3 = pd.Series([100,200,300,400,500], index=[0,2,4,6,8]) print pd.concat([s1, s2, s3], axis=1) """ 0 1 2 0 1 NaN 100 1 2 NaN NaN 2 3 NaN 200 3 4 NaN NaN 4 5 NaN 300 6 NaN NaN 400 8 NaN NaN 500 10 NaN 10 NaN 11 NaN 20 NaN 12 NaN 30 NaN 13 NaN 40 NaN 14 NaN 50 NaN """
I used to read my data with numpy.loadtxt(). However, lately I found out in SO, that pandas.read_csv() is much more faster. To read these data I use: pd.read_csv(filename, sep=' ',header=None) The problem that I encounter right now is that in my case the separator can differ from one space, x spaces to even a tab. Here how my data could look like: 56.00 101.85 52.40 101.85 56.000000 101.850000 1 5
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
