この記事は Apache Drill Advent Calendar 2015 の2日目の記事です。 11月の Tokyo Apache Drill Meetup で出た質問の中に、「CSV ファイルのヘッダ行をカラム名に使いたいが可能か？」というものがありましたが、Drill 1.2 では先頭行をスキップするオプションはあったものの、行の内容をカラム名として使う機能は未実装でした。で、その後リリースされた Drill 1.3 の [DRILL-951] CSV header row should be parsed にて、その機能が追加されたので紹介します。 例えばこんなデータがあるとします。 $ head /tmp/personal_information.csv 連番,氏名,氏名（カタカナ）,性別,電話番号,郵便番号,住所1,住所2,住所3,住所4,住所5,生年月日 1,佐川邦男,サ
Author: Jacques Nadeau (PMC Chair and Committer, Apache Drill) Date: Jul 5, 2015 Today I’m happy to announce the availability of the Drill 1.1 release. This release addresses 162 JIRAs on top of May’s 1.0 release. Highlights include: Automatic Partitioning for Parquet Files Drill now supports creating partitions automatically when using CREATE TABLE AS (CTAS) to generate Parquet files. By leveragi
言語の設定がUTF-8になっている環境であれば、データに日本語が含まれていても基本的に問題はありません。 $ echo $LANG ja_JP.UTF-8 次のようなCSVファイルを $ cat /tmp/test.csv 1,くまモン,熊本 2,ふなっしー,船橋 3,せんとくん,奈良 次のSQLで取得すると、カラム名、データともきちんと表示されます。まあ、マルチバイト文字が入っていると水平の表示位置がずれるのですが。 $ apache-drill-1.0.0/bin/drill-embedded 0: jdbc:drill:zk=local> SELECT . . . . . . . . . . . > COLUMNS[0] 番号, . . . . . . . . . . . > COLUMNS[1] 名前, . . . . . . . . . . . > COLUMNS[2] 住所 .
#はじめに 追加のライブラリを導入することで、Apache DrillからS3上に配置したJSONに対してSQLクエリを発行できます。 S3上のファイルに直接アクセスできれば、データをマシン上に配置しなくて済むので、EBSの領域を確保しなくて済みます。 また、Apache Drillを使いたいときだけスポットインスタンスを立ち上げるといったことも簡単になり、お財布にもとても嬉しいです。 ちなみに、このページで解説していることをやってみただけです。 http://drill.apache.org/blog/2014/12/09/running-sql-queries-on-amazon-s3/ 動画も公開されていますので手順がわかりやすいです。 https://www.youtube.com/watch?v=jNUsprJNQUg #セットアップ ##準備 Apache Drillを実行でき
War of the Hadoop SQL engines. And the winner is …? You may have wondered why we were quiet over the last couple of weeks? Well, we locked ourselves into the basement and did some research and a couple of projects and PoCs on Hadoop, Big Data, and distributed processing frameworks in general. We were also looking at Clickstream data and Web Analytics solutions. Over the next couple of weeks we wil
Lot of workloads exist for Big data, batch, machine learning, search, interactive SQL, Operational/user facing applicationsApache Drill fits into the interactive SQL category Analytics on Semi-Structured/Nested dataUse standard SQL to query Nested data without upfront flattening/modelingExtensions to ANSI SQL to operate on nested dataGeneric architecture for a broad variety of nested data types (e
Apache Drill: Building Highly Flexible, High Performance Query Engines by M.C. Srivas, Co-founder and CTO at MapR SQL is one of the most widely used languages to access, analyze, and manipulate structured data. As Hadoop gains traction within enterprise data architectures across industries, the need for SQL for both structured and loosely-structured data on Hadoop is growing rapidly Apache Drill s
5. © MapR Technologies, confidential ® South Pacific Ocean North Pacific Ocean North Pacific Ocean Indian Ocean Arctic Ocean North Atlantic Ocean South Atlantic Ocean Zimbabwe Zambia Yemen Vietnam Somoa Venezuela Vanuatu Uzbekistan Uruguay United States U. K. U.A.E. Ukraine Uganda Turkmenistan Turkey Tunisia Trinidad & Tobago Tonga Togo Thailand Tanzania Tajikistan Syria Switz. Sweden Swaziland Surin
この記事は Hadoop アドベントカレンダー 2013の16日目の記事です。 Apache Drill 概要 Apache Drill は Google Dremel に触発されて開発されたオープンソースプロジェクトで、2012年8月に Apache Incubator として提案されました。大規模データに対し、バッチ処理ではなく、インタラクティブなクエリの実行を可能にするという意味では、ImpalaやStinger、Presto といったプロジェクトと同様の大きな目的を持っていますが、SQL 2003 完全準拠、パーサや処理実行部分を Pluggable にして幅広いクエリ言語やデータソースに対応、JSON/Avro のようなネストデータに対応、スキーマはオプショナルでスキーマレスなデータに対応、といったところなど、より柔軟で拡張性の高いフレームワークを目指しているのが他のプロジェクト
Teradata Blogs When big data becomes vast, what's your data dropping strategy? Read more Support Teradata at Your Service (TAYS) Simple, secure customer access to products, services, education, and support function information. Read more Certifications Teradata Certified Professional Program (TCPP) Management, development, and oversight of the premiere Teradata Certification Program. Read more Con
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
