AWS Glue DataBrew の発表 – データのクリーニングと正規化を迅速にするビジュアルデータ準備ツール | Amazon Web Services
Amazon Web Services ブログ AWS Glue DataBrew の発表 – データのクリーニングと正規化を迅速にするビジュアルデータ準備ツール 分析の実行、レポートの作成、あるいは機械学習の導入を始めるには、使用するデータがクリーンで適切な形式であることを確保する必要があります。このデータの準備ステップでは、データアナリストとデータサイエンティストに対し、カスタムコードの記述や、多くの手動操作が要求されます。そこではまず、データを見て、利用できそうな値を把握し、列同士の間に相関があるかどうかを確認するための簡単な可視化機能を構築する必要があります。その後、想定を外れた通常以外の値をチェックします。たとえば、200℉（93℃）を超えるような気温や、200mph（322 km/h）を超えるトラックの速度、そして欠落しているデータなどを洗い出します。多くのアルゴリズムでは、特
営業のデータ分析について全体像を理解することを目的にした勉強会資料。具体的にどのような考え方でどの様に進めるべきかをスライドにまとめました。
40ギガのピカチュウ画像をやりとり、社内データはテラバイト級――ポケモン社が「Box」「Googleドライブ」を使い分ける理由（1/2 ページ） 「ポケットモンスター」シリーズの版権管理を手掛ける「株式会社ポケモン」（以下「ポケモン社」）。ピカチュウなどおなじみのキャラクターが米Nianticの「Pokemon GO」など他社のゲームに登場するのは、ポケモン社がIPを提供しているためだ。同社は他にも多様なパートナー企業と組み、ポケモンを起用した商品・サービスの展開を支援している。だが、保有するポケモンの画像・動画のデータ量が膨大であるため、共有や管理に苦労する場合が多いという。 40GBのピカチュウ画像をやりとり ポケモン社テクニカルディレクターの関剛さんは、Box Japanがこのほど開いた年次カンファレンス「Box World Tour Tokyo 2019」に登壇し、「キャラクターご
自称“AI（人工知能）ベンチャーで働きながら、情報発信するマスクマン”こと、マスクド・アナライズさんが、AIをめぐる現状について、たっぷりの愛情とちょっぴり刺激的な毒を織り交ぜてお伝えします。Twitter：@maskedanl （編集：ITmedia村上） 「スーパーヒーロー」を集めても組織が回らない理由 トップダウンで優秀なデータサイエンティストを数多く集めるものの、現場の担当者と協調できずに対立したり、自分のやりたい研究ばかりに取り組んだり、短期間で目立った成果が出なかったり、社内政治に巻き込まれて自由に動けなかったりと、社内分析組織の立ち上げ後に次々と問題が露呈します。 こうしてデータ分析組織に問題が起きれば、空中分解や仲間割れによって、最悪解散に至ります。こうした問題は、業績が落ちこんだ歴史と伝統、年功序列、現場主義、前例踏襲主義のある大企業に、外部から招聘した外資系出身の社長が
(Image by Pixabay) 気が付けば、日本における第一次データサイエンティストブームから6年、人工知能ブーム開始から3年が経ったようです。意外と言っては何ですが、これまでのところ人工知能ブームも、そしてそれにブーストされた形で起こった第二次データサイエンティストブームも、まだまだ続くどころかどんどん加速していきそうな状況です。 なのですが、これだけ統計学や機械学習のような高度なデータ分析技術がビジネスの現場に浸透するようになった現在でも、なぜかあまり多く見かけないものがあります。それは「機械学習（もしくは自動化された統計分析）によるビジネス上の成果を数値として示したもの」。意外かもしれませんが、個人的な観測範囲では例えば「Deep Learningを導入したら〇〇がXX%向上した」みたいなリリースや記事を見かけることは、正直なところ思った以上に少ないように思われます。それでも第
DMMにおけるユーザーレビュー基盤の変革(データ駆動戦略を実現する『三種の神器』編)【Developers Summit 2019】
TOP マガジン インタビュー LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ ユーザーの増加やサービスの多角化に伴い、各サービスの膨大なデータを収集・蓄積し、分析を行うことは、さらにサービスを発展させるために必要不可欠です。 そこで今回は、サイバーエージェント秋葉原ラボ・研究室長の福田一郎氏と、LINE Data Labsのデータエンジニアである吉田啓二氏に、「データ基盤の設計・マネジメント、データエンジニアリング」をテーマに、サービスを発展させる上で社内部署とどのように協力すればいいのかについて語っていただきました。 対談者プロフィール 株式会社サイバーエージェント 秋葉原ラボ研究室長 福田 一郎氏 2008年、サイバーエージェントに入社。2011年、秋葉原ラボを設立し、メディア事業全体の大規模データ処理基
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近、データを使うということが手段でなく、目的になってしまい、その挙げ句、データが「神格化」されてしまっているような風潮があります。 つまり、データが言うのだから、間違いはないというわけです。 そこで「データ・ドリブン」という言葉が先歩きをしてしまうのでしょう。 もちろん、単に「データ」と言っても、人によってその意味することは様々ですが、その中でも、英語では、「Raw Data」、日本語にすると「生データ」、つまり加工する前の、とれたてほやほやのデータという意味でのデータは、人間によって操作されていないので、事実で、客観的で、正直だと私
（12/13追記 タイトルや表記に過剰な表現があり、セル結合を全否定するかのような印象を与えてしまいました。そのような意図はなかったのですが、補足記事を書きましたので、併せて読んでいただけると幸いです。すみませんでした。） 人類よ、なぜそんなにセル結合を使いたがる？ それが罪深い行為とも知らずに……。 思わず神視点になってしまいましたが、この世界にはExcelのセル結合を無意味に使いたがる人が多すぎます。いや、メリットがないことはないのですが、それを余裕で上回るデメリットがあることを意識している人が少ないように思われます。データというのは、コピペしやすいこと、集計しやすいこと、数え間違いをしづらいことが第一なので、それを損ねるような行為は許されざる大悪というべきでしょう。断固として弾劾していきます。 綺麗なデータとは ここにエクセルで作った、同じソースから作成した3種類のデータ（東京都の区
データリテラシーをどう教育していくか 備前光隆氏（以下、備前）：ありがとうございます。お三方に共通してデータの民主化や環境という話が出ました。数字が出ているだけだと、（人によっては）数字の見方がわからなかったり、リテラシーが低さから間違った解釈をしたりする可能性はあるじゃないですか。 そのあたりの社員教育というか、社内・組織教育ってどういうことを取り組みとしてやられていますか？ 牟田博和氏（以下、牟田）：難しそうですね。 備前：どんどん（マイクを）回していいですよ。しゃべれる方でぜんぜん大丈夫です。 樫田光氏（以下、樫田）：データリテラシーってすごく難しい問題かなと思っていて。さっき牟田さんもおっしゃったとおり、民主化って範囲をどこまで含めるかという問題が1つあるかと思います。 実は僕が今運営しているBIチームのなかには、『レ班』と『デ班』というものがつくられています。デ班とは何かと言うと
はじめまして、Quipper 東京オフィスでデザイナーをしております @daitorii です。 幼い頃は公園でよく落とし穴を掘っては友達が落ちて行く様を笑い転げて見ていました。なんでこんなのに引っかかるんだよ、俺は絶対に引っかからねえ。とは思っていたものの、もちろん自分も落とし穴にハマり（しかも結構壮大だったし若干トラウマ）、子供ながらになんとなく感じた古い記憶があります。 「自分が当たり前だと思っている前提や認識は、誰かにとっての当たり前ではない」 という事です。 今日はリアルな落とし穴の話ではなくデータの分析やデザイン思考の落とし穴の話。 ですが、実は根本的な問題は同じような気もしています。 デザイン思考と科学的方法 最近よく「デザイン思考」という言葉を耳にする方も多いと思いますが、結局のところそれは何だということで Wikipedia 先生に聞いてみました。 デザイン思考（でざいん
今年もパシフィコ横浜にて開催された「CEDEC2018」。期日は8月22日から同月24日までで、この3日間は多数のセッションに様々な業界・様々な立場の人々が集まる。本稿では、「データを分析する文化を作る-開発運営が自分でデータを分析してもらうためにしたこと-」について、株式会社 Aiming開発グループリードソフトウェアエンジニア（データ分析チーム・Monolithリーダー）の芝尾幸一郎氏が行ったセッションに触れていきたい。 「データ分析は、データ分析の専門家が行うのではなく、開発・運営が自分たちで行うべきである。データ分析の専門家は、そのための手助けをするべきだ」 これは「社内にデータを分析する文化を作る」事を目標とした主張であり、開発・運営が積極的に分析を行って欲しいとの願いも込められている。Aimingでは、そのために次の施策を行った。 ●社員誰にでも見られるBIツールの開発 ●BI
(Image by Pixabay) 某所で時々意見交換させていただいている@maskedanlさんが、面白い記事をnoteにupなさっていたので拝読しました。細かい内容は上記のリンク先から皆さんに直接お読みいただくとして、記事中で某所で僕が放言（笑）したことへのご質問をいただいていたのでした。それは、データサイエンティストや機械学習エンジニアといったデータ分析人材に求められる「素質」について、です。 それは例えば統計学や機械学習はたまたプログラミングといった「スキル」や「素養」とも違う、言ってみれば性格的傾向とか仕事スタイルとかはたまた思想信条のような、もうちょっと属人的で曖昧なものだと思うのですが、個人的な経験からはその「素質」の有無がデータ分析職として育成した結果、ものになるかならないかを分けるように感じられています。 ということで、あくまでも個人的経験に基づく範囲でデータサイエンテ
Transcript Improving UX of Data by Design and Communication σβΠϯͱίϛϡχέʔγϣϯͰ վળ͢ΔσʔλͷUX THE STUDY BY THE GULD ࣗݾհ GO ANDO THE GUILD / UXɾUI Designer 1. SIer ͰΩϟϦΞελʔτ ɾ େن։ൃͰσεϚʔνΛଟܦݧ ɾ ւ֎ࣄۀ։ൃͰւ֎Ͱൃ۷ 2. ݕࡧΤϯδϯϕϯνϟʔ ۀ ɾ ถࠃελʔτΞοϓͱڞಉ։ൃ 3. ಠཱͯ͠ΞϓϦσϕϩούʔʹ ɾ App Store ຊ૯߹1ҐΛؤுͬͯ֫ಘ 4. THE GUILD ۀ ɾ U-NEXTٕज़ސब ɾ ͍·͜͜ ɾ IBMʹങऩ͞Εͯऴྃ ���� 6�/&95ͷձһ 2014 2015 2016 2017 (3085) None THE STUDY BY THE G
! This post is also available in the following languages. 英語, 韓国語 この記事は、 LINE Engineering Blog 「夏休みの自由研究 -Summer Homework-」 の 2 日目の記事です。 LINE Data Labs のデータエンジニアの吉田啓二です。昨年から行っている「 LINE の全社員が必要に応じて担当サービスのデータを分析できる環境を構築・提供する」という取り組みをご紹介します。 LINE Data Labs とは LINE Data Labsは、 LINE の各サービスのデータの収集・処理・集計・分析を専門的に行うことで、データの分析・活用という側面から各サービスの成長を支えることを目的とした部署です。Hadoop クラスタへの各サービスデータの収集、データを集計・可視化する BI/レポーティン
こんにちは、データグループの id:beniyama です。 2018-07-20（金）に『StudySapuri Data Meetup 〜未来の教育を創り出すデータ組織、全部お見せします！〜』というイベント を開催しました！ techplay.jp この StudySapuri Meetup は二日連続のイベントで、データ会は二日目でした。初日のプロダクト会の様子や講演資料は StudySapuri Product Meetup を開催しました #sapurimeetup - スタディサプリ Product Team Blog にまとまっていますので是非こちらもご覧ください！ このように徹頭徹尾自社の人間がお話しさせていただくイベントの企画・開催は初めてだったのですが、途中増席しての 120 人定員に対して最大 720 人近くのご応募！をいただき大変な盛況ぶりとなりました。当日も暑い中
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
