並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 332件

新着順 人気順

*dataの検索結果1 - 40 件 / 332件

*dataに関するエントリは332件あります。 データ統計データ分析 などが関連タグです。 人気エントリには 『デジタル庁のデータ分析基盤「sukuna」|デジタル庁』などがあります。
  • デジタル庁のデータ分析基盤「sukuna」|デジタル庁

    はじめまして。デジタル庁ファクト&データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト&データユニット」ファクト&データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており(参考:デジタル庁 - 組織情報)、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト&データユニットも

      デジタル庁のデータ分析基盤「sukuna」|デジタル庁
    • COVID-19

      Loading...

      • Parquetフォーマット概観 - 発明のための再発明

        Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に

          Parquetフォーマット概観 - 発明のための再発明
        • PlantUML で JSON データを簡単視覚化

          最近,仕事で使うことがあってたまたま気がついたのだが, PlantUML って JSON や YAML のデータを視覚化できるんだね。 やり方は簡単。たとえば { "firstName": "John", "lastName": "Smith", "isAlive": true, "age": 28, "address": { "streetAddress": "21 2nd Street", "city": "New York", "state": "NY", "postalCode": "10021-3100" }, "phoneNumbers": [ { "type": "home", "number": "212 555-1234" }, { "type": "office", "number": "646 555-4567" } ], "children": [], "spous

            PlantUML で JSON データを簡単視覚化
          • 論理プログラミング言語Logicaでデータサイエンス100本ノック

            Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテゴリではPrologが有名 SQLにコンパイルされる: 現状BigQueryとPostgreSQLに対応 モジュール機構がある: SQLと比較した強み コンパイラはPythonで書かれている: Jupyter NotebookやGoogle Colabですぐ始められる Colabでチュートリアルが用意されているので、まずこちらからやると良いと思う。 コードの見た目は関係論理の記述に似ている。 事前に、データサイエンス100本ノックのテーブルデータをBigQu

            • PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita

              更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか? 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上(Google ColabもOK)で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ&ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実

                PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
              • データモデルはドメインモデルに先行する - 設計者の発言

                関わっているあるプロジェクトで、Javaでのコンポーネントベース開発を進めるためのクラス図が出来上がりつつある。DDD(ドメイン駆動設計)に関心を持つ技術者にとってお手本になるような端正なドメインモデルだ。それを眺めながら関係者がしみじみと感じていることがある。どんなに優秀なドメインエキスパートと組んだとしても、DDDにもとづいてこのモデルを「先に」生み出すことは不可能だっただろう。 どういうことか。我々はまず、泥臭い分析と設計を重ね、あるべきデータモデルを完成させた。そのうえで実装方式の専門家の協力を仰ぎ、クラス図が出来上がった。つまり、データモデルからドメインモデルが導かれたのであって、その逆ではない。じっさい、ドメインモデルからデータモデルを導くことが不可能であったことは、両者を並べたら一目瞭然なのであった。 これは重要な論点だ。データモデリングとドメインモデリングのどちらを先行させ

                  データモデルはドメインモデルに先行する - 設計者の発言
                • データ活用が事業貢献していることを示すための取り組み

                  2023年2月16日開催、サイバーエージェント メディア事業部主催のデータ活用に関する勉強会「メディアサービスにおけるデータ・AIの活用事例 #2」登壇資料です。 https://cyberagent.connpass.com/event/270224/

                    データ活用が事業貢献していることを示すための取り組み
                  • CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

                    CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

                      CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?
                    • DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog

                      こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウでどう活用しているかについて紹介します。 背景 初手: 自社のデータ基盤の歴史を振り返る アセスメントの実施 データ活用者 / システム提供者 / 意思決定者へのヒアリングの実施 アセスメントを実施した結果 最後に 背景 まず、モノタロウでなぜアセスメントを行なったかについて説明します。モノタロウは20年以上歴史のある企業であり、データ基盤自体も10年以上の歴史があります。単一事業ではあるものの、受注 / 売上 / 商品 / 在庫 / 顧客 / 行動履歴など、対象となるドメ

                        DMBOKを用いたアセスメントでデータマネジメントを加速させる - MonotaRO Tech Blog
                      • Aurora MySQL のバックアップは本当にそれでいいのだろうか? | CyberAgent Developers Blog

                        技術本部 サービスリライアビリティグループ(SRG)の長谷川 @rarirureluis です。 #SRG(Service Reliability Group)は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL(以下:Aurora MySQL)の話です。何でこんなに Aurora MySQL に関する記事ばっか書いてるのか僕も分かりません。 前回の Aurora MySQL のアップグレード方法のベストプラクティスはこちらです。 RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog 今回はバックアップについてです。 そのクラスター、間違ったクエリ流したときに

                          Aurora MySQL のバックアップは本当にそれでいいのだろうか? | CyberAgent Developers Blog
                        • TypeScriptで世界一型安全な型レベルSQL Interpreterを作っている話

                          こんにちは。DevOps芸人と化して久しいAndyです。 2020年の秋にTypeScript 4.1へTemplate Literal Typesが導入され、そのインパクトに俄かに一部の界隈がザワついたのは記憶に新しいかと思います。 今回は型プログラミングの可能性を大いに押し広げたTemplate Literal Typesを用いてSQL文を型レベルで解析し、その実行結果を型情報として導出するためのsqlptureというライブラリを作ったので紹介します。 Embedded content: https://github.com/andoshin11/sqlpture SQLの実行/検証対象はPostgreSQL v13です。 tl;dr SQL文を型レベルで解析・評価して返り値型を取得できるmini interpreterを作ったよ 型レベルのSQL validatorも作ってるよ 実際

                            TypeScriptで世界一型安全な型レベルSQL Interpreterを作っている話
                          • 自分でシュッとデータ分析をできる人になろう - 「データ分析人材になる。」から学んだこと - Lean Baseball

                            新年あけましておめでとうございます🎍 年末年始は色々と手を動かしつつ*1, 積ん読を消化していたのですが, 昨年最後の読書🍺 特にこの本にオッってなりまして読み終わる寸前には, これもうすぐ読み終わるのですが、なぜ積ん読にしてたワイは🤔 ってぐらい名著でした📖 https://t.co/RgTILDGc7r— Shinichi Nakagawa (@shinyorke) 2021年1月3日 ...という感想が出る程度にこちらの書籍に興奮しました. データ分析人材になる。 目指すは「ビジネストランスレーター」 作者:木田 浩理,伊藤 豪,高階 勇人,山田 紘史発売日: 2020/10/15メディア: Kindle版 データを使って仕事をする人は(データサイエンティストに限らず)サラッと読んだほうがええやぞ! というぐらい良い本だったという話を2021年最初のブログとして書きたいと思い

                              自分でシュッとデータ分析をできる人になろう - 「データ分析人材になる。」から学んだこと - Lean Baseball
                            • 最大同時接続数を1に制限したRDSにRDS Proxyを構成して基本動作を押さえよう | DevelopersIO

                              CX事業本部@大阪の岩田です。 社内で需要がありそうだったので、RDS Proxyの基本動作について簡単にまとめてみました。クライアントからの最大同時接続数を1に設定したRDSに対してRDS Proxyを構成し、クライアントアプリケーションに見立てたEC2からいくつかのパターンで接続を試行した結果をまとめています。 環境 今回検証に利用した環境です。 RDS for PostgreSQL 11.8-R1 インスタンスクラス db.t3.micro max_connections: 9 バックグラウンドでrdsadminユーザー、rdsproxyadminユーザーがDBに接続するのを考慮して9に設定しています。今回の環境であればmax_connectionsを9に設定することで非マスターユーザーからの同時接続数を1に制限することができます。 RDS Proxy エンジンの互換性: Postg

                                最大同時接続数を1に制限したRDSにRDS Proxyを構成して基本動作を押さえよう | DevelopersIO
                              • Nature Remoを使ってエアコンの動作を調べてみた - Nature Engineering Blog

                                静かなお盆でおめでとうございます。 記録的な暑さが続く中、みなさんはいかようにお過ごしでしょうか。 こう暑いと部屋の中から一歩も出たくないというのが人情 しかし、部屋でエアコンをつけっぱなしにしていても暑かったり寒かったりしませんか? 私は今の家に引っ越してから特に感じていて、 というのも築50年代のリノベ物件のため基本的な断熱や密閉がとれていない家に引っ越したためです。 そこで、「実際にエアコンの運転ってどうなってるの?」というのを調べてみました。 それでは簡単に我が家の環境と、調べてみた内容を紹介したいと思います。 いつも仕事は、2階建ての2階、南西向きのめちゃくちゃ日当たりのいい部屋で行っています。 エアコンをつけずに外出すると、夏場は40℃を超える日もしょっちゅうです。 書斎の間取り エアコンは南側の壁に設置されており、仕事机はエアコンとは反対の廊下側に置いてます。 この部屋の、A

                                  Nature Remoを使ってエアコンの動作を調べてみた - Nature Engineering Blog
                                • GraphQLとクライアントサイドの実装指針.md

                                  GraphQLとクライアントサイドの実装指針.md GraphQLとクライアントサイドの実装指針 GraphQLって何 Facebookが開発した クエリ言語 今はGraphQL Foundationに移管されている https://quramy.github.io/graph-api-note/#/ GraphQLの特徴 スキーマと静的な型 Demand Driven Architecture Composition 1. スキーマと静的な型 スキーマには可能なクエリや操作の全てが記述されている。 表現方法はいくつかあるが、SDL(Schema Definition Language)で表現されることが多い。 type User { id: ID! name: String! age: Int friends: [User] articles: [Article] } type Arti

                                    GraphQLとクライアントサイドの実装指針.md
                                  • アプリケーションエンジニアから見たPostgreSQL15 の新機能/postgresql15-new-information

                                    2022年10月1日(土) に開催される オープンソースカンファレンス2022 Hiroshimaでのセッションスライドです。 1年に一回のペースで メジャーバージョンをリリースしているRDBMSであるPostgreSQL。 今年も PostgreSQL15 のバージョンの開発が行われており、2022/08 に PostgreSQL15 Beta3のバージョンがリリースされています。今セミナーでは、PostgreSQL15 で含まれる事が予定されてる新機能についてアプリケーションエンジニアの観点から触れ、ご紹介させていただきます。

                                      アプリケーションエンジニアから見たPostgreSQL15 の新機能/postgresql15-new-information
                                    • お手軽な検索API構築 | メルカリエンジニアリング

                                      こんにちは、メルペイソリューションチーム所属エンジニアの@orfeonです。 この記事は Merpay Tech Openness Month 2021 5日目の記事です。 メルペイソリューションチームでは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 自分は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 この記事ではいろいろな場面で必要とされるものの、運用負荷などの問題から導入の敷居が高い検索機能を(条件付きで)簡易に提供するためのソリューションを紹介します。 基本的なアイデア 全文検索や位置検索など、検索はいろいろな場面で必要とされる機能です。しかしいざ検索サーバを立てて運用するとなると、データの整合性やモニタリングなど考えないといけないことも多く、利用に二

                                        お手軽な検索API構築 | メルカリエンジニアリング
                                      • データ分析者のバリューの出し方を考える|だみ〜

                                        本稿は、自身がデータ分析者だと思っている人に対して、こういうのが事業会社におけるデータ分析者に求められている価値の出し方なんじゃないだろうか、というのを提案してみるために書きます。 そのため、一切の自身の所属団体、所属していた団体とは関係なく、あくまで一個人のプライベートな意見であることを記しておきます。 私はビジネスマンとしてまだまだ経験が浅く、至らないところが多いため、以下の点で間違っていたり、至らないことが考えられます。 ・そもそもプロセスの全体像を勘違いしている ・プロセス自体への理解が浅い ・そこでバリューは出ないだろうという点に重点を置いている ・webでの分析に寄りすぎている 最後の問題はできるだけ一般的に書こうとはしますが、それでもそれはwebの話じゃんというのがちょいちょい出てくる気がします。 上記の問題点はあるのですが、自身がどう思っているかを記しておくことは非常に有意

                                          データ分析者のバリューの出し方を考える|だみ〜
                                        • GitHub - mckinsey/vizro: Vizro is a low-code toolkit for building high-quality data visualization apps.

                                          You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                            GitHub - mckinsey/vizro: Vizro is a low-code toolkit for building high-quality data visualization apps.
                                          • 自分のTweetsをインクリメンタル検索できるサービス作成キット と Tweetsをまとめて削除するツールを書いた

                                            自分のTweetsをインクリメンタルに全文検索できるmytweetsを作りました。 また、自分のTweetsをtextlintや単語感情極性対応表や辞書ベースでフィルタリングしてまとめて削除するdelete-tweetsを作りました。 どちらもTwitterのアーカイブを使って今までのすべてのTweetsを対象にしています。 そのため、どちらも最初に次のドキュメントに従って、Twitterのデータアーカイブをダウンロードしておく必要があります。(申請から1日ぐらいかかります) 全ツイート履歴とツイートをダウンロードする方法 | Twitterヘルプ mytweets mytweetsは、Twilogやツイセーブのように自分のTweetsの履歴を全文検索できるサイトを作るツールキットです。 Twitterのデータアーカイブをインポートするので過去全ての履歴に対応していて、 また新しいTwee

                                              自分のTweetsをインクリメンタル検索できるサービス作成キット と Tweetsをまとめて削除するツールを書いた
                                            • SQL等価性検証ツールCosetteを使ってみた - Qiita

                                              はじめに 皆さん、SQLチューニングしてますか?(唐突) 私は仕事柄RDBMSのSQLチューニングをすることが多いのですが、たまにチューニングの一環で SQL文の書き換え をすることがあります。 その際に問題になるのが、書き換えたSQL文が等価であるかどうかの確認が大変なことです。 SQL文を書き換えた場合には、想定通りの結果を取得できるか確認するために、テストをやり直す必要があります。 これが開発早期のフェーズならまだましなのですが、結合テスト以降だと手戻りも多くかなりコストがかかりますし、既に本番運用が始まったシステムともなると、テスト自体が困難なこともあります。 また、複雑なSQL文だと網羅的なテストケースを作成すること自体が困難であるため、完全に正しいと確信することはできません。 なので、SQL文の書き換えの正しさを証明する良い手段はないかと考えていました。 SQLチューニングとは

                                                SQL等価性検証ツールCosetteを使ってみた - Qiita
                                              • Pythonでデータの挙動を見やすくする可視化ツールを作成してみた - Qiita

                                                ※アンダースコアのpip install seaborn_analyzerでもインストール可能です。 インポート時はアンダースコアのimport seaborn_analyzerやfrom seaborn_analyzer となるのでご注意ください コード モジュールcustom_pair_plot.py内のクラスCustomPairPlotに、必要な処理をまとめました。 GitHubにもアップロードしています モジュール本体 import seaborn as sns import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy import stats class CustomPairPlot(): #初期化 def __init__(self): self.df = None sel

                                                  Pythonでデータの挙動を見やすくする可視化ツールを作成してみた - Qiita
                                                • 人生を確率を通してみる、今年ベスト級の科学ノンフィクション!──『もうダメかも──死ぬ確率の統計学』 - 基本読書

                                                  もうダメかも 作者:マイケル・ブラストランド,デイヴィッド・シュピーゲルハルター発売日: 2020/04/13メディア: 単行本我々はウルトラマンに守られているわけではないのだから、死ぬときがきたら死ぬしかない。その事実は多くの人が認識しているだろう。が、実際に自分が人生の各フェイズでどれぐらい死ぬ確率があるのか、多くの人はそこまで認識してはいないのではないだろうか。10代、20代なら自分が死ぬことなど意識しないだろうし、30代でもそう大きくは違わないだろう。だが、人は何歳であろうともポカっと死ぬものだ。 というわけでこの『もうダメかも──死ぬ確率の統計学』は、ノームと名付けられてこの世に生を受けた一人の男性の成長を歩調をあわせて、人生の各フェイズでどのような死亡リスクがあるのかを細かく統計でみていこう、という本である。 たとえば、交通事故、出産時、タバコを一本吸った時、放射線を浴びた時、

                                                    人生を確率を通してみる、今年ベスト級の科学ノンフィクション!──『もうダメかも──死ぬ確率の統計学』 - 基本読書
                                                  • BigQueryでの集計結果をノーコードでSlackに定期投稿してみた - ZOZO TECH BLOG

                                                    こんにちは、DATA-SREチームの塩崎です。最近気になるニュースは「ネコがマタタビを好む理由が蚊を避けるためだった1」です。 さて、皆さんはデータ基盤で集計した結果をどのようにして確認していますか。LookerやPower BIなどのBIツールを使って綺麗なダッシュボードを作成している方も多いかと思います。しかし、全員が毎日確認すべき数値はSlackなどの全員が日常的に目にする場所へ掲げたいです。本記事ではBigQueryとSlackを連携させる機能をノーコードで作成する方法を紹介します。 従来手法 BigQueryで集計した結果をSlackに通知するためにはGoogle Apps Script(以下、GAS)を用いるやり方が現在では主流です。GASの文法はJavaScriptとほぼ同じであり、普段分析をメインで担当している人たちには馴染みの薄い言語です。また、Cloud Functio

                                                      BigQueryでの集計結果をノーコードでSlackに定期投稿してみた - ZOZO TECH BLOG
                                                    • MySQLのALTER TABLEについて少々

                                                      2020/05/11 GMO Technology Bootcamp 2020

                                                        MySQLのALTER TABLEについて少々
                                                      • 検索基盤を安全にElasticsearchに置き換えるためにやったこと

                                                        Feature Toggleとダークローンチで安全にElasticsearchクラスタをリリースした話。

                                                          検索基盤を安全にElasticsearchに置き換えるためにやったこと
                                                        • N予備校のデータ分析基盤構築に向けた取り組み - ドワンゴ教育サービス開発者ブログ

                                                          はじめに 昨今Webに限らずあらゆる事業領域において、蓄積されたデータの活用は必要不可欠、やっていて当たり前なものになってきているかと思います。これまでこのブログではあまりそういう話題に触れてこなかったこともあり、本稿では改めてドワンゴ教育サービスにおけるデータの活用に関する取り組みについて、概要レベルにはなりますがご紹介したいと思います。 はじめに N予備校における従来のデータの取り扱い 現在の取り組み 本番環境のデータのBigQueryへの蓄積 データ活用のプロトタイピング そのほかのデータ活用に関連する取り組みや展望 N予備校のアーキテクチャ・パイプラインの検討 分析対象のデータ拡充 データの管理体制 機械学習技術等の活用 おわりに We are hiring! N予備校における従来のデータの取り扱い まず従来から行われているN予備校におけるデータ活用の取り組みについて紹介します。現

                                                            N予備校のデータ分析基盤構築に向けた取り組み - ドワンゴ教育サービス開発者ブログ
                                                          • 主成分分析(PCA)の数学的な理論とPythonによる実装

                                                            $$ \newcommand{\bm}[1]{\mathbf #1} $$ 主成分分析(PCA)の数学的な理論とPythonによる実装¶ Author: Yuki Takei (noppoMan) Github: https://github.com/noppoMan Twitter: https://twitter.com/noppoMan722 Blog: https://note.com/noppoman これは、noteの主成分分析の背景にある数学理論の話(最適化問題)の本文です。 主成分分析の数学的な理論の理解に必要な知識¶ 主成分分析は、アルゴリズム的な観点で見るとデータの分散を最大化させる最適化問題であり、その理論は数学(とくに微分学、線形代数)により与えられている。以下は、主成分分析で使われる数学の分野をざっくりとリストしたものである。 データ分析 分散、共分散 解析学 多

                                                              主成分分析(PCA)の数学的な理論とPythonによる実装
                                                            • これからの⼈材育成を考える - ⽂部科学省 今後の教育課程、学習指導及び学習評価等の在り⽅に関する有識者検討会(第3回)2023/3/24

                                                              • MySQLのslow_logは何を計測して出力されるのか - tom__bo’s Blog

                                                                slow logの時間は何を計測しているのか? きっかけ とあるMySQLインスタンスで1Gbのネットワーク帯域を使い切ってレスポンスタイムが悪化していたという話を聞いた。 確かに遅いがlong_query_timeを小さくしてもslow_logは特に出ていなかったため、どのクエリが問題なのかを特定しづらかったらしい。 これを聞いたときはRedisとかインメモリのDBならまだしもMySQLがストレージより先に1GbのNICを使い切ることがあるのかーと驚いた。まあ、100GB以上のメモリも珍しくないので、ほとんどメモリから結果を返していれば1Gb/s以上返すことは難しくなさそうではある。 だが、long_query_timeを小さくしてもslow_logにクエリが出力されなかったという部分は気になった。 具体的にlong_query_timeがどれくらいなのか、同時接続数はどれくらいでQPS

                                                                  MySQLのslow_logは何を計測して出力されるのか - tom__bo’s Blog
                                                                • もしかしたらコードメトリクスこそが、僕たちを救ってくれるかもしれない。 - Qiita

                                                                  結論 コードメトリクスの一つ、保守容易性指数と、バグ発生率とに、相関の兆候を見つけた まだ下調べの段階だけど、大規模調査および統計的検定の結果、 保守容易性指数とバグ発生率との相関が認められたら、 保守容易性指数をKPIにすることで、数値的品質評価・管理ができるかもしれない バグをまき散らすけど手が早いエンジニアの影に隠れて、 丁寧にモノづくりをしているけどいまいち評価されていないエンジニアに、 日の目をあてられるかもしれない。 バグ対処コストと保守容易性とを掛け合わせることで、 技術的負債を金銭的評価ができる可能性がある 金銭的に評価できれば、返済に関して、ビジネスサイドと有意義な議論ができる可能性がある はじめに 僕ら(@gakuri、@ahera、@yukke7624)は、とあるSI会社で横断的にプロジェクト支援をしている。 マネジメント状況の監査、支援、テコ入れから、技術的アドバイ

                                                                    もしかしたらコードメトリクスこそが、僕たちを救ってくれるかもしれない。 - Qiita
                                                                  • 地下アイドル間の関連性をネットワークとして分析したり楽曲派を可視化したりしてみた話 - 蛇ノ目の記

                                                                    地下アイドルアドベントカレンダー 12/16の記事です。メリークリスマス。 12/16の記事です。 12/16の( adventar.org 前回の更新から8ヶ月以上が経ってしまった。更新をサボっている間に名古屋に行ったり、大阪に行ったり、福島に行ったり、名古屋に行ったり、大阪に行ったり、名古屋に行ったり、名古屋に行ったり、大阪に行ったり、名古屋に行ったりしていた。さて今年は何回名古屋に遠征したでしょうか。名古屋は近所わかる。 アイドル現場まとめは、"その月に行った現場のまとめ"に留めないと持続可能性が低いと痛感。感想などを細かく書いていくとコストが大きくなりすぎてしまう。来年からはもっと簡素にまとめたい。 それでは本題始まります。 概要 Spotify Web APIを用いて「関連アーティスト(アプリ上では"ファンの間で人気"と表示される)」を取得し、地下アイドルの関連アーティストネット

                                                                      地下アイドル間の関連性をネットワークとして分析したり楽曲派を可視化したりしてみた話 - 蛇ノ目の記
                                                                    • PythonのウェブフレームワークDashで京都の新型コロナアプリを作成した - Qiita

                                                                      PythonのウェブフレームワークDashを使って、京都の新型コロナアプリを作成しました。DashはFlask、React、Plotlyを使って作られたフレームワークで、ダッシュボードのようなアプリケーションを短時間で作成できます。またコールバックを使ってアプリケーションをインタラクティブに動作させられます。私のようにデータをこねるのは好きだけど、ReactもVueもいまいちよくわからないという人には、容易にダッシュボードを作れるフレームワークです。 作成したアプリケーションは以下のURLにあります。 PC向け スマホ向け コードはgithubを参照ください。 開発環境は以下の通りです。 Windows10 Pro Python3.7.5 dash 1.9.1 pandas 1.0.0 アプリの機能 アプリは京都府のサイトから取得したデータ(取得方法などは後述)をCSVファイルとして読み込

                                                                        PythonのウェブフレームワークDashで京都の新型コロナアプリを作成した - Qiita
                                                                      • 【golang】sqlcコマンドで「SQLクエリから型安全なGoコードを生成」し、生産性を上げたい

                                                                        【golang】sqlcコマンドで「SQLクエリから型安全なGoコードを生成」し、生産性を上げたい by nao · 2022年6月25日 前書き:sqlcとは 本記事は、kyleconroy/sqlcの基本的な情報を紹介します。 sqlcは、DBスキーマ(DBテーブル定義)、SQLクエリ定義、設定ファイルの3点をインプットとして、型安全なCRUDコード + DBテーブルに対応したモデル(構造体)を自動生成します。ここでのモデルの自動生成には、複数テーブルをJOINしたクエリ用の構造体も含まれます。 個人的な視点では、sqlcは「SQLクエリを検証してから、そのクエリを実行するGolangコードを書いて、クエリ結果を受け取るための構造体を書くのが大変」という課題を解決するツールです。独自のDSL(Domain Specific Language)は殆ど登場しないので、SQLをゴリゴリ書ける

                                                                          【golang】sqlcコマンドで「SQLクエリから型安全なGoコードを生成」し、生産性を上げたい
                                                                        • LINEの大規模なData PlatformにData Lineageを導入した話

                                                                          LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか

                                                                            LINEの大規模なData PlatformにData Lineageを導入した話
                                                                          • AWS データレイク事例祭り 登壇資料

                                                                            AWS データレイク事例祭り 登壇資料です。

                                                                              AWS データレイク事例祭り 登壇資料
                                                                            • Overview of The Modern Data Stack / モダンデータスタック概論

                                                                              顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~

                                                                                Overview of The Modern Data Stack / モダンデータスタック概論
                                                                              • 自然言語からSQLを自動生成するDeep Learning技術 - Qiita

                                                                                本記事は Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation(論文, リポジトリ)のサーベイ記事です。 日鉄ソリューションズ(NSSOL)様での研究開発インターンの一環として執筆しました。 今回紹介するのは、ざっくり言えば、自然言語で記述された質問からSQLクエリを生成するタスク(Text-to-SQL)において、文脈自由な中間表現を導入して性能を上げた研究で、提案モデルはIRNetと呼ばれています。 この研究ではSpider (論文, サイト) というデータセットを用いています。Spiderは従来のText-to-SQLデータセットよりも複雑な事例を多く含んでいます。 Spiderの公式サイトで挙げられている難易度が中くらい(Meidum)の例がこちらです: 複数テーブ

                                                                                  自然言語からSQLを自動生成するDeep Learning技術 - Qiita
                                                                                • データカタログにNotionを選択した理由

                                                                                  実装方法 冪等性を担保したGoogle Cloud Composerの設計と実装で紹介しているとおり、Luupのデータ基盤はGoogle Cloud Composerを軸に動いています。なので今回も、Google Cloud Composerの環境下に作りました。 アウトプットイメージは以下です。 以下のNotion APIのDocumentを参考に実装を進めていきます。 サンプルコードも豊富で、説明も丁寧なので簡単に実装できました。 以下、コード一例です。 # Notionのフォーマットに変換するメソッド def format_standard_property_value(self, property_name: str, value: str): if property_name == "title": return {"title": [{"text": {"content": v

                                                                                    データカタログにNotionを選択した理由

                                                                                  新着記事