[登壇レポート]Apache Icebergと超えていくデータレイクの限界 -S3とSnowflake活用事例-でSnowflake×Icebergの機能と活用例についてお話しました #datalake_findy さがらです。 2025年2月28日にFindy社主催で「Apache Icebergと超えていくデータレイクの限界 -S3とSnowflake活用事例-」というイベントが開催されました。 このイベントの中で、「Snowflakeの開発・運用コストをApache Icebergで効率化しよう！～機能と活用例のご紹介～」というセッションタイトルで登壇をしてきましたので、その本記事では登壇資料と登壇を終えての所感についてまとめます。 登壇資料 登壇資料上の各リンク集 Icebergテーブル ※「外部のカタログ」利用 (スライド7) https://docs.snowflake.com

2/21(金)にdocomo R&D OPEN LAB ODAIBAにてIcebergミートアップを開催しました！合計5つのセッションはどれもディープな内容で勉強になりました。運営をしてくださった髙田さん、松原さん、酒徳さん、北岡さん、ありがとうございました！ 各セッションの簡単な振り返りです。 AWSの田中さんによるV3スペックに関するセッションです。最近TrinoでV3向けの機能を書いていることもあり個人的に聞きたかった内容でした。V3ではVariant、Geo、Timestamp nanoなど複数のデータ型が追加されます。Deletion VectorはV3でMoRを利用する上で必須な機能なので、MoRを利用する方は確認することをお勧めします。Row lineageは全く追えてなかったので勉強になりました。Row lineageに関するプロポーザルも参考になりそうです。 LINEヤフ

ABWG2024採択者が語るエンジニアとしての自分自身の見つけ方〜発信して、つながって、世界を広げていく〜

公開日 2025/03/03更新日 2025/03/03認証基盤の構築は長期投資〜ID統合・スケールを見据えたIDaaS選定〜 多くのWebサービスやアプリケーションが乱立し、ユーザーにとってログインの煩雑さやセキュリティへの不安が高まる現在、開発者が認証基盤にどう向き合うかはビジネス全体を左右する大きなテーマとなっています。 そこでFindy Toolsでは、カスタマーアイデンティティ管理プラットフォーム「Auth0」を日本市場で展開するOkta Japanのデベロッパーアドボケイト・池原氏にインタビューを実施。認証基盤の選定基準や「Auth0」が提供する開発者体験、そして無料プランの活用方法まで、具体的な事例を交えながら詳しくお話を伺いました。 本記事では、認証基盤導入にまつわる課題と、Auth0による解決策、今後の展望についてご紹介します。認証基盤を見直すうえでのヒントとして、ぜひ最

「サービスアカウント」「ロール」「API」「アクセスキー」などの“非人間アイデンティティー（NHI）”に潜むセキュリティリスクTOP 10　OWASPが発表：「ユーザーアカウントとは異なる方法で管理すべき」 OWASPは、非人間アイデンティティーに関するセキュリティリスクをまとめた「Non-Human Identities Top 10」を公開した。 Webアプリケーションセキュリティなどの改善活動を推進する非営利団体「The Open Web Application Security Project」（OWASP）は2025年1月18日（米国時間）、非人間アイデンティティー（NHI：Non-Human Identities）に関するリスクをまとめた「Non-Human Identities Top 10」を公開した。 「NHIは、アプリケーション、API、bot、自動化システムなどのソフ

Presentation slides for JAWS DAYS 2025 Session title: AWSではじめるWeb APIテスト実践ガイド：品質とセキュリティを支えるためのポイント (

世界中の開発者が、実質無制限の無料 AI コーディング支援と、コード レビュー支援を受けられるようになりました。 最新の開発者向け DORA の 調査によると、開発者の 75% 以上が日常業務で AI を利用しています。その一例として、Google の新規コードの 25% 以上が AI によって生成され、その後エンジニアによってレビュー、承認されています。 十分なリソースを持つ組織はエンジニア チームに最新の AI 機能を提供していますが、一方、学生、趣味のプログラマー、フリーランサー、スタートアップが同じレベルのツールにアクセスすることは困難です。世界の開発者人口が 2028 年までに 5,780 万人に成長すると予測されている中、私たちは経済的な制約なく、誰もが将来の開発においてスタンダードなデジタル ツールとして、AI を利用できるようにすべきだと考えています。 このギャップを埋める

このドキュメントを書こうと思った理由 弊社はAIに関する新規事業開発を行っており、作る側もAIを使わない作業を極力なくそうと思っているのですが、AIの進化がやばすぎて人間側が振り回されている現状が何件もあったのでこのドキュメントを書くに至りました。 もし周りの方で困っている方いれば随時更新予定ですのでシェアしてあげてください。 ＊関係ない仕事の相談などもお待ちしております。 Cursorとは？ Cursorは、AIを活用した次世代のコードエディタで、VS Codeをベースに構築されており、AIによるコード補完・デバッグ・リファクタリング支援などの機能を備えた開発ツールです。 Cursorの最大のメリットは、プロジェクトフォルダ内のファイルやログを自動でインデックス化し、AIが適切に参照してくれることです。 これにより、開いていないファイルでもAIが内容を把握し、より適切なコード補完や修正を

ずっとClaudeが好きだったのに、最近o3-miniに浮気していた。 ところがClaudeが帰ってきた!3.7という控え目なバージョンナンバーとともに。 特筆すべきはダントツのコーディング能力 もうええでしょうo3-miniとの比較がないのでこれだけで一概には言えないが、そもそもo1-proの段階で僕の3Dコーディング能力を超えていたので、どのくらい凄いものか探ってみることにした。 Memeplexでアルファテスト中のコーディング機能を試験的に対応させた。「/claude」をつけるとClaude-3.7でコードを書いてくれる。 Claude-3.7が吐き出すコードは結構癖があるなという感じだが、効果は抜群。想像することも難しかったような4Dマンデルブロ集合を一発で書いてくれた。しかもリアルタイム処理で。 しかしもはや4Dマンデルブロなど書いたことがない俺には、これが正しいのかどうかもわか

はじめに こんにちは。 株式会社HRBrainでバックエンドエンジニアをしている、蔭山といいます。 株式会社HRBrainではアドベントカレンダーに参加しています。 本記事は5日目になります。 今回は、なにかと話題の生成AIに乗っかりまして「AI時代のエディター Cursor」を紹介したいと思います。 コードエディターであるCursorは、AI技術を駆使してコーディング作業の効率を飛躍的に向上させるツールです。 この記事では、Cursorの特徴、インストール方法、オススメ機能を詳しく解説します。 Cursorの特徴 AI技術の活用: CursorはAIを利用してコードの自動生成やエラーの検出、修正を行います。有料プランに登録する他に、自分でOpenAI API Keyを登録して使うこともできます。 開発者向け設計: VS Codeをフォークして作られており、VS Codeユーザーはスムーズ

粘土板からプロンプトへ 人間が「ことば」を記録するようになったのは、紀元前3300年頃のメソポタミアでのことだそうだ。シュメール人たちが、粘土板に楔型文字を使って文字を印した。この人間が「ことば」を記録するという営みが、いま生成AIによって大きく変化しはじめている。 生成AIで「ことば」を生み出すといえば、ChatGPTでメールの返事を書かせたり、人間が書いたとしか思えない小説ができたといった話題もある。それらはどちらかというと、何か小石のようなものをジャラジャラとシャッフルして自分の納得するパターンを見つける特別な仕掛けのようなものだ。 それに対して、自分の頭の中にあるものを言葉として表現して、相手に伝えるための手段として生成AIを使うことも始まっている。それをいまのところいちばん理想に近い形で実現していると見られているのが、コードエディタ「CURSOR」（カーソル、カーサー）のようだ。

27日、神戸市中央区にある商業ビルのエレベーターの最下部にあたる「ピット」の部分で倒れているのが見つかり、搬送先の病院で死亡が確認された男性の身元について、警察は31歳の医師の男性だと発表しました。 【動画で見る】「エレベーターの地下1階に人が転落」死亡した男性は31歳の医師　去年12月には異常なし　神戸市 現場は神戸市中央区のJR三ノ宮駅近くにある商業ビルで、27日午前4時ごろ、「エレベーターの地下一階に人が転落している」と消防に通報がありました。 警察によりますと、午前3時ごろに4階のエレベーターの扉で、利用者が乗る「かご」が来ていない状態で開いているのをビルの従業員が発見。業者に連絡して内部を確認したところ、エレベーターの最下部の「ピット」部分で、男性が倒れていたということです。 男性は搬送先の病院で死亡が確認され、所持品から兵庫県芦屋市に住む31歳の医師の男性と判明したということで

ノーベル経済学賞の受賞者であり、世界的に大きな影響力のあるジョセフ・スティグリッツ。ドナルド・トランプ米大統領の政治は「進歩の終わり」をもたらす──「プロジェクト・シンジケート」への寄稿で、彼はそう警告している。 大きな進歩は簡単に起きない 35年前、ヨーロッパで共産主義が崩壊し、世界は時代の激変を経験した。フランシス・フクヤマが、その時代の節目を「歴史の終わり」と評したのはよく知られている。それは、すべての社会がいずれはリベラル・デモクラシーと市場経済に行き着くという予言だった。それがいかに的外れの予言だったのかをあげつらうのも、いまではすっかり陳腐な常套句となった。 ドナルド・トランプと「MAGA（米国を再び偉大な国にする）」運動が復権を果たしたいま、時代はむしろ「進歩の終わり」を迎えていると言うべきかもしれない。 私たちの多くは、進歩を当たり前のものだと思い込みがちである。だから、2

なんか驚き屋っぽくてアレなんだけど、今回はさすがに驚く権利があると思うので、至急記事を書く。 やろうとしたこと 毎回手元の検証結果から技術記事を構成するのがだるい 自分のブログを適当に読ませておいて、その構成と文体を真似させればいいのでは 手元に mizchi/zenn というリポジトリがあり、ここに zennにポストする原稿を管理している。 $ tree ./articles ./articles ├── 1c35fdcc77065c02f631.md ├── 3e4742e24f2ca0118f70.md ├── 8a017097d3994ddc0a85.md ├── ai-code-generation.md ├── ai-programmer.md ├── ai-team-mate.md ├── antipattern-of-tournament-score-sheet.md ├─

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目的 本稿では、DuckDBがもたらす新しいシステム設計の可能性を探ります。特に、2024年時点で主流な「スケールアウト」モデルを前提としたデータ処理システムから、よりシンプルで効率的な「スケールアップ」モデルが将来的に主流となり得る理由を説明します。また、DuckDBの技術的特性、注目されている理由、具体的なその用途についても詳しく解説します。 対象読者 ソフトウェアアーキテクト：システム設計や運用コストの最適化を検討している人 データエンジニア：アプリケーションデータやログデータなどの様々なデータセットを効率的に処理したい人 システ

【読売新聞】　琵琶湖を水道水の水源としている京都市は、２０２５年度から１０年間、年２億３０００万円の「感謝金」を支払うことで滋賀県と合意した。自治体間で水の使用料を払う義務はないが、市は大正時代から１世紀以上、水源保全の取り組みへの

この記事は毎週必ず記事がでるテックブログ Loglass Tech Blog Sprint の79週目の記事です！ 2年間連続達成まで残り27週となりました！ 昨今、データエンジニアリングの重要性が高まるなか、データレイクハウスという言葉を聞く機会が増えてきました。一方で、BI、DWH、データレイクといった分野は、色のついた商用製品であったり大規模な技術スタックになったりと気軽に触りにくい印象があったりもして個人的に最近はあまり触れてこなかった分野でした(15年程前はだいぶBI製品にお世話になりましたが)。 でも、実はかじってみると美味しい、単なる食わず嫌いだったかもしれません。この記事では前半にデータレイクハウスを概観しつつ後半に軽くハンズオンしてみたいと思います。チョイスは、最も使われるフォーマットである Apache Parquet 、S3 Tables の元となっている Apach

トヨタ自動車は2月22日、静岡県裾野市に建設中の実験都市「ウーブン・シティ」の一部を初公開した。人が実際に暮らしながら今秋に実証が始まるフェーズ1エリアで、自動運転車の開発などに使われる道路や交通インフラ、街の物流やエネルギー供給などを担う地下エリア、インベンターズ（発明家）と住民（ウィーバーズ）が集う施設などを公開した。 22日に行った竣工式に合わせて、報道陣向けに現地説明会を実施した。ウーブン・シティは2020年12月に閉鎖したトヨタ自動車東日本東富士工場の跡地に建設している。「モビリティのテストコース」と位置づけ、異業種企業やスタートアップなどと連携しながら、新しいモビリティの価値を創出する街となる。 豊田章男会長は竣工式で「ウーブン・シティは更地の上にできるのではない。半世紀に渡り、自動車産業と地域のために働き続けた仲間の想いの上にできる街。クルマ屋たちの夢のあと」と述べた。 街中

文化研究者・山田奨治の仕事（Blogは熟考中のことを書いているので、後で考えを変えることがあります。内容は個人的なもので、所属組織の立場、考え、意見等を表すものではありません。） 仕組みの整備やシステム開発やらで延び延びになっていた、待望のサービスが2025年2月20日から国立国会図書館ではじまった。同サービスには、ほかにも10数館が名乗りをあげているようだ。著作権制度についてなんだかんだ言ってきた者として、新しい仕組みを研究する目的で一度は試しておく必要があると思い、自著『著作権は文化を発展させるのか——人権と文化コモンズ』（人文書院、2021年）で申し込んでみた。 このサービスは、著作権が存続していて、かつ書店などでかんたんに入手できる書籍でも、補償金と手数料を払えば、一部をPDFで受け取れるというサービス。ちなみに、著作権存続だが入手困難な書籍等は、「個人向けデジタル化資料送信サービ