メルペイ エキスパートチームの@tenntennです。本稿は Merpay Tech Openness Month の11日目の記事です。 「プログラミング言語Go完全入門」の期間限定公開のお知らせでも書いたように、メルペイでは、社外の方向けにGopher道場という体系的にGoを学べる場を無償で提供してきました。Goの普及を目的にこれまでに8回開催し100人以上の方に参加していただきました。 また、Gopher道場の動画や資料はGopher道場 自習室として誰でも利用できるようになっており、現時点で300名以上の方が利用されています。 Gopher道場の資料のベースになっている「プログラミング言語Go完全入門」は、2020年7月31日までの限定公開になっていましたが、本日より公開期限を撤廃し、完全公開することになりました。 また、本日8月31日から始まる「Online Summer Int
EM菌は、元々農業用の微生物資材として堆肥作りを目的として開発されましたが、「農業、環境、健康、食品加工、化学合成、工業、エネルギー、土木建築など広範囲で応用可能であり、従来の微生物関連資材の常識をはるかに超えたものである」としてあたかも万能であるかの様に宣伝されるようになりました。しかし、そのほとんどは科学的根拠に乏しく「ニセ科学」だと批判されています。 参考：疑似科学とされるものの科学性評定サイト（明治大学科学コミュニケーション研究所） http://www.sciencecomlabo.jp/health_goods/effective_microorganisms.html これまではEM菌を構成する微生物が大まかにしか明かされておらず、「特殊な善玉菌の集合体」という幻想が守られてきました。そこで、最新技術である「メタゲノム解析」（メタ16S解析とメタITS解析）により、網羅的に構
はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識別する必要があったり、縦書きなど日本語ドキュメント特有のレイアウトに対処する必要があったりと日本語特有の難しさがあります。 ですが、今後、海外の開発者がこれらの課題に対処するため、日本のドキュメント画像解析に特化したものをリリースする可能性は低く、やはり自国の言語向けのサービスは自国のエンジニアが開発すべきだと筆者は考えています。 もちろん、Azure Document Intelligenceをはじめとした、クラウドサービスのドキュメント解析サービスはありますが、クラウドを利用できないユ
ブラウザがWebページをどのようにレンダリングしているか、図を用いてやさしく解説した記事を紹介します。 レンダリングの仕組みを理解することで、HTMLやCSSやJavaScriptなど実装時にも気をつける点があります。 How the browser renders a web page by James Starkie 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 はじめに 1. HTMLの解析（パース）を開始する 2. 外部リソースを取得する 3. CSSを解析し、CSSOMを構築する 4. JavaScriptを実行する 5. DOMとCSSOMをマージしてレンダリングツリーを構築する 6. レイアウトとペイントを計算する はじめに 私の考えとしては、高速で信頼性の高いWebサイトを構築するには、実装中に各ステップを最適
タイトルにも書いていますが、Google Analytics(UA)がもうすぐ使えなくなるんですよ。 GA4っていうのになるらしいんですが、自動で切り替わったりしないし、何もしてないと単に使えなくなるんですよ。知ってました？ ※追記※2023年になって 自動的にGA4プロパティが作成されることになりました。しかし、むしろ手動ではないことで混乱しているようです。切り替えではなくGA4プロパティが追加されるんですが、そのデメリットについてはググって調べてね。 (UA)っていうのはGA4ではない、これまで使われてきたGoogle Analyticsだと思ってください。やや正確ではないのですが「GA4という最新版ではないGoogle Analyticsはすべてサービス終了される」くらいのイメージで捉えてもいいです。 業務で関わってる人たちからはGA4移行についての記事やツイートがたくさん流れてきま
先日、こんな地図を作った。 なんのこっちゃと思うが、拡大するとこうなっている。 じつは小さな文字が集まってできている。東京の地名の末尾の一文字だけを並べたものなのだ。 中央やや右でぽつんと「田」となっているのは、千代田の「田」だ。全体をよく見ると「山」「谷」「海」などが散らばっている。それぞれ、代官山だったり渋谷だったり青海だったりするのだが、こうやって末尾の一文字だけにすることでうまい具合にその土地の特徴や地形が浮かび上がるように見える。 どうしてこんなものを作ったか これを作ったきっかけは永太郎さんという方のツイートだ。 永太郎さんは京都で地理を専攻している学生だ。先日も「なんでもない地図を語る会」という記事でお世話になった。なにかの調査の一環だと思うが、地図から地名だけを抜き出してものを作っていた。これがとても面白く、しかもそれ自体ぎりぎり地図と言えないこともない。しかし、残念ながら
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
![[人要らず]ChatGPTを使った一人議論やってますか？ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/964a2296c4caf7fd924f7dd2d76676d27da6f6f4/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkY1NTEzMTYlMkY0Mjg5ODViZWRjOGIzZmNhMGQ4MTZiNWI1OGUxNWQxMjY1ZmMwMTc5JTJGbGFyZ2UucG5nJTNGMTY4Nzc0MTk5OT9peGxpYj1yYi00LjAuMCZhcj0xJTNBMSZmaXQ9Y3JvcCZtYXNrPWVsbGlwc2UmZm09cG5nMzImcz0wNzE3ZDk2Zjg1Mjk1OTAxM2FmZTViNGI5MDEwMTRhMw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dee66cad76e43586f7e779cca6c0d61cb%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU0JUJBJUJBJUU4JUE2JTgxJUUzJTgyJTg5JUUzJTgxJTlBJTVEQ2hhdEdQVCVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSVBMyVFMyU4MSU5RiVFNCVCOCU4MCVFNCVCQSVCQSVFOCVBRCVCMCVFOCVBQiU5NiVFMyU4MiU4NCVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSVCRSVFMyU4MSU5OSVFMyU4MSU4QiVFRiVCQyU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPWJmNTBjOTM2ZmIzMDRmNTg0M2RmNjNkOGM5ZDU2MGI5%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBHTVIwMDA5JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NWM1MWY5OTc1OTE2OWMyYzdhMzYzYjcxZTg0ZGE5ZmY%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D1e5c19cfeb90d66d2dd654e11f61662a)
さくらインターネットは5月22日、人工衛星が取得したデータを使って機械学習やプログラミングの基礎が学べるeラーニング教材を無償公開すると発表した。在宅によるオンライン学習をサポートしたい考え。 提供するのは、動画で衛星データやプログラミングの基礎知識、データの解析手順などを学べる「Tellus Trainer」と、Pythonを使って簡単な画像処理や衛星画像の加工などを学べる「Tellus×TechAcademy 初心者向け Tellus 学習コース」。衛星データをクラウド上で分析できる同社のサービス「Tellus」の利用を想定している。 関連記事 さくら、衛星データ基盤「Tellus」に「つばめ」の撮影画像を追加 新宿エリアを定点観測 さくらインターネットが、JAXAの人工衛星「つばめ」が撮影した画像を「Tellus」に追加。新宿エリアを4月2日～5月10日の午後4時半ごろに毎日撮影した
こんにちは。カンムで業務部長してます平湯（ひらゆ）です。 カンムは現在、Visaプリペイドカードの「バンドルカード」と手元の資産形成に活用できるクレカの「Pool」の2つの事業をやっています。今回はバンドルカードのお話です。 2022年末に過去の問い合わせ率を集計したところ、一番多かった時期と比べると問い合わせ率が半分になってました。（問い合わせ率 = 問い合わせ数 / 稼働会員数） 良きタイミングなので頑張ってきたことを振り返ってみます。 どんなことをやったか一次情報から課題特定 →問題提起 →オペ整備 →リリースのサイクルを回した結果です。何よりも一次情報の取得が大事です。時間がかかるし、単純作業なので苦しいんですが、生の声を読むことで感情や背景が頭に染み込みます。問題により深く入り込めているという感じでしょうか。 この課題の解決策をエンジニア・デザイナー陣と考えていきます。カンムはエ
アクセス解析の実態調査としてGoogleアナリティクスに関するアンケートを実施。CVR改善など、成果を上げるために使うべき機能・使わなくてもよい機能を明らかにした。
アクセス解析ツール「Google Analytics 4」の実装・設定・活用のための情報サイト 株式会社HAPPY ANALYTICSの代表、小川卓によって個人運営されています。
この記事の概要 ユーザーから嫌われている広告の1つに「スワイプ広告」というものがある。 誤タップをしやすいことが理由だが、あまりにもこの広告だけ誤タップするため調べたところ 実は誤タップしたように見せかけて意図的に広告先に遷移させる広告であるということがわかった。 スワイプ広告とは、左右にスワイプすると画像がついてくるタイプの広告である。 スワイプ広告とは スワイプ広告とは、主にアフィリエイトサイトで見られる広告形式の一つである。 ユーザーは指で画面上の広告を左右にスワイプすることで、広告画像を切り替えることができる。 スワイプによるインタラクティブ性を活かし、複数のメッセージやメディアを使い、魅力的な広告体験を提供することが特徴である。 なぜ悪名高いのか しかし、スワイプ広告はユーザーから嫌われている。その理由は、誤タップを誘発しやすいからである。 誤って広告をタップして画面が遷移してし
ログの出力場所 ログは、開発者や運用担当者が見つけやすい箇所に出力することを原則としましょう。ファイルに出力する場合は、logディレクトリなどを作成しておくことをお勧めします。基本的に、出力先は以下の4つが想定されます。 ・ファイルに出力する コンソール外で起動するアプリケーションに使用される方法です。 ・標準出力 コンソールから起動するアプリケーションで使用されます。途中経過などを出力するための出力方法です。 ・外部ログ管理ツールのファイルに出力 外部のログ管理ツールを用いることが可能な場合は、専用のログ記録場所に出力することを推奨しています。 ・外部システムへ出力 開発者・運用者の作業やコミュニケーションを円滑に行うために、Slackなどのチャットツールに出力するケースもあります。ただし、稼働率に注意する必要があり過度なログの出力は控えるようにしましょう。 基本的に、外部ログ管理システ
米Alphabet傘下の英DeepMindが、遺伝子配列情報からタンパク質の立体構造を解析するAI「AlphaFold v2.0」（以下、AlphaFold2）をGitHub上で無償公開し、ネット上で注目を集めている。Twitterを利用する生物系の研究者からは「革命的な成果だ」「これからの研究の前提が変わっていく」など、AlphaFold2の予測精度に対して驚きの声が相次いだ。 なぜAlphaFold2はこれほどの驚きや賞賛をもって迎えられているのか。タンパク質構造解析の難しさをひも解く。 未知の部分が多いタンパク質の構造 タンパク質は数十種類のアミノ酸からできており、配列によってさまざまな性質に変化する。例えば筋肉、消化酵素、髪の毛はそれぞれ役割が異なるが、いずれもタンパク質で作られている。タンパク質の構造が分かれば、生体内の化学反応の理解が進む。アルツハイマー型認知症やパーキンソン病
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機械学習、ディープラーニングは出てきません！テキストデータの前処理が中心です。 前処理系 大文字小文字 日本語のテキストにも英語が出てくることはあるので。 s = "Youmou" print(s.upper()) # YOUMOU print(s.lower()) # youmou 全角半角 日本語だとこちらのほうが大事。 全角半角変換のライブラリはいくつかありますが、自分はjaconv派。 MIT Licenseで利用可能です。 import jaco
社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 （追記）これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス
naki @naki_mk 同僚からもらった画像だけど、ワイもようやくPythonから Excelに降り始めるフェーズに入ってきた気がする。 pic.twitter.com/iqSgbbhobX 2022-09-06 08:11:05 naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41
polaris💉M💉M💉M💉M💉P💉P @Polaris_sky アメリカさん、遂にアメリカの誇るIT企業総動員でアメリカ版ヤシオリ作戦発動。330ペタフロップスの計算量でコロナウイルスを解析してぶん殴りに行く模様。330ペタフロップスとは、日本の京コンピューター33台分。やっぱりアメリカ凄い、もっとやれ。 twitter.com/gigazine/statu… 2020-03-23 12:00:57
画像は『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より オンライン講座サイト「gacco（ガッコ）」では2021年1月14日から、日本統計学会と日本行動計量学会の協力のもとに作成した「統計学Ⅲ:多変量データ解析法」が開講される。受講料は無料。 『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より 実際のデータは複数個の測定項目からなる多変量データであることが多く、そのようなデータの統計解析手法の学習は、統計手法の現実問題への応用で極めて重要なものと言える。本講座では、多変量解析法を実際のデータに適用する際の注意点や実際の応用例を中心に学習できる。 『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より 講師は、横浜市立大学データサイエンス学部教授の岩崎学氏、大阪大学大学院人間科学研究科
2022年4月13日の試験で統計検定準1級に合格したので、記事を書く気になりました。daminです。（Twitter: @5882353i） うおおおおおおお統計検定準1級合格！！！！！！！うおおおおおおお！！！おおおおおお！！！！！！うおおおおおお！！！！！！！！！！！！！！！ pic.twitter.com/J1LDsgUVm1 — 惰眠👻 (@5882353i) 2022年4月13日 背景や、合格するまでに使った本などを書いていきます。 背景（受験までのおおまかな流れなど） 余談：センター統計選択のススメ 持っていた方がよいもの・知識 線形代数の知識 Pythonの知識 goodnotes5 使った本 東大出版の統計学入門（通称：赤い本） 公式の準1級対策本（通称：ワークブック） 過去問 クラインバウム生存時間解析 ゼロDL ベイズ漫画 まとめ 真剣に読んでいる人向けのまとめ あま
人気の「スプラトゥーン3」を通して、最新の通信技術の基本を学んでしまおうというこの特集。今回は実際にスプラトゥーン3のパケットをWiresharkでキャプチャーして、UDPの通信やNAT越えの仕組みを見ていきます。 なお記載内容については、実際の通信をキャプチャーした結果に基づいた筆者の考察や推測によるものであり、任天堂の公式見解ではないことを記しておきます。 任天堂が開発した汎用ゲームプラットフォーム「NPLN」 スプラトゥーン3では、「NPLN」という、任天堂がスクラッチから開発をした任天堂プラットフォーム向け汎用ゲームサーバーが使われ始めました。従来のプラットフォームである「NEX」はニンテンドー3DS／Wii Uからの世代で使われてきて、NPLNはそこでのノウハウを基に2021年から「Google Cloud Platform（GCP）」で稼働しているようです。オンライン対戦のマッ
全文検索エンジンも、事前に検索対象のデータを調べてこのような索引を作っておくことで、高速な検索を実現しています。 インターネット検索の例 たとえばインターネット検索の場合、まず各サイトからデータを収集して、その中から索引に載せる単語を選んで索引を作ります。索引のデータは下の図の右側のような表になっています。各単語と、それがどのサイトのどこにあったのかを記録しておく形です。 検索の時は、この索引データを調べます。例えば利用者が「理解」という言葉で検索したら、索引の「理解」のところを調べます。そうすると「サイトAの8文字目と18文字目、サイトGの……」と出現場所がわかるので、すぐに結果を返せます。 なお、この図では索引の単語の並び方が適当ですが、実際には本と同じように「あいうえお順」などに並べておいて、すぐに単語を見つけられるようにしてあります。 索引にない単語 この仕組みの場合、索引にある単
こんにちは、いちび( @itiB_S144 )です。 2021年12月25日にWindowsイベントログ解析ツールとして「Hayabusa」がリリースされました🎉 Hayabusaは事前に作成したルールに則ってWindowsイベントログを調査し、インシデントや何かしらのイベントが発生していないか高速に検知することができるツールです。 私も開発を微力ながらお手伝いさせていただきました。 本記事では多くの方にHayabusaを触っていただきたいため、簡単な使い方を紹介していきます。 We just released two Windows event log analysis tools: Hayabusa and WELA: https://t.co/nFHxSgUl2q #yamasec— Yamato Security Tools (@SecurityYamato) 2021年12月2
本投稿は、財務省主計局が公表した資料において、統計的な不備が存在するにもかかわらず結論を導いていると考えられる点を、事実ベースで指摘・説明するものです。 あくまでも事実に基づいた指摘を行っているものであり、陰謀論を助長する趣旨ではありません。根拠のない憶測や陰謀論には強く反対いたします。 1. はじめに昨今、103万円の壁引き上げで財務省に対して 「積極財政をすべきだ」「緊縮財政をすべきだ」などの議論が盛んに行われています。 今回の問題の本質はそこではありません。 財務省主計局がIMFの一次データを用いて相関関係を分析する際に、 適切な統計処理を行わないまま結論を導いています。 積極財政・緊縮財政を語る以前の不適切な統計処理の問題です。 では、なぜその不適切な統計処理が問題になるのでしょうか。 それは、誤った処理によって可視化されたデータやグラフを使って議論しても、 妥当な結論を得ることが
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 統計検定準1級は(一財)統計質保証推進協会が実施、(一社)日本統計学会が公式認定する「2級までの基礎知識をもとに、実社会の様々な問題に対して適切な統計学の諸手法を応用できる能力を問う」試験です。現在はCBTでの実施となっています。 主観を込めて言いますと、2級と準1級では難易度に雲泥の差があります。 強調して言っておきます。まったく違います！ 準1級では統計的推定や検定に加えて、多変量解析(重回帰、PCA、主成分分析、数量化)、時系列解析、マルコフ連鎖、確率過程、分散分析、ベイズ統計、MCMC...と範囲が広いのが特徴です。
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
2016年10月に未経験・新人データサイエンティストで雇ってもらいました。当時はまだ業界が牧歌的だったのと、比較的書類上のスペックが高い若者だったのもあり、運良く拾ってもらえたのでした。今だと100％受かってないです。 そんな私が今までで読んだ本の中で、役に立った本をつらつら書いていきます。 現代の若者がどんどん優秀になっているので、これくらいでいまんとこいっぱしのデータサイエンティスト（@ビジネスサイド）になれるんだなあという基準を述べようかと思いました。何年か後に振り返りたいですね。 もちろん、これが誰かの学習の役に立てばと思っています。 ちなみに、アフィリエイト入れてないので気にせず買っていってください。 数学無難に解析学と線形代数学を勉強しておくといいと思っています。
コード・インタープリターはChatGPTの有料版｢ChatGPT Plus｣で、GPT-4の付加機能として呼び出せる。 画像：筆者によるスクリーンショット ChatGPTの有料版である｢ChatGPT Plus｣（月額20ドル）には、7月初めから｢Code Interpreter（コード・インタープリター）｣という機能が追加された。 この機能が画期的だとして、一時ネットでは大いに話題になった。これまでは面倒だった｢データ集計｣などを、チャットの命令だけで実行できるからだ。 データ集計は、Excelなどの表計算ソフトやPythonなどのデータ処理に強いプログラミング言語で処理することが多い。 しかしコード・インタープリターでは、それらを使う必要はほとんどなく、データさえ用意できればいい。さまざまな手間がほぼゼロになり、ChatGPT任せにできる。 そうはいってもピンと来ない人も多いはず。そこ
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出
This post is also available in: English (英語) 概要 Wireshark は無料で利用できるプロトコル アナライザです｡ Wireshark を使うと、ネットワーク トラフィックをキャプチャーしたり､キャプチャーしたパケットを表示させることができます｡ITの専門職についているかたがたは､このツールを使って日々ネットワークのさまざまな問題を解決しています｡セキュリティの専門家も、この Wireshark を使ってマルウェアが生成するトラフィックを確認しています。 そこで、今回は Wireshark の便利な機能のひとつである表示列のカスタマイズをご紹介したいと思います｡Wireshark はデフォルトでは､非常にたくさんの情報を列表示してくれますが､これをカスタマイズすることで皆さん自身の用途に使いやすいようにできます｡ 本稿は Wireshark
みなさん、こんちにはmです。 今回は私が1年の期間でマルウェア解析のスキル0から習得するまでに取り組んだ方法をまとめました。 初めに開始時のスキルや1年間でかけたコスト、スケジュールなどを共有します。 開始時のスキルなど 表層解析、動的解析、静的解析の違いもあまり理解していない プログラミングはPythonを学び始めた程度 低レイヤーの知識なし アセンブリの知識なし Windowsアプリケーション開発の経験なし SOCアナリストとしてブルーチームの知識は多少 脆弱性診断の経験も（深くはないが）多少 エンジニア歴7、8ヶ月目くらい ざっくりですが、このようにマルウェア解析に絡んでくる知識はほぼ0でした。 学習にかけたトータルコスト 書籍：約5万円 オンライン教材：12万円 約17万円近く1年間に使いましたが、お金で直接スキルは買えないので必要経費です。 なお、オンライン教材の12万円について
10年以上前の昔話であり、そんなこともあったのねという話。あるいはエンタープライズサポートってそんなことやってるのねという話。 カーネルメモリダンプLinuxカーネルをエンタープライズに使おうとした企業、富士通やIBM、日立といった企業がこぞってカーネルに入れようとした機能がカーネルがパニックした時に「なぜコケたのか」調べるための機能であった。その最たるものがメモリダンプだった。この機能はカーネルパニックが起きた後のメモリをディスクに吐き出す。この吐き出されたメモリイメージをダンプと呼び、これをデバッガに食わせて原因調査をする。 カーネルデベロッパはパニックが起きたら再現条件を探して理詰めでバグを探すのが得意だが、顧客先でパニックが起きたら「再現させてくれ」とは中々言えないのでこの機能はサポートには重要だった。そして、ダンプ調査の技を持つエンジニアも居た。 地雷型メモリ破壊パニック色々と調
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
