Scala 3 +fs2で 1.5TのWikidata JSONをParquetに変換した
今年ある仕事のため Wikidata データセットからのデータマイニングをやってみました。Scalaで元データを変換する部分が中核ではないが面白かったので紹介したいと思います。 背景と入力データ...
1
0
Comment0
22 search resultsShowing 1~20 results
Stocked
You need to log-in
Pydantic の使い方5選
背景として、私事ですが私は今年プロダクト開発チームから離れて、半分データエンジニア・半分実験開発みたいな仕事をしています。この新しい仕事において、MLやデータ周りのエコシステムが強いPython...
4
0
Comment0
socket.io をCloudflare Worker に移植してみた
背景 socket.ioとは socket.ioは、クライアント-サーバー間のリアルタイム通信のためのNode.jsサーバーです。 プロトコルがちゃんと定義されており、公式のNode.js実装の...
1
0
Comment0
Blender ~ glTF ~ Babylon.js 使ってみた
主業が雑務とWebエンジニアで、この間個人の興味・仕事のニーズともにあってブラウザの3Dレンダーに少し触った人です。 今回はBlenderモデルファイルからglTFフォマットに書き出して、Bab...
7
2
Comment0
Cats Effect 使ってみた
公式チュートリアル をやってみた程度の人ですが、推測で補足しながら書きました。自分が面白い・新鮮と感じたところを共有できれば嬉しいです。 Cats Effectとは The pure async...
11
3
Comment0
関数コンポネントのライフサイクル使うhook
関数コンポーネントのライフサイクル Reactの関数コンポーネントにも、mount / unmount の概念が存在します。 useState など (公式の) hooksの戻り値は、react...
2
1
Comment0
TypeScript 3.7 beta の変更点
TypeScript Blogの元ポスト: https://devblogs.microsoft.com/typescript/announcing-typescript-3-7-beta/ 個...
7
4
Comment2
bash: バックグランドジョブの数を制限する
#!/bin/bash # ジョブ数が$1未満になるまでブロックする wait_until_jobn_lt () { local max_jobn=$1 while [[ "$(jobs | w...
5
1
Comment0
ファイルシステムと大文字小文字
ファイル名の大文字小文字について、ファイルシステムの扱いがおおよそ3パタンあります: 1. 違いが認識･保存されるが、厳格ではない (case preserved && case...
11
7
Comment0
Feature Requestを受けたエンジニアの5段階
denial / いらない機能だ anger / この機能作って誰得。提案した人に会いたい bargaining / なんでこういうの欲しいの? depression / 汚い手段をとって実現し...
0
0
Comment0
簡単なHMAC secretがいけない理由
One Line of Code that Compromises Your Server super secret のような簡単HMAC secret は1分以内でクラックされてしまう クラッ...
1
0
Comment0
マージコンフリクトをチェックする git alias
複数のブランチを同時に編集するとき、マージするとコンフリクトが大量に出て、resetしないといけなくなることが多い。 そのチェックためにtry-mergeとdontmergeのaliasを作りま...
4
4
Comment0
Lightweight Linux workground with docker containers
#!/bin/bash -x # run alpine linux in a temporary container, where we can play with any commands #...
0
0
Comment0
apkバージョンとサイン設定を環境変数で設定する
目標 リリースビルドのバージョンを自動的に設定する。 同じコミットが同じバージョンになる ("再現できるビルド")。 サインキーなどをコミットに残さない。 これらの設定を必須としない: 開発者が...
3
2
Comment0
Android N プレビュー1
Android Developer Blog記事のまとめです。 マルチウィンドウモード Notificationに直接リプライするAPI 画像 同アプリのNotificationを1箇所にまとめ...
1
0
Comment0
Linuxプロセスに、偽のシステム時間を使わせる
問題 （テストのために）Linuxプロセスに偽のシステム時間を使わせたい。 解決 libfaketimeを使って、時間関係のシステムコールをハイジャックする。 ビルド $ git clone h...
24
25
Comment0
/var/lib/dockerを削除できない問題
問題 Dockerのデータ(デフォルトは/var/lib/docker)を他のボリュームに移動させたら、元のデータフォルダをrm -rfで消せない。 原因 あのフォルダは一般ファイルの他に、ファ...
0
0
Comment0
APDでPHP5.4のスクリプトをプロファイルする
最近PHPスクリプトから時間のボトルネックを特定するようなことをやってましたので、その経過をメモしておきます。 関係なソフトのバージョン Ubuntu 14.04 Apache 2.2 PHP ...
2
2
Comment0
bash: プロセス出力を直接入力ファイルに使う
タイトルは意味不明だが、やってること見るとわかってもらえるかも 系 command1 <(command2) command1プロセスが1番目のパラメータをopenして読み込むと、com...
1
1
Comment0
インスタンスなしでジェネリックタイプにタイプを指定する
背景 func foo<T>(objects: [T])->T? { return objects.first } Swiftではメソッド宣言に、上記のようなジェネリックタイプ...
1
1
Comment0
22 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles