はてなブックマーク

Serverless(2)アドベントカレンダーの3日目ですが、ちょうどre:Inventで公開されたCodeBuildで何かやりたいなーと思いLambda(python2.7)のデプロイフローを構築してみました。 CodeBuildとは これまで、AWSには下記の開発フロー支援系ツールがリリースされています。 CodeCommit ... gitのリポジトリ管理 CodePipeline ... CIサービス、GithubやCodeCommitと連携しつつ CodeDeploy ... コードのデプロイ支援サービス。 先日のre:inventではこちらに加えてCodeBuildという製品が新たに登場しました。 これは簡単に言えばマネージドなビルドサーバだと思っていただければわかりやすいかと思います。 それまではCodePipelineが受けとったコードの更新イベントからCircleCI等の

golangとマイクロサービス 最近ではGo言語がWebサーバで利用される機会もだいぶ増えてきたと思います。 利用例の中にMicroServicesやそれを指向したアーキテクチャで使用されている方の話を聞く機会がちょいちょい有りまして、その界隈のツールセットが幾つか登場しつつありますので紹介してみたいなと思う次第でした。 マイクロサービスの運用となると、モノリシックなサーバの時は考えなかった問題に出会うことが多く、そうしたハマリポイントを各ツールについて学ぶことで避けることも出来ると思いますので、ツールを利用しないまでもチェックしてみるのは参考になるのではないでしょうか。 ツール間の比較 項目 go-kit/kit NYTimes/gizmo micro/micro

ある日見つけた不思議なアクセスログ アプリの運用において、アクティブでないユーザーというのは悩みの種でして日々アクセスログなど眺めつつ改善につなげています。そうした調査の中で、それほど数は多くないのですが、アプリをインストールしてすぐに利用を停止するユーザーの集団を発見しました。調査してみたところ、Androidアプリ向けに作っていたAPIを叩く AdsBot-Google-Mobile-Apps というUser-Agentのアクセスのみで構成されていたため、これはなんぞやと調べた次第です。 AppIndexingとGoogle Crawler 結論として、このアクセスはAppIndexingを有効にしたAndroidアプリに対してGoogleのBotがクロールした結果発生するものだとわかりました。 AppIndexingとは、公式ページから引用させてもらうと、 App Indexing

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

業務でもクローラを見ることが多いのですが、今回は新しくクローラ作るならとりあえずDjango+Celery使うだろうなぁということで、個人でサンプル書いて見つつ思ったところをつらつらと書いてみようと思います。 クローラの基本的な処理段階 クローラといっても人によって微妙に定義が違う状態で会話する事が多いのでとりあえず今回の対象は、 一定の条件に従ってWebページのリンクを収集する 各リンク内のページ内容をスクレイピングする スクレイピングした後の処理については、今回は対象外とする という前提でお話します。 今回のサンプルの構成 y-matsuwitter/django_sample_crawler 今回サンプル書く上での構成ですが、 Python 3.4.3 Django 1.9 Celery 3.1.19 lxml 3.5.0 requests 2.8.1 を利用し、下記を実施するものを

Gunosyアドベントカレンダー第一日目ということで、他の会社のバックログの書き方も知りたいというきっかけの元、Gunosyのバックログのtips話をしようと思います。 施策バックログとチームバックログ Gunosyでは現在、「グノシー」という一つのプロダクト運用にあたり、およそ11の小さな開発チームに加え、営業チームや企画チームが連携しながら施策を回しています。 各チームはスクラム、正確には厳密でないスクラム的運用でプロジェクトを回しており、それぞれがチームバックログを持っています。 これらのチームバックログは全て会社全体の施策バックログをベースに作成しており、いわゆる親子関係に近いものがあります。 正確には各チームの独自のバックログ（リファクタリングやバグフィックス系など）と、施策バックログをチームのバックログにブレイクダウンしたバックログの組み合わせです。 この施策バックログは、現在

PipelineDBアドベントカレンダー一日目ということで、多分知らない方が多いこのストリーム処理DBについて、概略の紹介をします。 ちなみに自分はまだPipelineDBをプロダクションで使っているわけではなく、AdventCalendarの投稿はプロダクション投入に向けての調査の意味合いが強いです。 そもそもストリーム処理がなぜ必要か 昨今のWebシステムで生成されるイベントデータやログデータといったものはfluentdなどのログコレクタの発展に伴い様々なデータストアに保存され利用されるようになってきました。 そのサイズは、場合によっては日に数億行という事例も多いですがそうしたデータの利用においては、データを抽出し整形し、DBに導入するだけでもある程度のコスト・時間が必要になってきます。 そうした事例の解決にはHadoop系のプロダクトやRedshiftやBigQueryなどのカラムナ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

今回のISUCONについて Gunosyの@y_matsuwitterです。 今回のISUCONは去年と同様チーム.datとして、 @y_matsuwitter => プロセスキャッシュ中心の最終兵器作成 @TakatoshiMaeda => 予選に向けたツールの用意と司令塔、分析 @kanny => インフラ周り中心にボトルネック改善 と言う構成で、自分一人Go実装に突っ走るような布陣で望みました。 課題はMixiライクなSNSの実装で、割と色々なJOINが走らざるを得ない、短時間で高速化するには厄介な課題でした。 今回の結果としては日曜一位通過でき、一安心というところです。 また、予選中、両日含め最高スコアの34382を出せました。 事前準備 事前に色々と調査とすぐ使える形のサンプルコード書き溜めて置きました。 Goでのunix domain socketの扱い signalの受け取り

ReactNativeとは ReactNative http://facebook.github.io/react-native/ ReactNativeとはReactjsベースでネイティブアプリを構築できるSDKで、Facebookが先日リリースしました。ちなみにFacebook GroupのアプリがReactNative製なんだそうな。 現在はiOSのみの対応となっていますが、将来的にはその他プラットフォームにも対応していくものと思われます。 内部ではReactjsの描画結果をUIKitの各要素に変換して描画しているようです。 触ってみたいという方は、3分くらいで準備できますのでやってみましょう。 http://facebook.github.io/react-native/docs/getting-started.html#content 作ったもの とりあえずどういった作法で書いて

概要 CoreOS上にfleetのunitとしてhubotを立ち上げてみた 複数ホスト間でのLINKとかなければfleetは単純なツールなので使いやすかったという話 前提 Vagrantとvagrant-digitaloceanがインストール済み 手元にDocker開発環境が整備済み やったこと 1. CoreOSを立ち上げる 今回はvagrant経由でdigitalocean上にCoreOSのdropletsを立ち上げます。 Vagrantfileは下記のようになってます。 適宜、pathやファイル名など書き換えて使って下さい。 Vagrant.configure('2') do |config| config.ssh.username = 'core' config.vm.define "core-hubot" do |config| config.vm.provider :digit

GoogleApps系のライブラリをGenyMotion2.0から持たなくなってしまったようです。 なのでGenyMotion上でGCMなんかを使っているアプリを動かすと、以下のエラーを吐いてクラッシュしていました。 java.lang.UnsupportedOperationException: Device does not have package com.google.android.gsf 一応、GenyMotionチームが解決に向けて鋭意開発を進めているようなのですが、まだGoogleApps系は搭載されていない模様。 これがないとGCMだけでなく、PlayStoreや課金周りの対応もできない模様。 というわけで、公式で解決されるまでの対症療法的解決策について。 対策 参考ページにあったとおり、 http://wiki.rootzwiki.com/Google_Apps#Uni

こんにちは、GoAdventCalendarの記事を書き忘れておりましたので急いで書きました。 atomic.Valueとは こちらGo 1.4より追加されました。 Goの公式ドキュメントでは Do not communicate by sharing memory.とよく書かれていますが、複数のGoroutineからひとつの変数を参照・更新するというのは標準パッケージを眺めていても割と頻繁に登場します。 その際にsyncパッケージ等を使い値のrace conditionを解消するのですが、共有する変数への変更処理(mapに新しい値を追加する、など)をよりatomicな形で提供するのがatomic.Valueになります。 使い方はatomic.ValueのExampleを見てみて下さい。 実装を見てみる では何故こういったパッケージを利用する必要があるのか内部実装を見ながら考えてみよう、と

このガイドラインについて こちらのガイドラインは社内のバッチ処理スクリプト開発にあたっての、安定運用等に関わるガイドラインを公開用に書きなおしたものになります。 バッチサーバ規則 基礎項目 以下の要項を満たすことを確認する その他の用途で動作しているサーバ上での動作は行っていないこと 運用期間中に想定しうるデータ量にてOOMキラーに殺されないこと 想定の時間で終了すること データの読み込みは極力Read Replicaを見ていること データの書き込みによる本番サーバへの影響が見積もれていること 冪等性が担保されており、何度実行しても処理上の不具合は発生しないこと 多重実行時に不整合が発生しないこと エラー時の社内への通知が用意されていること エラー時の通知には再処理のための手順が揃っていること、もしくはそのドキュメントの場所が示されていること 個人ユーザー下にログや成果物を絶対に書き込んで

経緯 先日のGoConではGengoさんが自社のAPIサーバの概要を紹介してらっしゃったので、弊社もAPIサーバの構成の紹介をしていきたいと思います。第一回は利用しているライブラリの紹介をさせていただきます。 ライブラリ一覧 ひとまず使ってるものを列挙させていただくと以下のようになっています。 zenazn/goji guregu/null guregu/toki guregu/clock unrolled/render guregu/mogi go-redis/redis guregu/buildver y-matsuwitter/fluent-logger-golang 弊社エンジニアgregの自作ライブラリが多く使われてます。 zenazn/goji gojiはmartiniライクなサーバ用ライブラリです。 最近は日本でも人気になってきました。 gojiとmartiniの一番大きな違

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? チーム.datの@y_matsuwitterです。 普段はグノシーでiOSエンジニアだったりGoエンジニアだったりインフラエンジニアやってます。 今回全員初めて出場のisuconでは、風邪でふらふらしながら、主にGoの実装周りを担当しました。 ちなみに他のメンバーもec2リブート祭り+shellshockでふらふらしてました。 とりあえず異常がなければ予選二日目を三位で通過しているはずなのですが、受験終了直後の高校生ばりに不安です。 => 二位に繰り上がって通過しました 当日までの準備やインフラでやったことの話については他のメンバーがま

bleveとは 簡単に言うとテキスト検索エンジンです。 Go言語の様々な構造体をインデクシングして、任意のワードで検索できます。 bleveの特徴としては非常にシンプルなインターフェースで使えるので組み込みが楽ということが一番に挙げられます。 とはいえインデックスデータのバックアップやtf-idfでのスコアリングなどの機能も用意されていますし、コマンドラインツールもセットされています。 内部ではboltdbをデフォルトのデータストアとして使うようになっています。単純なkey/valueストアなので他のDBへの移行も可能かもしれません。 デモはこちらにあります。 http://wikisearch.blevesearch.com/search/ 使い方 package main import ( "fmt" "github.com/blevesearch/bleve" ) // 検索対象の構

昨日GoCon2014がありまして、発表の機会を頂いたのですが発表後に @rui314さんから指摘のあったグローバル変数への読み込み・書き込みの競合の問題、これに関してはsync.RWMutexを使うのがいいので、使ってみました。 RLockとLock 通常のsync.MutexはLockのみしか提供しない。これをRead, Write双方で使ってみると非常に効率が悪くなります。そこでsync.RWMutexはRLockというもう一つのLockを提供しています。 この２つの違いは、 RLock: Read向けのLock。RLock同士はブロックせず、Lockのみがブロックされる。解除時はUnlockではなくRUnlockする。 Lock: いわゆる普通のLock。RLock, Lock双方をブロックする。 上記を使い分けることで効率よくLockを行えるようです。 使ってみる 実際にどう動く

でいける。 追記 勘違いで間違ったコマンド貼ってたようです。 正確には...を使う方が正しいです。 git help diffから引用 git diff [--options] <commit>...<commit> [--] [<path>...] This form is to view the changes on the branch containing and up to the second <commit>, starting at a common ancestor of both <commit>. "git diff A...B" is equivalent to "git diff $(git-merge-base A B) B". You can omit any one of <commit>, which has the same effect as usin

OSSのGithubクローン、gitoriousがDockerfile形式でイメージを配ってたので試しにbuildしてみました。 https://gitorious.org/gitorious/gitorious-docker/source/799c49967663e0c379fc1b4089a2eb8fb7ceb072: やったこと Dockerの使える環境を用意してあること前提で書いてきます。 インストールなどは公式ドキュメント参照してください。 https://www.docker.io/gettingstarted/ $ git clone https://git.gitorious.org/gitorious/gitorious-docker.git $ cd gitorious-docker $ docker build -t gitorious/gitorious . $ .

Machine Learning Advent Calendar向けの記事です。 はじめに 最近、個人的にGo言語を触ることがちょいちょいあります。 型があって割と高速に動いてくれて、ポータビリティの高いとこが気に入ってるのですが、何十万・何百万人に推薦データを提供することが使命な会社にいるなら、これを推薦に使おうかなと画策しています。 というわけで今回は、周囲が皆サーベイ論文紹介とかなので若干毛色違いますが、Goでb-bit Minwise Hashingを実装したことについて書きます。 b-bit Minwise Hashingとは Minhash、及びb-bit Minhashについては、既にPFIの岡野原さんによる素晴らしいPostがあるため、詳しく知りたい方はそちら+その中で紹介されている論文を読んでいただくのが一番かと思います。 参考: MinHashによる高速な類似検索 ht

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

毎度のことなんだけども、testflightに配信しようとすると Xcodeでアーカイブして Organizerからipaファイル吐かせて testflightにアップして リリースノート書いて いつものメンバーに配信する みたいなフローが必要だったので、面倒になってスクリプトにまとめてしまった。 やってること 流れとしては、 アーカイブする ipaファイル作る リリースノート書く testflightのUpload APIに配信する と言った感じ。 ちなみに大抵Cocoapods使ってるのでxcworkspaceのある環境が対象です。そうでない人は適当にxcodebuild部分だけ書き換えてください。 #!/bin/sh # applicationの名前 APP="hoge" # SDK SDK="iphoneos7.0" # ビルド時の設定 CONFIGURATION="Release

なんかXcode5にアップデートしてみたらCocoapods関連で下記のwarning出てたのだけど気にせずビルドしたら案の定failした。 Pods was rejected as an implicit dependency for 'libPods.a' because its architectures 'armv7 armv7s' didn't contain all required architectures 'armv7 armv7s arm64' エラーの内容はこれ。 ld: library not found for -lPods 解決策は、まずこれからCocoapodsを使う人は最新版に上げてから使いましょう。 また、このエラーでた人は、 Pods (the project) -> Pods (the target) -> Build settings にあるArch

require 'aws-sdk' device_token = 'your device token' aws_access_key = 'your aws access key' aws_secret_key = 'your aws secret key' region = 'your aws region' application_arn = 'your application arn' AWS.config( access_key_id: aws_access_key, secret_access_key: aws_secret_key, region: region ) sns = AWS::SNS.new client = sns.client response = client.create_endpoint( platform_application_arn: applic

xcodebuildに使われるxcodeは確認しようねというメモ。 困ったこと rakeした時に、SimulatorがiOS7になっていたため、configを確認した所、 $ rake config ---省略--- xcode_dir : "/Applications/Xcode5-DP.app/Contents/Developer" ---省略--- $ rake Build ./build/iPhoneSimulator-6.1-Development Build vendor/Pods xcodebuild: error: SDK "iphonesimulator6.1" cannot be located. rake aborted! Command failed with status (64): [/usr/bin/xcodebuild -project "Pods.xcod

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?