Have you ever found yourself standing at a crossroads, trying to decide between RabbitMQ vs Kafka for your Microservices-based system? Have you ever wondered which of these messaging platforms is most suitable for your use case? RabbitMQ and Apache Kafka are well-known solutions in the asynchronous messaging domain, but despite popular belief, they aren’t one-size-fits-all solutions. As a software
What it feels like when your app is leaking memoryIntroductionOver the last few years at Zendesk, both Go and Kafka have been increasingly growing in importance in our architecture. It was of course inevitable that they should meet, and so various teams have been writing Kafka consumers and producers in Go of late. There are a few different library options for building Kafka apps in Go, but we’ve
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発 オープンソースソフトウェアの開発元がクラウドベンダへの不満を表明し、商用サービス化を制限するライセンス変更を行う例が続いています。 高速なインメモリデータストアを実現するオープンソースソフトウェアとして知られる「Redis」の開発元「Redis Labs」は、2018年8月に同社が開発したRedis拡張モジュールに関するライセンスの変更を発表しました（Redis本体のライセンスはBSDライセンスのまま）。拡張モジュールには、全文検索を行うRediSearchなどが含まれています。 変更後のライセンスでは、クラウドベンダによる商用サービスでの利用を制限するものとなっています。 ライセンス変更を発表した記事「Redis’ License
こんにちは。インフラエンジニアの@kanga333です。 最近マイクロアドではデータ基盤を刷新しました。 今回はデータ基盤の刷新に至る背景と新基盤での設計ポイントについてざっくり書いていきたいと思います。 刷新に至る背景 マイクロアドを長年支えてきた既存データ基盤は長年の改修の結果、色々な課題を抱えていました。 データの転送がNFS, Fluentd, Kafkaなど機能毎に色々な方法で行われており、共通基盤的な部分にもかかわらず共通化ができていませんでした。 Hadoopクラスタはサービス毎に立ち上がっていました。クラスタのバージョンは更新できておらず、運用コストが膨らんでいました。 クラスタが分散しているので、データサイエンティストが新しい環境にデータを集める際に、どこににデータがあるのか各担当者にヒアリングする必要がありました。 そして、そこに第一回の記事でも触れているようにDWHの
この記事は Distributed computing Advent Calendar 2017 20 日目の記事です。 Kafka のレプリケーションは、高可用性と高信頼性を実現するための、重要な機能の 1 つです。 この記事では、Kafka のレプリケーションの仕組みについて紹介します。 レプリケーションの基礎 Kafka のデータストリームの最小単位はパーティションです。またレプリケーションもパーティション単位で行われます。 Kafka のレプリケーションの情報は、ZooKeeper 上に保存されています。 レプリカの配置情報は、${prefix}/brokers/topics/${topic} に JSON で保存されます。 { "version": 1, "partitions": { "0": [0, 1], "1": [1, 2] } } トピック作成時にはレプリカ数を指定し
こんにちは。アプリケーション基盤チームの @ueokande です。 今日は、サイボウズの新しくなったログ基盤についてお話しします。 サイボウズのログ基盤の進化 リプレイス前のログ基盤 サイボウズのログ基盤はサービスの成長に合わせて、常に進化し続けてます。 そんななか2017年の夏に大きなリプレイス作業がありました。 サイボウズのサービスを支えるログ基盤 from Shin'ya Ueoka 以前のログ基盤は、ログを収集するホストがあり、各ホストからログを収集してました。 しかしログの転送システムが単一障害点であったり、スケーラビリティに欠けるのでサービスの成長に追いつかず、性能的にも限界に達してました。 また以前のログ基盤では、ログの解析がしにくく、ログはあるけどビジネスに役立てにくい状況でした。 そのため今後のサービスの成長や、より安定したログ基盤を運用できるように、ゼロから刷新するこ
Get emerging insights on innovative technology straight to your inbox. At Banzai Cloud we are building a cloud agnostic, open source next generation CloudFoundry/Heroku-like PaaS, Pipeline, while running several big data workloads natively on Kubernetes. Apache Kafka is one of the cloud native workloads we support out-of-the-box, alongside Apache Spark and Apache Zeppelin. If you’re interested in
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
This document discusses using Fluentd to collect streaming data from Apache Kafka. It presents two approaches: 1) the fluent-plugin-kafka plugin which allows Fluentd to act as a producer and consumer of Kafka topics, and 2) the kafka-fluentd-consumer project which runs a standalone Kafka consumer that sends events to Fluentd. Configuration examples are provided for both approaches. The document co
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに fluentdからKafkaにデータ送信する際に、気にしておくべきfluentd側のチューニングポイントのまとめです。 fluent-plugin-kafkaのBufferedOutput前提です。 最初にデータが送信される際の流れを簡単に説明した後、チューニングポイントについて記載します。 使用ソフトウェアとバージョン kafka 0.10 fluentd v0.12 fluent-kafka-plugin(BufferdOutput) v0.57 Kafkaへ送信される流れ BufferedOutputプラグインではレコー
Apache Kafkaでクラスタのメンバーの増減や、Partitionの再割り当てみたいなことをやってみたいなぁと思い、ちょっと 試してみることにしました。 環境 Apache Kafkaのバージョンは、0.11.0.1とします。 また、Apache ZooKeeper、Apache Kafka（Broker）のIPアドレスは、次のようなものとします。 Apache ZooKepper … 172.21.0.2 Apache Kafka … 172.21.0.3〜 Apache KafkaのBrokerのIDは、IPアドレスの末尾とします（172.21.0.3なら、3）。 これで、Apache KafkaのNodeを増減させたりして、どのようになるかちょっと見てみたいと思います。 メッセージ投入用のプログラム Apache Kafka（Broker）へのメッセージの投入には、Javaで書
参考 wurstmeister/kafka-docker: Dockerfile for Apache Kafka Kafka Docker Kafka in Dockerで分散メッセージングシステムを構築する - Qiita 環境 OS X El Captain 10.11.6 docker 17.03.1-ce docker-compose 1.11.2 手順 1. Download kafka-docker $ git clone git@github.com:wurstmeister/kafka-docker.git 2. Update docker-compose.yml docker-compose.yml を編集して zookeeper の Port と KAFKA_ADVERTISED_HOST_NAME を変更します。 version: '2' services: zoo
Updated 22-08-2019: Updated the blog to use the latest version of Apache Druid and Superset In today’s world you want to learn from your customers as quickly as possible. This blog gives an introduction to setting up streaming analytics using open source technologies. We’ll use Divolte and Apache {Kafka, Superset, Druid} to set up a system that allows you to get a deeper understanding of the behav
Apache Kafka becoming the message bus to transfer huge volumes of data from various sources into Hadoop. It's also enabling many real-time system frameworks and use cases. Managing and building clients around Apache Kafka can be challenging. In this talk, we will go through the best practices in deploying Apache Kafka in production. How to Secure a Kafka Cluster, How to pick topic-partitions and u
! This post is also available in the following languages. 英語, 韓国語 By Kawamura Yuto | 2016.08.19 2021.01.08LINEでエンジニアとして働いています。Apache Kafka、Apache HbaseなどのOSS技術をベースにLINEの中核的なデータパイプラインとストレージを開発・運営しています。 Kafka Streamsのご紹介 こんにちは。LINEでサーバ開発エンジニアとして働いているYuto Kawamuraです。主にHBase、KafkaといったLINEの中核的なストレージを開発・運営しています。 昨年下期からは、IMF(Internal Message FlowまたはFund)と呼ばれる新規プロジェクトも担当しています。このIMFプロジェクトの目的は大きく2つあります。 内部シ
自分のところでは、社内の様々なログをfluentdで集めているのだけど、それらをElasticsearchに入れて、Kibanaで見えるようした話を書いてみる. Fluentd, Elasticsearch, Kibanaな組み合わせは既に多くの人が使ってるし、ブログ等の記事も沢山ある. けど、いくつか 引っ掛かった点などもあるので、それらを書き留めて置こうと思う. 要件 fluentdでストリームで集めてるログを、リアルタイムに近い鮮度でKibanaで見たい. 見たい、というのは検索したり、集計・可視化したり、ということ Kibanaでは短期(2日とか)のログが見えれば良い 規模感的には、ログの種類(=fluentdのtag数)が200くらい、流量はピークで2万メッセージ/秒くらい. が、実際には最も流量の多いログは除いたので、この半分〜3分の1くらいの流量 10shard/index
Get Apache Kafka and Flink news delivered to your inbox biweekly or read the latest editions on Confluent Developer! When Confluent Cloud isn’t an optionVarious factors can impede an organization's ability to leverage Confluent Cloud, ranging from data locality considerations to stringent internal prerequisites. For instance, specific mandates might dictate that data be confined within a customer'
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
