各種メモリ／ストレージについて，2024年時点で標準的なアクセス時間，所要クロックサイクル，転送速度，容量を，各種カタログスペックを参考にまとめてみました． レジスタ(レジスタファイル) 最近のCPUのレジスタ(register)のアクセスは，通常CPUの1クロックサイクルで完了します．2024年時点では，標準的なCPUのクロック周波数は，1〜5GHz程度のオーダーです．1GHzは1秒あたり10億回，すなわち1クロックサイクルは1ナノ秒です． したがって，2024年時点では，レジスタには0.2〜1ナノ秒程度でアクセスできると言えます． レジスタのメモリ容量は，レジスタファイルに存在するレジスタ数に依存します，これは命令で明示的に指定できるレジスタ数という解釈もありますが，レジスタ・リネーミングのようなプロセッサ技術を用いると，実際にはより多くのレジスタ数を持っていると解釈することもできます
Cache-friendly binary search
High-speed memory caches present in modern computer architectures favor data structures with good locality of reference, i.e. the property by which elements accessed in sequence are located in memory addresses close to each other. This is the rationale behind classes such as Boost.Container flat associative containers, that emulate the functionality of standard C++ node-based associative container
20191104 追記 draft 01でCache-Status に改称されるとともに、内容も変わりました 更新記事を書きました asnokaze.hatenablog.com CDNなどのサービスは、リクエストがキャッシュにヒットしたかどうかをx-cacheヘッダに格納してレスポンスしてくれます このx-cacheヘッダは独自の形式であり、例えば以下のようになっています。 （CDNによっては、x-cache以外のヘッダを使うものもあります） fastly (document) X-Cache: MISS, HITAmazon CloudFront X-Cache: Hit from cloudfront先述のように、x-cacheヘッダは標準化されておらずCDN毎に独自に使用されています。 そこで、IETFのHTTbisにおいて キャッシュのHit情報などを格納するcacheヘッダの標
As a computer engineer who has spent half a decade working with caches at Intel and Sun, I’ve learnt a thing or two about cache-coherency. This was one of the hardest concepts to learn back in college – but once you’ve truly understood it, it gives you a great appreciation for system design principles. You might be wondering why you as a software developer should care about CPU cache-design. For o
本日コーポレートサイトでお知らせした通り、Web版のメルカリにおいて一部のお客さまの個人情報が他者から閲覧できる状態になっていたことが判明しました。原因はすでに判明して修正が完了しております。また、個人情報を閲覧された可能性のあるお客さまには、メルカリ事務局より、メルカリ内の個別メッセージにてご連絡させていただきました。 お客さまの大切な個人情報をお預かりしているにも関わらず、このような事態に至り、深くお詫びを申し上げます。 本エントリでは技術的観点から詳細をお伝えさせていただきます。 2017年6月27日 CDNのキャッシュの動作について、CDNプロバイダと仕様について確認し検証を行いました。その結果一部記述に実際と異なる箇所があり、加筆修正いたしました。 概要 メルカリWeb版のコンテンツキャッシュをしているCDNのプロバイダ切り替えを行いました。 その際本来キャッシュされるべきでない
Get fast and easy access to customer insights at every step of their journey
“If you can cache everything in a very efficient way, you can often change the game” We software engineers often face problems that require the dissemination of a dataset which doesn’t fit the label “big data”. Examples of this type of problem include: Product metadata on an ecommerce siteDocument metadata in a search engineMetadata about movies and TV shows on an Internet television networkWhen f
Why do CPUs have multiple cache levels?
This is a reader question from “jlforrest” that seems worth answering in more detail than just a single sentence: I understand the need for a cache but I don’t understand why there are multiple levels of cache instead of having just one larger level. In other words, let’s say the L1 cache is 32K, the L2 cache is 256K, and the L3 cache is 2M, why not have a single 32K + 256K + 2M L1 cache? The shor
今回は既にCDNを利用している方も、利用していない方も今すぐ出来るHTTPヘッダチューニングをご紹介します HTTPヘッダのお話では、レスポンスヘッダやリクエストヘッダの中に何があり、どういう役割なのか簡単にまとめてみましたが、非常に多くのデータがWEBのやりとりで利用されていることが分かったと思います。 CDN利用時に利用者側が出来るチューニングは、オリジンサーバー側のApacheやNginxなどでどのようなHTTPレスポンスヘッダを付与するのか、しないのかということを決めるヘッダチューニングです。 Last-ModifiedヘッダはレスポンスヘッダのひとつでApacheやNginxなどのWEBサーバー側で適切な設定をすることによって、ブラウザ側にコンテンツの最終更新時刻を送信することができます。 ブラウザ側は、このコンテンツの最終更新時刻を覚えておき次回リクエストした際にリクエストヘッ
Cache-Control: immutable
About one year ago our friends at Facebook brought an interesting issue to the IETF HTTP Working Group - a lot (20%!) of their transactions for long lived resources (e.g. css, js) were resulting in 304 Not Modified. These are documents that have long explicit cache lifetimes of a year or more and are being revalidated well before they had even existed for that long. The problem remains unchanged.
webサイトとかで、重いSQLを使ったページを快適に表示するために、重いSQLの結果をキャッシュするためにmemcachedとかをよく使います。 キャッシュの有効期限が切れた後に、大量のリクエストに対応して大量の重いSQLが走ると困るので、どうしよう。 これをthundering herd 問題といったり、cache stampede, database stampedeというそうです。 キャッシュ切れた後にががっとくるやつ、です。 キャッシュの有効期限が切れる SQL発行 SQLの結果を受け取る キャッシュにつっこむ A-D.の間に大量のリクエストが来ると、重いSQLが走るので困ります。 Kazuhookuさんが書いています。 キャッシュシステムの Thundering Herd 問題 対策としては、以下の２種類の手段があります。 バックエンドへの同一リクエストを束ねるような仕組みを実装
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部プラットフォーム開発本部配信プラットフォーム部の大久保諒です。 過去に何度か紹介している通り、ヤフーでは静的コンテンツのキャッシュを行うためにオープンソースの HTTP プロキシサーバである Apache Traffic Server (以下 ATS) を用いて行っています。 Yahoo! JAPAN における HTTP/2 への取り組み ヤフーの画像配信システム（CDN）の紹介 さて、 ATS のような HTTP キャッシュを行うサーバにおいて、短時間である一つのオブジェクトに対する大量の HTTP リクエストが来た際に使用できるキャッシュがない場合、オリジンサーバの負荷が増大する問題が存在します。
cache2k focuses on providing a well engineered in-memory object cache implementation for Java applications. Cache<String,String> cache = new Cache2kBuilder<String, String>() {} .expireAfterWrite(5, TimeUnit.MINUTES) // expire/refresh after 5 minutes .setupWith(UniversalResiliencePolicy::enable, b -> b // enable resilience policy .resilienceDuration(30, TimeUnit.SECONDS) // cope with at most 30 sec
CPU Cache Essentials
This post came to my mind after watching the excellent presentation of Scott Meyers called "CPU Caches and Why You care". This post will try to summarize the ideas of the presentation so if you have some spare time you can just watch the presentation on video. To emphasize importance of cpu caches in our daily work we start with 2 examples: The first problem is a simple traversing of 2 dimensional
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
パフォーマンスに関するスライド「What Linux can learn from Solaris performance and vice-versa」を見ててARCって単語が出てきて参照カウンタ？と思ったんだけど調べてみたらAdaptive replacement cache（ARC）のことだったので調べてみた。英語版のwikipediaに解説が合ったのでそれベースで。USENIXに論文があるけどこれを今読む気力がないので今度読む。 このARCは何かというとキャッシュなんかでよく使われているLRUの発展形のようで、LRUが単純に最近使ったものだけを管理しているのと違って以下のように4つのデータを管理する T1:一度アクセスされたもの T2:T1にあるデータが2回目にアクセスされた時にこちらに移動する B1:T1にあったけど最近アクセスがなくてT1から追い出されたもの B2:T2にあった
Amazon CloudFront Supports Configurable Default TTL & Max TTL
Amazon CloudFront now lets you configure a Default TTL and a Maximum time-to-live (Max TTL) to specify how long CloudFront caches your objects in edge locations. These new settings enhance the control over cache duration that you already had with the Minimum TTL setting (Min TTL). You can learn more about how to set these granular caching rules here. These new settings let you: Set a TTL without s
Intel i7-4770 (Haswell), 3.4 GHz (Turbo Boost off), 22 nm. RAM: 32 GB (PC3-12800 cl11 cr2). L1 Data cache = 32 KB, 64 B/line, 8-WAY. L1 Instruction cache = 32 KB, 64 B/line, 8-WAY. L2 cache = 256 KB, 64 B/line, 8-WAY L3 cache = 8 MB, 64 B/line L1 Data Cache Latency = 4 cycles for simple access via pointer L1 Data Cache Latency = 5 cycles for access with complex address calculation (size_t n, *p; n
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
