タグ

圧縮に関するn2sのブックマーク (48)

  • CSSプロパティを自動ソートしただけで、CSSのファイルサイズを(少しだけ)減らせた話

    Ubie Discoveryでプロダクト開発をしている@jimboです。 今回は症状検索エンジン「ユビー」のCSSファイルを改善した話を紹介します。 きっかけ ある日、社内のSlackにこんなメッセージが流れてきました。 自分の中ではある程度レイアウト関連やテキスト関連にグループ化して書くようにはしていたのですが、こういう類のものは、個人個人が気をつけるのではなく、自動的に並び替わるほうがいいに決まっています。 いうことで、Stylelintとstylelint-config-recess-orderを導入することにしました。Pull Requestでは、400を超えるCSSファイルに変更が入り、そのほとんどがCSSプロパティの並びが変わっただけという内容でした。 ビルドした結果を変更前と比べてみると… と、ここで、この変更によって、ビルドファイルのサイズが全体的に減ってることに気づきまし

    CSSプロパティを自動ソートしただけで、CSSのファイルサイズを(少しだけ)減らせた話
    n2s
    n2s 2023/03/17
    KB未満のサイズ減少への情熱、懐かしいものを感じる / 片や今gzipってのもなぁ…brotliどうです?(個人的本命はzstd。ブラウザーでも使えるようになってほしい)
  • Xz format inadequate for long-term archiving

    Abstract One of the challenges of digital preservation is the evaluation of data formats. It is important to choose well-designed data formats for long-term archiving. This article describes the reasons why the xz compressed data format is inadequate for long-term archiving and inadvisable for data sharing and for free software distribution. The relevant weaknesses and design errors in the xz form

    n2s
    n2s 2022/07/27
  • バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal

    はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する

    バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
    n2s
    n2s 2021/04/30
    zstdはいいぞ。-9~13 あたりだとgzipに全ての面で勝る / あれっ、Debianだとtarの-Iに"zstd -11"とか指定できたんだけど、CentOSのは違うのかな?
  • 圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案

    広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ

    圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
    n2s
    n2s 2020/09/03
  • 今更だけど、データ圧縮についてまとめてみたい | 株式会社PLAN-B

    bz2, xz, Deflate, gzip, zip, snappy, …データ圧縮に関しての名前です。 なんとなく見覚えがあるだけのものから、普段使いしているものまで色々あって、なんとなく使ってはいるけれど、それぞれどのような意図を持って使い分けたら良いのでしょうか。そもそもどんな違いがあるのでしょうか。 この違いがちゃんとわかっていたら、なんとなくかっこいい気がしませんか?というわけで、今回は圧縮アルゴリズムの歴史と、特性を追っていきたいと思います。 可逆圧縮と非可逆圧縮の違い圧縮をまず大きく大別すると、可逆圧縮と非可逆圧縮に分けられます。その名の通り、元に戻せる圧縮方法と、元には戻せない圧縮方法です。非可逆圧縮の用途には音声、画像や動画などの圧縮があります。 データとしてはわざと欠落させるけれど、人間の認識には影響の少ないようにするものがあります。用途、画像でよく使われるJPEGや

    今更だけど、データ圧縮についてまとめてみたい | 株式会社PLAN-B
    n2s
    n2s 2019/09/25
  • bttbさんのツイート: "LZW圧縮のGIFを作ってみましたので、ご査収下さい。… "

    LZW圧縮のGIFを作ってみましたので、ご査収下さい。 https://t.co/8SzOKxdiWk

    bttbさんのツイート: "LZW圧縮のGIFを作ってみましたので、ご査収下さい。… "
    n2s
    n2s 2018/12/24
  • GIS関連ファイルのバックアップ用圧縮形式はどれが良いのか? - Qiita

    はじめに GIS関連(特にDEMファイル)によってHDDが逼迫してきたので、効率良いバックアップ方法を模索することに。 Webに比較記事は山ほどあれど、圧縮する対象によって圧縮率はそれなりに変わるのでやはり自分のニーズでのパフォーマンスを知りたい。 また最近台頭してきている速度を優先した圧縮形式(lz4, lzopなど)の実力も興味があって、比較してみることにした。 そこで今回は以下のLiDARのDEMデータをメインとしつつ、ちょっぴりその他のデータも入っているフォルダで実験してみた。 計測 Windows 10 64bit / Core-i7 6700HQ / 16GB DDR4 USB3.0 UARTで繋いだ外付SSD → SATA3.0で繋いだ内蔵2.5" HDD すべての圧縮方法で最も速度を優先するオプションを使用した。 lz4(r128), lzop(1.03), 7zip/zi

    GIS関連ファイルのバックアップ用圧縮形式はどれが良いのか? - Qiita
    n2s
    n2s 2018/12/22
  • lz-string·高速さが売りのJavaScritp圧縮/解凍ライブラリ MOONGIFT

    HTML5によってローカルストレージが使えるようになり、キャッシュ以上に速いデータの読み書きが実現できるようになっています。しかし大きな欠点があります。それはストレージが1ドメイン5MBまでに限定されることです。 もっと大きなサイズで保存したい、そう思うこともあるかと思います。テキストデータであれば検討して欲しいのがlz-stringです。テキストデータを圧縮できるJavaScriptライブラリです。利点は圧縮率よりも処理の高速さにあります。 デモです。lz-stringの場合、1msで60 byte(48%)まで軽減しています。対するLZMAは36msで78 byteとなっています。 コンソールで試しています。 ちゃんとデコンパイルすると元の文字列が得られているのが分かります。 日語でのテスト。696 byteが605 byte になっています。 試した限りでは、短い文字に対して使うと

    lz-string·高速さが売りのJavaScritp圧縮/解凍ライブラリ MOONGIFT
    n2s
    n2s 2018/02/24
  • lzip vs xz

    n2s
    n2s 2018/01/06
    圧縮速度はlzip、圧縮率と解凍速度はxzが優れている模様
  • Of SVG, Minification and Gzip

    Smaller files are downloaded faster, so making an asset file size smaller before sending it to a client is a good thing to do. Actually, it’s not just a good thing to do, minification and compression are something that a modern developer is supposed to do. But minifiers are not perfect and compressors can perform better or worse depending on the data they compress. There are some tricks and patter

    Of SVG, Minification and Gzip
    n2s
    n2s 2017/11/22
    200バイトもないSVGデータを舞台に、圧縮後のgzipデータをさらに小さくすべく、バイト単位での戦いが行われている…懐かしさすら感じる。
  • 2016年のOSS圧縮ツール選択カタログ - Qiita

    まだgzipで消耗し(略) 2016年、人類が待ち望んでいた、gzipを圧倒するOSS圧縮ツールzstd(Zstandard)がリリースされたにも関わらず、なんかあんまり話題になっていなくて寂しいので、ちょろいかんじの賑やかし比較記事を書きました。圧縮ツールのカタログ的に眺めていただけるかと思います。 はじめに (この記事で言う)圧縮ツールとは何か 圧縮ツールという呼び名は正確ではない(はず)です。平たく言えば、gzipやbzip2、xz、lz4などですが、人によっては、tarの裏側としてしか使ってなくて、聞いたこともないかもしれませんね。そういうときはまずgzipのmanpageとか読んでください。 しかし、そういうツールを何と呼べばいいのかわからないので、ここでは圧縮ツールと呼んでいます。 ややこしいですが、アーカイバではありません。アーカイブとは実態が一つのファイルになっているフォル

    2016年のOSS圧縮ツール選択カタログ - Qiita
    n2s
    n2s 2017/01/28
    zstdは圧縮率・圧縮時間・展開時間でgzipに優れている、xzに比べてもちょっと圧縮率が低い以外は勝ってる。すごいのが出てきたもんだ。
  • PCエンジン時代の圧縮技術::Colorful Pieces of Game

    1988年に初めてプロとしてハドソンでゲームを作れることになったとき、ハドソンではゲームを作るときデータ圧縮をするのが当たり前だった。 テキスト、グラフィック、マップ…ともかく圧縮できるものは全て圧縮するのが当たり前だった。 で「ウチは圧縮するのが当たり前になっているから、他よりゲーム規模が大きく出来てお得感があると思うんだよね」と(少々自慢気に)飛田さんが話していた。 確かにファミコン最初期の『ロードランナー』からして、普通に作ったのでは絶対に入らないはず(APPLEIIのディスク前提のゲーム、つまり128KBあるはずのものを16KBに移植している)なので、入れるためにはデータ圧縮になるよなあと思う。 だから、そこらへんの移植の経験から圧縮するようになったのだろうと想像していたのだけど、どうしてコレを始めたのかについての当の理由がわからなくて、facebookでそこらへんを始めた頭目っ

    PCエンジン時代の圧縮技術::Colorful Pieces of Game
    n2s
    n2s 2017/01/15
    ページ下の方にリンクされている奥村さんの「データ圧縮の昔話」を久々に読んでみた。今でもわくわくする話。
  • LZ圧縮:LZ77とLZ78、そしてLZD - Qiita

    LZD 最後はおまけとしてLZ78を拡張したLZ Double(LZD)を紹介します。 LZDではLZ78の定義を少しだけ変更するだけで、LZ78の利点であるfactorの展開の高速さを保ちながら、圧縮性能を向上させることが出来ます。 LZD分解 LZ78分解の分割数が多い(圧縮性能が低い)のはfactorの長さの増加が緩やかだということです。LZ77とLZ78は部分文字列をfactorに置き換えることで圧縮を実現してるため、当然ながらfactorが長くなればなるほど、置き換え可能な部分文字列が長くなり圧縮性能が良くなります。LZDではLZ78よりもfactorの長さの増加を加速させます。 それではLZDの定義に入りたいと思います。 LZ78の定義は$f_i=f_j c$のようにfactorと文字のペアでした($f_j$は最長一致する$f_0$から$f_{i-1}$のfactor、$c$は

    LZ圧縮:LZ77とLZ78、そしてLZD - Qiita
    n2s
    n2s 2016/12/23
  • 米Dropbox、JPEGファイルをロスレス圧縮できる画像圧縮アルゴリズム「Lepton」をオープンソースで公開 | OSDN Magazine

    LeptonはDropboxが開発した画像圧縮フォーマットで、ロスレスにJPEG画像を圧縮する。JPEG画像内で使われている係数を分析することで、平均して22%のファイルサイズ削減が可能という。圧縮された画像は、ビットレベルで完全に同一の画像に復元できるという。 毎秒5MBの速度でJPEGファイルの圧縮が可能で、解凍は毎秒15MB。メモリの使用量は24MB以下という。大規模な写真コレクションやリアルタイムでの画像保存に利用できるとしている。Dropbox社内ではオンラインストレージに保存されている160億件の画像の圧縮に使われており、すでにペタバイトレベルで容量の削減を実現しているという。 Leptonはプロジェクトのページより入手できる。ライセンスはApache License 2。 Lepton https://github.com/dropbox/lepton

    米Dropbox、JPEGファイルをロスレス圧縮できる画像圧縮アルゴリズム「Lepton」をオープンソースで公開 | OSDN Magazine
    n2s
    n2s 2016/07/16
  • Apple、新しい圧縮アルゴリズムLZFSEをオープンソース化

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    Apple、新しい圧縮アルゴリズムLZFSEをオープンソース化
    n2s
    n2s 2016/07/07
  • 高速ロスレス圧縮「LZHAM」、初のメジャーバージョンが登場

    1月25日(米国時間)、LZHAMの初のメジャーバージョンリリースとなる「LZHAM v1.0」が「Rich Geldreich's Tech Blog」において公開された。LZHAMはC/C++で開発されたロスレスデータ圧縮コーデック。データ圧縮率はLZMAとほぼ同等だが、デコード速度がLZMAの1.5倍から8倍ほど高速という特徴がある。Windows x86/x64、Mac OS X、iOS、Linux x86/x64がサポートされている。 「LZHAM」はLZベースの無損失圧縮コーデックの一種で、zlibとAPI上の互換性を保ちつつ、高い圧縮率においても高速なデコード処理を実現することを目的に開発されている。LZHAMそのものはすでに3年間ほど開発が継続しており、その間アルファ版のLZHAMを搭載したプロダクトなども出荷されている。デコードの速度はzlibほど高速ではないものの、LZ

    n2s
    n2s 2015/01/28
  • 【#モリトーク】第117話:Windows 10と7z圧縮

    n2s
    n2s 2014/10/28
    個人的にWin10標準を使うことはないけど、7z(ひいてはLZMA圧縮)もここまで来たかと思うと感慨深い / アーカイブ配布用途では、7zと同じLZMAを採用したtar.xzが段々tar.bz2に取って代わりつつありますね>id:imo758
  • https://jp.techcrunch.com/2014/07/09/20140707general-harmonics-is-basically-pied-piper-from-silicon-valley/

    https://jp.techcrunch.com/2014/07/09/20140707general-harmonics-is-basically-pied-piper-from-silicon-valley/
    n2s
    n2s 2014/07/09
  • Deflate (gzip) のアルゴリズムを視覚化してみた

    のような感じにエンコードされることが分かります。 自分の好きなデータで試すことができて便利!という話でした。 PS. 以下は実行結果です。 % make % gzip < alice.txt > alice.txt.gz % ./puff -10 alice.txt.gz puff() succeeded uncompressing 1328 bytes 8 compressed bytes unused inpos=406,inbits=224,outpos=0,outbytes=45 41 6c 69 63 65 20 77 61 73 20 62 65 67 69 6e 6e 69 6e 67 20 74 6f 20 67 65 74 20 76 65 72 79 20 74 69 72 65 64 20 6f 66 20 73 69 74 74 A l i c e w a s b

  • Webフォントをできるだけ軽く表示する圧縮の.htaccessや遅延ロードJSを作ってみた | 初代編集長ブログ―安田英久

    Webフォントをできるだけ軽く表示する圧縮の.htaccessや遅延ロードJSを作ってみた | 初代編集長ブログ―安田英久
    n2s
    n2s 2013/12/10
    てか圧縮できたんだ…