2010年05月27日15:36 カテゴリprogramming あなたにも今日こそPerlの文字化けが理解できるたった一つの原則 こんにちは。ECナビラボの須藤(@ajiyoshi)と申します。 唐突です が、Perl(5.8以降)で文字化けに悩んだことはありませんか？私はあります。 そして、よくわからないまま"Perl 文字化け"などで検索すると、次のような単語が洪水のごとく溢れていて、なんだかよく分からなかったりしないでしょうか。 'flagged UTF8'Encode::decodeEncode::decode_utf8Encode::encodeEncode::encode_utf8'Wide character in print at hoge.pl line xx.'use utf8open my $fh, '<:encoding(utf8)', $filebinmode「
*【Linux】PostgreSQLのバックアップリストア手順 #contents **バックアップ データベースのバックアップ方法です。 #br +postgress のルートユーザでログイン コマンド # su - 例) # su - '''postgres''' #br +バックアップ postgres$ pg_dump -U postgres -F c -f HOGE_DB_BACK.car HOGE_DB **データベースのリストア データベースごとリストアする方法です。 #br +postgress のルートユーザでログイン コマンド # su - 例) # su - '''postgres''' #br +旧データベース削除(必要に応じて) リストア先の情報が残っている場合は、先に削除。 postgres$ dropdb <データベース名> 例) postgres$ drop
PostgreSQLのpg_dumpを用いたバックアップで困っています。 OSはVineLinux 2.2.17-0vl10です。 あるサーバ(PostgreSQL7.0.2)のデータベースtest_db(EUC_JP)に対して、 pg_dump -D -v -i -f test.dump test.db でダンプファイルを作成しました。 COPYでは不確実な場合があるということでINSERT文で出力しました。 (データの日本語の部分が数字に変換されています) それを別のサーバ(PostgreSQL8.2.5)のデータベースtest2_db(EUC_JP)にリストアしました。 psql test2_db < test.dump すると、"(株)"という文字を含む文字列が化けてしまっていました。 同じレコードの他のカラムは大丈夫です。 このような場合の対策がありましたら教えていただきたいと思
Linuxで文字コード変換コマンドする方法 LinuxはUTF8が普通になりました。EUC環境もまだまだ多く文字コード変換が必要になることもあります。 文字コード変換コマンド nkf。 使い方 nkf オプション ファイル [> 出力ファイル]よく使うオプション オプション一覧 -e : EUCコードを出力 -s : Shift-JISコードを出力 -w : UTF-8コードを出力（BOM無し） -g : 自動判別の結果を表示 --overwrite : 引数のファイルに直接上書き覚え方 -w / -W 大文字小文字はペア。 入力は大文字、出力は小文字。sjis-> utf8なら、入力-S 出力 -w で -Sw。入力は自動判別で十分で余り使うことがないので最後に書いた。 使用例 文字コードチェック nkf -g readme.txt UTF8に変換 nkf -w --overwrite
今回のおもな内容 ソースからインストール コンパイルとバイナリのインストール PostgreSQLの初期化 コマンドラインからデータベースを作成 データベースオブジェクトを操作する テーブルにデータを追加 select文で検索 psqlで使えるコマンド一覧 PostgreSQLは、LinuxやFreeBSDおよび一部の商用UNIXでは、パッケージシステムを用いて簡単にインストールすることも可能です。ただしRedHat系のLinux（RedHatやTurbo Linux、Vine Linuxなど）では、/usr直下のディレクトリ（/usr/binや/usr/lib）にファイルが配置されて、後でメンテナンスする場合などに少し戸惑いを感じるかもしれません（単に筆者だけかもしれませんが^^;;）。 そういうときは、ぜひともPostgreSQLをソースコードからコンパイルしましょう。その手順を紹介し
前のページでダンプしたデータの復元手順を示します。特に初めて復元作業を行われる方は、pg_dump や pg_dumpall で誤ったオプションが指定されれているとデータ消滅といった最悪の結果を招きます。 本格的な運用を前に、これらの作業を確認しておくことは大変重要です。データベースサーバを構築したら、事前にバックアップ、リストア作業に関してしっかり検証される事をおすすめします。 万が一の時の保険. PostgreSQLが実行するバックアップ、リストア作業はサービスを停止させないで実行できるメリットがありますが、前述したように初めての方は誤った操作で取り返しのつかない結果を招く可能性があります。 既に重要な情報がデータベース内に構築されている場合は、細心の注意が必要ですが、万が一の保険に備えてディレクトリ毎バックアップする方法もあります。原始的な方法ですが確実です。 PostgreSQL
PostgreSQLのバックアップ＆リストア手法その1：使えば分かるPostgreSQL運用＆チューニング（4）（2/3 ページ） pg_dumpの出力形式 出力形式はスクリプト形式とアーカイブ形式が選択できます。デフォルトはスクリプト形式で、バックアップ時のデータベースを復元するために必要なSQL文の羅列がプレーンテキストの形で出力されます。リストアはpsql コマンドを使用します。 スクリプト形式の利点は、なんといってもプレーンテキストという点です。例えば、リストアの際にエラーが発生した場合、ファイルの中身を見てエラーの原因を探ることができますし、PostgreSQL固有のSQL文を多少編集すれば、ほかのデータベース製品にもリストアすることができます。 一方、アーカイブ形式はバイナリの形で出力されます。リストアはpsqlではなく、pg_restore というリストア用のコマンドを使用し
PostgreSQL8.3（Mac OSX、MacPortsでインストール）でEUC_JPのデータベースを作成しようとしたら、以下のようにエラーになった。 $ createdb -U postgres -E EUC_JP dbname createdb: database creation failed: ERROR: encoding EUC_JP does not match server's locale ja_JP.UTF-8 DETAIL: The server's LC_CTYPE setting requires encoding UTF8. 以下のようにオプションに --encoding=UTF8 --no-locale をつけてinitdbしなおしたら、作成できるようになった。 $ sudo rm -rf /opt/local/var/db/postgresql83/de
NTT オープンソースソフトウェアセンタ 板垣 貴裕 PostgreSQL でロケール (国際化と地域化) の設定を行うと、データベース内での文字列処理、日付や通貨の表示、メッセージの言語などを変更することができます。特に PostgreSQL 8.4 では、日本語のメッセージ・カタログが追加されたため、エラーメッセージを日本語化したい場合にはロケールを設定する必要があります。 ただし、C ロケール以外を設定すると、インデックスが使われないなどの性能への影響がある場合もあります。また、特に古いバージョンの PostgreSQL では、誤った設定によりサーバが正しく動作しなくなるケースもありました。 この記事では、ロケール設定の効果を結果例を交えて解説すると共に、トラブルへの対応方法を示します。PostgreSQL で日本語を扱う際に、ロケール設定を決める時の参考にして下さい。 Postgr
etc(34) Python(53) Linux Unix(96) Gimp(1) Mysql(11) COREBlog(3) Zope(30) Postgres(13) JAVA(10) PHP(6) django(8) Plone(4) Ruby on Rails(2) サンプルコード(7) CSS(3) javascript(5) WebDesign(2) Windows(2) Pylons(3) Centos(0) Eclipse(1) SQL(1) リンク集(3) すべて表示 やる事はまさにこれなんだが↓ [unix][php][postgresql]apach2+postgresql8+php5の環境を作る。 一応、PHPソースからインストールのメモ。 必要なものApache2.*(今回はhttpd-2.2.4)PHP5.*(今回はphp-5.2.6)PostgreSQL8.3
PostgreSQL 8.3でEUC_JPのデータベースが作成できない時の原因と解決方法 IT・コンピュータ・家電等 Solarisのコンソール画面等で「createdb -U postgres -E EUC_JP データベース名」とコマンドを叩き、PostgreSQLのデータベースをEUC_JPで作成しようとすると、サーバのロケール（UTF-8）と一致しない、といったエラーメッセージが表示され、作成に失敗してしまうことがある。 $ createdb -U postgres -E EUC_JP nobuneko ERROR: encoding EUC_JP does not match server's locale ja_JP.UTF-8 DETAIL: The server's LC_CTYPE setting requires encoding UTF8. STATEMENT: CR
Postgres データベース [Postgres 7.4.6] 7.3以降では、initdbコマンド実行時に、initdb --encoding=EUC_JP --no-locale のように--no-localeを付けて作成しないと、日本語のソート処理、検索に不具合が発生します。 当初、initdb --encoding=EUC_JPで作って作成していたため、一部の検索がおかしかった。 (http://search.picolix.jpの業種選択でおかしなことになっていた。) ＤＢを再作成してＯＫとなりました。 尚、--no-localeを付けるのと付けないのでは、postgresql.conf中のlc_関連が下記のようになる。 これらを書き換えてcreatedbしたものは、ＯＫですが、すでに、createdbしたものは、再作成が必要です。 --no-localeがない時 l
NTT オープンソースソフトウェアセンタ 鈴木 幸市 はじめに この記事では、Linuxの代表的なフリーのディストリビューションであるubuntuでPostgreSQLを動かす方法を紹介するものです。Linuxを動かすからといって、新しいPCを用意したり、デュアルブートにしたりする必要はありません。今回の「やってみよう」では、ごくふつうのWindows XP が動作しているPC上にubuntuをインストールして、この上でPostgreSQLを動かしてみることにします。そして、PostgreSQLのマニュアルにのっているチュートリアルが全部できるようにしてみましょう。 1．用意するもの 1.1 PC ごくふつうにWindows XP が動いているものであればOKです。ちなみに、本記事で試したPCは3年前のデスクトップで、スペックは次のようなものです。 CPU： Pentium D 3.00G
先日のdebian etchからlennyにアップグレードしたとき続き。 PostgreSQL8.3を入れたのだが、いきなり起動していきなりinitdbが始まる。localeの設定をする前の話なので、当然思っていた状態にはならず。 自分で初期化する。※あくまでもdebianのPostgreSQLの場合 # /etc/init.d/postgresql-8.3 stop # cd /var/lib/postgresql/8.3 # mv main main.bak # su - postgres $ initdb --no-locale --encoding=UTF8 -D /var/lib/postgresql/8.3/main $ exit # cd main # ln -s /etc/postgresql-common/root.crt . # ln -s /etc/ssl/certs
PostgreSQL でinitdb する際 --no-locale を付けるのが常識らしい。--no-locale を付けないと、sort や select で不具合がでるとのこと。今までReaHat Linux や Miracle Linux でPostgreSQL を最初に起動したときに自動生成されるデータベースをそのまま使っていたので、検証してみた。環境は下記のとおり。 OS: CentOS 4.5 PostgreSQL: postgresql-7.4.17-1.RHEL4.1 使用したデータ: 19年8月31日版郵便番号表 http://www.post.japanpost.jp/zipcode/dl/oogaki/lzh/ken_all.lzh 作成したデータベースクラスタ --no-locale データベースクラスタ # rm -rf /var/lib/pgsq
Ubuntuでポスグレを入れたときにはまったのでメモ。 EUC_JPのデータベースが作れない ポスグレのインストールはすごく簡単で、 $ sudo apt-get install postgresqlインストール、起動までやってくれます。 で、最初はUTF-8のデータベースばっかり作っていて気づかなかったのですが、いざEUC_JPのデータベースを作ろうとすると下記エラーが出ます。 $ createdb -E EUC_JP -U hoge testdb createdb: database creation failed: ERROR: encoding EUC_JP does not match server's locale ja_JP.UTF-8 DETAIL: The server's LC_CTYPE setting requires encoding UTF8.先日のエントリにも
PostgreSQLをEUC-JPからUTF-8環境に移行する！
色々検索すると、$PGCLIENTENCODINGをUTF-8EUC-JPにして普通にpsqlから流し込めば完了っていうのが良く引っかかったけど、実際に試してみると以下のエラーが発生しました。 ERROR: character 0xfaf0 of encoding "EUC_JP" has no equivalent in "UTF8" なんかEUC-JPの0xFAF0っていう文字をUTF-8に変換できないよというエラー。 このエラーメッセージの下には該当テーブル名が表示されていて、そのテーブルにはレコードが1件もリストアされていませんでした（当然か） PostgreSQLメーリングリストのアーカイブ等を探ってみるとPostgreSQLの文字変換マップが云々とのことです。 リストアしたいレコード数は数百件とかのレベルでは無かったので手作業で対応するのは不可能。 どうしようかな～と色々考えた
Table of Contents序文I. SQL コマンドABORT — 現在のトランザクションを中断します。ALTER GROUP — ユーザをグループに追加します。または、ユーザをグループから削除します。ALTER TABLE — テーブル定義を変更します。ALTER USER — データベースユーザアカウントを変更します。ANALYZE — データベースに関する統計を集計する。BEGIN — トランザクションブロックを開始します。CHECKPOINT — 強制的にトランザクションログのチェックポイントを実行します。CLOSE — カーソルを閉じます。CLUSTER — インデックスに従ったテーブルのクラスタ化COMMENT — オブジェクトのコメントを定義、または、変更しますCOMMIT — 現在のトランザクションをコミットします。COPY — ファイルとテーブルの間でデータをコピ
メインコンテンツに移動 お知らせ Let’s Postgres 運営管理についてのお知らせ コンテンツメニュー 導入検討 と 入門 インストール 運用管理 チューニング 新機能: 17 / 16/ 15 / 14 / 13 / 12 / 11 / 10 / 9.6 / 9.5 / 9.3 トラブルシュート サポートとFAQ 事例紹介 イベントレポート リンク集 レプリケーション / クラスタ構成 XML / PostGIS / 拡張モジュール パーティショニング / テキスト検索 Window関数 / 再帰SQL / 外部データ連携 文書: 16 / 15 / 14 / 13 / 12 / 11 / 10 / 9.6 Let's PostgreSQL は特定非営利活動法人日本PostgreSQLユーザ会が運営しています。 RSS feed
PostgreSQLの基本的な使い方と初期設定メモ。 ■PostgreSQLのインストール Ubuntu7.10にインストールする。 だけで以下のように依存パッケージを自動でインストールしてくれます。 postgresqlのインストール $ sudo apt-get install postgresql パッケージリストを読み込んでいます... 完了 依存関係ツリーを作成しています Reading state information... 完了 以下の特別パッケージがインストールされます: libpq5 postgresql-8.2 postgresql-client-8.2 postgresql-client-common postgresql-common ■PostgreSQLのユーザ管理 PostgreSQLはLinuxのアカウントとは別にデータベースユーザを管理している。デフォル
目次22.1. SQL によるダンプ22.1.1. ダンプのリストア22.1.2. pg_dumpall の使用22.1.3. 大規模データベースの扱い22.1.4. 警告22.2. ファイルシステムレベルのバックアップ22.3. オンラインバックアップとポイントインタイムリカバリ(PITR)22.3.1. WAL保管の設定22.3.2. ベースバックアップの作成22.3.3. オンラインバックアップを使用した復旧22.3.4. 時系列22.3.5. 警告22.4. リリース間の移行 貴重なデータを全て保存しているため、 PostgreSQL データベースは定期的にバックアップされなければなりません。 バックアップの手順は基本的に簡単ですが、底流にある技術といくつかの仮定となる条件を理解することは重要です。 PostgreSQLのデータをバックアップする時には基本的に以下の異なった3つの手
creative memomemo Webデザインtips,Photoshoptips,クリエイティブでステキなものをまとめているブログ。 こんにちは。 Adobeのソフト一個だけあげるよと言われたら、迷わずPhotoshopを選びます。井畑です。 そんなPhotoshopラブの僕ですが、昔は正直苦手でした。 なぜなら、PhotoshopはIllustratorと違って、調整しているうちにデータが劣化(どんどん汚く)なってしまうと思っていたからです。 正しく言うと、データが劣化しない方法を知らなかっただけなんですけどね、当時は大変でした。 画像も一回小さくしてしまうと、次に大きくした時に荒れてまいますし、トーンカーブ等の画像補正も一回かけると二度と修正できませんでした。何回もトーンカーブかけてるとどんどん画像が汚くなっていくし… よく、サイズを間違えてて2,3時間の作業を一からやり直しして
このお話はたぶんフィクションです。実在の個人や企業とはあんまり関係ありません。そういうことにしろください。 10年前、20代になったばかりの頃の僕は、今思えば本当に最低な生活を送っていた。高校を中退し、実家とは疎遠で、友達もなく、金もなく、夢も希望もなく、ただバイト先と自宅を行き来するだけの毎日。いつも視界には霞がかかったようで、底の見えない空虚さだけが僕の心を支配していた。 それでも趣味らしいものはあった。オンボロマシンにRedHatを入れ、ダイヤルアップの細い回線で自宅サーバを立て、Perlでガラクタのようなプログラムを動かす。そんな子供じみた遊びだけど、プログラムを組んでいるときだけは空虚さを忘れ、画面の中に没頭できた。 ただ、そのときの僕はもうすでにいろんなものに打ちのめされていて、若者にありがちな全能感などというものは霧散していた。自分がプログラミングで何かを成すだとか、それを仕
{{app.plan.label}} > {{app.pcountry.label}} > {{app.pplace.label}}
今年はいろいろあったので、書いておく。 仕事 2019年の前半はかなり頑張ったと思う。2018年4月にメルペイに入社してからSREとしていろいろ準備してきて、今年2月にメルペイをリリースできた。この1年、SREのエンジニアTech Leadとしての仕事とEMとしての仕事を両方やっていたので、それぞれ書いてみる。 SRE リリースが近づく前は設計したインフラをコード化して仕組みを作る作業と、リリースまでに必要なことをいろいろ整理してつぶしていくということをひたすらやっていた。Microservices Platform teamと協力してやることもあった。技術的な部分だけでなく、マイクロサービスの運用のための組織的な仕組みづくり、会社としての情報統制などいろいろなことをやってた。このときにいろいろ仕組みを作っておいてよかったと思う。 2018の年末から2月のリリースまではいろいろあってめちゃ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLをインストール後に、initdbする。
