こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ
Functions That Test Spatial Relations Between Geometry Objects
少し昔に流行したマルコフ連鎖で文章を作る話、ちょっと気になってざっくり作ってみた。 どっかから文章をクロールしてくる MeCabとかで形態素解析 マルコフ連鎖を作る 組み合わせる 今回はDMM.R18のレビューから適当にコピーしてきた。形態素解析したものからマルコフ連鎖を作る。 位 から 連続 から 連続 舌 連続 舌 上 舌 上 発射ぐぐってみると、どうやら3階のマルコフ連鎖がよい、とのことらしい。3階と言われてもよく知らないが、まあ3つってことでしょう。Perlで実装する場合、先頭の文字をキーにして、残りを値、最後の要素を次のキーに・・・とすれば2以上の任意のN階のデータが使える。 ただ組み合わせただけでもそれなりになるが、字数の範囲（たとえば100〜200の範囲とか）を決めた方が文章っぽいものができる。とりあずパラグラフを作って、字数の範囲に収まってなかったら捨てる、を繰り返すだけで
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Linux, otoge.net, PHPotoge.netにMecabを使用した検索機能を実装するため、調べた記事を参考に作業を進めていたのですが、MecabをPHPから利用するためのモジュールであるphp_mecabのインストールで数時間程はまってしまい、凄く嫌な思いをしたので、備忘録として残しておきます。 まず、事前にイカサイトにてMecabと辞書をインストールしておきます。MeCab: Yet Another Part-of-Speech and Morphological Analyzer そして、php_mecabを以下のようにインストールします。 pear channel-discover pecl.opendogs.org pear remote-list -c opendogs sudo pear install opendogs/mecab-beta 普通はこれで上手く
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
