MeCabの辞書を充実させて、名詞、特に人名が途中でぶった切られる事態を回避したいという話。 MeCabの辞書にはてなキーワードを追加しようを参考に、はてなキーワードの登録単語ライブラリをパクってきてMeCabユーザー辞書に入れる。 データはHatena Developer Centerから入手できる。 やることは上記リンクを参照するが、引っかかったところが デフォルト辞書の選択 sudo vi /usr/local/etc/mecabrc viコマンド r か R で編集モードに入って、編集終わったら ESC して :wq で保存して終了。 辞書の更新 createDict.py というスクリプトを使っているが、これが csv ファイルを作るときに、単語の中にカンマが入っているものがあるようで、これのせいで出来上がった csv ファイルの列数が乱れているので、 context_id.cp
MecabとNLTKを使って最瀕語と共起関係を出力するコードを書きました。 Mecabのインストールについては、Windowsなら結構難なく行くようですが、Mac OSX Lionだととても躓きました。 その辺りの経緯は、mecab-pythonをMac OSX 10.7 Lion、Python2.7にインストールする - Men talking over coffee with smoking Ark Royal.を参考にしてください。 まず、このMeCabで形態素解析を行うコードですが、以前、『入門ソーシャルデータ』勉強会で、Kenji Koshikawa (Kshi_Kshi)さんに頂いた、mecab_library.pyを元にしています（元のリンクが見つけられませんでした、申し訳ございません）。 mecab_library.py # -*- coding: utf-8 -*- im
👋 Hi, I'm Takuya Takuya Kitazawa is a freelance software developer, previously working at a Big Tech and Silicon Valley-based start-up company where he wore multiple hats as a full-stack software developer, machine learning engineer, data scientist, and product manager. At the intersection of technological and social aspects of data-driven applications, he is passionate about promoting the ethica
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
mecabにユーザー辞書としてwikipediaの記事タイトルを追加します。 環境 Mac OS X Mountain Lion まず、Wikipedia:データベースダウンロードから全記事タイトルをダウンロードします。 ダウンロードしたファイルを解凍します。 $ gunzip jawiki-latest-all-titles-in-ns0.gz 次に解凍したファイルからcsvファイルを作成します。csvファイルを作成する際にこの記事のスクリプトを参考にしました。 ただ、記号などが着いたキーワードも登録したかったのでエスケープなど行い変更しました。 # -*- encoding: utf-8 -*- import sys import re import codecs import unicodedata if __name__ == "__main__": argvs = sys.ar
ハッブル宇宙望遠鏡が捉えたこの物体、彗星のようだけど違うんです。 NASAによると、天文学者もこういうものはかつて見たことがないのだそうな。 小惑星で、彗星っぽい尾っぽが6本あるのだけど、動きも彗星とは違うし、氷でできているのでもなく、ただこうやって宙に浮いて、狂ったように回ってるだけなんです。 しかも尾っぽの組成は13日でくるくる変わるんですね。 観測を総括したUCLAのデビッド・ジューイット（David Jewitt）天文学教授はこう話しています。 ｢（太陽系の小惑星帯に）これを発見した時は文字通りポッカーンとしました。まるでガンと頭を殴られたような衝撃でした｣ NASAによると、｢他の既知の小惑星は小さな光の点だが、この小惑星（P/2013 P5と命名）はまるで芝生の水やりの散水器みたいな形状だ。この尋常ならざる形状に天文学の専門家たちも首をかしげている｣のだとか。 たぶん宇宙衝突が
「ボディ・ブルー 青い人間たち【前編】」で紹介した青い顔の男・ポールさんの症状は、コロイド状銀の摂取によりもたらされたものだった。しかし、アメリカではさらに驚きの、生まれながらにして青い肌を持った一族がいたのだった。 ■ファゲイト一族とは？ アメリカ東部のアパラチア山脈周辺は、近年に至るまで地理的・文化的に隔絶され、開拓時代から独自の生活様式や信仰が維持されてきた地域。「青い肌の一族」ファゲイト一族は代々この地域に住んでいた。 一族の歴史は、青い肌を持ったフランス人孤児、マーティン・ファゲイトが、1820年に東ケンタッキー州のトラブルサム・クリークという場所に住み始め、エリザベス・スミスという女性と出会い、子供をもうけたときから始まったと伝えられている。この時生まれた7人の子どもたちのうち4人が、青い肌を持って生まれたそうだ。 その後も、子孫たちは、青い肌を持った人が数多く現れるようになる
1 名前： ◆CHURa/Os2M ＠ちゅら猫ρ ★ 投稿日：2013/11/18(月) 21:06:04.78 ID:???0 ★コメ偽装でイオンが提訴、三重の業者に２億超請求 2013.11.18 20:15 三重県四日市市の解散した米穀販売会社「三瀧商事」が、外国産米をまぜたコメを国産米と偽装し販売した事件で、流通先のイオンが国産米と表示して偽装米の加工食品を販売していたことで、消費者からの信用が損なわれたなどとして、三瀧商事など２社に計約２億２４００万円の損害賠償を求め千葉地裁に提訴した。 １０月３０日付。三瀧商事は「弁護士に任せているのでコメントできない」としている。 http://sankei.jp.msn.com/affairs/news/131118/trl13111820160007-n1.htm 2 名前：名無しさん＠１３周年 投稿日：2013/11/18(月) 21:
ソ連軍「地上めっちゃ雪積もってるンゴｗｗｗｗｗ」 2013年11月19日 01:34 │ 雑談 │ コメント(7) │ ツイート 1：風吹けば名無し：2013/11/18(月) 16:26:14.33ID:IKLng/Ps ソ連軍「これならパラシュートなんていらないンゴｗｗｗｗｗ」 4：風吹けば名無し：2013/11/18(月) 16:27:07.53ID:HYGL40v1 なぜそう思ったのか… 5：風吹けば名無し：2013/11/18(月) 16:27:55.87ID:3Ci1ZuEc 足ボキー 96：風吹けば名無し：2013/11/18(月) 16:47:20.46ID:vj6Fd38T >>5 グチャッの方が正しい 8：風吹けば名無し：2013/11/18(月) 16:29:08.79ID:Eh72lPbn 助かっても雪から出れなくて死ぬわ。 9：風吹けば名無
これ見たら絶対吹くだろｗｗｗｗｗｗｗｗっていう画像 2013年11月19日00:03 画像 コメント( 0 ) Tweet
アルコールを飲むと、楽しい気分になったり社交的になったりしますが、飲み過ぎた翌日は激しい二日酔いにさいなまれることがあります。また中毒性も高く、健康への被害も大きいアルコールですが、そんな心配を吹き飛ばしてくれる、いくら飲んでも「二日酔いにならないお酒」を開発中とのことです。 Alcohol without the hangover? It's closer than you think | David Nutt | Comment is free | The Guardian http://www.theguardian.com/commentisfree/2013/nov/11/alcohol-benefits-no-dangers-closer-think 安全に酔っ払うことができる「二日酔いにならないお酒」を開発しているのはEdmond J. Safra神経精神薬理学の教授であり、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
