検索しているユーザー（イメージ） はじめまして。弁護士ドットコム事業本部でエンジニアをしている狩野です。 弁護士ドットコムのサービスにはいくつかの検索機能があります。主に「みんなの法律相談」「弁護士検索」「弁護士ドットコムニュース」などで使われています。 これらは Apache Solr（以下、Solr）という検索システムで動いていました。 これを OpenSearch という別の検索システムに載せ替えました。 経緯 選定 機能 モジュール AWS サービス 実装 リリース さいごに 経緯 弁護士ドットコムのサービスにはいくつかの検索機能があり、そこで Solr を使っていました。 確認できた限りでは 2013 年から 10 年近くの間、使っていたようです。もっと以前から使っていた可能性もあります。 だいぶ昔の話なので Solr が導入された経緯などは不明ですが、当時の判断としては Sol
本記事に紹介されているAPIはあくまで一例にすぎないので十分にご注意下さい。他にもAPIがある場合はコメント欄に書き記すようにお願いします。 今回の記事では、個人開発で役立つAPIを紹介する。 Google Play Developer API アプリ購入と公開の２つのタスクがある。 様々な公開タスクとアプリ管理タスクを実行できる Google YouTube Data API YouTubeを検索して動画・再生リスト・チャンネルなどの一覧を取得したり、更新したりすることができる。 検索条件で地域や言語を指定できるが、他の言語も混ざってしまうので「日本語の動画のみ取得する」というようなことはできない。 Google Maps JavaScript API Web上でGoogle Mapを表示してピンを立てたり経路を表示させたりするのに使える 独自のコンテンツと画像で地図をカスタマイズでき、
皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編，パイプライン構築の話になります． tech.connehito.com はじめに 再掲になりますが，我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ETL）：AWS Glue ワークフロー・パイプライン：AWS Step Functions・Lambda・EventBridge 後編は，検索エンジンに定期的に安定してデータを同期するために構築しているワークフロー・パイプラインに関する内容になります（下図の全量データ同期パイプラインの部分）． 検索基盤全体のアーキテクチャー概略図 もう少し具体的には，OpenSearchのindexの管理方法について説明した後に
AIスタートアップのAdeptが、デジタルツールを使用するように訓練された大規模なTransformerモデル「ACT-1」を発表しました。ACT-1はブラウザで何が起こっているかを監視し、クリック・入力・スクロールなどの特定アクションを実行できるChrome拡張機能に接続されており、操作を自動化できます。 ACT-1: Transformer for Actions https://www.adept.ai/act ACT-1は、ユーザーの高度な要求を受け止め、それを実行することができます。ユーザーはテキストボックスにコマンドを入力するだけで、あとはACT-1が実行します。 ACT-1への指示は、ブラウザ上に表示されるポップアップに英語で入力して行います。例えば「ヒューストンで4人家族が住む家を探してほしい、予算は60万ドル(約8400万円)」と入力します。 すると、物件の検索サイトでヒ
「Raspberry Pi OS」はデスクトップ環境を向上させる最新アップデートにより、テキスト検索やネットワーク管理機能が強化されたほか、Raspberry Piのカメラシステムが利用しやすくなった。 Raspberry Pi OSには、「File Manager」「Raspberry Pi Imager」「Image Viewer」のようなアプリを探すための新たなテキスト検索ボックスが追加された。「Raspberry Pi」用キーボードであればRaspberryキーを、「Windows」用キーボードであればWindowsキーを押せば呼び出せる。既存のメニューの位置は変わらない。 音声出力を表すアイコンと音声入力を表すアイコンもある。また、USB接続やBluetooth接続のオーディオ機器をつなぐと、マイクのアイコンが表示される。 多くのLinuxディストリビューションで採用されている、
はじめに 以前、BERTを使って歌詞の文章ベクトルを算出し可視化する試みを行いました。BERTは優秀なんですが、入力できるトークン数が512に限られるため、長い文章のベクトル算出には向いていないんですよね。 今回は、上場企業約2,500社が有価証券報告書で書いている割と長文の文章について、Doc2Vecを使って文章ベクトルを算出し、あわせて、文章ベクトルから類似文書を検索してみました。 個人的には、BERTよりもDoc2Vecの方が納得感のいく結果を出している気がしています。 ここでは、文章ベクトルの算出方法・類似文書検索方法について、お伝えしていきたいと思います。 文章ベクトルのイメージ ①野球を観戦した ②サッカーの試合を見た ③犬の散歩にでかけた の3つの文章を2次元のベクトルに変換することを考えてみましょう。 文章の内容を考えると①と②が近く、③が少し離れているイメージですね。 こ
HTML, CSS, JavaScriptをはじめとしたさまざまな言語に対応、クラウドでの同期機能も備えたオープンソースのコードスニペットマネージャー「massCode」がv3に神アップデートされたので、改めて紹介します。 macOS, Windows, Linux対応、日本語の入力など日本語環境も完全サポート。クラウドで同期できるので、すべての環境で同じコードスニペットを使用できます。 非常に快適で高速に動作し、VS Codeとの連携でさらに便利になっています！ massCode massCode -GitHub massCodeの特徴 massCodeのダウンロードとインストール massCodeの使い方 massCodeの特徴 massCodeは、デベロッパー向けのコードスニペットマネージャーです。ライセンスはGNUで、オープンソースなので商用でも無料で利用できます。 macOS 1
2022-09-29 追記: Helpful Content Update の初動で落ちたとみられるサイトの傾向を見ながら、これからについても考察する記事を出しました。ぜひご一読ください。 ja.dev Google は8月18 日(米国時間)、Google 検索の新しいアップデートである"Helpful Content Update" を行うと発表しました。 ロールアウト開始は8月22日週とされ、まずは英語圏に数週間をかけて展開予定とされています。 developers.google.com 今回のアップデートは、「人が人のために書いた、より独創的で役立つコンテンツ」「人間優先のコンテンツ」(people-first content) をGoogle検索において評価する、としています。 このアップデートについての概要及び意図や背景の解説については、渡辺隆広さんの記事に詳しく書かれており、
自社では Sphinx というドキュメントツールを利用しているのですが、残念ながらこれに付属している検索機能の日本語検索はかなり厳しいです。また残念ながら Sphinx 開発側も検索周りを改善するという予定は直近ではないようです。 そして検索というのはとても難しい技術なため自分のような素人では導入して「普通に期待する動作」をさせるまでの距離はとても遠いです。 ただ、なんとかして日本語全文検索を実現したいという思いはここ10 年くらいずっと思っていました。これは自社の Sphinx テーマを作ってくれている社員ともよく話をしていたのですが、どうしてもリソースをつぎ込めずにいました。 まとめ日本語検索に対応している Meilisearch を採用したドキュメントスクレイパーの実行は GItHub Actions (Self-hosted Runner) を採用した自社 Sphinx テーマの検
人間ではなく検索エンジンのために作成された、役に立たないコンテンツや満足度が低いコンテンツの評価を調整することを目的とした検索アルゴリズム更新「Helpful Content Update」（HCU）の情報について随時更新していきます。 一般的な情報は本ページに、詳細解説は SEMリサーチ+（プラス、有料版）に掲載します。 目次 Helpful Content Update 概要 アルゴリズム更新の実施時期 対象検索エンジンと言語 HCU 対象範囲 HCUが標的とするコンテンツの種類 HCU 検出の仕組み 「低品質」と判定されたときの影響範囲と期間 HCU に備えたウェブマスターの対応 ユーザーファーストのコンテンツ作成に注力する 以下の質問にすべて「はい」と自信を持って答えられるか HCU に関する注意事項 (2022.08.20更新) テクニカルな”抜け道”を探そうという発想が生まれた
米Googleは8月18日（現地時間）、英語でのグローバルな検索で実施する「helpful content update」（役立つコンテンツ更新）の概要を説明した。いわゆる「クリックベイト」を排除し、検索結果に「人間が人間のために書いた、より独創的で役立つコンテンツが表示されるようにする」ための取り組みの一環だ。向こう数週間中に展開する。 まず、「読者に情報を提供するのではなく、クリックを獲得することを目的としたように見えるコンテンツ」や「オリジナルではない低品質のコンテンツ」が上位に表示されないようにする。特に、オンライン教育資料、エンターテインメント、ショッピング、テクノロジー関連のコンテンツで効果が見られるようになるとしている。 例えば、新作映画について検索した場合、従来は「他のサイトに掲載されたレビューを寄せ集めた記事が表示されたかもしれない」が、この更新により「独自の信頼できる情
DuckDuckGoが2022年8月5日に、Microsoftとの契約に付随する制限によりこれまでDuckDuckGoのブラウザでブロックされていなかったMicrosoftの追跡スクリプトをブロックすると発表しました。 More Privacy and Transparency for DuckDuckGo Web Tracking Protections https://spreadprivacy.com/more-privacy-and-transparency/ DuckDuckGo browser now blocks all Microsoft trackers, most of the time https://www.bleepingcomputer.com/news/security/duckduckgo-browser-now-blocks-all-microsoft-t
Rustで作られたコマンドラインツールに良いものが多いと聞いて、Rust製の便利なコマンドをまとめてみます。RustがC/C++を置き換える言語というのもありますが、GNUの伝統的なツールをブラッシュアップしたツールがRustでいろいろ出てきているのはとても興味深いです。 findコマンドを置き換える fd fdはGNUの伝統的な検索ツールfindの置き換えです。findよりも簡潔にファイルの検索が可能です。 GitHubのリポジトリはこちらで、インストールも各パッケージマネージャーから使えます。 # mac $ brew install fd # ubuntu $ sudo apt install fd-find # win $ choco install fd 使い方は、検索したりディレクトリでfd キーワードと書くだけです。ポイントはfindと違って特にオプションをしていしなくても良
Facebookの親会社であるMetaが、インターネット上に存在する膨大な情報を利用して、AIやその他のシステムが機能するためのナレッジベースを提供するためのAIツール「Sphere」を発表しました。 Introducing Sphere: Meta AI’s web-scale corpus for better knowledge-intensive NLP https://ai.facebook.com/blog/introducing-sphere-meta-ais-web-scale-corpus-for-better-knowledge-intensive-nlp/ How AI could help make Wikipedia entries more accurate https://tech.fb.com/artificial-intelligence/2022/07/
こんにちは、かすたーど先生です。 セキュリティ業界を目指している学生さんとお話しする機会がたまにあるのですが、「セキュリティエンジニアの方は、どうやってセキュリティ技術に関する情報収集しているんですか？」と聞かれることがよくあります。 情報収集の方法って、学生さんももちろん、セキュリティエンジニアの方同士も「他の人はどうやっているんだろう？」と思っているネタなのではと思いまして、今回ブログのテーマにすることにしました。 ということで、私と同じデジタルペンテスト部に所属している一部のセキュリティエンジニア約30名に協力してもらい、セキュリティ技術の情報収集に関するアンケートを実施しました。結果をご紹介します。 １：セキュリティ技術の情報収集は何を使って実施していますか（複数回答可） 1位：Twitter 2位：ニュース系サイト 3位：書籍・ブログ（同数） 4位：脆弱性情報データベース 5位：
それ以外にもオプションタブでは表示スケールを変更できたりユニットを変更できたりと様々なカスタマイズができますので、見やすいグラフを作りたい場合は活用してみてください。 ちなみに、活用する機会は少ないかもしれませんが、表示するグラフの種類(ウィジットタイプ)を変更する事ができ、線以外のグラフの場合は時間別の推移ではなく、指定した期間の合計や平均などの数値をグラフとして表示するために使用します。 ・メトリクスのグラフを共有できる 今見ているメトリクスのグラフを後から見直したり他の人に見せたい、せっかく時間をかけてカスタマイズしたグラフを共有したい、と思う場合も多いと思いますが、そういう場合は共有用のURLを利用するとグラフを表示することができます。 共有用のURLはアクションの共有から取得することができ、取得したURLをブラウザで開くと元のグラフがそのまま表示されます。また、グラフをカスタマイ
この「ログの表示」を押したらどうなるんだろう コンバンハ、千葉（幸）です。 突然ですが皆さんは以下の画面の「ログの表示」を押したことはありますか？ これは CloudWatch コンソールのメトリクスの画面です。[アクション] → [ログの表示] という項目が用意されていますが、わたしはつい最近まで気にしたことがありませんでした。 「オッ ちょっと気になるな」とメトリクスの画面を覗いた方、多くの場合 該当箇所がリンクになっていたのではないでしょうか。 このリンクは押してもそこまで面白くありません。 今回取り上げたいのはひとつ目の画像のパターンです。メトリクスフィルターを使っているときにめちゃくちゃ便利じゃん……となったので、その押し心地を紹介します。 メトリクスフィルターによるメトリクスの発行 先にメトリクスフィルターについて基本的な部分を押さえておきましょう。 メトリクスフィルターは C
MongoDB、暗号化したままのデータベースを検索「Queryable Encryption」発表。データ格納時、メモリ上、データ転送、ログ、バックアップのすべてが暗号化データのまま MongoDBは、6月7日から9日にかけて米ニューヨークで開催されたイベント「MongoDB World 2022」で、データを暗号化したまま検索できるMongoDBの新機能「Queryable Encryption」を発表しました。 現代の主要なデータベースであれば、データベース内にデータを暗号化して格納する機能を備えていますが、データ格納時に暗号化して格納し（Encryption at Rest）、検索時にはメモリ上でデータを復号して操作する実装が一般的です。 今回のMongoDBが実装を発表したQueryable Encryptionは、データ格納時に暗号化するだけでなく、復号することなく暗号化したまま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
