ITエンジニアのブログ

IT企業でエンジニアやってる人間の日常について

自然言語処理

質問応答システムの実装と考察: BERT for Question Answering を使ってみる

背景 日本語の質問応答システムの実装です。前回は、機械学習を用いない、基本的な数値演算の組み合わせで、回答を選択するモデルを構築しました。しかし、精度や速度に改良すべき箇所をたくさん残しています。↓ 前回 質問応答システムの実装と考察:BOWとTF…

質問応答システムの実装と考察:BOWとTFIDFによる検索

まずはシンプルな手法として、文章を語句に分割し、それを比較する計算を行い、最もスコアの高い Wikipedia 記事のタイトルを回答として出力してみようと思います。ここでは、 Bag of Words と TF-IDF法を用います。 キーワード Bag of words (BOW) TF-IDF …

質問応答システムの実装と考察:全体の流れ

質問応答システムの実装と考察についてシリーズ化しているので、目次として各記事をリスト化しています。 全体的な進行 質問応答システムの実装と考察:構想からデータの用意まで - プログラミングと絵と音楽 学習データについて 質問応答システムの実装と考…

質問応答システムの実装と考察:質問の用意

質問応答システムの動作確認をするには質問を用意する必要があります。ファクトイド質問応答の場合、一般名詞もありますが、人名などの固有名詞(表現)に始まる語が求められると思います。そういった固有表現には、既存の分類があるようなので、それらにつ…

質問応答システムの実装と考察:学習用の文章データを解析する

質問応答システムを実装した過程を書き留めています。最初の記事は次のものになります。こちらから順を追えます。 GitHubのリンクも載せているのでコードを参照できます。tfull.hatenablog.jp ファイルからDBに記事を読み込ませる Wikipediaのダンプファイル…

質問応答システムの実装と考察:構想からデータの用意まで

趣味で質問応答システムを作っています。構想から構築までの道筋を書いておくことで、今後なにかの役に立つかもしれないと思うため、履歴として残しておきます。 構想 まずは一問一答で単語を回答する、ファクトイド質問形式で正答率を上げることを目標とし…

Pythonでfalconを用いて簡易APIサーバーを作る。

Python 3.6 です。falcon を使った簡易APIサーバーです。自然言語処理のブラウザインターフェースを作ろうとして必要になったので、メモとして残します。 構成要素 Python による自然言語処理システム 主に PHP によるブラウザインターフェース それらをつな…