質問応答システムの実装と考察：BOWとTFIDFによる検索

自然言語処理プログラミング

まずはシンプルな手法として、文章を語句に分割し、それを比較する計算を行い、最もスコアの高い Wikipedia 記事のタイトルを回答として出力してみようと思います。ここでは、 Bag of Words と TF-IDF法を用います。キーワード Bag of words (BOW) TF-IDF …

2019-08-22

質問応答システムの実装と考察：全体の流れ

自然言語処理プログラミング

質問応答システムの実装と考察についてシリーズ化しているので、目次として各記事をリスト化しています。全体的な進行質問応答システムの実装と考察：構想からデータの用意まで - プログラミングと絵と音楽学習データについて質問応答システムの実装と考…

2019-08-21

質問応答システムの実装と考察：質問の用意

自然言語処理

質問応答システムの動作確認をするには質問を用意する必要があります。ファクトイド質問応答の場合、一般名詞もありますが、人名などの固有名詞（表現）に始まる語が求められると思います。そういった固有表現には、既存の分類があるようなので、それらにつ…

2019-08-10

質問応答システムの実装と考察：学習用の文章データを解析する

自然言語処理 Python

質問応答システムを実装した過程を書き留めています。最初の記事は次のものになります。こちらから順を追えます。 GitHubのリンクも載せているのでコードを参照できます。tfull.hatenablog.jp ファイルからDBに記事を読み込ませる Wikipediaのダンプファイル…

2019-08-03

質問応答システムの実装と考察：構想からデータの用意まで

自然言語処理 Python

趣味で質問応答システムを作っています。構想から構築までの道筋を書いておくことで、今後なにかの役に立つかもしれないと思うため、履歴として残しておきます。構想まずは一問一答で単語を回答する、ファクトイド質問形式で正答率を上げることを目標とし…

2019-07-29

個人的なお気に入りYouTuberをまとめてみた(2019)

趣味 YouTube

最近、よくYouTubeで動画を観ているのですが、特に私が気に入っているチャンネルを列挙してみようと思います。特に、学問系 VTuber ゲーム音楽のチャンネルを観ています。 AKITOさん学問系です。私は、高校生のときは勉強に没頭し、楽しんでいました。特…

2019-07-23

統計学とプログラミング：平均と分散

統計学プログラミング Python C言語

平均と分散、さらに代表値の例と標準偏差について書きます。環境 Python (3.6.7) Jupyter C言語 (gcc 8) ライブラリ Pythonではnumpyを使います。 import numpy as np C言語ではmath.hを使います。 #include <math.h> データテストの得点を想定して、numpyで0~100</math.h>…

2019-04-24

統計学とプログラミング：1次元データの可視化

統計学 Python C言語プログラミング

ヒストグラムを作成します。環境 Python (3.6.7) と Jupyter ヒストグラムの作成ヒストグラム（棒グラフ）を作成します。まず、必要なライブラリを読み込みます。 import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib in…

2019-04-09

Ubuntuで行う自己流の環境設定集

Linux 環境構築

Virtual Box や、最近はやっていないですがOSをブートするときにUbuntuを選択することが多く、いくつも設定してきたため、いつもやる操作、近頃の 18.04 LTS の例で挙げます。適宜、更新する可能性があります。 shell$ # 適当なディレクトリで実行 shell ~/d…

2019-03-26

AppleのMagic Keyboard, Magic Mouse 2, Magic Trackpad（黒）の使い心地

パソコン購入品

Macの入力デバイス主に iMac で使っていたワイヤレスキーボードを交換したあとの記録です。今まで、テンキーなしのワイヤレスキーボード、マウス、トラックパッドについて、いずれも電池式のものを使っていました。いくつかの欠点のため、数ヶ月前に交換して…

2019-03-25

機械学習用のGPU環境を用意するのが難しい...

プログラミングパソコンサーバー

良いGPU環境をいろいろ探しています。動かしたいもの趣味で書いているリバーシAIプログラムがあります。github.comこのAIに学習をさせようとしているのですが、これに手こずっています。まだ最善手を見つけられていませんが、色々調べましたので、それらを…

2019-03-23

【Colaboratory】Googleアカウント1つでPythonを始める

プログラミング Python

Googleアカウント1つでPythonの実行環境を用意できる Colaboratory を最近 (2018 ~ 2019) 使っています。環境構築をする必要がないことに加え、手元のCPU資源を消費せずに使えます。GPUを使えるようにもなっているので、機械学習のプログラムも動作させるこ…

2019-03-22

Pythonでfalconを用いて簡易APIサーバーを作る。

Python 自然言語処理サーバー

Python 3.6 です。falcon を使った簡易APIサーバーです。自然言語処理のブラウザインターフェースを作ろうとして必要になったので、メモとして残します。構成要素 Python による自然言語処理システム主に PHP によるブラウザインターフェースそれらをつな…

2019-03-22

MacBookを購入した話。

パソコン購入品

MacBook (2017)MacBookを購入して1ヶ月が経過したので、使い心地について述べたいと思います。なぜ購入したか。 2年前に妹にお下がりとしてあげた MacBook Air (2012) が壊れたため、使い続けていた MacBook Air 13 inch (2014) をお下がりとしてあげること…