ITエンジニアのブログ

IT企業でエンジニアやってる人間の日常について

Python

質問応答システムの実装と考察: BERT for Question Answering を使ってみる

背景 日本語の質問応答システムの実装です。前回は、機械学習を用いない、基本的な数値演算の組み合わせで、回答を選択するモデルを構築しました。しかし、精度や速度に改良すべき箇所をたくさん残しています。↓ 前回 質問応答システムの実装と考察:BOWとTF…

Pythonでプログラムの実行中に対話モードになる方法

プログラムの実行中に、途中のこの変数を見たり、少し弄ったりしたいと考えることがありましたが、ふと思いついたので実現できました。コードの中にこれを挟み込むだけです。 while True: try: print(eval(input(">>> "))) except EOFError: print() break e…

質問応答システムの実装と考察:学習用の文章データを解析する

質問応答システムを実装した過程を書き留めています。最初の記事は次のものになります。こちらから順を追えます。 GitHubのリンクも載せているのでコードを参照できます。tfull.hatenablog.jp ファイルからDBに記事を読み込ませる Wikipediaのダンプファイル…

質問応答システムの実装と考察:構想からデータの用意まで

趣味で質問応答システムを作っています。構想から構築までの道筋を書いておくことで、今後なにかの役に立つかもしれないと思うため、履歴として残しておきます。 構想 まずは一問一答で単語を回答する、ファクトイド質問形式で正答率を上げることを目標とし…

統計学とプログラミング:平均と分散

平均と分散、さらに代表値の例と標準偏差について書きます。 環境 Python (3.6.7) Jupyter C言語 (gcc 8) ライブラリ Pythonではnumpyを使います。 import numpy as np C言語ではmath.hを使います。 #include <math.h> データ テストの得点を想定して、numpyで0~100</math.h>…

統計学とプログラミング:1次元データの可視化

ヒストグラムを作成します。 環境 Python (3.6.7) と Jupyter ヒストグラムの作成 ヒストグラム(棒グラフ)を作成します。まず、必要なライブラリを読み込みます。 import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib in…

【Colaboratory】Googleアカウント1つでPythonを始める

Googleアカウント1つでPythonの実行環境を用意できる Colaboratory を最近 (2018 ~ 2019) 使っています。環境構築をする必要がないことに加え、手元のCPU資源を消費せずに使えます。GPUを使えるようにもなっているので、機械学習のプログラムも動作させるこ…

Pythonでfalconを用いて簡易APIサーバーを作る。

Python 3.6 です。falcon を使った簡易APIサーバーです。自然言語処理のブラウザインターフェースを作ろうとして必要になったので、メモとして残します。 構成要素 Python による自然言語処理システム 主に PHP によるブラウザインターフェース それらをつな…

到達可能問題を解く

ある場において出発地点、目的地点、通過可能な場所が与えられた時、出発地点から目的地点までたどり着くことが可能かどうかを判定する到達可能問題を解こうと思います。問題を想定します。幅 width 高さ height の場が与えられ、出発地点と目的地点が与えら…

Python3 コンストラクタ__init__ の初期化の値について

Python3 で Wikipedia のデータを解析するために、 class Entry: def __init__(self, title, redirect_from=[], document=None, link_from=[], link_to=None): self.title = title self.redirect_from = redirect_from self.document = document self.link_f…