ITエンジニアのブログ

IT企業でエンジニアやってる人間の日常について

プログラミング

プログラミング中に詰まったメモ(ブラウザインターフェイス編)

個人で使うアプリケーションのブラウザインターフェイスを作っていたところ、いくつか詰まったのでメモしておきます。 JavaScript の整数値の上限、下限に注意 サーバー側を Python で、クライアント側を jQuery で作っていました。サーバーから大きな整数値…

nCk が偶数となるkを探すプログラム

東京大学の入試で出題された数学の問題で、 2015Cm が偶数となる最小の自然数 m を求めさせる問題が存在します。普通に解いても面白いですが、プログラムでも簡単に nCk に拡張して書けそうだなと思いましたので、しばらく書いていなかった Haskell で書いて…

質問応答システムの実装と考察: BERT for Question Answering を使ってみる

背景 日本語の質問応答システムの実装です。前回は、機械学習を用いない、基本的な数値演算の組み合わせで、回答を選択するモデルを構築しました。しかし、精度や速度に改良すべき箇所をたくさん残しています。↓ 前回 質問応答システムの実装と考察:BOWとTF…

Pythonでプログラムの実行中に対話モードになる方法

プログラムの実行中に、途中のこの変数を見たり、少し弄ったりしたいと考えることがありましたが、ふと思いついたので実現できました。コードの中にこれを挟み込むだけです。 while True: try: print(eval(input(">>> "))) except EOFError: print() break e…

質問応答システムの実装と考察:BOWとTFIDFによる検索

まずはシンプルな手法として、文章を語句に分割し、それを比較する計算を行い、最もスコアの高い Wikipedia 記事のタイトルを回答として出力してみようと思います。ここでは、 Bag of Words と TF-IDF法を用います。 キーワード Bag of words (BOW) TF-IDF …

質問応答システムの実装と考察:全体の流れ

質問応答システムの実装と考察についてシリーズ化しているので、目次として各記事をリスト化しています。 全体的な進行 質問応答システムの実装と考察:構想からデータの用意まで - プログラミングと絵と音楽 学習データについて 質問応答システムの実装と考…

統計学とプログラミング:平均と分散

平均と分散、さらに代表値の例と標準偏差について書きます。 環境 Python (3.6.7) Jupyter C言語 (gcc 8) ライブラリ Pythonではnumpyを使います。 import numpy as np C言語ではmath.hを使います。 #include <math.h> データ テストの得点を想定して、numpyで0~100</math.h>…

統計学とプログラミング:1次元データの可視化

ヒストグラムを作成します。 環境 Python (3.6.7) と Jupyter ヒストグラムの作成 ヒストグラム(棒グラフ)を作成します。まず、必要なライブラリを読み込みます。 import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib in…

機械学習用のGPU環境を用意するのが難しい...

良いGPU環境をいろいろ探しています。 動かしたいもの 趣味で書いているリバーシAIプログラムがあります。github.comこのAIに学習をさせようとしているのですが、これに手こずっています。まだ最善手を見つけられていませんが、色々調べましたので、それらを…

【Colaboratory】Googleアカウント1つでPythonを始める

Googleアカウント1つでPythonの実行環境を用意できる Colaboratory を最近 (2018 ~ 2019) 使っています。環境構築をする必要がないことに加え、手元のCPU資源を消費せずに使えます。GPUを使えるようにもなっているので、機械学習のプログラムも動作させるこ…