ファイルが大きくなると、どうしても圧縮して保存しなくてはいけません。 そんなときにpythonのgzipを使ったときにどれくらいの遅延がでるのか知りたくて調べてみました。 プログラム #-*- coding:utf-8 -*- import time import gzip def test_a(): """圧縮…

ファイルが大きくなると、どうしても圧縮して保存しなくてはいけません。 そんなときにpythonのgzipを使ったときにどれくらいの遅延がでるのか知りたくて調べてみました。 プログラム #-*- coding:utf-8 -*- import time import gzip def test_a(): """圧縮…

前回は仏英翻訳だったので，今回は英日翻訳に挑んでみた． コーパス データはTanaka Corpus - EDRDG Wikiを使わせていただく．データの中身は以下のフォーマット． A: ムーリエルは２０歳になりました。 Muiriel is 20 now.#ID=1282_4707 B: は 二十歳(はた…

前回でMosesをインストールすることができたので，今回はチュートリアルにそって構築する． SMTに有効な要素 まずは統計的機械翻訳に必要な要素を理解する必要がある． Mosesのチュートリアルには以下の要素によって機械翻訳が正しくモデル化できる書いてあ…

おさらい 前回では，MosesをインストールするためにGIZA++，IRST，SRILMをインストールした．今回はMoses，Boostをインストールする． Boostのインストール Boostを入れるためにまずは本家からソースを手に入れる．その後はチュートリアル通りに進めていく．…

研究でMosesを使う必要がでてきたのでメモ．MosesはSMTを利用するために必要． さすがに自分で実装する能力はないのでMosesに頼る．Mosesに関する資料はここに置いてある． マニュアルはこのPDF． Mosesに必要だと思われるライブラリ Moses Boost GIZA++ Mec…