pythonでテキスト解析用環境作って単語数の分析してみた。

-
いろんなところで使い古されているテキストマイニングなぞを今更ながらやってみようかと思って環境を構築してサンプルプログラムを作ってみました。これも先人が色々されているMecabでやってみたです。もはや時代遅れ以外の何物でもないです。
環境はHyper-V上にUbuntu18.04LTSServer立ててそこでpython3.6にて構築してみた。まぁずぶの素人が3日ほど格闘して何とか形になりましたよ。後はここから流行りのWordCloudとかに持って行ければ面白いんだろうなぁ。ひとまずは単語の出現数を降順で並べるだけまでを先に実装しました。といってもほとんどコピペです。

1.環境構築
　そこまでてこずらないかと思いきや、Cabochaのインストールに手間取ったのと
　aptに時間がかかりまくったのが鬼門でした。

 ◆参考サイト
　https://qiita.com/furipon308/items/0d626f4a943c99fe32c6
　http://tech.wonderpla.net/entry/2017/10/10/110000
　https://mojitoba.com/2019/01/29/solve-error-installation-mecab-python3/
　http://godan09.hatenablog.com/entry/2017/06/24/152201
　https://qiita.com/Sylba2050/items/4aaff94769726b8c9581
　https://www.trifields.jp/install-cabocha-in-ubuntu-1038
　https://qiita.com/woody-kawagoe/items/09c0f89a55701bcf72eb
　https://qiita.com/january108/items/85c80769ea870c190eaa
　https://qiita.com/segavvy/items/2f686cfb0065c8cbe698
　https://kakubari-ryusei.hatenablog.com/entry/2017/10/04/192447
　https://qiita.com/Sak1361/items/47e9ec464ccc770cd65c
　http://yut.hatenablog.com/entry/20130215/1360884220　　
https://datumstudio.jp/blog/python%E3%81%AB%E3%82%88%E3%82%8B%E6%97%A5%E6%9C%AC%E8%AA%9E%E5%89%8D%E5%87%A6%E7%90%86%E5%82%99%E5%BF%98%E9%8C%B2
　https://qiita.com/Anharu/items/b558ab64430ff1c09b89
　
◆実際の手順
(1)形態素解析エンジンmecab準備(aptにかなり時間がかかる)
・インストール
$ sudo apt-get -y install mecab mecab-ipadic-utf8 libmecab-dev python-mecab
$ sudo apt-get -y install python-pip python3-pip
$ sudo apt -y install swig
$ sudo pip3 install mecab-python3 --proxy=proxyaddr

・動作確認
$ vi mecab_sample.py
-------------------------------------------------------
# coding: utf-8
import sys
import MeCab

mecab = MeCab.Tagger("-Ochasen")

print(mecab.parse("すもももももももものうち"))
-------------------------------------------------------
$ python3 mecab_sample.py
すもも  スモモ  すもも  名詞-一般
も      モ      も      助詞-係助詞
もも    モモ    もも    名詞-一般
も      モ      も      助詞-係助詞
もも    モモ    もも    名詞-一般
の      ノ      の      助詞-連体化
うち    ウチ    うち    名詞-非自立-副詞可能
EOS

(2)係受け解析エンジンCaboChaインストール
・インストール
$ wget -O CRF++-0.58.tar.gz 'https://drive.google.com/uc?export=download&id=0B4y35FiV1wh7QVR6VXJ5dWExSTQ'
$ tar xvzf CRF++-0.58.tar.gz
$ cd CRF++-0.58
$ vim node.cpp
------------------------------
#include 
#include 
#include

(3)後始末とライブラリインストール
$ cd
$ rm -Rf CRF*
$ rm -Rf cabocha*
$ pip3 install neologdn
$ pip3 install numpy
$ pip3 install matplotlib
$ pip3 install pandas
$ pip3 install scipy
$ pip3 install scikit_learn
$ pip3 install tensorflow
$ pip3 list
$ pip3 install wordcloud
$ sudo apt -y install fonts-ipaexfont
$ pip3 install pillow

(4)辞書追加
$ cd
$ git clone https://github.com/neologd/mecab-ipadic-neologd.git
$ cd mecab-ipadic-neologd
$ sudo bin/install-mecab-ipadic-neologd
$ echo `mecab-config --dicdir`"/mecab-ipadic-neologd"


2.プログラム本文
　環境構築よりこっちの方が大変でした。まぁコピペしかしていませんがwww
　エラー処理は一切組み込まれていないので、なんかあるとスタックトレースはいて
　落ちます。がまぁ個人利用ならいいのではないかと勝手に思っています。
　いい加減にセンスが身についてほしいがセンスはないです。
　同じディレクトリ内にテキストファイルかまして、プログラム名+ファイル名で
　動きます。　
　
　例：$python3 samplemecab.py target.txt

◆参考サイト
　https://qiita.com/Sak1361/items/2519f29af82ffe965652
　https://qiita.com/kenmatsu4/items/9b6ac74f831443d29074
　https://qiita.com/TkrUdagawa/items/aa483630b5ec7d337c9e
　http://cadenza-lab.com/2018/02/04/textmining/
　https://www.pc-koubou.jp/magazine/2646
　https://akamist.com/blog/archives/2659
　https://qiita.com/hatchinee/items/a904c1f8d732a4686c9d
　https://blog.aidemy.net/entry/2018/05/11/162024
　http://blog.aqutras.com/entry/2016/05/16/210000
　https://qiita.com/yonedaco/items/27e1ad19132c9f1c9180
　https://qiita.com/jabba/items/2ddd0b8fb855febb4d43
　http://pynote.hatenablog.com/entry/python-wordcloud
　https://qiita.com/yniji/items/3fac25c2ffa316990d0c
　https://www.utali.io/entry/2016/10/03/001210
　http://aifaruba.hatenablog.com/entry/2015/07/22/161700
　https://ameblo.jp/javaee7/entry-12419180587.html
　https://akamist.com/blog/archives/2656
　http://loudspeaker.sakura.ne.jp/devblog/2015/04/29/extract-noun-with-python_mecab/
　http://tech.innovation.co.jp/2017/07/28/mecab.html
　http://mabonki0725.hatenablog.com/entry/2017/07/26/120333
　https://hivecolor.com/id/86
　https://gassandesu.hatenablog.com/entry/2019/01/08/003647
　https://takaxtech.com/2018/11/03/article271/
　https://hibiki-press.tech/learn_prog/python/sorted_sort/594

◆ソースコード
2019/4/8　CSVファイルを出力できるようにしてみました。これで結構使用用途が
広がるなぁ。

import collections
import collections
import csv
from operator import itemgetter
import sys
import traceback

import MeCab

def word_tokenaize(doc):
    """
    Mecabを使用して与えられたテキストを解析する
    名詞のみを取り出してリストに格納する

    """
    try:
        tagger = MeCab.Tagger(" -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd")
        tagger.parse("")
        node = tagger.parse(doc)
        results = []
        lines=[]
        lines=node.split('\n')
        for item in lines:
           cw = item.split('\t')[0]
           if len(item) > 5:
              ps = item.split('\t')[1].split(',')[0]
              if  ps == '名詞':
                  results.append(cw)
        return results
    except Exception as e:
        t, v, tb = sys.exc_info()
        print(traceback.format_exception(t,v,tb))
        print(traceback.format_tb(e.__traceback__))

#主処理(テキストファイル読込部分)
def main():
    """
    主処理
    第1引数から入力ファイル、第2引数から出力ファイルを取得する
    word_tokenaizeで解析した単語数を降順で並べ替えて出力する。
    """
    try:
        o = []
        r = []
        csvlist = []
        input_file = sys.argv[1]
        output_file = sys.argv[2]
        for line in open(input_file, 'r'):
            r = word_tokenaize(line)
            o.extend(r)
        result = collections.Counter(o)
        f = open(output_file, 'w')
        writer = csv.writer(f, lineterminator='\n')
        for word, cnt in sorted(result.items(),key=lambda x: x[1], reverse=True):
            writer.writerow([word,cnt])
            print(word, cnt)
        f.close
    except Exception as e:
        t, v, tb = sys.exc_info()
        print(traceback.format_exception(t,v,tb))
        print(traceback.format_tb(e.__traceback__))

if __name__ == '__main__':
   main()


後はCabocha使ってもう少し高度に分析してみたいのと、それとWordCloudかなぁ。同義語解析とかその辺もやれると少し使用用途が広がるかもしれないかなぁ。
あ、辞書追加して精度上がるのか試してみたい。
Neologdは速攻追加、ピエール瀧とかでも出てくるし。精度も標準辞書より上なので必須ですね。後はユーザ辞書の作成が効率化できれば、かなりテキストマイニングが楽にできる様になるね。これはよいぞぉ。

コメント

コメントを投稿

このブログの人気の投稿

GASでGoogleDriveのサブフォルダとファイル一覧を出力する

-
 タイトルのまんまです。 以前、EXCELで似たようなこと をしていたのでGASではどうするのかなぁと思ってやってみました。まぁほとんど丸パクリです。とりあえず、また使うかもしれないので自分用にメモです。しかしGASでGoogleDriveのファイル一覧嘗め回そうとすると3分かかってしまう。数が多いと6分制限に引っかかるのでこれでは使えない。せいぜい100ファイルとか数が少ないところで使う分にはいいけどダイナミックな場合は何回かに分割してやらないと少し厳しいかもしれない。 ◆GAS //設定値取得 const SHEET_URL = SpreadsheetApp.getActiveSpreadsheet().getUrl(); const ss = SpreadsheetApp.openByUrl(SHEET_URL); const SETTING_SHEET = ss.getSheetByName('設定') const TARGET_FOLDER_ID = SETTING_SHEET.getRange('B2').getValue(); const SAVE_FOLDER_ID = SETTING_SHEET.getRange('B3').getValue(); const SAVE_FILE_NAME = SETTING_SHEET.getRange('B4').getValue(); const SAVE_SHEET_NAME = SETTING_SHEET.getRange('B5').getValue(); function writeSheet(values, labels, sheetUrl, sheetname, width) { /* スプレッドシートに書き出し */ try { if (values.length > 0) { // シートを追加する let spreadSheet = SpreadsheetApp.openByUrl(sheetUrl); let sheet = set_sheet(sheetUrl,sheetname); // 1行目だけヘッダ追加 let he...
続きを読む

証券外務員1種勉強(計算式暗記用メモ)

-
何を血迷ったのか 証券外務員 1種を受けてみようかと 思って 問題集 を回していたけれども、いまいち数式部分に 弱いところがあるので暗記してやろうと 重要そうな数式を集めてみました。まぁ正確性は低いかもしんないけど ひとまずは個人用でメモしています。 1.株式業務 (1) 権利落ち相場 　　権利落ち相場= 権利付相場 ÷ 分割比率 　(2)採算株価 　　採算株価=希望利回り÷1株当たり配当年額 　(3)1株当たりキャッシュフロー(PCFR) 　　 PCFR = 発行済株式総数 ÷( 税引後純利益 + 減価償却費 ) 　(4) イールドスプレッド 　　イールドスプレッド=長期債利回りー 株式益回り 　(5) EVITDA (金利・税金・償却前利益) 　　EVITDA=税引前利益+支払利息+減価償却費 　(6) EV (企業価値) 　　EV= 時価総額 + 有利子負債 ー 現金預金 ー 短期有価証券 　(7) EV/EVITDA倍率 (倍) 　　EV/EVITDA倍率=EV÷EVITDA 　◆株価成立参照 　　 https://www.rakuten-sec.co.jp/web/domestic/stock/rule/agreed.html 　　 http://money-magazine.org/%E6%A0%AA%E4%BE%A1%E3%81%AE%E6%B1%BA%E3%81%BE%E3%82%8A%E6%96%B9%E3%81%AE%E5%9F%BA%E7%A4%8E%E7%9F%A5%E8%AD%98/ 　　 https://kabusyo.com/keiken/q_baibai.html 　　 https://ja.wikipedia.org/wiki/%E6%A0%AA%E4%BE%A1 　　 http://kabukiso.com/basics/buy/ita.html 2.債券業務 (1) パリティ価格 (転換社債株式価値) 　　パリティ価格=(株価÷ 転換価格 )×100 　(2) 乖離率 (%) 　　乖離率={(転換社債の時価ーパリティ価格)÷パリティ価格}×100 　(3) 最終利回り (%) 　　最終利回り={利率+(償還価格ー購入価格)÷ 残存期間 ＜年＞)}÷購入価格×...
続きを読む

マクロ経済学(IS-LM分析)

-
イメージ
危うく3日坊主になりそうでした。とりあえず今日は 「IS-LM分析」 です。 テキストでは 簡便4象限法 とかいうのの説明が多いです。なのでさっぱり わけわからん状態ですが、それなりに頑張ってみます。 1: IS曲線 の導出 財市場の均衡を表す。Iは投資を表し、Sは貯蓄を表す。 ・IS曲線導出の材料 I→利子率の関数、S→所得の関数で「I=S」で財市場を表す。 ・ 投資関数 利子率の減少関数、I (投資関数)=I(r)　※rは利子率 ・政府活動の導入 裁量的な拡張的な財政政策はIS曲線をシフトさせる。 IS曲線の右シフト=政府支出の増大や減税等の有効需要を増加させる要因による 2: LM曲線 の導出 利子率の低下が国民所得の増大につながる因果関係を明らかにする目的 ・LM曲線導出の材料 貨幣需要(MD)=L、L=取引的動機+予備的動機(L1)+投機的動機(L2) MD=L1+L2 貨幣供給(Ms)=名目貨幣供給/物価(P) ・LM曲線のシフト 金融緩和策・物価下落：実質貨幣供給(MS)が増大→右(下)へシフト 金融引締策・物価上昇：実質貨幣供給(MS)が減少→左(上)へシフト 独立投資拡大→IS曲線が右にシフト 利子率がr1→r2に下落する。 IS曲線、LM曲線の均衡点がE→Fに移動する。 国民所得がY1→Yfとなって増大する。 3:特殊なLM曲線 ・ 流動性の罠 のLM曲線 金融政策は無効→LM曲線をシフトさせても均衡点Eは変わらない IS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点が E→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　 ・ 投資の利子率に対する弾力性ゼロ 金融政策は無効→LM曲線を右にシフトさせても国民所得が増えない。 流動性の罠と同じくIS曲線を右にシフトさせる拡張的な財政政策を実施すると 均衡点がE→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　　　　 4: クラウディング・アウト 政府が市場に介入して公共投資を行うと民間の投資が締出しを受ける ・古典派による財政政策の無効論 政府支出を拡大すると利子率が上昇してしまい。投資が減少する。 政府の支出がクラウディングアウトを引き起こして支...
続きを読む