pythonでmongoDBを操作してみた。

-
昨年にmongoDBを入れてみて色々とやってるんですが、せっかくなのでpythonからmongoを制御できたら面白いのではないかと思い、少し試してみました。
ほとんどここのコピペ貼付けでやってるので残念感しかありませんが、まぁ写経でもアウトプットすることはきっと大事でしょうということで残しておきます。

後はmongoで日付時刻をそのまま格納したい場合はUTCが使用できる圏以外はあれやこれや大変なので日付を検索する仕様があるときはあまりmongoの日付時刻をそのまま使うと色々と大変な思いをします。
＊現在、絶賛苦悩中

やるとするなら以下の様な感じになりそうです。
・日本時刻を一旦UTCに変換する
・mongoDBに格納
・mongoDBからデータ取り出し
・UTCの時刻を日本時間に変換する。

なので僕はへっぽこだったのでdatetimeにかなり苦しめられてます。(今も)
けど、結果的に時間でデータ格納せずに文字列で格納しちゃってて、さらに時間を条件にして検索するという要件を結果として採用しなかったのでここで出てくる日付で検索というケースは使用しなかったのですがね。

■プログラム

1.mongo_oerate.py
------------------
import datetime
import json
import pprint
import re
import sys
import traceback
from bson.objectid import ObjectId

import mongo_crud as mon

def insert_mongo():
"""
データ追加
"""
    try:
        print("INSERT START")
        mongo = mon.MongoInsert('database', 'test1')
        find = mongo.find({'_id':0})
        print('--------------------登録前--------------------')
        for doc in find:
            print(doc)
        insert_data = []
        i = 1
        for i in range(5):
            odict = {'new_column1': 'new_value' + str(i),
                     'new_column2': 'A-' + str(i),
                     'date_column': datetime.datetime.utcnow()
                     }
            insert_data.append(odict)
            i+=1
        result = mongo.insert_many(insert_data)
        print('-------------------登録情報-------------------')
        print(type(result))
        print(result)
        print('----------------------------------------------')
    except Exception as e:
        t, v, tb = sys.exc_info()
        print(traceback.format_exception(t,v,tb))
        print(traceback.format_tb(e.__traceback__))

def find_mongo():
"""
検索(1時間前の更新データ取得)　UTCなので注意
"""
    try:
        tz = datetime.timezone.utc
        td = datetime.timedelta(hours=-1)
        start = datetime.datetime.now(tz) + td
        end = datetime.datetime.now(tz)

        print("FIND START")
        mongo = mon.MongoFind('database', 'test1')

        find = mongo.find({'_id':0})
        print('--------------------全件--------------------')
        i = 0
        for doc in find:
            print(doc)
            i +=1
        print('---------------------------------------------')
        print('レコード：'+str(i)+'件')

        find = mongo.find(filter={'updated':{'$gte': start,'$lt': end}},
                projection={'_id':0,})
        print('--------------------条件--------------------')
        for doc in find:
            print(doc)


    except Exception as e:
        t, v, tb = sys.exc_info()
        print(traceback.format_exception(t,v,tb))
        print(traceback.format_tb(e.__traceback__))

def delete_mongo():
"""
削除
"""
    try:
        print("DELETE START")
        mongo = mon.MongoDelete('database', 'test1')
        print('--------------------削除前--------------------')
        find = mongo.find()
        for doc in find:
            print(doc)
        print('-------------------削除情報-------------------')
        result = mongo.delete_one({'age': 100})

        print('--------------------削除後--------------------')
        find = mongo.find()
        for doc in find:
            print(doc)
    except Exception as e:
        t, v, tb = sys.exc_info()
        print(traceback.format_exception(t,v,tb))
        print(traceback.format_tb(e.__traceback__))

def update_mongo():
"""
更新
"""
    try:
        print("UPDATE START")
        mongo = mon.MongoUpdate('database', 'test1')
        find = mongo.find()
        for doc in find:
            print(doc)
        update = mongo.update_one({"new_column2": '/.*2$/'}, {'$set':{"new_Column2":"D9992"}})
        print('更新件数：' + str(update.matched_count))
        find = mongo.find()
        for doc in find:
            print(doc)
        print("UPDATE END")
    except Exception as e:
        t, v, tb = sys.exc_info()
        print(traceback.format_exception(t,v,tb))
        print(traceback.format_tb(e.__traceback__))

def main():
    try:
        insert_mongo()
        find_mongo()
    except Exception as e:
        t, v, tb = sys.exc_info()
        print(traceback.format_exception(t,v,tb))
        print(traceback.format_tb(e.__traceback__))

if __name__ == '__main__':
   main()

2.mongo_crud.py
-----------
from pymongo import MongoClient
from pymongo import DESCENDING
from pymongo import ASCENDING
import sys
import yaml


""" Connect """
def connDB(self, dbName, collectionName):
    try:
        with open('../config/db_config.yml', 'r') as yml:
             config = yaml.safe_load(yml)
             self.client = MongoClient(config['host'],
                                       username=config['username'],
                                       password=config['password'],
                                       authSource=dbName,
                                       authMechanism='SCRAM-SHA-1')
             self.db = self.client[dbName]
             self.collection = self.db.get_collection(collectionName)
             return self.collection
    except Exception as e:
        t, v, tb = sys.exc_info()
        print(traceback.format_exception(t,v,tb))
        print(traceback.format_tb(e.__traceback__))

""" Find """
class MongoFind(object):
    def __init__(self, dbName, collectionName):
        self.collection = connDB(self, dbName, collectionName)

    def find_one(self, projection=None,filter=None, sort=None):
        return self.collection.find_one(projection=projection,filter=filter,sort=sort)

    def find(self, projection=None,filter=None, sort=None):
        return self.collection.find(projection=projection,filter=filter,sort=sort)

""" Update """
class MongoUpdate(object):
    def __init__(self, dbName, collectionName):
        self.collection = connDB(self, dbName, collectionName)

    def find(self, projection=None,filter=None, sort=None):
        return self.collection.find(projection=projection,filter=filter,sort=sort)

    def update_one(self, filter, update):
        return self.collection.update_one(filter,update)

    def update_many(self, filter, update):
        return self.collection.update_many(filter,update)

    def replace_one(self, filter, replacement):
        return self.collection.replace_one(filter, replacement)

    def find_one_and_replace(self, filter, replacement):
        return self.collection.find_one_and_replace(filter, replacement)

""" Insert """
class MongoInsert(object):
    def __init__(self, dbName, collectionName):
        self.collection = connDB(self, dbName, collectionName)

    def find(self, projection=None,filter=None, sort=None):
        return self.collection.find(projection=projection,filter=filter,sort=sort)

    def insert_one(self, document):
        return self.collection.insert_one(document)

    def insert_many(self, documents):
        return self.collection.insert_many(documents)

""" Delete """
class MongoDelete(object):
    def __init__(self, dbName, collectionName):
        self.collection = connDB(self, dbName, collectionName)

    def find(self, projection=None,filter=None, sort=None):
        return self.collection.find(projection=projection,filter=filter,sort=sort)

    def delete_one(self, filter):
        return self.collection.delete_one(filter)

    def delete_many(self, filter):
        return self.collection.delete_many(filter)

    def find_one_and_delete(self, filter):
        return self.collection.find_one_delete(filter)

3.dbconfig.yml
------------
host: 'localhost'
username: 'username'
password: 'password'

■参考サイト

https://www.mongodb.com/blog/post/pymongo-monday-pymongo-create?utm_campaign=atlas_text_10.19&utm_source=stackoverflow&utm_medium=display&utm_term=text

コメント

コメントを投稿

このブログの人気の投稿

証券外務員1種勉強(計算式暗記用メモ)

-
何を血迷ったのか 証券外務員 1種を受けてみようかと 思って 問題集 を回していたけれども、いまいち数式部分に 弱いところがあるので暗記してやろうと 重要そうな数式を集めてみました。まぁ正確性は低いかもしんないけど ひとまずは個人用でメモしています。 1.株式業務 (1) 権利落ち相場 　　権利落ち相場= 権利付相場 ÷ 分割比率 　(2)採算株価 　　採算株価=希望利回り÷1株当たり配当年額 　(3)1株当たりキャッシュフロー(PCFR) 　　 PCFR = 発行済株式総数 ÷( 税引後純利益 + 減価償却費 ) 　(4) イールドスプレッド 　　イールドスプレッド=長期債利回りー 株式益回り 　(5) EVITDA (金利・税金・償却前利益) 　　EVITDA=税引前利益+支払利息+減価償却費 　(6) EV (企業価値) 　　EV= 時価総額 + 有利子負債 ー 現金預金 ー 短期有価証券 　(7) EV/EVITDA倍率 (倍) 　　EV/EVITDA倍率=EV÷EVITDA 　◆株価成立参照 　　 https://www.rakuten-sec.co.jp/web/domestic/stock/rule/agreed.html 　　 http://money-magazine.org/%E6%A0%AA%E4%BE%A1%E3%81%AE%E6%B1%BA%E3%81%BE%E3%82%8A%E6%96%B9%E3%81%AE%E5%9F%BA%E7%A4%8E%E7%9F%A5%E8%AD%98/ 　　 https://kabusyo.com/keiken/q_baibai.html 　　 https://ja.wikipedia.org/wiki/%E6%A0%AA%E4%BE%A1 　　 http://kabukiso.com/basics/buy/ita.html 2.債券業務 (1) パリティ価格 (転換社債株式価値) 　　パリティ価格=(株価÷ 転換価格 )×100 　(2) 乖離率 (%) 　　乖離率={(転換社債の時価ーパリティ価格)÷パリティ価格}×100 　(3) 最終利回り (%) 　　最終利回り={利率+(償還価格ー購入価格)÷ 残存期間 ＜年＞)}÷購入価格×
続きを読む

GASでGoogleDriveのサブフォルダとファイル一覧を出力する

-
 タイトルのまんまです。 以前、EXCELで似たようなこと をしていたのでGASではどうするのかなぁと思ってやってみました。まぁほとんど丸パクリです。とりあえず、また使うかもしれないので自分用にメモです。しかしGASでGoogleDriveのファイル一覧嘗め回そうとすると3分かかってしまう。数が多いと6分制限に引っかかるのでこれでは使えない。せいぜい100ファイルとか数が少ないところで使う分にはいいけどダイナミックな場合は何回かに分割してやらないと少し厳しいかもしれない。 ◆GAS //設定値取得 const SHEET_URL = SpreadsheetApp.getActiveSpreadsheet().getUrl(); const ss = SpreadsheetApp.openByUrl(SHEET_URL); const SETTING_SHEET = ss.getSheetByName('設定') const TARGET_FOLDER_ID = SETTING_SHEET.getRange('B2').getValue(); const SAVE_FOLDER_ID = SETTING_SHEET.getRange('B3').getValue(); const SAVE_FILE_NAME = SETTING_SHEET.getRange('B4').getValue(); const SAVE_SHEET_NAME = SETTING_SHEET.getRange('B5').getValue(); function writeSheet(values, labels, sheetUrl, sheetname, width) { /* スプレッドシートに書き出し */ try { if (values.length > 0) { // シートを追加する let spreadSheet = SpreadsheetApp.openByUrl(sheetUrl); let sheet = set_sheet(sheetUrl,sheetname); // 1行目だけヘッダ追加 let he
続きを読む

マクロ経済学(IS-LM分析)

-
イメージ
危うく3日坊主になりそうでした。とりあえず今日は 「IS-LM分析」 です。 テキストでは 簡便4象限法 とかいうのの説明が多いです。なのでさっぱり わけわからん状態ですが、それなりに頑張ってみます。 1: IS曲線 の導出 財市場の均衡を表す。Iは投資を表し、Sは貯蓄を表す。 ・IS曲線導出の材料 I→利子率の関数、S→所得の関数で「I=S」で財市場を表す。 ・ 投資関数 利子率の減少関数、I (投資関数)=I(r)　※rは利子率 ・政府活動の導入 裁量的な拡張的な財政政策はIS曲線をシフトさせる。 IS曲線の右シフト=政府支出の増大や減税等の有効需要を増加させる要因による 2: LM曲線 の導出 利子率の低下が国民所得の増大につながる因果関係を明らかにする目的 ・LM曲線導出の材料 貨幣需要(MD)=L、L=取引的動機+予備的動機(L1)+投機的動機(L2) MD=L1+L2 貨幣供給(Ms)=名目貨幣供給/物価(P) ・LM曲線のシフト 金融緩和策・物価下落：実質貨幣供給(MS)が増大→右(下)へシフト 金融引締策・物価上昇：実質貨幣供給(MS)が減少→左(上)へシフト 独立投資拡大→IS曲線が右にシフト 利子率がr1→r2に下落する。 IS曲線、LM曲線の均衡点がE→Fに移動する。 国民所得がY1→Yfとなって増大する。 3:特殊なLM曲線 ・ 流動性の罠 のLM曲線 金融政策は無効→LM曲線をシフトさせても均衡点Eは変わらない IS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点が E→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　 ・ 投資の利子率に対する弾力性ゼロ 金融政策は無効→LM曲線を右にシフトさせても国民所得が増えない。 流動性の罠と同じくIS曲線を右にシフトさせる拡張的な財政政策を実施すると 均衡点がE→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　　　　 4: クラウディング・アウト 政府が市場に介入して公共投資を行うと民間の投資が締出しを受ける ・古典派による財政政策の無効論 政府支出を拡大すると利子率が上昇してしまい。投資が減少する。 政府の支出がクラウディングアウトを引き起こして支
続きを読む