Dockerで自己証明書https環境のJupyterlabを構築

-

何となく自分のPC環境でJupyterNotebook試したくなったのでお手軽に準備できるものないか探していたところDockerで環境構築できるとのことで早速準備してみました。まぁすべてコピペで完成ですが、とりあえず備忘録として載せておこうかなと。

Google Colab使った方がお手軽なのはわかっているんですが、気軽に試したいのといろいろと環境を足しこんでいくとかあるかもしれないので・・・手許にほしいと思って準備しました。

◆事前準備およびDockerfile等

・Dockerfile

FROM jupyter/datascience-notebook

USER root
WORKDIR /tmp

# MeCab + mecab-ipadic-NEologd (/usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd)
RUN apt-get update \
   && apt-get install -y git mecab libmecab-dev mecab-ipadic mecab-ipadic-utf8 file patch make
RUN git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
RUN mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -y
RUN pip install mecab-python3
RUN cp /etc/mecabrc /usr/local/etc/

# CRF++ (Cabochaで必要)
RUN wget -O /tmp/CRF++-0.58.tar.gz 'https://drive.google.com/uc?export=download&id=0B4y35FiV1wh7QVR6VXJ5dWExSTQ' \
    && cd /tmp/ \
    && tar zxf CRF++-0.58.tar.gz \
    && cd CRF++-0.58 \
    && ./configure --prefix=/usr/local \
    && make \
    && make install \
    && ldconfig \
    && rm -Rf CRF++-0.58.tar.gz \
    && rm -Rf CRF++-0.58 \
    && ldconfig

# Install CaboCha
# GoogleDriveからコマンドラインでダウンロードがうまくいかないので手動でダウンロ ードしたファイルをコピー
# 配布先URL：https://drive.google.com/drive/folders/0B4y35FiV1wh7cGRCUUJHVTNJRnM?resourcekey=0-ym0BJTHMkjw3y1AEgwwaxA

COPY cabocha-0.69.tar.bz2 /tmp
RUN cd /tmp \
  && tar jxf cabocha-0.69.tar.bz2 \
  && cd cabocha-0.69 \
  && ./configure --prefix=/usr/local --with-mecab-config=`which mecab-config` --with-charset=utf8 \
  && export C_INCLUDE_PATH=/usr/local/include:$C_INCLUDE_PATH \
  && export CPLUS_INCLUDE_PATH=$C_INCLUDE_PATH \
  && export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRRY_PATH \
  && export PATH=/usr/local/bin:$PATH \
  && make \
  && make install \
  && ldconfig \
  && cd python \
  && python setup.py build \
  && python setup.py install \
  && rm -Rf cabocha-0.69.tar.bz2 \
  && rm -Rf cabocha-0.69

# Word2vec(gensim)
RUN pip install gensim


# 必要なツールとIPAフォントをインストールします
RUN apt-get update && apt-get install -y gnupg curl fonts-ipafont fonts-ipaexfont
RUN echo "font.family : IPAexGothic" >> /opt/conda/lib/python3.9/site-packages/matplotlib/mpl-data/matplotlibrc


# Google Chromeをインストールします
RUN wget https://dl.google.com/linux/linux_signing_key.pub \
 && apt-key add linux_signing_key.pub \
 && echo 'deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main' | tee /etc/apt/sources.list.d/google-chrome.list \
 && apt-get update \
 && apt-get install -y google-chrome-stable \
 && google-chrome --version

# Chrome Driverをインストールします
RUN CHROMEDRIVER_VERSION=`curl -sS chromedriver.storage.googleapis.com/LATEST_RELEASE` \
 && curl -sS -o /tmp/chromedriver_linux64.zip http://chromedriver.storage.googleapis.com/$CHROMEDRIVER_VERSION/chromedriver_linux64.zip \
 && unzip /tmp/chromedriver_linux64.zip \
 && mv chromedriver /usr/local/bin/

# PermissionError: [Errno 13] Permission denied: '/home/jovyan/.local/share/jupyter'
# となぜか怒られるのでとりあえず所有者を変更
RUN chown -R jovyan /home/jovyan/.local

USER jovyan
# selenium導入
RUN pip install selenium
WORKDIR /home/jovyan

・docker-compose.yml

version: "3.9"

networks:
  Jupyter_net:
    name: Jupyter-network
services:
  notebook:
    #image: jupyter/datascience-notebook
    build:
      context: .
      dockerfile: Jupyterimage
    # ポートの設定("ホスト：コンテナ")
    ports:
      - 8888:8888
    environment:
      - GEN_CERT=yes
      - JUPYTER_ENABLE_LAB=yes
      - GRANT_SUDO=yes
    expose:
      - 8888
    networks:
      - Jupyter_net
    volumes:
      - ./work:/home/jovyan/work
    command: start-notebook.sh --NotebookApp.token=''
    restart: always


◆参考サイト

・JupyterDocker

https://qiita.com/hgaiji/items/edf71435d0565257f980

https://github.com/Paperspace/jupyter-docker-stacks/blob/master/datascience-notebook/README.md


・https化、パスワード設定

https://qiita.com/gnsnghm/items/22a27023757dadc4ec69

https://www.xn--ebkc7kqd.com/entry/jupyter-change-pass

https://akitoshiblogsite.com/docker-jupyter-jovyan-password/

・pyenvインストール

https://outputable.com/post/start-python/


なんかパスワードがうまく設定できないのが少し気に入らない。Dockerイメージのshが古いのか定かではないけど、生成したargon2ではだめでSHA1でないとNGみたいな感じで言われててどうにもこうにもうまくいかないようだ・・・。

コメント

コメントを投稿

このブログの人気の投稿

証券外務員1種勉強(計算式暗記用メモ)

-
何を血迷ったのか 証券外務員 1種を受けてみようかと 思って 問題集 を回していたけれども、いまいち数式部分に 弱いところがあるので暗記してやろうと 重要そうな数式を集めてみました。まぁ正確性は低いかもしんないけど ひとまずは個人用でメモしています。 1.株式業務 (1) 権利落ち相場 　　権利落ち相場= 権利付相場 ÷ 分割比率 　(2)採算株価 　　採算株価=希望利回り÷1株当たり配当年額 　(3)1株当たりキャッシュフロー(PCFR) 　　 PCFR = 発行済株式総数 ÷( 税引後純利益 + 減価償却費 ) 　(4) イールドスプレッド 　　イールドスプレッド=長期債利回りー 株式益回り 　(5) EVITDA (金利・税金・償却前利益) 　　EVITDA=税引前利益+支払利息+減価償却費 　(6) EV (企業価値) 　　EV= 時価総額 + 有利子負債 ー 現金預金 ー 短期有価証券 　(7) EV/EVITDA倍率 (倍) 　　EV/EVITDA倍率=EV÷EVITDA 　◆株価成立参照 　　 https://www.rakuten-sec.co.jp/web/domestic/stock/rule/agreed.html 　　 http://money-magazine.org/%E6%A0%AA%E4%BE%A1%E3%81%AE%E6%B1%BA%E3%81%BE%E3%82%8A%E6%96%B9%E3%81%AE%E5%9F%BA%E7%A4%8E%E7%9F%A5%E8%AD%98/ 　　 https://kabusyo.com/keiken/q_baibai.html 　　 https://ja.wikipedia.org/wiki/%E6%A0%AA%E4%BE%A1 　　 http://kabukiso.com/basics/buy/ita.html 2.債券業務 (1) パリティ価格 (転換社債株式価値) 　　パリティ価格=(株価÷ 転換価格 )×100 　(2) 乖離率 (%) 　　乖離率={(転換社債の時価ーパリティ価格)÷パリティ価格}×100 　(3) 最終利回り (%) 　　最終利回り={利率+(償還価格ー購入価格)÷ 残存期間 ＜年＞)}÷購入価格×
続きを読む

GASでGoogleDriveのサブフォルダとファイル一覧を出力する

-
 タイトルのまんまです。 以前、EXCELで似たようなこと をしていたのでGASではどうするのかなぁと思ってやってみました。まぁほとんど丸パクリです。とりあえず、また使うかもしれないので自分用にメモです。しかしGASでGoogleDriveのファイル一覧嘗め回そうとすると3分かかってしまう。数が多いと6分制限に引っかかるのでこれでは使えない。せいぜい100ファイルとか数が少ないところで使う分にはいいけどダイナミックな場合は何回かに分割してやらないと少し厳しいかもしれない。 ◆GAS //設定値取得 const SHEET_URL = SpreadsheetApp.getActiveSpreadsheet().getUrl(); const ss = SpreadsheetApp.openByUrl(SHEET_URL); const SETTING_SHEET = ss.getSheetByName('設定') const TARGET_FOLDER_ID = SETTING_SHEET.getRange('B2').getValue(); const SAVE_FOLDER_ID = SETTING_SHEET.getRange('B3').getValue(); const SAVE_FILE_NAME = SETTING_SHEET.getRange('B4').getValue(); const SAVE_SHEET_NAME = SETTING_SHEET.getRange('B5').getValue(); function writeSheet(values, labels, sheetUrl, sheetname, width) { /* スプレッドシートに書き出し */ try { if (values.length > 0) { // シートを追加する let spreadSheet = SpreadsheetApp.openByUrl(sheetUrl); let sheet = set_sheet(sheetUrl,sheetname); // 1行目だけヘッダ追加 let he
続きを読む

マクロ経済学(IS-LM分析)

-
イメージ
危うく3日坊主になりそうでした。とりあえず今日は 「IS-LM分析」 です。 テキストでは 簡便4象限法 とかいうのの説明が多いです。なのでさっぱり わけわからん状態ですが、それなりに頑張ってみます。 1: IS曲線 の導出 財市場の均衡を表す。Iは投資を表し、Sは貯蓄を表す。 ・IS曲線導出の材料 I→利子率の関数、S→所得の関数で「I=S」で財市場を表す。 ・ 投資関数 利子率の減少関数、I (投資関数)=I(r)　※rは利子率 ・政府活動の導入 裁量的な拡張的な財政政策はIS曲線をシフトさせる。 IS曲線の右シフト=政府支出の増大や減税等の有効需要を増加させる要因による 2: LM曲線 の導出 利子率の低下が国民所得の増大につながる因果関係を明らかにする目的 ・LM曲線導出の材料 貨幣需要(MD)=L、L=取引的動機+予備的動機(L1)+投機的動機(L2) MD=L1+L2 貨幣供給(Ms)=名目貨幣供給/物価(P) ・LM曲線のシフト 金融緩和策・物価下落：実質貨幣供給(MS)が増大→右(下)へシフト 金融引締策・物価上昇：実質貨幣供給(MS)が減少→左(上)へシフト 独立投資拡大→IS曲線が右にシフト 利子率がr1→r2に下落する。 IS曲線、LM曲線の均衡点がE→Fに移動する。 国民所得がY1→Yfとなって増大する。 3:特殊なLM曲線 ・ 流動性の罠 のLM曲線 金融政策は無効→LM曲線をシフトさせても均衡点Eは変わらない IS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点が E→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　 ・ 投資の利子率に対する弾力性ゼロ 金融政策は無効→LM曲線を右にシフトさせても国民所得が増えない。 流動性の罠と同じくIS曲線を右にシフトさせる拡張的な財政政策を実施すると 均衡点がE→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　　　　 4: クラウディング・アウト 政府が市場に介入して公共投資を行うと民間の投資が締出しを受ける ・古典派による財政政策の無効論 政府支出を拡大すると利子率が上昇してしまい。投資が減少する。 政府の支出がクラウディングアウトを引き起こして支
続きを読む