AWS-CLIとGCP:Cloud-SDK環境のバージョンアップ

-
以前Hyper-Vに作成していたGCPの開発環境とAWSの開発環境が1年くらいたつのでそろそろバージョンアップでもしておくかと思って、作業してみた。
定期的にランタイムとかのバージョンとか上がるし、CLIツールも新しい方が色々とできたりするみたいなので、一応バージョンアップ方法も備忘録的に置いておこうと思った次第です。作業自体は難しくないですが、pyenvのバージョン切り替えが少し落とし穴だったりする。ちなみにpython3.8にはAWS-CLIがpipで拾えなかったのとGCP側も不安しかなかったのとバージョンが双方でずれるのも嫌だったので両方とも3.7.7にて作業しました。

CloudSDKについては以前はaptでやってたんですが、sudo使わないと開発できないとか厄介なのが嫌なので、今回はtar.gzの方で対応することにしました。

希望を言うとそれぞれのクラウド用開発環境を個別に作るんじゃなくて一括でボンと入れたら全部が入ってくれるようなのが欲しいんだがなぁ。そして自動化にしても各社ばらばらでなく統一的に記述できるような方式の標準規格が欲しい。

近しいとしたらこんな感じだけど、、、ただ個社の独自仕様まで吸収できていないので
Teraform
SevelessFramework
その辺がつらい、、、

理想を言えばプログラムを書いてなんか中間のライブラリをインポートしてそのライブラリを利用して、設定ファイルと一緒にデプロイすれば各クラウドベンダーのマネージドサービスを使うサーバレスなアプリが1コードでできるというのが理想なのよなぁ。


◆作業手順

1.pyenvバージョンアップ

$ git clone git://github.com/yyuu/pyenv-update.git ~/.pyenv/plugins/pyenv-update
$ pyenv update
$ pyenv versions
  system
* 2.7.16 (set by /home/users/.python-version)
  3.7.3
$ pyenv install --list
$ pyenv install 3.7.7
$ pyenv install 3.8.2

2.pythonバージョン切替

$ which python
/home/users/.pyenv/shims/python
$ pyenv global 3.7.7
$ vi .python-version
#以下の通り書き換え
-----
3.7.7
-----
$ pyenv versions
  system
  2.7.16
  3.7.3
* 3.7.7 (set by /home/users/.python-version)
  3.8.2

3.AWS-CLIバージョンアップ

#sudoでpyenv使えないのでsudoでも使えるように設定
$ sudo update-alternatives --config editor
$ sudo apt remove nano
$ sudo visudo
#追記
------
# See the man page for details on how to write a sudoers file.
#
Defaults        env_reset
Defaults        mail_badpass
Defaults        secure_path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bini:/home/users/.pyenv/shims/python" #←最後部に追記　/home/users/.pyenv/shims/python
------

#AWS-CLIのバージョンアップ
$ pip install --upgrade pip
$ pip install awscli --upgrade --user
$ aws --version
aws-cli/1.16.152 Python/3.7.3 Linux/4.15.0-91-generic botocore/1.12.142
$ aws --version
aws-cli/1.18.39 Python/3.7.7 Linux/4.15.0-91-generic botocore/1.15.39

4.CloudSDK再インストール

#既存のCloudSDKアンインストール
$ sudo apt remove -y google-cloud-sdk google-cloud-sdk-app-engine-python google-cloud-sdk-app-engine-python-extras google-cloud-sdk-datastore-emulator google-cloud-sdk-pubsub-emulator google-cloud-sdk-cbt google-cloud-sdk-bigtable-emulator kubectl
$ rm google-cloud-sdk
$ rm -rf ./config/gcloud/*

#CloudSDK再導入
$ wget https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-288.0.0-linux-x86_64.tar.gz
$ tar -xvzf google-cloud-sdk-288.0.0-linux-x86_64.tar.gz
$ rm google-cloud-sdk-288.0.0-linux-x86_64.tar.gz
$ cd google-cloud-sdk/
$ ./install.sh
Welcome to the Google Cloud SDK!
To help improve the quality of this product, we collect anonymized usage data

～中略～

Do you want to help improve the Google Cloud SDK (y/N)? y

～中略～

Modify profile to update your $PATH and enable shell command
completion?

Do you want to continue (Y/n)? Y

The Google Cloud SDK installer will now prompt you to update an rc
file to bring the Google Cloud CLIs into your environment.

Enter a path to an rc file to update, or leave blank to use
[/home/users/.bashrc]:  #そのままEnter

～中略～

For more information on how to get started, please visit:
  https://cloud.google.com/sdk/docs/quickstarts

$ export CLOUDSDK_PYTHON=/home/matarain/.pyenv/shims/python3

#別ターミナルで実行
#初期設定
$ gcloud --version
Google Cloud SDK 288.0.0
bq 2.0.56
core 2020.04.03
gsutil 4.49
$ gcloud init --console-only
pyenv: python2: command not found
Welcome! This command will take you through the configuration of gcloud.
～中略～

#oAuth認証設定
You must log in to continue. Would you like to log in (Y/n)? Y

Go to the following link in your browser:

～略～

Enter verification code:  ←ブラウザに表示されたコード貼付

#CloudUtil利用プロジェクト選択
You are logged in as: [XXXXX@gmail.com].

Pick cloud project to use:
 [1] 
 [2] 
 [3] 
 [4] 
 [5] 
 [6] 
 [7] 
 [8] 
 [9] Create a new project
Please enter numeric choice or text value (must exactly match list
item):7

Do you want to configure a default Compute Region and Zone? (Y/n)?  Y

#GCEのデフォルトロケーション設定
Which Google Compute Engine zone would you like to use as project
default?
～中略～
Did not print [18] options.
Too many options [68]. Enter "list" at prompt to print choices fully.
Please enter numeric choice or text value (must exactly match list
item):34

～中略～

* Run `gcloud --help` to see the Cloud Platform services you can interact with. And run `gcloud help COMMAND` to get help on any gcloud command.
* Run `gcloud topic --help` to learn about advanced features of the SDK like arg files and output formatting


◆参考サイト

1.AWS-CLIバージョンアップ

https://qiita.com/mo0013/items/036112149428c5bed763
https://qiita.com/darshuheider/items/74aa54ffb81ee8cbe0ff

2.CloudSDKのpython3化

https://qiita.com/gecko655/items/b9e590ce454ac9dd7da4
https://cloud.google.com/sdk/docs?hl=ja#linux
https://apps-gcp.com/cloud-sdkinstall-commentary/
https://netrandum.com/google-cloud-sdk-authorizing/487

コメント

コメントを投稿

このブログの人気の投稿

証券外務員1種勉強(計算式暗記用メモ)

-
何を血迷ったのか 証券外務員 1種を受けてみようかと 思って 問題集 を回していたけれども、いまいち数式部分に 弱いところがあるので暗記してやろうと 重要そうな数式を集めてみました。まぁ正確性は低いかもしんないけど ひとまずは個人用でメモしています。 1.株式業務 (1) 権利落ち相場 　　権利落ち相場= 権利付相場 ÷ 分割比率 　(2)採算株価 　　採算株価=希望利回り÷1株当たり配当年額 　(3)1株当たりキャッシュフロー(PCFR) 　　 PCFR = 発行済株式総数 ÷( 税引後純利益 + 減価償却費 ) 　(4) イールドスプレッド 　　イールドスプレッド=長期債利回りー 株式益回り 　(5) EVITDA (金利・税金・償却前利益) 　　EVITDA=税引前利益+支払利息+減価償却費 　(6) EV (企業価値) 　　EV= 時価総額 + 有利子負債 ー 現金預金 ー 短期有価証券 　(7) EV/EVITDA倍率 (倍) 　　EV/EVITDA倍率=EV÷EVITDA 　◆株価成立参照 　　 https://www.rakuten-sec.co.jp/web/domestic/stock/rule/agreed.html 　　 http://money-magazine.org/%E6%A0%AA%E4%BE%A1%E3%81%AE%E6%B1%BA%E3%81%BE%E3%82%8A%E6%96%B9%E3%81%AE%E5%9F%BA%E7%A4%8E%E7%9F%A5%E8%AD%98/ 　　 https://kabusyo.com/keiken/q_baibai.html 　　 https://ja.wikipedia.org/wiki/%E6%A0%AA%E4%BE%A1 　　 http://kabukiso.com/basics/buy/ita.html 2.債券業務 (1) パリティ価格 (転換社債株式価値) 　　パリティ価格=(株価÷ 転換価格 )×100 　(2) 乖離率 (%) 　　乖離率={(転換社債の時価ーパリティ価格)÷パリティ価格}×100 　(3) 最終利回り (%) 　　最終利回り={利率+(償還価格ー購入価格)÷ 残存期間 ＜年＞)}÷購入価格×
続きを読む

GASでGoogleDriveのサブフォルダとファイル一覧を出力する

-
 タイトルのまんまです。 以前、EXCELで似たようなこと をしていたのでGASではどうするのかなぁと思ってやってみました。まぁほとんど丸パクリです。とりあえず、また使うかもしれないので自分用にメモです。しかしGASでGoogleDriveのファイル一覧嘗め回そうとすると3分かかってしまう。数が多いと6分制限に引っかかるのでこれでは使えない。せいぜい100ファイルとか数が少ないところで使う分にはいいけどダイナミックな場合は何回かに分割してやらないと少し厳しいかもしれない。 ◆GAS //設定値取得 const SHEET_URL = SpreadsheetApp.getActiveSpreadsheet().getUrl(); const ss = SpreadsheetApp.openByUrl(SHEET_URL); const SETTING_SHEET = ss.getSheetByName('設定') const TARGET_FOLDER_ID = SETTING_SHEET.getRange('B2').getValue(); const SAVE_FOLDER_ID = SETTING_SHEET.getRange('B3').getValue(); const SAVE_FILE_NAME = SETTING_SHEET.getRange('B4').getValue(); const SAVE_SHEET_NAME = SETTING_SHEET.getRange('B5').getValue(); function writeSheet(values, labels, sheetUrl, sheetname, width) { /* スプレッドシートに書き出し */ try { if (values.length > 0) { // シートを追加する let spreadSheet = SpreadsheetApp.openByUrl(sheetUrl); let sheet = set_sheet(sheetUrl,sheetname); // 1行目だけヘッダ追加 let he
続きを読む

マクロ経済学(IS-LM分析)

-
イメージ
危うく3日坊主になりそうでした。とりあえず今日は 「IS-LM分析」 です。 テキストでは 簡便4象限法 とかいうのの説明が多いです。なのでさっぱり わけわからん状態ですが、それなりに頑張ってみます。 1: IS曲線 の導出 財市場の均衡を表す。Iは投資を表し、Sは貯蓄を表す。 ・IS曲線導出の材料 I→利子率の関数、S→所得の関数で「I=S」で財市場を表す。 ・ 投資関数 利子率の減少関数、I (投資関数)=I(r)　※rは利子率 ・政府活動の導入 裁量的な拡張的な財政政策はIS曲線をシフトさせる。 IS曲線の右シフト=政府支出の増大や減税等の有効需要を増加させる要因による 2: LM曲線 の導出 利子率の低下が国民所得の増大につながる因果関係を明らかにする目的 ・LM曲線導出の材料 貨幣需要(MD)=L、L=取引的動機+予備的動機(L1)+投機的動機(L2) MD=L1+L2 貨幣供給(Ms)=名目貨幣供給/物価(P) ・LM曲線のシフト 金融緩和策・物価下落：実質貨幣供給(MS)が増大→右(下)へシフト 金融引締策・物価上昇：実質貨幣供給(MS)が減少→左(上)へシフト 独立投資拡大→IS曲線が右にシフト 利子率がr1→r2に下落する。 IS曲線、LM曲線の均衡点がE→Fに移動する。 国民所得がY1→Yfとなって増大する。 3:特殊なLM曲線 ・ 流動性の罠 のLM曲線 金融政策は無効→LM曲線をシフトさせても均衡点Eは変わらない IS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点が E→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　 ・ 投資の利子率に対する弾力性ゼロ 金融政策は無効→LM曲線を右にシフトさせても国民所得が増えない。 流動性の罠と同じくIS曲線を右にシフトさせる拡張的な財政政策を実施すると 均衡点がE→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　　　　 4: クラウディング・アウト 政府が市場に介入して公共投資を行うと民間の投資が締出しを受ける ・古典派による財政政策の無効論 政府支出を拡大すると利子率が上昇してしまい。投資が減少する。 政府の支出がクラウディングアウトを引き起こして支
続きを読む