Terraformシリーズもいよいよ今回で最後かなぁと思っています。

前回に引き続いてPaaSの構築です。既にAlibabaに追い抜かれてはいますが、三大クラウドの一角のGCPです。GoogleAppEngineとDataStoreを使用するアプリを作成し、そいつを展開するところをTerraformでやってみようというわけです。

まぁ↓こんな感じの構成です。

サンプルアプリはこちらに保存しています。Azureの時と同様にまずはCloudSDKで試してみてからTerraformにてやってみます。またしてもtfファイルはGitHubには上げていないという、、、。いい加減にGitに上げる様にした方がいいんだろうなぁと思うんですが後で見返す際にやりやすいのでこうしています。

カスタムドメインに関してはどうしても手動の部分があるので切り分けて共通項目としてくくりだしているのでTerraform化はしていません。カスタムドメインと無償SSLの箇所については他にいいサイトがあるのでそちらを参照いただいた方がいいかもしれないです。

◆設定作業編

1.CloudSDK版

# ソースコードのコピーとライブラリインストール
$ cd workdir
$ git clone https://github.com/Otazoman/GAEWebAppSample.git
$ cd GAEWebAppSample
$ mkdir lib
$ pip install --upgrade pip
$ pip install -t lib -r requirements.txt
#GCPプロジェクト作成
$ gcloud projects create ${project_name} --folder=${folder_id}
#GAE作成
$ gcloud app create --project=${project_name}

Please choose the region where you want your App Engine application
located:

 [1] asia-east2    (supports standard and flexible)
 [2] asia-northeast1 (supports standard and flexible)
 [3] asia-northeast2 (supports standard and flexible)
 [4] asia-northeast3 (supports standard and flexible)
 ～略～
 [20] cancel
Please enter your numeric choice:  2

# プロジェクトと請求先アカウントのリンク
$ gcloud beta billing projects link ${project_name} --billing-account ${billing_id}
# デプロイ
$ gcloud app deploy --project=${project_name}
Do you want to continue (Y/n)? Y
※初回はかなり時間がかかる
# プロジェクト削除
$ gcloud projects delete gaeappsample-20200816
Do you want to continue (Y/n)?  Y

2.Terraform版

2.1.事前準備作業

# ディレクトリ準備
$ mkdir gaeterraform
$ cd gaeterraform
$ mkdir credentials
$ mkdir gae
$ mkdir project
$ mkdir upload
#ソースコピー
$ git clone https://github.com/Otazoman/GAEWebAppSample.git src/GAEWebAppSample
# 親プロジェクト用シェル作成
$ vi src/make_project.sh
$ chmod 755 src/make_project.sh
------------------------------
#/bin/bash
#make project
gcloud projects create ${pr_project_name} \
--${folder_id} \
--set-as-default

#billing account
gcloud beta billing projects link ${pr_project_name} \
--billing-account ${billing_id}
gcloud config set project ${pr_project_name}

#make service account
gcloud iam service-accounts create terraform \
--display-name "Terraform admin account"

#get credential
gcloud iam service-accounts keys create ~/credential.json \
--iam-account ${service_account}@${pr_project_name}.iam.gserviceaccount.com

#api enabled
gcloud services enable cloudresourcemanager.googleapis.com
gcloud services enable cloudbilling.googleapis.com
gcloud services enable iam.googleapis.com
gcloud services enable serviceusage.googleapis.com
gcloud services enable appengine.googleapis.com
gcloud services enable storage-component.googleapis.com
gcloud services enable storage.googleapis.com
gcloud services enable storagetransfer.googleapis.com
gcloud services enable datastore.googleapis.com

#orgnize and billing
gcloud organizations add-iam-policy-binding ${org_id} \
--member serviceAccount:${service_account}@${pr_project_name}.iam.gserviceaccount.com \
--role roles/resourcemanager.projectCreator
gcloud organizations add-iam-policy-binding ${org_id} \
--member serviceAccount:${service_account}@${pr_project_name}.iam.gserviceaccount.com \
--role roles/billing.user
------------------------------
$ cp src/make_project.sh ./
※$で始まる個所は個別書替
# 親プロジェクト用Shell実行
./make_project.sh
# Terraformクレデンシャル取得用Shell準備
$ vi src/get_sakey.sh
$ chmod 755 src/get_sakey.sh
------------------------------
#/bin/bash
if [ -d credentials ]; then
   rm -Rf credentials
fi
gcloud iam service-accounts keys create ${credential} \
--iam-account ${service_account}@${project_name}.iam.gserviceaccount.com

export -n GOOGLE_APPLICATION_CREDENTIALS
export GOOGLE_APPLICATION_CREDENTIALS="${credential}"
------------------------------
$ cp src/get_sakey.sh ./

2.2.Terraformファイル群

(1)ルートに置くもの

# main.tf
-----------------
provider "google" {
  project = var.project_name
  region  = var.region
}

module "project" {
  source          = "./project"
  project_name    = var.project_name
  service_account = var.service_account
  org_id          = var.org_id
  folder_id       = var.folder_id
  billing_account = var.billing_account
}

data "template_file" "makeshell" {
  template = file("${path.module}/get_sakey.sh")
  vars = {
    project_name    = var.project_name
    service_account = var.service_account
    credential      = var.credential
  }
}

resource "local_file" "get_sakey" {
  content  = data.template_file.makeshell.rendered
  filename = "${path.module}/get_sakey.sh"
  provisioner "local-exec" {
    command = "/bin/bash ${path.module}/get_sakey.sh"
  }
  depends_on = [module.project]
}

module "gae" {
  source       = "./gae"
  project_name = "${module.project.project_id}"
  project_id   = "${module.project.project_id}"
  region       = var.region
  credential   = var.credential
}
-----------------
# variable.tf
-----------------
variable "admin_user" {
  default = "your@example.com"
}
variable "project_name" {
  default = "project_name"
}
variable "project_id" {
  default = "project_id"
}
variable "org_id" {
  default = "org_id"
}
variable "folder_id" {
  default = "folder_id"
}
variable "billing_account" {
  default = "billing_id"
}

variable "service_account" {
  default = "terraform"
}
variable "credential" {
  default = "/home/user/gaeterraform/credentials/account.json"
}
variable "region" {
  default = "asia-northeast1"
}
-----------------

(2)projectディレクトリ配下

# main.tf
-----------------
resource "google_project" "project" {
  name       = var.project_name
  project_id = var.project_name
  #org_id          = var.org_id
  folder_id       = var.folder_id
  billing_account = var.billing_account
}

resource "google_service_account" "sa" {
  account_id   = var.service_account
  display_name = "Project Service Account"
  depends_on   = [google_project.project]
}

data "google_iam_policy" "sa-iam-policy" {
  binding {
    role = "roles/owner"
    members = [
      "serviceAccount:${google_service_account.sa.email}",
    ]
  }
}

resource "google_service_account_iam_policy" "sa-iam" {
  service_account_id = google_service_account.sa.id
  policy_data        = data.google_iam_policy.sa-iam-policy.policy_data
}

resource "google_project_service" "services" {
  project    = google_project.project.project_id
  for_each   = toset(var.services)
  service    = each.value
  depends_on = [google_project.project]
}
-----------------
# variable.tf
-----------------
variable "project_name" {}
variable "billing_account" {}
variable "org_id" {}
variable "folder_id" {}
variable "service_account" {}
variable "services" {
  default = [
    "appengine.googleapis.com",
    "storage-component.googleapis.com",
    "storage.googleapis.com",
    "storagetransfer.googleapis.com",
    "datastore.googleapis.com"
  ]
}
-----------------
# outputs.tf
-----------------
output "project_id" {
  value = google_project.project.project_id
}
-----------------

(3)gaeディレクトリ配下

# main.tf
-----------------
data "archive_file" "app-engine-source-zip" {
  type        = "zip"
  source_dir  = var.source_dir
  output_path = var.output_path
}

resource "google_storage_bucket" "deployment_config" {
  bucket_policy_only = true
  force_destroy      = true
  name               = "deployment-config-${var.project_id}"
  requester_pays     = false
  storage_class      = "STANDARD"
}

resource "google_storage_bucket_object" "app-engine-source-zip" {
  source     = var.source_file
  bucket     = google_storage_bucket.deployment_config.name
  name       = "app-engine-source-zip"
  depends_on = [data.archive_file.app-engine-source-zip]
}

resource "google_app_engine_application" "app" {
  timeouts {
    create = "15m"
    update = "15m"
  }
  project     = var.project_id
  location_id = var.region
}

resource "google_app_engine_standard_app_version" "app-version" {
  timeouts {
    create = "15m"
    delete = "15m"
  }
  version_id = data.archive_file.app-engine-source-zip.output_md5
  service    = var.service
  runtime    = var.runtime
  deployment {
    zip {
      source_url = "https://storage.googleapis.com/${google_storage_bucket.deployment_config.name}/${google_storage_bucket_object.app-engine-source-zip.name}"
    }
  }
  entrypoint {
    shell = var.shell
  }
  noop_on_destroy = true
  depends_on      = [google_storage_bucket_object.app-engine-source-zip]
}
-----------------

# variable.tf
-----------------
variable "project_id" {}
variable "project_name" {}
variable "region" {}
variable "credential" {
  default = "/home/user/gaeterraform/credentials/account.json"
}
variable "source_file" {
  default = "/home/user/gaeterraform/upload/gaewebsample.zip"
}
variable "source_dir" {
  default = "/home/user/gaeterraform/src/GAEWebAppSample"
}
variable "output_path" {
  default = "/home/user/gaeterraform/upload/gaewebsample.zip"
}
variable "service" {
  default = "default"
}
variable "runtime" {
  default = "python37"
}

variable "shell" {
  default = "gunicorn -b :$PORT main:app"
}
-----------------

2.3.ディレクトリ構成

.
|-- credentials
|   `-- account.json
|-- gae
|   |-- main.tf
|   `-- variable.tf
|-- get_sakey.sh
|-- main.tf
|-- project
|   |-- main.tf
|   |-- make_project.sh
|   |-- outputs.tf
|   `-- variable.tf
|-- src
|   |-- GAEWebAppSample
|   |   |-- README.md
|   |   |-- app
|   |   |   |-- __init__.py
|   |   |   |-- __pycache__
|   |   |   |   |-- __init__.cpython-37.pyc
|   |   |   |   |-- app.cpython-37.pyc
|   |   |   |   |-- datastore_crud.cpython-37.pyc
|   |   |   |   `-- viewrender.cpython-37.pyc
|   |   |   |-- app.py
|   |   |   `-- templates
|   |   |       |-- error.html
|   |   |       |-- index.html
|   |   |       |-- select.html
|   |   |       `-- upload.html
|   |   |-- app.yaml
|   |   |-- appengine_config.py
|   |   |-- controllers
|   |   |   |-- __init__.py
|   |   |   |-- __pycache__
|   |   |   |   `-- viewrender.cpython-37.pyc
|   |   |   `-- viewrender.py
|   |   |-- main.py
|   |   |-- models
|   |   |   |-- __init__.py
|   |   |   |-- __pycache__
|   |   |   |   |-- datastore.cpython-37.pyc
|   |   |   |   `-- datastore_crud.cpython-37.pyc
|   |   |   |-- datastore.py
|   |   |   `-- datastore_crud.py
|   |   `-- requirements.txt
|   |-- get_sakey.sh
|-- upload
`-- variable.tf

2.4.Terraformコマンド

$ terraform init
$ terraform plan
$ terraform apply
$ terraform destroy

3.カスタムドメイン追加

3.1.DNSにサブドメイン追加

# プロジェクト切替
$ gcloud config set project ${project_name}
Updated property [core/project].
$ gcloud config configurations list | grep True | awk '{print $4}'
# コマンドラインからサブドメイン作成
$ gcloud dns managed-zones create gaeappsample \
    --description="gae web apps" \
    --dns-name=gae.example.com \
    --visibility=public
# NSレコードを取得する。
$ gcloud dns record-sets list --zone=gaeappsample --name="gae.example.com." --type="NS"

＊上記で取得したレコードをメインドメイン管理のDNSへ追加する。

　→自分の場合はAWSのRoute53のNSに追加しました。

3.2.ドメインマッピング

(1) GAEの設定からサブドメインとマッピングする

・GCPのコンソールでGAEの該当アプリを選択し[設定]→[カスタムドメイン]→[カスタムドメインを追加]をクリックする。

・「使用するドメインを選択する」から[新しいドメインの所有権を証明]を選択して利用するサブドメインを入力して[所有権を証明]をクリックする。

・ウェブマスターセントラルの画面が開くのでTXTレコードを取得する。[確認方法]で[ドメイン名プロバイダ]を選択して[Google Domains]を選択して赤枠で囲んだ箇所をDNSのTXTレコードに貼り付ける

※自分の場合はGCPのCloudDNSにサブドメインを設定したので、CloudDNSにてレコードを追加した。

・TXTレコードを登録後、10分ほどしてから[確認]をクリックすると確認完了画面が表示される。

・所有権が確認できたら確認済み表示となる

・[続行]をクリックする。

・ドメインのマッピング項目でマッピングされている内容を参照し[マッピングを保存]をクリックする。

・マッピングが正常に完了して緑チェック表示になったら[続行]をクリックする。

・DNSに設定するAレコードとAAAAレコード、CNAMEが表示される。

(2)マッピング保存後に表示されたAレコードとAAAAレコードとCNAMEをDNSに追加する

$ gcloud dns record-sets transaction start --zone="gaeappsample"
$ gcloud dns record-sets transaction add --name="www.gae.example.com." --ttl=300 --type=CNAME --zone="gaeappsample" "XXXX.com."
$ gcloud dns record-sets transaction add \
"IPv4addr_1" "IPv4addr_2" "IPv4addr_3" "IPv4addr_4" \
--name=gae.example.com. --ttl=300 --type=A --zone="gaeappsample"
$ gcloud dns record-sets transaction add \
"Ipv6addr_1" "Ipv6addr_2" "Ipv6addr_3" "Ipv6addr_4" \
--name=gae.example.com. --ttl=300 --type=AAAA --zone="gaeappsample"
$ gcloud dns record-sets transaction execute --zone="gaeappsample"

(3)登録が完了するとカスタムドメインの箇所にDNSの登録内容が表示される

◆参考サイト

Terraformははまりました。AzureとかAWSと違ってGCPの場合は組織の考え方が結構独特で、その関連でプロジェクトをTerraformから作成するときに色々と権限周りではまりました。その辺を調べるのでかなり色々と探したんですが情報もなく、非常に苦労しました。

(自分が低スキルなだけですごい人はサクッとできるんだろうなぁスキルほしい。

GCPでTerraformやる場合はあらかじめプロジェクトを作成しておいてサービスアカウントを発行してそのクレデンシャルを使ってなんかする方が自然みたいです。

今回みたいにダミーで親プロジェクト作成してその親プロジェクトから子プロジェクトを作ってみたいな特殊なことはしない方が無難だと思います。まぁ、Azureの場合と同様ですが、あえてTerraform使うよりはDeploymentManager使う方がトラブル少ないと思います。Terraform使うシーンとしてはGCEとVPCとCloudSQLをたくさん使うというシーン向きかなという印象です。

さて、何とか2020年中でWebAppsとGAEについて色々と検証してみるという目標は達成できました。PaaS+マネージドのNoSQLテーブルストレージの構成ってコスト面でも構成面でもAWSのEC2+DocumentDB構成に近いんですよねぇ。

そういう意味で行けばGAE+DataStoreで行くよりはCloudRunでコンテナ作ってデータベースはCloudSpaner、フロントにCloudLoadBalancingを噛ませるという構成の方が妥当なんでしょうけどねぇ。GAE+DataStoreはお手軽と言えばお手軽な構成ですね。

Terraformを3大クラウドで使ってみて、やっぱりAWSとは親和性高いし情報は多いけど、GCPとAzureになると途端に日本語の情報はほぼ皆無で、英語力がなければTerraformでGCPとかに立ち向かうのは無謀かもしれないということを学びました。

マクロ経済学(IS-LM分析)

- 11月 17, 2010

危うく3日坊主になりそうでした。とりあえず今日は「IS-LM分析」です。テキストでは簡便4象限法とかいうのの説明が多いです。なのでさっぱりわけわからん状態ですが、それなりに頑張ってみます。 1: IS曲線の導出財市場の均衡を表す。Iは投資を表し、Sは貯蓄を表す。・IS曲線導出の材料 I→利子率の関数、S→所得の関数で「I=S」で財市場を表す。・投資関数利子率の減少関数、I (投資関数)=I(r)　※rは利子率・政府活動の導入裁量的な拡張的な財政政策はIS曲線をシフトさせる。 IS曲線の右シフト=政府支出の増大や減税等の有効需要を増加させる要因による 2: LM曲線の導出利子率の低下が国民所得の増大につながる因果関係を明らかにする目的・LM曲線導出の材料貨幣需要(MD)=L、L=取引的動機+予備的動機(L1)+投機的動機(L2) MD=L1+L2 貨幣供給(Ms)=名目貨幣供給/物価(P) ・LM曲線のシフト金融緩和策・物価下落：実質貨幣供給(MS)が増大→右(下)へシフト金融引締策・物価上昇：実質貨幣供給(MS)が減少→左(上)へシフト独立投資拡大→IS曲線が右にシフト利子率がr1→r2に下落する。 IS曲線、LM曲線の均衡点がE→Fに移動する。国民所得がY1→Yfとなって増大する。 3:特殊なLM曲線・流動性の罠のLM曲線金融政策は無効→LM曲線をシフトさせても均衡点Eは変わらない IS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点が E→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　・投資の利子率に対する弾力性ゼロ金融政策は無効→LM曲線を右にシフトさせても国民所得が増えない。流動性の罠と同じくIS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点がE→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　　　　 4: クラウディング・アウト政府が市場に介入して公共投資を行うと民間の投資が締出しを受ける・古典派による財政政策の無効論政府支出を拡大すると利子率が上昇してしまい。投資が減少する。政府の支出がクラウディングアウトを引き起こして支...

このブログを検索

アラフィフおやじログ

TerraformでGoogleAPPEngineを構築してみた

◆設定作業編

1.CloudSDK版

2.Terraform版

2.1.事前準備作業

2.2.Terraformファイル群

(1)ルートに置くもの

(2)projectディレクトリ配下

(3)gaeディレクトリ配下

2.3.ディレクトリ構成

2.4.Terraformコマンド

3.カスタムドメイン追加

3.1.DNSにサブドメイン追加

3.2.ドメインマッピング

(1) GAEの設定からサブドメインとマッピングする

(2)マッピング保存後に表示されたAレコードとAAAAレコードとCNAMEをDNSに追加する

(3)登録が完了するとカスタムドメインの箇所にDNSの登録内容が表示される

◆参考サイト

・GAE入門

・DataStoreEmulator

・DataStore

・GAE独自ドメイン設定

・DNSコマンド関連

・Terraform関連

コメント

このブログの人気の投稿

GASでGoogleDriveのサブフォルダとファイル一覧を出力する

マクロ経済学(IS-LM分析)

IEのセキュリティ設定をいじくるバッチ