3大クラウドのストレージ使ってsyslogのログローテーションしてみる

-

Samba使ってマウントしたファイルサーバってのを以前に準備しました。
その応用で業務にてsyslogサーバ立ててマウントしてそこにログを逃がす形式で構築する機会がありました。しかしながら、よく考えるとマウントしたディレクトリに移動させるよりローテートの際にコマンドで直でストレージに送ればいいかなと思って試してみました。AWSだけだと面白くないのでGCSとAzureBlobにも対応してみました。次回やるときに苦労するの嫌なので現時点で一撃でやれるようにShellにしてます。


◆Shellスクリプト実行環境の前提

・AWS：IAMロールでS3フルアクセス可能なものが存在しEC2に付与されている。AWS-CLIインストール済でクレデンシャル発行済

・GCP：GCEのアクセススコープで[ストレージ]がフル設定となっている

・Azure：V-NETとストレージアカウントとBlobコンテナーが設定されていること

・Ubuntu22.04LTSにて確認(ロケールと言語は日本語に変換済)


◆Shell本体

#!/bin/bash

LOGDIR=/var/log/remote
CONFIG=10-remoete.conf
LOGNAME=syslog
S3BUCKET=s3://202402-syslog-srv-test
GCSBUCKET=gs://202402-syslog
RESOURCENAME=syslogexam
AZ_ACCOUNTNAME=202402storageaccount
AZ_CONTAINERNAME=202402-syslog-test
EXPIRY=$(date -d "+10 years" +%Y-%m-%dT00:00:00Z)
CMD="logrotatecommand"


# AWS
read -p "## Do you want to setting AWS ? (y/n) [y]: " -e -i "y" awsResponse
if [ "$awsResponse" == "y" ] || [ "$awsResponse" == "Y" ]; then
    echo "*** AWS setting start ***"
    curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
    sudo apt -y install unzip
    unzip awscliv2.zip
    sudo ./aws/install
    rm -Rf  awscliv2.zip aws
    CMD="aws s3 mv ${LOGDIR}/ ${S3BUCKET}/ --recursive --recursive --exclude '*' --include \"*-\$(date '+%Y-%m-%d')\""
fi


# GCP
read -p "## Do you want to setting GCP ? (y/n) [y]: " -e -i "n" gcpResponse
if [ "$gcpResponse" == "y" ] || [ "$gcpResponse" == "Y" ]; then
    echo "*** GCP setting start ***"
    CMD="gsutil mv -r ${LOGDIR}/*/\"*-\$(date '+%Y-%m-%d')\" ${GCSBUCKET}/"
    echo "*** GCP setting Done ***"
fi


# Azure
read -p "## Do you want to setting Azure ? (y/n) [y]: " -e -i "n" azureResponse
if [ "$azureResponse" == "y" ] || [ "$azureResponse" == "Y" ]; then
    echo "*** Azure setting start ***"
    curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash
    az login
    wget https://aka.ms/downloadazcopy-v10-linux
    tar -xvf downloadazcopy-v10-linux
    sudo rm -f /usr/bin/azcopy
    sudo cp ./azcopy_linux_amd64_*/azcopy /usr/bin/
    sudo chmod 755 /usr/bin/azcopy
    rm -f downloadazcopy-v10-linux
    rm -rf ./azcopy_linux_amd64_*/

    ACCOUNT_KEY=$(az storage account keys list --account-name ${AZ_ACCOUNTNAME} --resource-group ${RESOURCENAME} --query "[0].value" --output tsv)
    SAS=$(az storage container generate-sas \
        --account-name ${AZ_ACCOUNTNAME} \
        --account-key ${ACCOUNT_KEY} \
        --name ${AZ_CONTAINERNAME} \
        --expiry ${EXPIRY} \
        --permissions rwl \
        --output tsv )

    sudo tee /usr/local/bin/azure_bkup_copy.sh <<_EOS_
#!/bin/bash
for dir in ${LOGDIR}/*; do 
    azcopy copy \$dir "https://${AZ_ACCOUNTNAME}.blob.core.windows.net/${AZ_CONTAINERNAME}/?${SAS}" --recursive --include-pattern "*-\$(date '+%Y-%m-%d')" 
    rm \$dir/*-\$(date '+%Y-%m-%d')
done
_EOS_

    sudo chmod +x /usr/local/bin/azure_bkup_copy.sh
    CMD=/usr/local/bin/azure_bkup_copy.sh
    echo "*** Azure setting Done ***"
fi


# rsyslog.confのポート開放
sudo sed -i 's/#module(load="imtcp")/module(load="imtcp")/' /etc/rsyslog.conf
sudo sed -i 's/#input(type="imtcp" port="514")/input(type="imtcp" port="514"  ruleset="remote")/' /etc/rsyslog.conf
sudo sed -i 's/#module(load="imudp")/module(load="imudp")/' /etc/rsyslog.conf
sudo sed -i 's/#input(type="imudp" port="514")/input(type="imudp" port="514" ruleset="remote")/' /etc/rsyslog.conf

# ディレクトリとリモートホスト用設定作成
sudo mkdir -p ${LOGDIR} && sudo chgrp syslog ${LOGDIR} && sudo chmod 775 ${LOGDIR}
sudo tee /etc/rsyslog.d/${CONFIG} <<_EOS_
\$umask 0022
#template(name="HostDateTemplate" type="string" string="${LOGDIR}/%hostname%/%fromhost%-%\$year%-%\$month%-%\$day%.log")
template(name="HostDateTemplate" type="string" string="${LOGDIR}/%hostname%/${LOGNAME}")
ruleset(name="remote") {
  action(type="omfile" DynaFile="HostDateTemplate" FileCreateMode="0644" dirCreateMode="0755")
}
_EOS_

sudo tee /etc/logrotate.d/remote <<_EOS_
${LOGDIR}/*/* {
    daily
    missingok
    dateext
    dateformat -%Y-%m-%d
    rotate 1
    notifempty
    create 664 root syslog
    postrotate
      ${CMD}
      systemctl restart rsyslog
    endscript
}
_EOS_


# デーモン再起動
sudo systemctl restart rsyslog.service

◆参考

・syslog、logrotate

・S3

・GCP

・Azure

一番楽だったのがGCSです。何も足さなくていいという感じでした。次がAWS、AWS-CLI入れないとダメだったけどまだまし。Azureは使いにくい。なんですかAzCopy入れた上に認証情報までわざわざ端末上で拾ってこないといけないという面倒くささ、こういう用途で使うならAWSかGCPの方がハードル低いですね。
それにしても、クラウド個別CLIを1個で扱えるCLIとかないんですかねS3とGCSとAzureBlobで個別にコマンド準備しないといけないし、これ同じ形式で扱えたらすごく楽なのになぁと・・・
構築とかについてはTerraformとかPulumiとかあるんですがcopyとかmvとかの部分でマルチクラウドの差を吸収できるようなツールがないのでなんか面倒くさいなぁと思いながらやってました。
能力低いので公式ドキュメントから行間を読んでゴニョゴニョするという能力がなく相変わらず苦労しました。

コメント

コメントを投稿

このブログの人気の投稿

証券外務員1種勉強(計算式暗記用メモ)

-
何を血迷ったのか 証券外務員 1種を受けてみようかと 思って 問題集 を回していたけれども、いまいち数式部分に 弱いところがあるので暗記してやろうと 重要そうな数式を集めてみました。まぁ正確性は低いかもしんないけど ひとまずは個人用でメモしています。 1.株式業務 (1) 権利落ち相場 　　権利落ち相場= 権利付相場 ÷ 分割比率 　(2)採算株価 　　採算株価=希望利回り÷1株当たり配当年額 　(3)1株当たりキャッシュフロー(PCFR) 　　 PCFR = 発行済株式総数 ÷( 税引後純利益 + 減価償却費 ) 　(4) イールドスプレッド 　　イールドスプレッド=長期債利回りー 株式益回り 　(5) EVITDA (金利・税金・償却前利益) 　　EVITDA=税引前利益+支払利息+減価償却費 　(6) EV (企業価値) 　　EV= 時価総額 + 有利子負債 ー 現金預金 ー 短期有価証券 　(7) EV/EVITDA倍率 (倍) 　　EV/EVITDA倍率=EV÷EVITDA 　◆株価成立参照 　　 https://www.rakuten-sec.co.jp/web/domestic/stock/rule/agreed.html 　　 http://money-magazine.org/%E6%A0%AA%E4%BE%A1%E3%81%AE%E6%B1%BA%E3%81%BE%E3%82%8A%E6%96%B9%E3%81%AE%E5%9F%BA%E7%A4%8E%E7%9F%A5%E8%AD%98/ 　　 https://kabusyo.com/keiken/q_baibai.html 　　 https://ja.wikipedia.org/wiki/%E6%A0%AA%E4%BE%A1 　　 http://kabukiso.com/basics/buy/ita.html 2.債券業務 (1) パリティ価格 (転換社債株式価値) 　　パリティ価格=(株価÷ 転換価格 )×100 　(2) 乖離率 (%) 　　乖離率={(転換社債の時価ーパリティ価格)÷パリティ価格}×100 　(3) 最終利回り (%) 　　最終利回り={利率+(償還価格ー購入価格)÷ 残存期間 ＜年＞)}÷購入価格×
続きを読む

GASでGoogleDriveのサブフォルダとファイル一覧を出力する

-
 タイトルのまんまです。 以前、EXCELで似たようなこと をしていたのでGASではどうするのかなぁと思ってやってみました。まぁほとんど丸パクリです。とりあえず、また使うかもしれないので自分用にメモです。しかしGASでGoogleDriveのファイル一覧嘗め回そうとすると3分かかってしまう。数が多いと6分制限に引っかかるのでこれでは使えない。せいぜい100ファイルとか数が少ないところで使う分にはいいけどダイナミックな場合は何回かに分割してやらないと少し厳しいかもしれない。 ◆GAS //設定値取得 const SHEET_URL = SpreadsheetApp.getActiveSpreadsheet().getUrl(); const ss = SpreadsheetApp.openByUrl(SHEET_URL); const SETTING_SHEET = ss.getSheetByName('設定') const TARGET_FOLDER_ID = SETTING_SHEET.getRange('B2').getValue(); const SAVE_FOLDER_ID = SETTING_SHEET.getRange('B3').getValue(); const SAVE_FILE_NAME = SETTING_SHEET.getRange('B4').getValue(); const SAVE_SHEET_NAME = SETTING_SHEET.getRange('B5').getValue(); function writeSheet(values, labels, sheetUrl, sheetname, width) { /* スプレッドシートに書き出し */ try { if (values.length > 0) { // シートを追加する let spreadSheet = SpreadsheetApp.openByUrl(sheetUrl); let sheet = set_sheet(sheetUrl,sheetname); // 1行目だけヘッダ追加 let he
続きを読む

マクロ経済学(IS-LM分析)

-
イメージ
危うく3日坊主になりそうでした。とりあえず今日は 「IS-LM分析」 です。 テキストでは 簡便4象限法 とかいうのの説明が多いです。なのでさっぱり わけわからん状態ですが、それなりに頑張ってみます。 1: IS曲線 の導出 財市場の均衡を表す。Iは投資を表し、Sは貯蓄を表す。 ・IS曲線導出の材料 I→利子率の関数、S→所得の関数で「I=S」で財市場を表す。 ・ 投資関数 利子率の減少関数、I (投資関数)=I(r)　※rは利子率 ・政府活動の導入 裁量的な拡張的な財政政策はIS曲線をシフトさせる。 IS曲線の右シフト=政府支出の増大や減税等の有効需要を増加させる要因による 2: LM曲線 の導出 利子率の低下が国民所得の増大につながる因果関係を明らかにする目的 ・LM曲線導出の材料 貨幣需要(MD)=L、L=取引的動機+予備的動機(L1)+投機的動機(L2) MD=L1+L2 貨幣供給(Ms)=名目貨幣供給/物価(P) ・LM曲線のシフト 金融緩和策・物価下落：実質貨幣供給(MS)が増大→右(下)へシフト 金融引締策・物価上昇：実質貨幣供給(MS)が減少→左(上)へシフト 独立投資拡大→IS曲線が右にシフト 利子率がr1→r2に下落する。 IS曲線、LM曲線の均衡点がE→Fに移動する。 国民所得がY1→Yfとなって増大する。 3:特殊なLM曲線 ・ 流動性の罠 のLM曲線 金融政策は無効→LM曲線をシフトさせても均衡点Eは変わらない IS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点が E→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　 ・ 投資の利子率に対する弾力性ゼロ 金融政策は無効→LM曲線を右にシフトさせても国民所得が増えない。 流動性の罠と同じくIS曲線を右にシフトさせる拡張的な財政政策を実施すると 均衡点がE→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　　　　 4: クラウディング・アウト 政府が市場に介入して公共投資を行うと民間の投資が締出しを受ける ・古典派による財政政策の無効論 政府支出を拡大すると利子率が上昇してしまい。投資が減少する。 政府の支出がクラウディングアウトを引き起こして支
続きを読む