SFDCのデータを抽出してAWSのS3にCSVを出力する(その3)

今回はapexの単体プログラムがメインです。apex用エディタの起動はつまづかないと思いますが念のため、管理コンソールにログインして歯車マークをクリックして[開発者]コンソールを選択します。デバッグ方法などはググってみてください。

ちなみにSFDCでapexを使って何かしようとするとリリース時にはテストで75%のカバレッジが必要という落とし穴があります。なのでがっつりある程度処理を網羅するテストを書く必要があります。自分はテストなど書いたことなかったので非常に苦労しました。

◆大枠の手順

1.AWSでS3を設定する
　1)S3バケット作成
　2)IAMポリシー設定
　3)IAMユーザ追加
2.SFDC設定
　1)環境変数関連設定
　2)パラメータ入力
　3)リモートサイト許可
3.プログラム作成(単体レベル)
　1)環境変数抽出
　2)SOQLを使用してデータ抽出
　3)S3にCSVファイルをアップロード
4.バッチ設定

◆プログラム群

1)環境変数抽出

GetEnvironment
--------------------

public class GetEnvironment {
    // 環境変数をカスタム設定から取得する
    public Map GetEnv(){
        try {
            Map settingMap = EnvironmentVars__c.getAll();
            Map MapEnv = new Map();
            for (String key : settingMap.keySet()) {
                EnvironmentVars__c env = settingMap.get(key);
                MapEnv.put(key,env.EnvParam__c);
            }
            return MapEnv;
        } catch(Exception e) {
          System.debug('Exception caught: ' + e.getMessage());
          system.debug(e.getLineNumber());
          return null;
        }
   }
}

--------------------
GetEnvironmentTest

--------------------

@isTest(SeeAllData=true)
private class GetEnvironmentTest {
 @isTest static void testGetEnv() {
        Map m1 = new Map();
        GetEnvironment ge = new GetEnvironment();
        m1 = ge.GetEnv();
        for (String sKey:m1.keySet()){
               if(sKey == 'S3Key'){
                 System.assertEquals(sKey ,'S3Key');
               }
               if(sKey == 'S3Token'){
                 System.assertEquals(sKey ,'S3Token');
               }
               if(sKey == 'S3Bucket'){
                 System.assertEquals(sKey ,'S3Bucket');
               }
               if(sKey == 'S3Domain'){
                 System.assertEquals(sKey ,'S3Domain');
            }
        }
        System.debug(m1);
    }
}

--------------------

2)SOQLを使用してデータ抽出

SoqlOperate
--------------------

public class SoqlOperate{
    //SOQLでデータを抽出
    public List GetLeads(){
        try{
            String queryString = 'SELECT ' +
                                 'LastName,FirstName,Phone,Email ' + 
                                 'FROM Lead ' +
                                 'WHERE send_stat__c != \'SEND\'';
            List leads = Database.query(queryString);
            if(leads.isEmpty()){
                leads = new List();
            }
            return leads;
        }catch(Exception e){
            System.debug('Exception caught: ' + e.getMessage());
            System.debug(e.getLineNumber());
            return null;
        }
    }
    //送信ステータス更新
    public Boolean UpdateLeadsStatus(List ids){
        try{
            List leads = [SELECT Id FROM Lead WHERE Id IN :ids];
            for (Lead ld : leads){
                ld.send_stat__c = 'SEND';
            }
            if(!leads.isEmpty()){
                //一括更新
                List srList = Database.update(leads, false);
                //エラー処理
                for (Integer i = 0; i < leads.size(); i++) {
                    Lead ld = leads.get(i);
                    Database.SaveResult sr = srList.get(i);
                    if (!sr.isSuccess()) {
                        System.debug('**** エラー発生：updateが失敗しました ****');
                        System.debug('Id：' + ld.Id);
                        for (Database.Error err : sr.getErrors()) {
                            System.debug(err.getStatusCode());
                            System.debug(err.getFields() + ' ' + err.getMessage());
                        }
                    }
                }
            }
            return true;
        }catch(Exception e){
            System.debug('Exception caught: ' + e.getMessage());
            System.debug(e.getLineNumber());
            return false;
        }
    }
    //抽出データをCSVに変換
    public String RecordsTransferCsv(List OriginCsv){
        try{
            String str_body='';
            Integer cnt = OriginCsv.size();
            if(cnt==0){
                throw new QueryException();
            }
            Integer i = 0;            
            for(Lead l : OriginCsv){
                if(i==cnt-1){
                    str_body += '"'+l.LastName+'"'+','+'"'+l.FirstName +'"' +','+
                        '"'+l.Phone+'"' + ','+ '"'+l.Email+'"';
                }else{
                    str_body += '"'+l.LastName+'"'+','+'"'+l.FirstName +'"' +','+
                        '"'+l.Phone+'"' + ',' + '"'+l.Email+'"'+'\r\n';
                }
                i+=1;
            }
            return str_body;
        }catch(Exception e){
            System.debug('Exception caught: ' + e.getMessage());
            System.debug(e.getLineNumber());
            return null;
        }
    }
    //抽出データからIDを取得してリストにする
    public List ReturnKeyId(List OriginData){
        try{
            List id_list = new List();
            Integer cnt = OriginData.size();
            if(cnt==0){
                throw new QueryException();
            }
            for(Lead l : OriginData){
               id_list.add(l.Id);
            }
            return id_list;
        }catch(Exception e){
            System.debug('Exception caught: ' + e.getMessage());
            System.debug(e.getLineNumber());
            return null;
        }
    }
}

--------------------
SoqlOperateTest
--------------------

@isTest(SeeAllData=true)
private class SoqlOperateTest {
 @isTest static void GetLeadsTest(){
        SoqlOperate sq = new SoqlOperate();
        List li = sq.GetLeads();
    }
    @isTest  static void RecordsTransferCsvTest(){
        SoqlOperate sq = new SoqlOperate();
        List leads = [SELECT LastName,FirstName,Phone,Email FROM Lead];
        String s11 = sq.RecordsTransferCsv(leads);
        System.debug(s11);
        List dm;
        String s12 = sq.RecordsTransferCsv(dm);
    }
    @isTest  static void  ReturnKeyIdTest(){
        SoqlOperate sq = new SoqlOperate();
        List leads_id = [SELECT LastName,FirstName,Phone,Email FROM Lead];
        List s21 = sq.ReturnKeyId(leads_id);
        for (String s_id : s21){
            System.debug(s_id);
        }
    }
    @isTest  static void UpdateLeadsStatusTest(){
        SoqlOperate sq = new SoqlOperate();
        List leads = [SELECT Id FROM Lead WHERE send_stat__c != 'SEND'];
        List ids = new List();
        for (Lead l : leads) {
             ids.add(l.Id);
        }
        Boolean b = sq.UpdateLeadsStatus(ids);
        System.debug(b);
    }
}

--------------------

3)S3にCSVファイルをアップロード

PutFiletoS3
--------------------

public class PutFiletoS3 {
    /* CSV抽出 */
    private static String SaveCSV(String str_body){
        try{
            String csv_header = '"姓","名","電話番号","Email"\r\n';
            //引数チェック
            if(str_body == null){
                throw new NullPointerException();
            }
            String csv_body = csv_header + str_body;
            return csv_body;
        }catch(QueryException e){
            System.debug('Exception caught: ' + e.getMessage());
            system.debug(e.getLineNumber());
            return null;
     }
    }
    
    /* S3にアップロード */
    @future(callout=true)
    public static void PutS3(String csv_body, String file_name,String s3access,String s3secret,
                             String s3bucketname,String s3domain, List ids){
          try {
               //引数チェック
              if((csv_body == null)||(file_name == null)||(s3access == null)||(s3secret == null)||
                 (s3bucketname == null)||(s3domain == null)||(ids==null)){
                 throw new NullPointerException();
              }
              String csv = SaveCSV(csv_body);
     　　　　 //S3へのファイルアップロード
              String dateString = Datetime.now().formatGmt('EEE, dd MMM yyyy HH:mm:ss Z');
              String stringToSign = 'PUT\n\ntext/csv; charset=Shift_JIS\n' + dateString +'\n/' + s3bucketname + '/' + file_name;
              Blob mac = Crypto.generateMac('hmacSHA1',  Blob.valueOf(stringToSign), Blob.valueOf(s3secret));
              String signature = EncodingUtil.base64Encode(mac);
              //httpリクエスト        
              HttpRequest req = new HttpRequest();
              req.setEndPoint('https://' + s3bucketname + '.' + s3domain + '/' + file_name);
              req.setHeader('Content-Type', 'text/csv; charset=Shift_JIS');
              req.setHeader('Content-Length', String.valueOf(csv.length()));
              req.setHeader('Host', s3bucketName + '.' + s3domain);
              req.setHeader('Date', dateString);
              req.setHeader('Authorization','AWS ' + s3access + ':' + signature);
              req.setBody(csv);
              req.setMethod('PUT');
              Http httpConnection = new Http();
              HTTPResponse res = httpConnection.send(req);
              if(res.getStatusCode()==200){
               System.debug(res);
                  //ステータス更新
                  SoqlOperate sq = new SoqlOperate();
                  Boolean b = sq.UpdateLeadsStatus(ids);
              }
          } catch(Exception e) {
          System.debug('Exception caught: ' + e.getMessage());
          system.debug(e.getLineNumber());
          //return null;
        }          
    }
}

--------------------
PutFiletoS3Test
--------------------

@isTest
private class PutFiletoS3Test {
 @isTest static void testPutS3() {
        //正常パターン
        //PutFiletoS3 ps3 = new PutFiletoS3();
        String body = '"テスト1","電話1"\r\n"テスト2","電話2"\r\n"テスト3","電話3"';
        String s;
        String S3Key= 'AWSのキー';
        String S3Token='AWSのトークン';
        String S3Bucket = 'バケット名'; 
        String S3Domain = 's3-ap-northeast-1.amazonaws.com';
        String fn = 'sample1.csv';
        List ids = new List{
            'value1', 'value2', 'value3'        
        };
     PutFiletoS3.PutS3(body,fn,S3Key,S3Token,S3Bucket,S3Domain,ids);
        System.debug('**DEBUG** ' + s);
        //異常パターン
        S3Key= '';
        S3Token='';
        PutFiletoS3.PutS3(body,fn,S3Key,S3Token,S3Bucket,S3Domain,ids);
        System.debug('**DEBUG** ' + s);
    }
}

--------------------

◆参考サイト

マクロ経済学(IS-LM分析)

- 11月 17, 2010

危うく3日坊主になりそうでした。とりあえず今日は「IS-LM分析」です。テキストでは簡便4象限法とかいうのの説明が多いです。なのでさっぱりわけわからん状態ですが、それなりに頑張ってみます。 1: IS曲線の導出財市場の均衡を表す。Iは投資を表し、Sは貯蓄を表す。・IS曲線導出の材料 I→利子率の関数、S→所得の関数で「I=S」で財市場を表す。・投資関数利子率の減少関数、I (投資関数)=I(r)　※rは利子率・政府活動の導入裁量的な拡張的な財政政策はIS曲線をシフトさせる。 IS曲線の右シフト=政府支出の増大や減税等の有効需要を増加させる要因による 2: LM曲線の導出利子率の低下が国民所得の増大につながる因果関係を明らかにする目的・LM曲線導出の材料貨幣需要(MD)=L、L=取引的動機+予備的動機(L1)+投機的動機(L2) MD=L1+L2 貨幣供給(Ms)=名目貨幣供給/物価(P) ・LM曲線のシフト金融緩和策・物価下落：実質貨幣供給(MS)が増大→右(下)へシフト金融引締策・物価上昇：実質貨幣供給(MS)が減少→左(上)へシフト独立投資拡大→IS曲線が右にシフト利子率がr1→r2に下落する。 IS曲線、LM曲線の均衡点がE→Fに移動する。国民所得がY1→Yfとなって増大する。 3:特殊なLM曲線・流動性の罠のLM曲線金融政策は無効→LM曲線をシフトさせても均衡点Eは変わらない IS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点が E→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　・投資の利子率に対する弾力性ゼロ金融政策は無効→LM曲線を右にシフトさせても国民所得が増えない。流動性の罠と同じくIS曲線を右にシフトさせる拡張的な財政政策を実施すると均衡点がE→E´となり国民所得がY1→Y2に増加するので財政政策は有効となる。　　　　　　 4: クラウディング・アウト政府が市場に介入して公共投資を行うと民間の投資が締出しを受ける・古典派による財政政策の無効論政府支出を拡大すると利子率が上昇してしまい。投資が減少する。政府の支出がクラウディングアウトを引き起こして支

このブログを検索

オーバーフォーティーおやじログ