アラフィフおやじログ

次の章がIPです。 LAN はどちらかと言えばインフラよりの話なので、 この分野をしっかりと押さえた上でIPに進めばわかりやすいはず・・・。 1:物理的な接続 ・ 同軸ケーブル 基幹LANに接続するにはMAUというトランシーバーが必要 10BASE5 ： RG-11 規格でThickケーブルという。 10BASE2 ： RG-58 規格でThinケーブルという。 ・ ツイストペアケーブル 4本のより対線でデータ転送を行う。 シールド処理された STP とシールドしていない UTP がある。 近年は速度差を吸収するため オートネゴシエーション を 備える機器が多くなってきた。 ・ 光ファイバ シングルモード：光の通り道が1つ、曲げに弱い マルチモード：光の通り道が広い、曲げに弱い 1000BASE-LX 、 1000BASE-SX 規格が存在する。 ・ リピーター 物理層でネットワークを接続する通信機器 電流の増幅と信号整形のみを行う。 リピーターを利用することで伝送距離を長くすることができる。 10Baseでは4段、100Base-TXでは2段までと決められている。 近年はマルチポートリピーターである ハブ が主流 2:論理的な接続と伝送制御 ・ ネットワークトポロジ バス型 ：基幹ケーブルから支線が延びる形態 スター型 ：中央のハブから支線が延びる形態 リング型 ：ケーブルをリング上に配置する形態 メッシュ型 ：すべてのノード間を結ぶ形態 3:伝送制御方式 ・ CSMA/CD ネットワーク上にデータが流れていないか確認してから データを送出する。データ衝突の場合はデータを破棄する。 衝突が増えるとスループットが低下する。　　 ・ イーサーネット CSMA/CDを採用したデータリンク層の通信規約、 IEEE802.3 として 標準化 されている。 ・ トークンリング トークンを巡回させてそれを捕まえた端末だけが 通信できる形式。 IEEE802.5 にて標準化されている。 ・ アーリートークンリリース 方式 トークンを一定時間でリリースする方式 ・ FDDI アペンドトークン 方式によりネットワーク上に必ず1つフリートークンが 存在する。伝送速度が1...

電気通信 ・・・。電気ってさっぱりですが、ネットワークを やる上では避けて通れないところです。きちんと身につければ システム系ではかなり重宝がられる分野です。 真剣に電気の勉強しとけばよかった。 1: 音声信号 と 符号化 ・アナログとデジタル アナログ =連続量 デジタル =離散量 ・デジタル化のメリット 「ノイズに強い」、「データ量のコントロールが出来る」 「コンピュータシステムと相性がいい」 ・符号化の手順 標本化 → 量子化 →符号化 ・ PCM 量子化を行ったデータをそのまま符号に割り付ける 周波数×データ容量=伝送容量/時間 ・ ADPCM PCMを改良してデータ容量を小さくしたもの ・ 分析合成符号化 データパターンを用意して原データに近いものを選択する。 ・ CELP 携帯電話用に開発された符号化形式 2:画像信号の符号化 ・画像データ圧縮の手法 予測符号化 ：差分データで表示 変換符号化 ： エントロピ が小さい値に変換 不可逆符号化 ：データを間引く 動き補償予測 ：動画で行われる予測手法 エントロピ符号化 ： ハフマン理論 でデータを最小化する。 ・ 画像データ規格 JPEG =不可逆圧縮 GIF =256色までしか扱えない。 MPEG =動画規格 ・ 音声関連 MP3 ：MPEG1の音声圧縮方式 H.261 ：TV会議に利用されている。 H.323 ：VOIPに利用されている。 3: 同期制御 ・同期 送信側と受信側で通信タイミングを合わせる。 ・ ビット同期 （クロック同期方式） 1ビットのデータを正確に認識するための方式 同期方式：データの中に同期信号を混在させる。 調歩同期方式：先頭と最後にスタートビットとストップビットをつける ・ ブロック同期 キャラクタ同期方式：8ビットのSYNコードを認識して通信 フラグ同期方式　　：データの前後にフラグを挿入して同期 4: ベーシック手順 ・ベーシック手順 BSC方式 をベースにISO/JIS化された伝送手順 ・データ転送のフェーズ 回線接続→データリンク確立→データ転送→データリンク切断→回線切断 コンテンション方式：ポイントtoポイント ポーリング方式 ：制御局が従属...

今年は絶対合格したいネットワークスペシャリスト・・・。 テキスト は昨年のものですが しっかりもう一度復習です。2巡目がもうすぐ終わりそうなので、第1章からきちんと やり直しです。早速スタート 1. プロトコル お互いにやりとりする際の取り決め事のこと。   コンピュータでは細かく決めないと通信できない。 かってはメーカー独自プロトコルが多かったが オープン化の流れを受けて、プロトコルが標準化される ケースが増えてきた。 標準化機構 が存在する。 2: OSI基本参照モデル お約束の7階層モデル。階層化することで他の層への影響を 小さくする。それぞれの層は単機能であるため入替が容易。 同じ層のやり取りはプロトコルで規定され、それぞれの層のことを エンティティという。   ・ 物理層 電気信号の規定やコネクタの形状を決める。 ・ データリンク層 隣接するノードの通信を規定。 MAC や HDLC手順 を規定 ・ ネットワーク層 エンドtoエンドでのデータやり取りを規定する。IPが該当する。 ・ トランスポート層 データ転送の制御を行う。 TCP や UDP が該当する。 ・ セション層 かなり馴染みが薄い層ながら重要なことをしている。 最終的な目的に合わせてデータ送受信管理を行う。 データ転送タイミングやコネクション確立のタイミング制御 半二重通信 や 全二重通信 の区分も定義する。 ・ プレゼンテーション層 データの表現形式の管理を行う。 文字コード や データ圧縮 の規定などを 行っている。 ・ アプリケーション層 データの意味内容を直接解釈する。 SMTP や HTTP 等が該当する。 3: 回線交換 と パケット交換 ・回線交換 通信に先立って回線を占有してから通信を行う。 セキュリティ高・回線利用効率低・ 異機種間でのやり取り不可 短時間に大量のデータをやりとりする際に適している。 ・パケット交換 データを パケット に区切って共用回線にデータを送信する。 セキュリティ低・回線利用率高・異機種間でのやり取り可 少量のデータを長時間に渡ってやりとりする際に適している。 4: コネクション型通信 と コネクションレス型通信 ・コネクション型通信...

網走で流氷を見ていたので2日間ほど間があいてしまいました(苦笑)。 流氷の速度計算と着氷予測とかの計算なんかも案外、観光には有効かも しれないです。さて本題、いよいよ最終章です。 行ってみましょう。 1: レプリケーション ・複数のデータベース間で更新したデータを自動的に反映させる。 ・ 同期レプリケーション(同期更新) 同一トランザクションで2つのサイトを更新する。→負荷が高い。 ・ 非同期レプリケーション(非同期更新) トランザクション完了後にバックアップサイトを更新→更新が遅い。　 2: OLAP(多次元分析) ・ OLAP(On-Line Analytical Processing) データを多角的に見て法則性を分析する。 ・ MOLAP(Multi-Dimensional On-Line　Analytical　Processing) 多次元データベース を用いた分析処理 ・ ROLAP(Rerlational On-Line　Analytical　Processing)     関係データベースを用いた分析処理 ・ スライシング 2つの軸を選択して特定の面だけを参照する。 ・ ダイシング サイコロを転がすようにデータの軸を変える。 ・ ドリルダウン 集約されたデータを細かく砕いていく。 ・ SQL/OLAP SQLのOLAP拡張 3: データマイニング 大量に 蓄積されたデータから隠れた規則性を見つけ出す。 規則信頼度が高くても規則支持度が低ければ意味が無い。 規則支持度が高いと規則信頼度は低い。 ・規則信頼度 結論部の数/条件部の数 ・規則支持度 結論部の数/全体の数 4: データウエアハウス ・主題指向(Subject-Oriented) データ中心でデータを格納する。 ・ 統合(integration) データ体系を統一する。コード体系や意味、名称の統一 ・ 時系列(time-variant) 過去から最新のデータまでを保持する。 ・ 不変性(nonvolatile) データが不変。更新されない。 5:メタデータ、データ辞書、リポジトリ ・ メタデータ データに関する情報のこと、データベースだと 「表定義、ビュー...

さて2日間おやすみしてしまいましたが、本日は 分散データベース について 進めます。 実際の運用だとかなり大変そうですね。 1: 分散データベースシステム 定義 ・分散データベースシステムとは 地理的、論理的に分割した複数のシステムが 通信手段を介して結合、強調してまとまった処理を行うシステム ローカルサイトとリモートサイトからなる。 ・利点 危険分散：障害の局所化と災害時のリスク分散 負荷分散：複数マシンに分割して格納することで負荷を分散 2:分散データベースにおける 透過性 ・アクセス透過性 ローカルサイトでもリモートサイトでも同じ方法でアクセス可能 ・位置透過性 データの場所を利用者に意識させない。 ・重複透過性 1つの表が複数あったりサイト間でデータの複製が存在していても 利用者に意識させない。 ・分割透過性 1つの表が複数のサイトにまたがって格納されていても意識させない。 ・移動透過性 表を格納しているサイトを変更しても利用者に格納先の変更を意識させない。 ・障害透過性 いずれかのサイトで障害が発生しても隠蔽してしまう。 ・並行透過性 複数サイトから同時に並行して操作できる。 ・規模透過性 アプリケーションやOSに影響を与えずにシステム規模を変更できる。 3: 分散データベースでの表の結合方法  ・セミ結合（Semi-Join）  　通信負荷を小さくする方式。射影結果を結合相手のサイトに 送信して表を結合してから自サイトにその結合結果を転送する。 ・ 分散入れ子ループ結合 一方のサイトから射影と選択を行った外表の行を1行ずつ他方の サイトに転送して受け取った各行に結合処理を行う。 ＊結合する表がリモートサイトの場合はセミジョインのほうがいい。 ・分散併合結合 一方のソート結果他方に転送してマージ処理を行ってから リモートの処理結果をローカルに転送する。 ・ 分散ハッシュ結合 行数が少ない方の表の検索結果を他方のサイトに転送して ハッシュ表を作成してからハッシュ結合を行う。 4: 2相コミットメントプロトコル コミット準備→コミット最終指示というパターン ・サブトランザクション 各サイト内のトランザクション ・グ...

今日は インデックス の話です。よくデータベースの検索スピードが遅いと インデックスを張ればいいとかいう人がいますが・・・・。 更新系、特に基幹系のシステムでは逆効果になるケースもあったりする ので要注意です。 1:インデックス ・ B+木インデックス バランス木 なので追加、削除、更新の際にすべての リーフページ の深さ （階層レベル）が同じになるようにメンテナンスされる。 ※ルートページを除く各ページ内の利用率が50%以上になるようメンテナンス ※B木インデックスの位数がnのとき最大「2n+1」の下位ページをもつ。  　　ORDER　BY句でもインデックス効率を低下させないようにしたのがB+木　　   ・ ハッシュインデックス  　ハッシュ関数の値からデータの位置情報を求めてそこから 行識別子（ROWID） を求める。　　  　 衝突（コンフリクト） ：同じ関数値が求まってしまう。 　 同義語（シノニム） ：同じ関数値のキー値同士 ・ ビットマップインデックス 格納される値の種類が少ない場合に使われる。データウェアハウスで有利。 ・リンクインデックス ポインタによって主キー⇔外部キーの参照を高速化 他のインデックスと組み合わせるとさらに高速化する。 ・ 結合インデックス  　結合キーで検索するときに高速化するインデックス ・その他のインデックス n-gramインデックス ：全文検索用 四分木インデックス ：地図などの空間情報検用 UB木インデックス　 ： B木の改良版検索効率を向上させているよう 2:インデックスの効果と弊害  ・ インデックスの効果  　アクセスデータ絞り込みによるI/O回数とCPU時間の削減 キー値順[昇順、降順]の行データ取得によるソート処理削除 ＊キー値の種類が多いほどキー値の重複が少なくなりインデックスによる 絞込み率もよくなるため検索効率がよくなる。 ・ インデックスの弊害  　大量データの ランダムアクセス によるI/Oの増加  　データ更新時のインデックスメンテナンスによるオーバーヘッド増大 3: クラスタインデックス 複数（n)行検索時の参照データページ数を削減する効果がある。 I/O削減： ヒット行数/ページ内...

昨日は飲んでて手が回りませんでした。今日は気を取り直して。 障害回復 です。データベースのファイルをコピーしてポンと戻す ってなわけには いかん みたいです。 1:障害の種類 ・ トランザクション障害 トランザクションが異常終了する。ロールバックも含む。 ・システム障害 DBMSの再起動が必要となる場合。 ・メディア障害（ディスク障害） データベースの物理的障害。 2: 前進復帰 と 後退復帰 3: ロギング 障害時にデータベースを復旧させるために必須 データベースを格納する記憶装置より高信頼性が 必要。 ・ディスクの ミラーリング ・ ログファイルの二重化 ・ 非同期遅延書き込み データベースの更新性能を向上させるために非同期で 記憶装置に書き込みを行う ・ 書出ログの種類 トランザクション開始ログレコード 更新前データログレコード=後退復帰 更新後データログレコード=前進復帰 コミットログレコード ロールバックログレコード トランザクション終了ログレコード ・ WAL（WriteAheadLog）プロトコル ログ先行書 更新データ書出前に更新ログ書出 コミット時ログ強制書出 トランザクションがデータベースに対して行ったすべての更新ログを コミット前に書き出す。 ・ トランザクションの障害からの回復 障害が発生したトランザクションを後退復帰させる。 ・ チェックポイント とシステム障害からの回復 チェックポイントである時点の更新状況リストを書出 ・メディア障害からの回復 バックアップファイル復旧後にロールフォワードで復旧 ・ フルバックアップと差分バックアップ フルバックアップで全体をバックアップ、差分バックアップは 前回バックアップとの差分だけをバックアップする。 バックアップからの回復には 「フルバックアップ+すべての差分データ」が必要。 データベースを停止してバックアップ するんならファイルコピーして やればいいけど オンラインバックアップ だとデータベースを動かしたまま コピーする必要がある。当然前者の方が処理は早く終わるけど今や24h365日 稼働が当たり前のシステムなので負荷が重くてもオンラインバック...