データベースコンサルタントのノウハウちょい見せ

Oracle RDBMSなどのオラクル製品や各種インフラ技術(OS、ストレージ、ネットワーク)といった話題を取り上げます。著者は小田圭二、「門外不出のOracle現場ワザ」、「絵で見てわかるOracleの仕組み」、「絵で見てわかるOS/ストレージ/ネットワーク」などの著作もあります

ホーム > アーカイブ - 2011年05月

ITシステムで見られるシーケンス

今回は、ITシステムで見られるシーケンスの紹介です。

「オンラインゲームを支える技術」で紹介されていた3つのシーケンスは、ITシステムでもよく見られます。まずはこれを載せます。

投げっぱなしシーケンス


投げっぱなしのシーケンスは、応答待ちしなくて済むので、楽です。ただし、きちんと処理が終わったか把握することはできません。

三角形シーケンス


三角形は、リクエストに対しての応答の形(例:Webページのリクエストに対するWebページの送信)となるため、イメージしやすいかと思います。処理が完了したかどうかも把握できます。

ぎざぎざシーケンス


ぎざぎざは、三角形の変形のため、割愛します。

●中継方式のシーケンス

中継方式シーケンス

いったんどこかに溜めて、その後、取りだして先の処理を進める方法です。なぜ、このような処理方式にするのかですが、いろんなシステムを経由したり、不安定な通信を経由するような場合には、トランザクションスコープ(トランザクションの範囲)を短くすることが、実は信頼性のためには重要だからです>(それ以外の理由もありますが・・・)。
通常、信頼性を考えると、三角形の形のシーケンスで全部やろうとしてしまいますが、それではどこか一か所で障害が発生すると、とたんに全ての処理が止まってしまいます。それでは社会インフラは困ってしまいます。どうするかというと、まずはDBに格納してデータを保全しておいて、あとでバケツリレーのように処理を進めて行くのです。この方法であれば、データが無くなることもなく、かつ、一時的な障害に対してはリトライもできるので安心です。

このシーケンスは、株取引でも、携帯電話購入後の登録など、いろいろなところで見られます。また、このシーケンスは、DBのスナップショットと言われる機能でもよく見られます。

実装が面倒なことを除けば、いいことづくめに見えますが、実はDB使いから言わせると、いくつか落とし穴があるシーケンスです。

落とし穴1

普段は問題ないものの、ある時、障害になり、DBにリクエストが溜まりすぎて、性能不足(たまったものが掃けるのに時間がかかる)になるケースがあります。

落とし穴2

中継のためにデータを取り出す処理があります。そのDBを検索する際には、「残っているもの全部」という取りだし方が多くなります。テーブルをフルスキャンしてしまうため、一時的にデータが溜まった後は、再編成しないと性能が悪くなることがあります(OracleでいうHWM(ハイウォータマーク)が上がってしまい、スキャンが長くなった状態です)。インデックスで検索するようにしておくか、再編成の手段を用意しておきましょう。

落とし穴3

中継のためにデータを取り出す処理は、定期的にポーリングするプログラムが通常です。数分や数秒といった間隔であれば問題ないかもしれませんが、たまに、「早く処理したいので、数msecが要件です」と言われることがあります。そのような処理では、DBへの問い合わせ回数も多くなり、CPU使用率が高騰しやすくなりますし、性能要件を達成するのも難しいかもしれません。
これイベント処理(インメモリDBやCEP:Complex Event Processingと呼ばれる製品が得意)が最適なケースがあります。

●同期と非同期の組み合わせのシーケンス

もう1つ、同期と非同期を組み合わせるケースもあります(「投げっぱなし」と「三角形」の組み合わせですね)。

同期と非同期の組み合わせシーケンス


早くレスポンスを返したいので、時間がかかるものは、あとで非同期で処理するという考え方です。中継方式よりは少ないですが、たまに見ます(ストレージの遅延書き込み等)。

これの注意点は、非同期の部分が障害になっても気づきにくい。性能トラブルやリソーストラブルが起きたときも気づきにくく、サーバー全体に影響がでるほどになって大問題になることがあります。

●まとめ

アーキテクトを目指す方々は、ぜひシーケンスを書くくせをつけて、方式のメリデメに詳しくなることがお勧めです。
スポンサーサイト
[ 2011/05/12 03:25 ] アーキテクチャ | TB(0) | CM(0)

OTN セミナー オンデマンド コンテンツってご存知ですか?

Oracle製品について学びたい。でも、忙しくてセミナーで勉強する時間は無いなぁ、という人も多いかと思います。
また、日中は忙しいけど、夜や土日だったら勉強したいという前向きな人もいるかと思います。

そんな人達にお勧めな、仕組みが「OTN セミナー オンデマンド コンテンツ」です。Oracle DirectのダイセミというInternetを用いたセミナーを録画して、動画で公開しているものです。もちろん、無料です。太っ腹ですねえ。Oracle社は、このような取り組みは進んでいると聞いています。ぜひ、皆さんも活用ください。ぱっと見ても、Oracleだけでなく、インメモリDB、Solaris、JVM、SQLチューニング、SOA、etcと多岐にわたっています。
http://www.oracle.com/technetwork/jp/ondemand/index.html

コンサルが語っているものも両手では足りないほどあって、以下のリンクから行けます。
▼オラクルコンサルが語る シリーズへの直接リンク
http://www.oracle.com/technetwork/jp/ondemand/db-technique/index.html#Content06

[ 2011/05/05 03:52 ] スキル強化・教育 | TB(0) | CM(0)

書評「オンラインゲームを支える技術」

表紙に「無数の同時接続 x ミリ秒のレイテンシ」とあり、いかにもインフラエンジニアにとって勉強になりそうな内容です。

まず、大規模な同時処理(接続)で必要となるselectとpollについての紹介があります。
何千というソケットを一度に確認可能なため、大規模なシステムのインフラでは、
知っておくべき関数です。通信業界もゲーム業界同様に、無数の接続で高レスポンスの世界がありますが、そこでも良く見られます。linuxだとepollだったはずです。

P142から6ページほど使って、真面目に ゲームのオンメモリでの処理(データの格納)をRDBMSで行ったらどうなるか?という比較があって、面白い発想だなと思いました。もちろん、ゲームプログラミングではオブジェクトが多数あって、RDBMSで毎回やりとりしていたら性能的に到底無理なわけですが、どれくらいの桁(オーダー)なのかを教えてくれます。

私がインフラエンジニアにも参考になるなと思ったのは、P169からしばらく紹介されている、シーケンス図です。P278に、代表的なシーケンスが載っています。「投げっぱなしのシーケンス」「三角形のシーケンス」「ぎざぎざなシーケンス」です。確かに、これらは大事です。その後のページでも、多くのシーケンス図が載っていて、勉強にも良いと思います。
※「中継方式のシーケンス」と私が呼ぶ方式がITのシステム(特にDBを複数使うシステム)では見られますが、それは今度、ご紹介しようと思います。

「へぇー」と思ったのが、ゲームサーバーのリアルタイム監視用のログ出力機能です。どんなイベントがあったのか、主要な統計値がどうだったのかを定期的に出力していて、それをtail -fで見るのだそうです。これはオラクルのコンサルも使う、v$sessionやv$sysstatを定期的に保存&リアルタイムで見る方式に似ています。リアルタイムに見ようとすると同じようなアプローチになるのだなあと思いました。なお、最近のOracleではEnterprise Managerを用いて、同様の情報を見るのが主流かなと思います。

あと進んでいるなと思ったのが、ネットワーク(パケット)の使い方や、見積り、設計方法です。オンラインゲームの設計者たちは、いろいろな制約を考えながら、使用感を損なわないようにプロトコルの設計をしている様子が垣間見れて、流石だなあと思いました。
[ 2011/05/02 03:48 ] 書評 | TB(0) | CM(0)
プロフィール

odakeiji

Author:odakeiji
小田圭二 日本オラクルのテクノロジーソリューションコンサルティング統括本部においてデータベースのコンサルタントをしている。今までのキャリアでは、社内教育部隊で、データベースやOS、ネットワークを教える経験を5年ほど積んだり、コンサル部門で主にDB(インフラ含む)のコンサルを10年程度経験した。また、コンサルタントとして、主に大規模ミッションクリティカルシステムを担当。社内では”火消し”とも呼ばれ、システムトラブルの火消しをいくつも担当していたこともある。
ポリシーは、「OracleもOS上で動くアプリケーションにすぎない。だから、OS、ストレージ、ネットワークを学ぶべき。アーキテクチャから考えろ」。
スキル面の興味は、アーキテクチャ、DBA、インフラ技術、教育、コンサル手法など。
本ブログのポリシーは「週に1回、DBAやインフラ担当者の役に立つ記事を書きたい」です(守れるだけ、守りたい・・・・)
なお、本ブログにおいて示されている見解は、私自身の見解であって、オラクルの見解を必ずしも反映したものではありません。ご了承ください。

私の主な著書の紹介です。もしよかったら、お役立てください。他にもオライリーなどがあります

●「絵で見てわかるOS/ストレージ/ネットワーク データベースはこう使っている」小田圭二 著
私のポリシーである”DBMSもOSの動くアプリケーションに過ぎない”に基づいて、OSとDBMSの関係、ストレージとDBMSの関係、ネットワークとDBMSの関係、を解説した珍しい書籍です。DBを学んでひと段落したら、DB使いもインフラ全体を意識しなければなりませんが、そのような人にお勧めです。企業ユーザー向けのIT本としては、2008年度翔泳社No1だとか(最後は出版社談)。

●「絵で見てわかるOracleの仕組み」 小田圭二 著
教育に携わる者としての私の思い「丸暗記するな。アーキテクチャを知るべき。絵で説明すべき」を具体化した、Oracleの入門書です。Oracle初心者向きですが、Oracleの基礎となる部分の動きを解説しているため、バージョンに依存せずに何年先でも使えます。逆に、本書の内容を理解せずに、ひたすら丸暗記すると応用力が身につきません。この本を読むだけで何かできるようになるわけではありませんが、アーキテクチャを身につけて、本当の技術力を身につける第一歩として欲しいと思っています。

●「44のアンチパターンに学ぶDBシステム」 小田圭二 著
本書は、企業のDBシステムの設計/構築から運用管理、プロジェクト管理までの各フェーズにおけるトラブル(失敗)事例について、アンチパターン(べからず集)とその回避策/防止策として解説するものです。チェックリストとして使っていただいても構いません。分かっていてもアンチパターンは避けられないことも多いものです(政治とか)。そういう方には、同じ仲間は多いのだなと再認識していただくための一服の清涼剤としていただければと思います。

●「門外不出のOracle現場ワザ」 小田圭二 他 著
一番最初に出た本です。結構とがった内容を扱っています。
・パフォーマンス分析の考え方(私の担当)
・性能テストや障害テストの仕方、設計の注意点(主に私が執筆)
・コストベースオプティマイザ(10gベース)のアーキテクチャ
・コネクションプーリング
最新のOracleの内容は含んでいませんが、今でも性能の考え方やオプティマイザの考え方は使えるはずです。オプティマイザをここまで解説している本を私は知りません。

●「続・門外不出のOracle現場ワザ」 小田圭二 他 著
「続」の名前の通り、次に出た本です。ちょっと尖り過ぎたかもしれません^^; でも本当に使う内容を選んだつもりです。一流になりたい・他の人と差をつけたい人にお勧めでしょうか。
・性能の良いSQLの書き方
・文字化けの仕組み
・障害(特に性能やハング)の分析・対応方法(私が執筆)
・障害をリアルタイムに分析・対処する方法(私が執筆)
・オプティマイザの使い方ノウハウ
・アップグレードのノウハウ

●「データベース」小田圭二 他 著
私にしては堅い本です。なんせ、共同執筆者が大御所の國友義久先生です。階層型DBMS、ネットワーク型DBMS、リレーショナル型DBMS、XMLDBMS、OO(オブジェクト指向)DBMS、DBMSの持つ機能、DBMSのセキュリティ、データベースの著作権、監査、モデリング、正規化といった内容を網羅しており、深い記述は無いものの、DB技術全体を抑えるのに向いている一冊です。ある程度技術力がついたエンジニアの方が、DB全体を振り返りたい(勉強したい)というときの最初の1冊としてお勧めです。