« PSOBB | メイン | Fast or Slow? »
2004年04月12日
Google File System / Distributed Mirror Site
CNET Japanの梅田氏のブログに論文のリンクが張ってあったので入手。
やはり単体のユニットを安価に抑えていたようです。
RAIDを使わないのはうちも同じ方針だったり(笑)。
Googleのシステムは「汎用的ではない」のも確かですが、
サーチエンジンという独特な超大型アプリケーションに最適なシステムを
独自に開発するスキルがGoogleの一つの特徴かと。
サーチエンジンの場合は外部との帯域を強力に消費するわけでもないですし、
データベースを数千以上の領域に分割して並列で処理しても
効率が落ちないアプリケーションなので、
分割したディスクにCPUを貼り付ける構成は正解ですね。
CPUに「複数のディスクを搭載したRAIDシステム」を付属させたり、
ファイルサーバーを付帯させることはこの場合必ずしも得策ではないということ。
うちの分散型ミラーサイトの場合は主に帯域を消費するので、
・日本国内の基幹プロバイダーとIXの構成を独自に調査して、
・配信に効果的な接続点にサーバーを設置する
という設計をしています。最新の資料はこちら。
通常のミラーサイトは単一拠点なので、サーバーがLAN接続しているため
・サーバー間の転送が容易である
のに対して、
・12km四方の4拠点があり、それらはLAN接続ではないため、
・東京のIXを経由してサーバー間の転送を行う必要がある
という違いがあります。そこで、
・ミラーサイト内でミラーリングを行う部分を自働化する
のが今後の課題となります。LANよりは時間と手間がかかるんです。
元々手動で行っていたので...サーバーが増えたら手間が増えてきたもので。
投稿者 fuzzy : 2004年04月12日 23:00