バージニア州立工科大学:ハイコストパフォーマンスのスーパーコンピューティング
相互接続

夢を実現するテクノロジーパートナー
このように多数のコンピュータを使う場合、どうすれば各マシンが互いに効率的に通信できるでしょうか。1,100台のコンピュータの総トラフィック量は、莫大なものとなります。しかも、スーパーコンピュータはトラフィックのスピードが高速でなくてはなりません。バージニア工科大は、この非常に重要なコンポーネントに関して、Mellanox Technologiesの最新鋭のテクノロジーの力を借りることにしました。

イスラエルからクパティーノへ
イスラエルを本拠地とするMellanox Technologiesはバージニア工科大に対して、クラスタのプライマリ通信ファブリックとしてInfiniBand技術を提供するほか、プロジェクトに必要なドライバ、カード、スイッチを用意するという契約を結びました。Mellanox社はまだ製品ドライバをMac OS Xプラットフォーム向けに移植していなかったため、作業はより急を要するものとなりました。そこで、同社のエンジニア3名 — Mellanox U.S.のヴ・ファム氏(Vu Pham)、Mellanoxイスラエル本社のドロー・ゴールデンバーグ氏(Dror Goldenberg)とエドワード・ボートニコフ氏(Edward Bortnikov) — が、クパティーノにあるアップルの研究所に泊り込んで業務を行うことになりました。

“アップルから受けた援助は、期日までに移植を完成する上で大変役に立ちました。” — ドロー・ゴールデンバーグ、Mellanox Technologiesソフトウェアアーキテクト

「アップルもMellanoxも、戦略の1つとして、このプロジェクトにかかわりました」と、Mellanoxソフトウェアアーキテクトのゴールデンバーグ氏は振り返ります。「オンライン資料がふんだんに手に入るというのは、嬉しい驚きでした。また、アップルのデベロッパテクニカルサポート(DTS)チームは、私たちがこの積極果敢な目標を達成するのを援助してくれました。2週間もしないうちに、解決策が大まかに見えてきました。」

ゴールデンバーグ氏は続けます。「しかし、アップルの開発者たちと顔を突き合わせて仕事をしない限り、成功しないことは明白でした。そこで、私たちはクパティーノのアップルの本社に向かうことにしたのです。クパティーノに2週間滞在して、新しいプラットフォームについて学んだり、Power Mac G5のプロトタイプをいじったり、DTSチームに相談したり、サンプルドライバのプログラムを組んだりしました。そうした上で、実際のコード作成に臨んだのです。この努力は収穫の多いものでした。そして、1,100台のクラスタが世界で3番目に強力なスーパーコンピュータとしてランクインした時には、みんなとても興奮したものです。」

ターボパワーの通信
高性能環境でMac OS Xを利用したいと願うユーザは誰でも、InfiniBand技術を利用できるようになりました。

「Power Mac G5にInfiniBandカードを追加したことによって、毎秒10ギガビットの通信ファブリックが得られました。このシステムは全二重通信方式で、データ転送で極めて低いレイテンシーを実現しています。一部のパケットサイズの転送は、約4.5マイクロ秒しかかかりません。InfiniBand搭載製品の特長は、競合製品と同程度の価格ながら、スピードが5倍でレイテンシーが低いことです。このため、私たちのプロジェクトにはうってつけの技術だったのです。」

Ciscoの5台のギガビットEthernetスイッチも、スーパーコンピュータのインフラストラクチャに加えられました。これは、管理やデータ転送、そして低レイテンシーをそれほど必要としないタスク実行のためのセカンダリ通信ファブリックとして機能しています。全システムにギガビットEthernetが内蔵されているため、各ノードをネットワークに接続するのはごく容易な作業でした。

バージニア州立工科大学
功労者
サイエンス
アーキテクチャ
現場の戦略 相互接続 冷却設備
スケジューリング 最適化 広がる展望

確実な移植作業

Mellanox U.S.ソフトウェアアーキテクトのヴ・ファム氏、それにドロー・ゴールデンバーグ氏とエドワード・ボートニコフ氏は、InfiniBandドライバをMac OS X向けに移植するという任務を負っていました。3人ともそれまで、Macを起動させたことすらありませんでした。まして、Macプラットフォームで開発をした経験もありません。そのため、課せられた責務はとても大きいものだった、と3人は口を揃えます。しかも、高度なアプリケーションをたった1カ月強で新しいプラットフォームに移植し終えなければならず、チーム全員が固唾をのんでそれを見守っているという状況下での作業でした。

「InfiniBandドライバはとても複雑な製品です。ドライバの最新仕様書は、2,000ページにも及んでいるのです」と、ゴールデンバーグ氏は説明します。「InfiniBandはその堅牢な性能を実現するために、標準のネットワークドライバよりもずっと複雑なものとなっています。しかし、幸いなことに、私たちのソフトウェアはモジュール方式を採用して設計されていました。このモジュール方式は、それぞれの新しいプラットフォームにOS独自のサービスを提供するライブラリとカーネル拡張を再移植するだけで済むのです。加えて、アップルから受けた援助は、期日までに移植を完成する上で大変役に立ちました。」

クパティーノでの滞在を終えたゴールデンバーグ氏とボートニコフ氏の両氏は、Mac OS X搭載のPower Mac G4サーバでの初期開発を終え、今後の戦略を練りつつ、イスラエルへの帰途に着きました。この開発プロジェクトには、完全に「常に動き続ける」という開発モデルが必要でした。つまり、あるチームが長い一日の仕事を終えると、開発したコードを次のチームに渡し、プロジェクトが常に前進するようにしたのです。コーディングが完了して初期テストに合格すると、そのコードはPower Mac G5システムにインストールされ、テストを受けるという具合にプロジェクトは進められていきました。

ジャストインタイムの移植
ソフトウェアが生産段階に入る1週間前になって、Mellanoxのチームは最初のPower Mac G5コンピュータを受け取りました。ゴールデンバーグ氏によると、それ以降の移植作業は「とてもスムーズかつ、容易」だったそうです。この開発努力には、同社の総合テストおよびベンチマークソフトウェアをMac OS Xプラットフォームに移植するという作業も含まれていました。これにより、InfiniBandドライバの安定性が確実なものとなったのです。

ボートニコフ氏、ファム氏、ゴールデンバーグ氏の3人がドライバ移植プロジェクトを手掛けている間、バラダラジャン博士はメッセージパッシングインターフェース(MPI)のスタックとベンチマークをMac OS Xに移植していました。ボートニコフ氏によると、新しいドライバをMPIとベンチマークに組み合わせる上で、問題はほとんど起こらなかったそうです。しかし、3人にはまだ最後の難問が残されていました。つまり、2週間以内にアプリケーションを1,100台分のノードに拡張し、10テラフロップの性能を実現しなければならなかったのです。

「テラスケールクラスタは、わが社のハードウェアにとっても、またアップルのソフトウェアにとっても、今までで最も拡張性を引き出そうとしたプロジェクトでした — それまでの最大規模のクラスタは、256ノードだったのです」と、ボートニコフ氏は言います。「1,100台のコンピュータクラスタを組み立てるには、徹底的なロジスティクスと、人々の並々ならぬ努力が必要でした。しかし、24時間いつでも飲食できるピザやソーダ、そしてバージニア工科大の学生ボランティアのおかげで、私たちはこれを成し遂げたのです!」

ボートニコフ氏はこう続けました。「そして、わが社のジーン・クロスリー(Gene Crossley)とジェフ・カーク(Jeff Kirk)が率いるフィールドアプリケーションエンジニアのチームと共に、バージニア工科大のテラスケールコンピューティングファシリティで24時間体制の作業をして、私たちはようやくネットワーク、MPIポート、ベンチマークを安定させ、すべてが問題なく動作するところまでこぎつけました。ドライバコードは、Mac OS Xに移植されたその日から、極めて堅牢に動作しました。全体として、アップル、バージニア工科大と力を合わせて今回のソフトウェア開発プロジェクトを手掛けることができ、大変嬉しく思っています。」


Previous Page Next Page