ヤフー(Yahoo! JAPAN)は、人々と社会の課題を情報技術で解決する「課題解決エンジン」を ミッションとして、月間総PV 数611 億(2015 年1 月から3 月の月間総PV 数の平均)を誇る日本最大級のポータルサイトを運営しています。インターネット広告やe コマース、各種会員サービ スなどを柱に、日本のインターネット市場をけん引する事業者です。同社が、子会社である株式会社GYAO(GYAO)と協力して運営する無料映像配信サービス「GYAO!」では、多くのユーザー により快適で、質の高いサービスを提供するために、HD映像の配信に対応する必要がありまし た。800Gbps のスムーズな映像配信のために選択したのがCitrix NetScaler です。安定的なロードバランシングで負荷を軽減し、サーバーハードウェア台数の削減も合わせて実現しました。
Yahoo Japan PDF
課題：800Gbpsを安定処理する高速なロードバランサが必要
「GYAO!」は、2009年に「Yahoo!動画」と統合され、動画投稿サイトとは一線を画し、著作権を重視した映像配信プラットフォームとして 誕生したサービスです。順調にユーザー数も視聴数も増大していましたが、遅れていたHD映像の配信に対応し、さらなるユーザー獲得に向けてサービス品質を 向上させる施策が計画されました。従来の倍の画質となるHD映像は、当然のことながら通信量も大幅に増大します。さらに今後も、ユーザー数の増加が見込ま れている中で、既存のインフラでは賄えなくなるおそれがありました。そこで「Yahoo! JAPAN」では、「GYAO!」のネットワークインフラを大きく更改することを選択しました。
問題は、どのようなロードバランサを採用すべきかという点でした。ヤフー株式会社 システム統括本部 サイトオペレーション本部 インフラ技術3部でロードバランスを担当する宮田耕一氏は、厳しいインフラの要件があったと述べています。「新しい『GYAO!』では、毎秒100万リク エスト・800Gbpsのトラフィックを処理できる高速なインフラが必要でした。従来から利用しているレイヤー4のロードバランサでは、サーバへの負荷が 大きすぎてしまいます。そこで、レイヤー7を高速に処理できるロードバランサを導入してサーバあたりの負荷を軽減し、台数と運用コストの抑制も目指す必要 がありました。また今後、HTTPSが一般化していくことを考え、SSL処理のパフォーマンスも重視していました」(宮田氏)
ソリューション：小さな筐体で高いパフォーマンス NetScaler MPXを採用
そこで「Yahoo! JAPAN」が選択したのが、シトリックスの「NetScaler MPX 22120」です。1台あたりのL7ロードバランシングのパフォーマンスが非常に高く、業界トップクラスのSSL処理性能を発揮するところも魅力でした。 宮田氏によれば、さらに注目したのは筐体のサイズであったとのことです。「私たちサービスベンダーにとって、ラックスペースは資産です。できるだけ小さい ほうが、メンテナンス性にも優れています。その点でNetScalerは、2Uサイズという小さな筐体で高いパフォーマンスを発揮するため、私たちのニー ズにマッチしています」(宮田氏)
もう1つのポイントは、「MBF(Mac Base Forwarding)」に対応していたことでした。今回のインフラでは、さまざまなネットワーク機器がロードバランサに接続されており、さまざまなトラ フィックがさまざまな経路で流入してくることになるため、従来のルーティングではボトルネックになる可能性がありました。MBFによって、相互接続を簡単 におこない大容量の配信を可能になりました。「こうしたネットワーク機器は、カタログどおりのスペックを発揮できないのが常です。しかし NetScalerは、事前の試験でもスペック表どおりの優れたレイヤー7パフォーマンスを発揮しており、とても魅力的な製品だと感じました」(宮田氏)
実は「Yahoo! JAPAN」では、小規模な環境ではいくつかのNetScalerを導入していました。しかし、同社でも前例のない膨大なトラフィック量が想定されるた め、NetScalerに任せてよいかどうか、不安の声も聞かれました。そこでシトリックスから同機種の筐体をレンタルして動作検証を十分に行い、稼働も 運用も問題ないことを確認してから導入を決定しました。「以前に社内のエンジニアが作成したNetScaler向けのミドルウェアがそのまま利用できるこ とも確認しました。基本仕様を容易に変えない姿勢は、私たちユーザーにとって非常にありがたく思います」と宮田氏は述べています。
導入効果：サーバの台数を削減しつつ高画質映像を安定配信
実際の導入に際しては、設計や検証の段階からシトリックスから技術情報などを提供し、まったくトラブルなしにサービスをローンチすることができたそ うです。製品についても、システム統括本部 サイトオペレーション本部 インフラ技術3部 ロードバランス担当の井比努氏は、次のように評価しています。「これまで、複数のロードバランサを運用してきましたが、バグによる予期せぬ動作や想定以下 のパフォーマンスなどに悩まされることも多くありました。しかしNetScalerは、実運用に入っても想定どおりの性能を発揮しており、ことレスポンス においては、期待以上の数値が出ています。100％のトラフィックを流して1か月ほど稼働させていますが、これまで障害もなく、「GYAO!」の高画質映 像を安定的に配信することができています」(井比氏)
NetScalerの導入によって、サーバへの負荷を大幅に軽減することが可能となり、実際に「GYAO!」のコンテンツ配信を担うサーバハード ウェアの台数を減らすことができました。結果として消費電力やラックスペースも抑制され、高画質映像の配信でサービス品質を向上しつつ、通信速度あたりの コストは大幅に削減できたというのが最大の効果です。
実は「Yahoo! JAPAN」では、導入の前に1つの追加要件を持っていました。サービスへの影響を最小限にする為に、障害時の切り替えを更に最適化したかったのです。こ の要求を受けてシトリックスは、この要求を実現する機能を追加しました。「驚くほど早い対応で助かった」と、井比氏は述べています。「実は当社の小規模な 環境では、いくつかNetScalerを運用していたのですが、あまり慣れてはいなかったのです。シトリックスにはNetScalerの設定方法や運用方 法について多数の質問をしたのですが、すべて明確でわかりやすい回答をいただけましたし、専門のトレーニングも開催してもらえました。そのため理解が深ま り、苦手意識もなくなりました。今では、RESTful APIが使いやすくて気に入っています」(井比氏)
今後のプラン：レイヤー7環境の拡張にNetScalerのさらなる活躍を期待
現在の構成では、短期間での導入を強いられたこともあって、実績のある「VRRP（Virtual Router Redundancy Protocol）」を利用して冗長化を図っています。しかし今後は、さらなる高画質化やユーザー数の増加によって通信量が増大し、ロードバランサの負荷 が肥大化していくことが懸念されます。そこで宮田氏らは、NetScalerのクラスタリング機能に期待を寄せています。
また今後、サーバリソースの保護やセキュリティ対策のために、レイヤー7を処理する環境が増えていくことが予想されます。その際には、SSLオフロードや各種サイバー攻撃に対応するNetScalerも視野に入れて検討したいとのことです。
「現在のNetScalerは、10Gのインタフェースで運用していますが、「GYAO!」のように広帯域なインフラではケーブルが増えてしまうた め、少々力不足です。40Gのインタフェースカードもリリースされる予定だと聞いていますし、さらに100Gへの対応も大いに期待しています」(宮田氏)
