100を超えるインターネットサービスを支えるCaaS環境の構築・運用にOpenStack LBaaS連携基盤としてCitrix ADM ならびに Citrix ADCを採用

インターネット上で100 種類以上のサービスを展開する、日本を代表するポータルサイト 「Yahoo! JAPAN」を運営するヤフー株式会社。このたび同社では、各サービスを支えるイン フラについて、開発の迅速化を目指すため、CaaS(Container as a Service)の活用を検討 することにしました。これに合わせ、大量のコンテナとネットワークを管理する必要に迫られた同 社は、実績が豊富でOpenStack のロードバランス機能と容易に連携可能なCitrix ADM およ びCitrix ADCを選定。入念な検証を経て導入しました。これにより、システムの内製が不要と なり、労力とコストの削減が実現しています。

Yahoo Japan 事例 PDF

課 題: CaaS 環境の負荷分散について パフォーマンスや運用の面で不安

「情報技術で人々や社会の課題を解決する」をミッショ ンに、1996年の創業以来、世にさまざまなインター ネットサービスを送り出してきたヤフー。現在、同社は メディア事業とコマース事業の2つを柱にビジネスを 展開しており、サービスの数は2018年時点で100種 類以上、月間ログインユーザーID数は4,700万を超 えています。

かつて同社のサービスを提供するインフラは、サービ ス開発部門の要求に合わせてIaaS 環境に仮想サー バーを構築・運用するかたちが主流でした。しかし近 年では構築の速さ、運用の容易さなどのメリットから、 CaaSやPaaSを利用する方向にシフトしているといい ます。そのねらいについてテクノロジーグループシス テム統括本部 サイトオペレーション本部 インフラ技術 3部の井比努氏は「昨今の移り変わりが激しいビジネ ス環境へ対応するためには、迅速なサービス開発が求められます。そこで、サーバーレスのプラットフォー ムを積極的に提供していく方向でインフラの整備を 進めています」と語ります。

さて同社がCaaS環境を新たに用意するにあたり、 その負荷分散については既存のIaaS環境で利用し ていたOpenStackのLBaaS機能と、OSSである HAProxyとKubernetesを利用した内製の分散型 LoadBalancer の組み合わせを、CaaS の仕様に 合わせて再構築し利用していました。ところがこの しくみではパフォーマンスや運用の面で不安が出て きたことから、改めてソリューションの導入を検討す ることになったのです。

ソリューション: 実績が豊富でOpenStack のLBaaS 機能と容易に連携可能なCitrixADM およびCitrix ADC を採用

ソリューションの選定にあたり、ヤフーでは複数社の 製品を比較。その中から選んだのがCitrix ADMお よびCitrix ADCでした。選定の決め手について井 比氏は「CaaS環境に先駆けて稼働していたPaaS 環境でCitrix ADCを採用していたのですが、イン ラインロードバランサとしてパフォーマンスが十分 で、トラブルもなく安定的に稼働していた点を評価 しました。CaaSの構成も開発にあたって改めて勉 強し直す必要がなく、運用手順書などを準備する工 数を削減できることもメリットでした」と説明します。 また、Citrix ADM がOpenStack のLBaaS 機能 との連携が容易であることも大きなポイントとなり ました。加えて同社がグループ会社の株式会社 GYAOと協力して運営している無料動画配信サー ビス「GYAO!」でも800Gbpsのトラフィックを処理 できるロードバランサとしてCitrix ADCを採用して おり、運用に関するノウハウが蓄積されていたこと も決断を後押ししたといいます。 とはいえ、今回の導入は大規模ネットワークへの適 用となることから、同社ではPoCを実施。入念に検 証を行いました。当時についてテクノロジーグルー プシステム統括本部 サイトオペレーション本部 イ ンフラ技術1部 プライベートクラウドの木下裕太氏 は「OpenStack LBaaS の裏側で動くこととなる Citrix ADM の可用性や冗長性を重視しました。 ADMがダウンした際にLBaaSの機能が使えなくな るという状態を避けるために、HA構成を取れる必 要がありました。また、障害が発生した際にはその 影響や継続性を判断するために、詳細なログ情報や ADMのAPI利用方法に関する問い合わせもさせて いただきました」と振り返ります。

同社では2018年8月にシステムの本稼働が開始し てからも環境の改善を継続しています。一例を挙げ ると、CaaSでは既存の仮想サーバー環境と異なり、 サーバー変更・追加のリクエストがユーザーから大 量に寄せられるため、Citrix ADMとCitrix ADC にチューニングを実施し、迅速に対応できるようにし ました。

「シトリックスのメンバーには、PoCから本稼働後ま で、私たちのさまざまなリクエストに対してスピー ディに対応いただき、非常に助かりました」(木下氏)

導入効果: 開発・運用にかかる工数を削減 リソースを別の業務へ振り向けることが 可能に

ヤフーが新たなCaaS環境をリリース後、すでに多く のサービスがこの環境下で開発されています。

「新規のサービス開発だけでなく、既存サービスの一 部をCaaSで開発するケースも増えています。他環 境からの移行も多く、今後はこうしたサービスの比率 が徐々に高まっていくことが予測されます」(井比氏) シトリックス製品の導入は、開発・運用にかかる工数 の削減をもたらしました。従来の環境では、LBaaS に命令を送るOpenStackのドライバーを内製で開 発していたため、OSのバージョンアップなどの際に 改修が必要でした。しかし現在ではシトリックスが対 応してくれるため、これまでかかっていた工数が0に なっています。

「システムの安定性もかなり高まり、仮想IPアドレス の作成失敗などもなくなりました。仮に失敗しても Citrix ADMから原因を簡単に調査できるので、シト リックスへの報告やユーザーへの対応が容易になっ ています」(木下氏)
また、Citrix ADMの標準機能によりSSL証明書の 更新が自動的に実施されるようになり、かつては1 台の仮想サーバーあたり1時間を要していた時間が わずか5分に短縮されました。

「このようにして生まれたリソースの余裕を、ネット ワーク設計や研究・開発など別の業務に振り向けら れるようになったことが、私たちにとっての最大のメ リットですね」(井比氏)

今後のプラン: 複数の環境をCitrix ADMで一元管理 運用効率の向上を目指す

今後ヤフーでは、Citrix ADCを導入済みのPaaS 環境や「GYAO!」の動画配信環境など、複数の環境 に統合管理ツールのCitrix ADMを導入。一元管理 することで運用効率の向上を目指すとしています。
そして、OpenStackのLBaaSで生成するリソース の利便性を向上させながら、サービス開発部門の要 望に応えていく方針です。木下氏は「この先、CaaS がメインストリームとして利用されるようになれば、 OpenStackのクラスタが増えていくことが予測さ れます。現在はADM自体がモノリシックな構成に なっていますが、将来的には機能を分離してコンテ ナで動かせるようにマイクロサービスな形へシフト していくことで、より安定性が高く運用しやすい形に なることを期待します」と展望を語ってくれました。

©2019 Citrix Systems, Inc. All rights reserved. Citrix®、Citrixロゴおよびその他のマークは、Citrix Systems, Inc. および/またはその一つもしくは 複数の子会社の商標であり、米国の特許商標庁および他の国において登録されている場合があります。 その他の社名、商品名はそれぞれの所有者の登録商標または商標です。

迅速なサービス開発を支援するため、Citrix ADM を活用しながらCaaSの利用拡大に努めたい
井比 努 氏
サイトオペレーション本ヤフー株式会社 部 インフラ技術3 部 データセンターネットワーク3リーダー
ヤフー株式会社

導入製品

ベネフィット

  • パフォーマンスを向上するとともに、新規サービスのディプロイも迅速化
  • ADC のバージョンアップに伴うLBaaS 開発とOpenStackのバージョンごとのドライバーを準備する必要がなくなる
  • リソースの余裕をネットワーク設計や研究・開発に振り向けることが可能に