サイバーエージェントにおける、インフラの困りごとを解決できる存在であるための挑戦と野望

──まず、サイバーエージェントのプライベートクラウドの歴史を簡単に振り返って教えてください。

サイバーエージェントでは、2004年頃にデータセンターの自社運用を開始しており、いくつかのデータセンターに移り変わりながら、現在もその流れが繋がっています。

運用開始当初は、サーバが必要になった時々にデータセンターに常駐していた方がサーバのキッティングなどを行っていましたが、2011年頃から現在クラウドと呼ばれているような、Web APIベースでインスタンスを作成できる環境の提供を社内向けに開始しました。

現在はいくつかのリージョンを並行して運用していますが、最も新しいリージョンであるtky02を2019年にリリースしており、tky02の安定化およびその上で動作するアプリケーションの実装などに取り組んでいます。

──サイバーエージェントがプライベートクラウドを持つことで解決したい課題、目指したい姿について教えてください。

一番大きなところは、会社に見合ったハードウェアを利用することが可能な点とコスト面でしょうか。パブリッククラウドは柔軟に構成を組み替えることができますが、利用したいCPUやメモリの構成が存在しなかったり、存在してもコストがかかりすぎるケースも多々あります。

また、近年ではGPUやFPGAのようなCPUではないハードウェアの需要が増えてきています。サイバーエージェントが関わるビジネスがどんどん広がっていく中で、そのビジネスに必要となるインフラにも対応できることは大きなメリットであると感じています。

──ここからは実際の運用について教えてください。プライベートクラウドの運用には物理サーバーの管理、インフラ監視など、様々な大変さがあると思いますが、昨年はその負担を軽減するために多くのチャレンジをされたと思います。そのことについて教えてください。

2019年4月に「tky02」というディスクレスで運用する、プライベートクラウドの新しいリージョンを立ち上げました。VMをユーザーに提供するのがプライベートクラウドですが、そのVMを動かす物理的なサーバーにHDDやSSDを搭載せずに運用するのが特徴です。

私はこの「tky02」の開発運用に携わっているのですが、設計するにあたって意識していたのは「運用者がつらくない」クラウドでした。物理的なインフラを扱う事に関してのメリットは多くあるものの、その分扱う範囲が広がることにより発生するトラブルも多くの原因を秘めています。

最先端のハードウェアも多く利用しているため、世界中で利用されているようなベンダーの製品であってもどうしてもバグを踏み抜いてしまうこともあります。

昨今はCloudNativeという言葉と共に様々なプロダクトが話題になっています。多くの利用者はパブリッククラウド上で利用していると思いますが、プライベートクラウドを扱う我々にとっても、それらのプロダクトがどのような点が優れているのかを冷静に見極めて考え方やプロダクトそのものを取り入れています。

一例で言うとプライベートクラウドの物理サーバ管理にKubernetesを利用しています。プライベートクラウドを運用する上で利用しているOpenStackは各物理サーバごとにいくつかのプロセスを起動しなければいけないのですが、これらをKubernetesで管理しています。詳細については「Cloud Operator Days Tokyo 2020」というイベントでご紹介しているので、そちらをご覧頂ければと思います。
 

──この先チャレンジしたいことや「Cycloud」の理想的なあり方について教えてください。

「Cycloud」をより魅力あるクラウドへの成長させ、サイバーエージェントにおけるインフラの困りごとを解決できる存在でありたいと思っています。サイバーエージェントでは、年にいくつもの新規サービスが立ち上がり、既存のプロダクトも日々成長しています。そんな中、必要となるインフラも多種多様な形となっています。

サイバーエージェントグループは100以上のプロダクトを抱えているので、場所・時間・人のリソースが限られる中、全ての需要に応えることは難しく、パブリッククラウドを利用した方が良い場面も存在することは事実ですが、プロダクトから選ばれるために、日々進化させていかなければと思っています。

──昨年は「ISUCON10」へのインフラ提供にチャレンジされましたね。振り返っていかがでしたか？

きっかけは2018年に開催された「ISUCON8」に優勝したことでした。当時は学生だったのですが、非常に思い入れのあるイベントで、その頃からいつかISUCONというコミュニティに還元したいという気持ちが強くあり、ようやくその願いが叶いました（笑）
 

普段は社内のエンジニアに向けてクラウドを提供する「プライベートクラウド」を運用している立場なので、「ISUCON10」のように、参加者の皆さまが利用していない環境下において、競技の進行に影響が出ないよう様々なレイヤーから検討を行いました。過去のISUCONではパブリッククラウドを利用することが多く、参加者から基盤への信頼感が既に構築されていると思いますが、プライベートクラウドだと完全にまっさらな状態からのスタートとなります。実際に「ISUCON10」で我々がインフラ提供を行うと発表した際には、パブリッククラウドではない企業がインフラ提供することに対して不安な声もあがりました。

特に気を付けていたのは、参加者の間で性能差が生まれないという事です。「ISUCON10」は与えられた同一のコードを同一のスペック上で動かすことで平等にベンチマークのスコアを設定することが可能となる競技であるため、提供する際に各レイヤーでチーム間の性能差が出ないよう検証を行いました。

我々がプライベートクラウドを運用する際には非常に高機能なOSSを利用しているのですが、その分100%の仕様把握は難しい状況です。数年間の運用経験から多くのユースケースにおいて安定して運用できるようになってきましたが、「ISUCON10」のようなユースケースは初体験で、どうしても不安が拭いきれませんでした。

いくつかの検証結果をもとに、自チーム及び他チームの状況次第で1つのVMの性能が上下しないようなチューニングを行い、VMを管理する部分を全て自作したことにより、「ISUCON10」のユースケースにおいて必要な機能をしっかりと実装した上で動作検証を行う事が可能になりました。これによりサーバとしての性能差が出ることもなく、どのような状況においてもISUCONにおけるベンチマークスコアに差がでないように運用することができました。

──ISUCONのインフラ提供を終えて、業務に繋がる学びや知見はどんなものがありましたか？

「ISUCON10」のために作成したクラウド基盤「lovi-cloud」の開発と運用を経て、プライベートクラウドソフトウェアがどのような思考の末に実装されたものであるのかについての理解が深まりました。

今まで運用してきたなかで「どうしてこのような実装にしているのだろう」と思ったことがいくつもあったのですが「lovi-cloud」を自分で実装してみると実装に対する理解が更に進みました。

「lovi-cloud」については、GitHub上でOSS公開しています。

また、他社の皆さんと一緒に仕事を進められたのも貴重な経験でした。私を含めプライベートクラウドの部署はどうしても社内のエンジニアとの交流が主になってしまうため、企業を超えた方々と「ISUCON10」という1つのイベントを作り上げたことは、技術面でもそれ以外の面でもとても有意義な機会になりました。

サイバーエージェントは、技術コミュニティへの参画や技術カンファレンスのスポンサーなど、社員がやりたいと手を挙げたことを応援してくれるカルチャーがあるので、コミュニティ還元は今後も積極的に取り組みたいことの1つです。

※「ISUCON」は、LINE株式会社の商標または登録商標です。