2023年11月25日(土)に開催されたWebアプリケーションのチューニングコンテスト「ISUCON13」。
プロダクトセキュリティスタートアップのFlatt Securityは、ISUCON13にメディアスポンサーとして初協賛。ISUCON13の作問にフォーカスした前回記事に引き続き、#FlattSecurityMagazineにて、ISUCON13の裏側やISUCONの魅力に関する記事を発信していきます。
史上最多の1662人が参加したISUCON13で運営に携わった、LINEヤフー株式会社の櫛井優介さん、さくらインターネット株式会社の江草陽太さん、長野雅広さん、芦野光さんの4人に、ISUCONの運営・作問・環境構築の舞台裏や今後チャレンジしたいことなどについてお話を伺いました。
【ISUCON運営の歴史について】
flatt.tech
プロフィール
櫛井優介さん
LINEヤフー株式会社 Developer Relations / Advocate。2004年に株式会社ライブドアへ入社し、技術広報活動全般、技術系イベントの運営や各種イベントのスポンサー窓口を担当。2011年から現在までISUCONの運営を行う。インターネットでは 941 というHNで活動している。
長野雅広さん
さくらインターネット株式会社 クラウド事業本部 SRE室 室長。大学在学中から京都でスタートアップに参加。2006年に株式会社ミクシィに入社し、2010年に株式会社ライブドアに転職。Webサービスのチューニングコンテスト「ISUCON」の創設に関わる。2015年に株式会社メルカリに入社し、SRE組織の立ち上げに携わり、2021年1月より現職。著書に『達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践』（共著、技術評論社）
江草陽太さん
さくらインターネット株式会社 技術推進統括担当 執行役員 / 最高情報セキュリティ責任者 / 最高情報責任者。大阪府出身。洛星中学・高等学校時代にロボット研究部を立ち上げる。その後大阪大学工学部電子情報工学科に進学。学生時代より個人事業としてシステム開発やISMS取得などのセキュリティコンサルタントをおこなう。2014年10月、さくらインターネットに入社。2016年7月、25歳の時に執行役員に就任。社内全体の技術推進を統括。ネットワーク、データベース、情報セキュリティスペシャリスト。
芦野光さん
さくらインターネット株式会社 クラウド事業本部のエンジニア。 2016年に新卒入社、さくらのクラウド、さくらのVPSのIaaS系サービスのバックエンド開発、インフラ開発などに従事。 バックエンド開発もインフラ開発も好きで得意。自宅でOpenStackを動かしたり、仮想化技術周辺が特に好き。 最近は、衛星データプラットフォーム「Tellus」の開発に携わっている。
- プロフィール
- ISUCONは若い世代が有利？
- 本選のみになったことで感じたメリットとデメリット
- 満足度は97%、ブログ記事は200件にも
- 生成AIの活用はコンテストに影響を及ぼすか？
- 今だから話せる作問と環境構築の裏側
- 優勝経験者より少ないISUCONの作問経験者
- 夢は「完全オフライン開催」
ISUCONは若い世代が有利？
ーー本選に先駆けて、ISUCON夏祭りというオフラインイベントも開催されていましたね。
櫛井：ISUCON夏祭りは、初学者や学生の方々にもっとISUCONのことを知ってもらうため、初めて開催したイベントです。ISUCONにはどうしても「とっつきにくい」というイメージがあるようなので、座学とハンズオンのコンテンツが楽しめる夏祭りとして開催しました。本選を事前に盛り上げるイベントとして、なかなかよかったのではないかと思っています。
ーーISUCON13は参加者属性としてはどのような方が多かったですか？
櫛井：今回、参加者向けのアンケートで初めて年齢について聞いてみました。回答数は300ほどでしたが、20代が46.1%、30代が43.1%、10代が5%と回答者のほとんどが10〜30代でした。これは体感とも変わらないように思います。
ーー若い世代の方はどのようなきっかけで参加することが多いのでしょうか？
櫛井：友達に誘われて参加するケースが多いようです。
江草：私の場合も最初はアルバイト先のメンバーと参加しました。アルバイトやインターンシップで知り合ったメンバーと参加するケースも一定ありそうです。
ISUCONはTOEICなどの試験に似ています。最後まで気力と集中力が続けば優勝できると思いますが、それが続かなければ優勝を狙うのは難しくなってきます。そういう意味でも、体力と気力のある若い世代の方は有利なコンテストだと思います。
櫛井：最近は過去問も充実しているので、以前のように「その道のプロフェッショナルだけしか太刀打ちできない」ということはなくなりました。若い世代の方には過去問で得た知識と体力があるので、なかなか手ごわいですよ。
江草：大人になると、今までのスキルと能力を使って短時間で勝つしかなくなりますからね。
本選のみになったことで感じたメリットとデメリット
ーーこれまでと異なり、今回のISUCON13は本選のみという形で開催されました。本選のみにしたことによるメリットは感じられましたか？
櫛井：やはりコンテストが1回で完結することは大きかったですね。1回で完結した方が運営コストが抑えられます。
特に予選と本選でそれぞれ問題を作るのは大変なことです。ISUCONの作問をお願いできる企業さんの数も限られており、1年のうちに異なる2社に作問をお願いするのには非常に骨を折りました。
作問を担当する企業の負担が減り、運営コストが下がったことで、今年はライブ配信やオフライン会場復活等の試みに集中して取り組むことができました。
江草：予選は、土日の2日間でそれぞれ参加者を振り分けて開催していたので、運営はその間も対応する必要がありました。
櫛井：結果を出すのはその翌日なので、正味3日かかっていましたね。今回は本選当日に結果発表を行い、1日でやりきったので、運営面でかなり改善されたように思います。
今回も実は3パターンほど結果発表の仕方を考えていました。本選当日に一気に結果発表するパターンに加え、企業賞などは後日発表するパターン、全ての結果を後日発表するパターンの3つです。
運営の皆さんに事前に綿密な準備をしていただいたこともあり、なんとか当日全て結果発表をやり切ることができました。
江草：翌日に仕事を持ち越さなくて済むようになったのは本当に良かったですよね。
櫛井：全くその通りですね。毎回、運営には運営の戦いがあります（笑）。
ーー逆に、本選のみとしたことによるデメリットはあったのでしょうか？
櫛井：「イベント当日に何らかのミスが生じた場合にやり直しがきかない」というプレッシャーはありました。
江草：これまでのISUCONでは予選も本選もここまでの人数が一度に参加することはなかったので、その意味でもプレッシャーがありましたね。
ISUCONの運営は何回やっても慣れないし、ドキドキです。楽しいですけどね。
芦野：緊張感はありましたね。インフラを用意して、その上でポータルを動かしているのですが、参加者の応募受付のタイミングで落ちないかヒヤヒヤしていました。インフラには特段大きな問題はなかったので安心しました。
江草：一気に大量のアクセスが来ることが想定されていたので、確かに緊張感がすごかったですね。問題が起きてしまったら即対応しなければいけないという意味で、当日よりドキドキしていました。
櫛井：ポータルを江草さんに対応いただくことが決まった時に、「江草さん、執行役員でお忙しいのに大丈夫かな？」という思いが一瞬頭をよぎりましたが結果的に全く問題なかったです。今回、申込を3回に分けて受け付けたのですが、いずれも時間をつけて待機してくださっていたので、本当にありがたかったです。
満足度は97%、ブログ記事は200件にも
ーー参加者の方々の反応はいかがでしたか？
櫛井：今回は例年以上に盛り上がったように感じました。例年のように予選から本選という形で開催すると、多くの参加者がいる予選に比べて本選が盛り上がらないという課題がありました。
本選にも100人以上が出場しますし、やはりそこが本番ではあるのですが、当事者や関係者の数が予選より減ってしまうので、盛り上がりに欠けてしまうというジレンマがありました。盛り上がりのピークを1つの期間に集中できるのはとてもありがたかったですね。
参加者の方へのアンケート結果でも、「良かった」「すごく良かった」合計で97%と例年以上に高評価をいただきました。運営面、出題内容に大きなミスがなかったこともあり、満足度が高かったようです。また「ISUCONに参加したことでスキルやモチベーションが向上した」と回答した人も94.7%に達しました。
江草：仕事の中で障害対応をすると、それが成長するタイミングにつながりますが、ISUCONでは似たような経験を短期間で集中的に経験することができます。ISUCONでは参加者が成長できるタイミングを仮想的に作れているということなのかもしれません。
櫛井：ISUCONは擬似的なトラブル対応ですからね。
長野：ISUCON13終了後に色々な参加者のブログ記事を読んでいましたが、皆さん割と過去問を研究してから参加してくださっているのがわかって驚きました。モチベーションがすごく高いなと思いました。
江草：一般参加者として参加する時は毎回事前に練習しなければいけないなと思いつつ、当日までいつもバタバタで直前まで作業していることも間々あります。なので、事前に入念に研究してから参加してくださる方々にはある意味申し訳ないなと思います（笑）。
櫛井：参加者のブログ記事、今年は200件近い投稿がありました。思わぬアプローチの仕方や、参加者の方々の意気込みなどを知ることができて、運営としても非常に嬉しいです。
ーー今回、上位入賞したチームにはどのような傾向がありましたか？
櫛井：結果として、上位入賞チームは前回（ISUCON12）とほぼ同じ顔ぶれになりました。
江草：今回は、初学者でも問題に取り組むのを楽しめたり、それを通じて何か経験を得られたりするような問題を作ることをコンセプトに、作問を進めてきました。一方で、上位チームの顔ぶれが変わるような仕掛けを作ることは実現できていません。
余談ですが、今回の問題にDNSを取り入れたのはこのような側面もあります。今までと違う要素を実験的に入れてみました。
櫛井：上位チームが知らない領域に関する問題を出すことが一番手っ取り早いとは理解しているのですが、それはコンテストの趣旨から逸れますよね。
江草：領域が離れすぎてしまうと別物になってしまうというリスクもあります。なかなか難しいですね。
生成AIの活用はコンテストに影響を及ぼすか？
ーー長野さんは「ISUCON13 問題の解説と講評」の中で「ChatGPTが登場して以降初めてのISUCONであることも今回の大きな特徴の一つ」と言及されていました。ChatGPTなどの生成AIの登場により、ISUCON参加者の姿勢や傾向に変化は感じられましたか？
長野：みなさん当たり前のように使っていたんだろうなと思いますが、結果には影響は出ていないように感じていますね。あくまでも課題解決の部分部分に対して活用しているケースが多かったのではないでしょうか。
江草：AIを使いこなしているチームは一定存在していたとは思いますが、そのようなチームはおそらくAIを使わなくても強いチームなのではないかなと思います。実際「AIを活用したから強かった」というチームも、上位にはいませんでした。
ただ、「AIを最大限活用するとどうなるのか実験してみた」と書いている参加者の方のブログ記事は目にしました。面白い取り組みだと思います。
櫛井：2023年6月6日にISUCON13のキックオフをしたのですが、実はその段階で「ChatGPTに解けない問題を作ろう」という方針が決まっていました。また、現時点では生成AIを使っても問題を全部解くことは困難なので、生成AIを使っても問題ないことをレギュレーションで明示することもこの段階で決めています。今回の問題は、参加者が生成AIを使うことを前提に作られていました。
ーー生成AIの活用がコンテストの結果に影響を及ぼすことは今後起こり得ると思いますか？
長野：問題のソースコード全体を貼り付けたら、半分以上の課題を解決してくれるような精度までになれば、結果にも影響が出てくるかもしれませんね。
江草：現時点でも、自分でコードを書くより、AIに指示してコードを書いてもらった方が速いのは間違いないです。しかし、今の生成AIはISUCONに必要ながむしゃらな作業に対応できてないように思います。問題となっているコードのどこに課題があって、何から手をつけるべきで、どうすればチューニングできるかということをAIは判断できないのが現状です。
今だから話せる作問と環境構築の裏側
ーー作問はどのような流れで進めましたか？
櫛井：まず最初に問題のテーマやボトルネックになりえる要素などについてブレスト的に議論しました。
江草：「どうやったら重くなりそうか」というところからではなく、「問題の題材となるシステムのどこが重くなりそうか」という想像力を働かせて問題を考えてきました。問題の題材も、実装時に注意が必要になりそうなポイントがいくつもありそうなものをあえて選ぶようにしています。
題材選びの段階で、実はあまりボトルネックがなさそうな題材を選んでしまっていると、取り繕ったような重い箇所を作らなければならなくなるので不自然になります。
長野：作問チームのメンバーそれぞれが、これまで関わってきたサービスなどで起きたトラブルを思い出しながら議論しています。ISUCON9の問題では、当時メルカリで起きたことをそのまま使っていますね。
櫛井：自分たちが関わってきたサービスの事例を反映しやすいんですよね。実際に経験して、何をすればどうなるのかを理解している状態なので。
ーーそれで言うと、ISUCON13の問題を作るのは難しかったですか？
江草：弊社が作問する時は大抵難しいですね（笑）。今回はライブ配信サービスでしたが、前回はちょうどリニアモーターカーが着工するタイミングだったこともあり、新幹線の予約システムをテーマとしました。
毎回イチからテーマを考える必要があるので、弊社の場合はいつも大変です。弊社のシステムで重い状態を再現しようとすると、アプリケーションでない部分が重くなることが多いので、ISUCONの問題にすることができないんですよね。
長野：問題はギリギリまでかかってしまいました。終わってみて、本当に好評で良かったです。アドバイザーを務めていただいた藤原さん(面白法人カヤック所属、ISUCON最多優勝者)にはたくさん助けていただきました。
櫛井：終盤、藤原さんにはかなり手も動かしていただきましたね。
長野：開催後、先程お話したとおり参加者のブログ記事やレポートも多く出ていたのは励みになりました。また何回か間を空けたらまた作問をしたくなるんじゃないかと思います（笑）。
ーー環境構築もさくらインターネットさんで対応されていましたね。
櫛井：今回はAWSでの環境構築を芦野さんにお願いしました。さくらインターネットさんでは普段自社インフラを利用しているので、まずはAWSについて理解するというところから始めていただくことになり、一番苦労されたのではないかと思います。
芦野：これまでS3とRoute 53ぐらいしか使ったことがありませんでした。AWSのハンズオン教材を使ってインフラ担当のメンバー3人で学習しながら準備を進めました。準備期間は約2ヶ月ほどだったと思います。
江草：他社のクラウドの仕様も知ってはいるのですが、何ができるのかわかっていても設定する時のハマりポイントまでは把握しきれないので、苦心されていたと思います。
櫛井：藤原さんがAWSにすごく慣れていたのでとても助けてくれましたね。
芦野：「この状態にするまでにはどうすればよいのか」という手段を探すのが大変で、藤原さんやAWSのサポートの方をはじめ多くの方に助けていただきました。
優勝経験者より少ないISUCONの作問経験者
ーー今後、運営としてチャレンジしてみたいことはありますか？
櫛井：今後も作問者を増やしていきたいと考えています。これは運営面での長年の課題でもあります。
これまで13回開催されてきたISUCONで優勝したことのある人は、24人しかいません。中には、数度の優勝経験がある人も少なくありません。しかし、ISUCON本編の作問経験がある人はもっと少なく、10人ほどしかいないのが現状です。
年1回のコンテストだけだと接触機会が少なすぎるので、作問に携わる人を増やしていくためにもライトなコンテストを開催するような工夫も必要ではないかと考えています。また、現在は企業主催で開催していますが、裾野を広げるためにも今後もこのような体制で続けていくべきか検討が必要とも感じています。
作問者が増えることにより、問題構成にバリエーションが出ることに期待しています。現在はオンプレ前提の問題が多いですが、クラウドを始めとする実際の業務に即した問題を作れるようになりたいです。
ーーこれまでISUCONに触れてこなかった人との接触機会を増やすことで、作問者の裾野を広げていこうと考えていらっしゃるんですね。
櫛井：そうですね。そのためにも、過去問が解きやすい環境を作ることも非常に重要です。
コンテストの環境構築も大変で、現在はさくらインターネットさんのお力を借りながら一部の問題は対応できている状況です。お陰様で効率的に環境構築ができる仕組みを整えて頂けたのですが、バージョンの関係で現在の環境で動かない過去のコンテストの問題も一定存在しています。早く動かせるようにしたいと思っていますが、現状手をつけられていません。
江草：問題を解くより、環境構築や作問の方がベーススキルが求められますよね。様々な前提知識が必要になります。
ーー作問者は優勝経験のある人が務めてきたのでしょうか？
櫛井：「優勝経験がある＝作問者になる」ということでは必ずしもありませんでした。最近は優勝経験のある人に作問者をお願いするようにしています。
参加者へのアンケートで「次のISUCONで誰に出題してほしいですか？」と聞いていますが、優勝チームのメンバーの名前を挙げる回答が圧倒的に多いです。
ーー作問者に求められるスキルは何だと思いますか？
江草：問題を解く力はもちろん、1つの問題に対して複数の解き方を思いつく力が必要だと考えています。
長野：作問者は最初に問題を一人で考える必要があります。本当にパワーが必要な作業です。
櫛井：自律性と自走性が求められますね。自分で動いていける人じゃないと厳しいです。問題の検討から実装までを一人でこなせるだけのスキルと経験が必要です。最初の一歩を踏み出すパワーと言ってもいいかもしれません。
複数人で作問するとお見合いになって進まなくなってしまうんですよね。複数社体制で作問した際にそうなってしまうことが度々ありました。
江草：シンプルに実装力が必要ですね。
櫛井：それぞれの問題の作成は一人で行いますが、作問チームや運営チーム全体の人数が多いので、コミュニケーション能力も必須です。
エンジニアとしての経験年数の長さにかかわらず、ISUCONにかける熱量や思いが強ければ強いほど良い問題を作ってくれるような傾向を感じています。
夢は「完全オフライン開催」
ーーコンテストの開催形式の面でチャレンジしてみたいことはありますか？
櫛井：一斉オフライン参加はいつかやってみたいですね。1500人が集まって参加する光景は壮観だと思います。会場や回線をどうするのかという問題もありますが。
江草：会場さえ決まればいけそうですね。
櫛井：あとはお金ですね。実際に開催する場合はスポンサーを募るような形にはなると思います。
ISUCONは本番だけでなく、終わった後の打ち上げもかなり盛り上がります。8時間一緒に戦ったことで参加者同士に共通の話題が出来ますし、何より仲間意識が芽生えるんですよね。なので、オフライン開催の場合は「一斉に問題を解いて、一斉に交流できる」ような仕組みにしたいと考えています。
ーースケールが大きいチャレンジになりそうですね。
櫛井：実際、ハードルは高いと思いますが、いつか実現したいですね。
（取材・文／寺山ひかり）
【ISUCON運営の歴史について】
flatt.tech
