総合テストベッドインタビュー Vol.005
RISEを中心的なバックボーンとして活用し、各プロジェクトごとに
eScienceアプリケーション開発及び実証実験を自由に設定・管理できる
大規模な国際的テストベッド「PRAGMA-ENT※」を構築・運用
■奈良先端科学技術大学院大学 先端科学技術研究科 准教授／市川 昊平（いちかわ こうへい）氏
国際共同研究コミュニティ「PRAGMA」は、2002（平成14）年からJGNを利用いただいている長寿プロジェクトです。また2011年からはRISEも使って、このコミュニティ内でSDN環境「PRAGMA-ENT」を構築いただいています。
それぞれのスタート時から中心的役割を果たしていらっしゃる大阪大学・下條教授と奈良先端科学技術大学院大学（NAIST）の市川准教授に研究のお話を伺うとともに、国際共同研究におけるJGNやRISEの果たしている役割などについてお聞きしました。
＜インタビューのポイント＞
●国際共同研究コミュニティ「PRAGMA」の背景との概要
●国際テストベッド「PRAGMA-ENT」の構成と目標、利用プロジェクト例、今期の進捗状況
●利用いただいているJGNとRISEのメリットと、今後の要望
1. 「PRAGMA」最初の国際共同実験は、大阪大学の超高圧電子顕微鏡とJGNがきっかけ
― グリッドからスタートした国際共同研究コミュニティのテーマは、クラスタ→クラウド→Dockerへと進展 ―
───海外の研究機関とともに「PRAGMA」を始めたきっかけについて、お聞かせください。
下條教授（以下、下條）：「PRAGMA」はPacific Rim Application and Grid Middleware Assemblyの略称で、環太平洋諸国の大学や組織の研究者による国際共同研究コミュニティです。「PRAGMA Collaborative Overview」2018年版の「Introduction」にも書いてありますが、スタートは2002年。当時は「グリッド」、いわゆる全世界の計算機をネットワークでつなげてみんなで共通で使おうというアイデアが盛んな頃で、交流がある国内外の計算機センターの人達が集まって何かやろうということになったのが始まりです。米国のUCSD（University of California, San Diego）のスパコン・センターが中心になって、日本では大阪大学・産業技術総合研究所（AIST）・東京工業大学・筑波大学・・・
市川准教授（以下、市川）：それに、アジアでは台湾・香港・韓国でした。
下條：この時点は、まだNICTは入っていませんでしたね。インターナショナルにグリッドを使ってどういう形で使えるのか・どう応用できるのかをやろうとしましたが、国際協力の場合にはテクノロジー的にも障害があるので、それをどう乗り越えようかという課題もありました。
───国際協力のテクノロジー的な障害と言いますと、各スパコン・センターが持っている計算資源が異なることが原因ですか？
下條：そうです。実際、日本から米国の計算機にジョブを投げてみると、それぞれの計算資源のアーキテクチャやOS、スケジューリングシステムが違っているので、うまく行かないんです。そこをどうやって乗り越えられるか、やってみようということなんです。常にインフラをやるグループとアプリケーションをやるグループが一体になってやっていることが「PRAGMA」の特徴でした。
───なるほどインフラとアプリのグループが両輪となり、互いに協力してスキルアップされてきたんですね。
下條：はい。そのPRAGMAの記念すべき最初の実験であり私が参加するきっかけとなったのは、大阪大学のサイバーメディアセンター（CMC）にある常用300万ボルトの世界最高加速電圧を持つ電子顕微鏡でした。この電子顕微鏡で用いる電子線は厚さ数マイクロメートルに及ぶ厚膜試料を高い空間分解能で観察できるユニークなもので、UCSD医学部のマーク・エリスマン氏（神経科学者）から「ネットワークを使って遠隔で超高圧電子顕微鏡をぜひ利用したい」という当時としては相当無茶ぶりの要請があったんです。当時私は初代JGN（Japan Gigabit Network）のリサーチセンター・大阪大学分室でアドバイザをしていたので、「JGNと米国の学術研究ネットワークをつなげたら、超高圧電子顕微鏡を米国から使えるようにできるのではないか」と考え、今NAISTにいる門林先生に手伝ってもらって、JGN経由で超高圧電子顕微鏡の観察データを送る実験を行ったんです。この実験には台湾も参加しており、彼らは生物試料を少しずつ回転させながら360度電子顕微鏡で撮影した画像をつないで立体像を作る処理を行ってJGN経由で米国に送っていました。これらがグリッドを使った最初の実験でした。
───ということは、大阪大学の超高圧電子顕微鏡とJGNが、この国際研究のスタートに関わったんですか？ 下條先生のアイデアのおかげです。
下條：まさにドンピシャでした。おかげ様でそこからいろいろな国際共同研究が続いており、PRAGMAは17年以上続く非常に珍しい長寿命プロジェクトになっています。名称が示す通り、始まりはグリッドでしたが、時代の流れの中でクラスタ、クラウドと移ってきて、今はKubernetes＊1だとか・・・
市川：Dockerコンテナとかですね。いわゆるクラウドの最新のマイクロサービス＊2みたいなものに中心が移ってきています。
───国際連携がPRAGMAの根本であり、そこから時代に合わせて次々と研究が進んでいらっしゃる！ そこに2002年のスタート以来ずっとJGNが役立っているとは、当センターとしてもありがたい話です。
下條：サイエンスがだんだん国際化してきて、世界中の協力で研究や実験をする大規模なサイエンス＝「eScience」＊3という領域・ビジョンができ、PRAGMAもその領域の中で活動しています。eScienceを簡単に言うと「地球規模で連携してやらないとできないScience」ということで、今年（2019年）話題になったブラックホールの撮影などもその領域の研究で、地球上の8つの電波望遠鏡をつないで一斉観測を行っています。研究開発は国際競争だけでなく、こういう国際間で互いに切磋琢磨するコラボレーションとの表裏一体で進んでいるもので、その時に専用線の研究開発ネットワークJGNは、とても重要な役割を果たしています。
───本インタビューのタイトル「eScienceアプリケーション開発及び実証実験」とは、こういう大規模な国際共同研究のことを指すわけですね。
市川：そうです。この枠踏みの中で、先ほど話が出たようにPRAGMAでグリッドからクラウドへとフォーカスが移行する頃、「SDN（Software Defined Network）を使って次世代のインフラをやってはどうか」という話が出てきたんです。物理マシンを直接使うのではなく仮想マシンとして仮想計算機を使う時に、ネットワークも仮想化しなければいけないという考えです。日本でもこの頃に、RISEがサービスを開始*4していました。
下條：そのとき、Experimental Network Testbed＝ENTという、“ぶっ壊せる”ネットワークテストベッドを作って、子供が遊び場で楽しむように、研究者みんなでいろいろ試してみようということになったわけです。
Pacific Rim Application and Grid Middleware Assembly - Experimental Network Testbedの略称。
PRAGMAは環太平洋諸国の研究組織・研究者によるグリッド及びクラウドの国際共同研究コミュニティ。
PRAGMA-ENTはそのコミュニティの中で、世界中に分散する研究機関・大学を高速の学術研究ネットワークで接続して大規模なSDN環境を構築しようとする国際共同研究プロジェクト。ネットワークやクラウドに関する実験のアイデアをすぐに国際ネットワーク環境で実証し、分析・評価する環境を有している。
【参照】PRAGMAのサイト
Dockerコンテナ群を統合管理するためのオープンソースのソフトウェア。コンテナ化されたアプリケーションの展開やスケーリング、管理を自動化するための基盤である。読み方はクバネティス/クバネテス/クーべネティスと諸説あり、K8sと略記されることもある。
個々に開発された複数の小さなサービスを互いに連携させて管理・運営を行っていくソフトウェアのアーキテクチャ。2014年にマーチン・ファウラー氏らによって書かれた記事に登場して以来、バズワードとして知られるようになった。
英国のOST（The UK Office of Science and Technology）長官のJohn Tailorが「eScienceとは、科学の主要分野における国際連携とそれを可能とするための次世代インフラに関するものである」と述べたのが始まりと言われている。ポイントは、科学技術研究活動が国際連携や学際的なアプローチを必要とするものに変貌しつつあるといういう点にある。
＊4：RISEサービスの開始
2009年JGN上で試行をスタート。外部向けとしては2011年11月にシングルユーザサービスを開始している。
⇒RISEサイト／「RISEについて」ページ 内、「■RISEサービスの歴史」参照
2. 「PRAGMA-ENT」はプロジェクトごとの実証実験が地球規模で自由にできるBreakableな環境
― RISEを中心的なバックボーンとして各国研究組織のOpenFlowスイッチを相互接続、国際的なSDN基盤を構築 ―
───JGN-Xの2年目に、本インタビューのスタートとして下條先生にインタビュー*5させていただき、「JGN-XはSDNなどの新世代ネットワーク技術を遊び・学ぶ場所」という話を伺ったことを思い出しました。この話と同じですか？
下條：そうです。実は、この“遊び場”を一番最初に始めたのが市川先生なんです。
市川：私がそのSDNの研究を始めたのは2010年か2011年ぐらい、大阪大学大学院にいたときでした。下條先生から「新しいSDNという技術があるから試してみて」という話をいただき、PRAGMAコミュニティで大阪大学、産業技術総合研究所、タイのカセサート大学の3か所を結んで小規模な実験を始めました。その結果を2013年のPRAGMAワークショップ*6で発表したのですが、下條先生から「これをPRAGMA全体に広げ、大きい"ぶっ壊せるネットワークテストベッド"を作ろうじゃないか」という発案があり、SDNの実験をアクティブにやっていた私とフロリダ大学の先生と共同で、PRAGMA-ENTを作ろうということになりました。
───PRAGMA-ENTは、環太平洋を結ぶ巨大な“ぶっ壊せるネットワークテストベッド”を目指していたんですね。
市川：そうなんです。PRAGMA-ENTサイトの最初、Overview部分に「The PRAGMA-ENT expedition was established in October 2013 with the goal of constructing a breakable international software-defined network testbed for use by PRAGMA researchers and collaborators.」と書いてあります。さらに「PRAGMA-ENT is breakable in the sense that it offers complete freedom for researchers」と続きます。つまり「研究者に完全な自由を提供するという意味で破壊可能」ということなんです。
───“ぶっ壊せる”は“breakable”。「失敗してもいいから、好きなように使ってください」という、国際規模のSDNテストベッドということですか！
市川：そう、まさにその通りです。
下條：そのPRAGMA-ENTのベースとなっているのが、総合テストベッドの広域SDNテストベッド「RISE」です。RISEはネットワークを仮想的にスライスして、いろいろなプロジェクトごとに独立した実証実験を行えるテストベッド空間を作る役割を果たしています。
市川：そうです。RISEを中心的なバックボーンとして活用し、各国の研究組織に設置されているOpenFlowスイッチを相互に接続することで、【図1】のような大規模な国際的なSDN基盤を構築し、自由に設定・管理可能なSDN環境を研究者に提供しています。この環境で、さまざまな共同研究のアイデアを国際的なスケールのネットワーク上で実証できるようにしています。実は今、RISEはネットワークの切り替えというより静的なネットワークとして利用し、各プロジェクトの切り替えやスライスは別のソフトウェアで行っています。
───ところで【図1】の中で、右下にある「AWS *7」が気になるのですが、学術研究ネットワークの中で、まさか商用のAmazon Web Servicesが使えるのですか？
下條：SINET経由で利用できる部分ですから、計算資源として利用可能です。PRAGMAの計算資源とあまり区別することなく、同じ環境で使えるようにしていこうという考えです。
市川：当初、PRAGMA-ENTは3拠点ぐらいでしたが、さまざまなネットワークの複雑な状況下で実験するテストベッドとなるよう参加する研究機関を増やしていき、自由に共同で実証実験を行えるように拡張してきています。2017年ぐらいからSINETも相互接続してマルチパス環境を強化しましたので、SINETで利用可能なAWSも使えるようになりました。
───学術研究ネットワーク内で機能を閉じるのではなく、「商用サービスも使えるものは自由に使っていこう」という拡張性のあるPRAGMA-ENTの考え方は面白いです。現在、何か国の研究組織が参加する実験環境になっているのでしょう？
市川：【図2】のように日本・米国・台湾・タイ・マレーシアの5か国にある11研究組織*8をつないだ実験環境を構築しています。これらをつなぐL2バックボーンはJGN・SINET5・TWAREN・Pacific Wave・Internet2・StarLight・Florida Lambda Railなどの学術研究ネットワークで、一部インターネットの仮想回線も利用しています。昨年までは5か国・10研究組織でしたので、これからも参加組織は拡大していきたいと思います。国際共同研究に興味がある方々には、PRAGMAワークショップが年2回開催されていますので、ぜひ参加してアイデアを交換してみていただきたいです。
JGN-Xの2年目である2012年当時、下條先生はNICTのテストベッド研究開発推進センター（現在の総合テストベッド研究開発推進センターの前身）においてセンター長をされており、第1回JGN-Xインタビューで「下條センター長に訊く、JGN-Xが目指す先とは」というタイトルでお話を伺った。
PRAGMAコミュニティの全メンバーが集まるワークショップが年2回開催されている。
Amazon.comにより提供されているクラウドコンピューティングサービス。ウェブサービスと称しているが、ウェブサービスに限らない多種多様なインフラストラクチャーサービスを提供している。
＜日本＞
・情報通信研究機構（NICT）
・産業技術総合研究所（AIST）
・国立情報学研究所（NII）
・奈良先端科学技術大学院大学（NAIST）
・大阪大学（Osaka U）
＜米国＞
・University of California, San Diego（UCSD）
・インディアナ大学（Indiana U）
・フロリダ大学（U Florida）
＜台湾＞
・National Applied Research Laboratories（NARLabs）
＜タイ＞
・タマサート大学（Thammasat U）
＜マレーシア＞
・Malaysian Institute of Microelectronic Systems（MIMOS）
3. PRAGMA-ENTを利用している4つの研究例
― ネットワーク系・アプリケーション系の両方の研究で利用、PRAGMA-ENTの使い勝手をアップする例も ―
───大規模な実証実験を考えている研究者は、すぐに始められるかもしれませんね。では、PRAGMA-ENTではどんな研究プロジェクトが行われているのか教えてください。
市川：いろいろやっていますが、今日は代表的な実証実験についてお話します。まず1つ目は【図3】のマルチパス転送です。日米間で複数のパスを同時に使って高速でデータ転送しようという実験でした。TCPレベルのマルチパス（MPTCP）を使ったり、グリッドFTPで1本の線上にたくさんのTCPコネクションを張っておいてSDNでコントロールして、分割したデータをすべてのパスを同時に使って送るので、高速転送が可能になるのです。
───マルチパスについては2018年2月のJGNインタビューVol.006 *9で100G回線を2ルート使った「超高精細8K非圧縮映像マルチパス実験」のお話を聞いたことがあります。【図3】を見ると、このマルチパス転送は4ルートに分割しているんですか？
下條：8K映像のマルチパスは、さっぽろ雪まつりの公開プレビューの時ですね。【図3】のマルチパス転送はTCPレベルでマルチパスを行う実験で、4つに分けています。
市川：1回線で大容量データを送ると遅延が起きますので、回線をたくさんつないでできるだけ早くデータ転送しようということです。
───なるほど。では2つ目の例はどういう研究でしょう。
＜減災のための衛星データ高速伝送＞
市川：1つ目はネットワーク系の研究でしたが、2つ目の【図4】はアプリケーション系と言いますか、データを利用する研究者側からの要望による実験です。2011年の東日本大震災時のことを教訓に、衛星で撮影したデータを各国間で素早く共有したいという要求があったことがきっかけで、日本・台湾・米国で衛星を使ってデータを高速転送する実証実験をPRAGMA-ENTでやってみました。震災時にパッとパスを張って高速で海外にデータ転送できれば、そこで被災の分析が可能ですから、次の減災対策検討などにもつなげられます。しかもPRAGMA-ENTはすべて専用線の学術ネットワークや研究開発ネットワークでつながっていますから、震災時でネットワークが混雑している時でも、商用ネットワークのような制限がかかりません。
───ここ数十年以内の大震災発生が予想されている日本にとって、重要な研究ですね。さて次の3例目ですが、【図5】は【図1】と似ている感じがしますが・・・。
市川：はい、これが【図1】のところで少しお話をしました、RISE上で切り替えやスライスを行うソフトウェア「AutoVFlow」です。SDNネットワーク上で仮想的に、さらに小さいSDN環境を作るという、SDNのマルチテナント化を実現する研究です。もともとNICTが内部ネットワークやJGNでテスト開発していたもので、PRAGMA-ENTでは地球規模でこれを利用しています。これを実現できるのは、RISEの自由度の高さだと思います。つまり、管理者サイドのSDNコントール機能をユーザに公開しているので、我々の大学側で設置しているソフトウェアからダイレクトにコントロール可能なんです。Internet2など他のプロジェクトでも管理者サイドの運用のためにSDN機能を使った例はありますが、RISEのようにSDN機能そのものを利用者に明け渡し、SDNスイッチの制御を可能としているテストベッドはまれです。RISEにおけるSDNサービスの自由度は非常に高く、世界的に見ても抜きん出ていると思います。
───ユーザ側でのSDNコントロールを可能にするRISEは、PRAGMA-ENTの構築には必要不可欠なサービスというかテストベッドとして役立っているんですね。
市川：はい、RISEはもちろんですが、JGNもPRAGMA-ENTのコア部分で使わせていただいています。
───RISEのメリットついてもしっかり言及いただき、ありがとうございます。事例の最後、4つ目の研究についてご説明ください。
市川：最後の研究例はHybrid SDN Testbed integrating NREN and P2P overlay network (IPOP)。【図6】のPRAGMA-ENTの枠内、NREN（National Research and Education Network）はJGNなどの研究開発ネットワークや学術ネットワークのことですが、高速道路のような非常に速い専用ネットワークです。これに対してP2Pはユーザサイドの利用者パソコンなどの周りにあるようなネットワークのことで、スピードも使い方も異なりますから、慣れていない研究者たちが自分のPCからPRAGMA-ENTの出口に単純にネットワークをつなぎに行くのは大変な作業なんです。そこでPRAGMA-ENTでは、P2Pオーバーレイ・ネットワークとNRENを統合するハイブリッドの環境を用意し、自由に利用できるよう工夫しました。
───この環境なら、ネットワーク設定に不慣れなアプリケーション系ユーザの方々もすぐに使えそうです。3つ目・4つ目の事例はPRAGMA-ENTの機能アップに役立つ研究で、これによって、よりユーザ・フレンドリーなテストベッドになったように思います。
市川：はい、PRAGMA-ENTの基本方針は、「研究者にとって自由に実験できるテストベッド」を目指すことです。この環境だからこそ、地球規模でいろいろな研究者が参加して実証実験や評価も可能になるのです。実は、4例目に出てきた「IPOPのP2Pオーバーレイ・ネットワーク」はフロリダ大学が開発していたものを活用して、融合したんです。
下條：フロリダ大学ではインターネット上だけで利用するものだったのですが、彼らが市川先生と出会うことで、SDNのレイヤまで融合して使えるようになったということです。
産学官54機関が参加し、JGNとJGNアジア100G回線を活用して8Kの長距離多重配信実験を行った公開プレビューの際に行ったインタビュー。
⇒Vol.006はこちらへ
4. 今後のPRAGMA-ENTの方向性とJGN・RISEの役割
― 長期間継続しているJGNやRISEを活用し、今期はマルチパス環境の強化に加えてIoTやNFV環境構築にも着手 ―
───こういう出会いがある環境だからこそ新しい研究が生まれるわけで、やはり地球規模のPRAGMAコミュニティ内のテストベッドという位置づけは重要ですね。
下條：PRAGMAというエンブレムの中には、Internet2やJGNのようなネットワークを担当する人たち、計算機などの部分はUCSDのエンジニアの人たちがいて、その間をつなぐ部分を市川先生がやり、さらにその上にはアプリの人たちがいるわけです。いろいろなレイヤの人材が集まって一緒に研究をするから、多種多様な研究ができるんです。
市川：本当にPRAGMAにはいろいろな人が揃っています。そして、全メンバーが一堂に集まるPRAGMAワークショップを春と秋、年2回開催していますから、「次にどういう研究をしよう」「こんな実験はどうだろう」と互いに興味のある話を直接しながら、速やかに情報交換ができるんです。（詳細は右の記事を参照）。
───年に2回も、実際に直接顔をあわせて、アイデアなどをディスカッションできるワークショップがあるというのは、いいですね！
市川：はい、その通りだと思っています。普通のコミュニティでは年1回のワークショップが多いですが、年2回だとより密な関係もできますし、情報交換もスムーズです。
下條：PRAGMAは、実際に活発に動いている研究が多いので、年2回ワークショップをやっているんです。ここでは、Resource／Telescience／Bioscience／Cyber-Learningの4つのワーキンググループが動いています。
───PRAGMA-ENTも、2013年のワークショップがきっかけということでしたね。2019年現在、どのぐらいのメンバーがPRAGMA-ENTを利用されているのでしょう？
市川：ちょっと数えていなかったなぁ。でも、それに関係して実は一番自慢したいことがあります。2017年に発表したPRAGMA-ENTの論文【図7】をご覧ください。First Autherは私ですが、Autherは全部で20名もいるんです。あまりに多いので、並び順は私に続いて所属するNAISTのメンバー、あとは各組織の正式名アルファベット順*10に並べました。まさにPRAGMA-ENTが大規模な国際共同研究ができるテストベッドだということを示していると思います。
───すごい人数！ 下條先生は14番目に出ていらっしゃいます。
市川：NICTでは山中さん・河合さんも入っています。この20人というのは、この論文を執筆する時に少しでも関わってくださった人だけに絞りましたが、協力をしてくれたメンバーも含めると30～40人になってしまうくらいです。先ほども言ったようにPRAGMA-ENTは「研究者にとって自由に実験できるテストベッド」を目指し、ネットワーク設定に不慣れな方でも各研究機関から簡単にアクセスして国際共同研究を進められる環境になってきていますから、今後もいろいろなレイヤの研究者にもっと利用していただきたいです。
⇒AutherやSummaryは「Wiley Online Library」で確認
───地球規模で多くの研究者が関わっているのが分かります。総合テストベッドになってからもRISE・JGNをご利用いただき4年目になりますが、今期の研究の進捗状況はいかがですか？
市川：先ほどお話をしたSINETとの接続によるマルチパス環境の強化に加え、IoTやNFVの実験環境構築にも着手しています。NFVは「Network Function Virtualization」の略で、この名の通り「ネットワーク機器の機能をソフトウェアとして提供しよう」という考え方で、SDNを補完するような関係にあります。ルータ、スイッチ、ファイアウォールなどの専用機器を汎用サーバ上の仮想化基盤の仮想マシンとして動作させるので、設備や運用コストの低減につながると考えています。
───新しい機能の追加・拡張ですね。今後の研究の進捗が楽しみです。
最後に、PRAGMA-ENTを運用されている市川先生から総合テストベッドへの要望をお聞かせください。
市川：JGNやRISEのような研究開発ネットワークは、国際的な共同研究を創出・醸成する上で必須の基盤です。17年以上続くPRAGMAコミュニティ・7年目のPRAGMA-ENTもそうですが、国際共同研究の進展は短期間に成し得るものではありません。継続する中でこそ成果につながっていきますから、できるだけ長期にわたって発展的にサービスを継続していただけると助かります。ぜひよろしくお願いします。
───ありがとうございました。
＜2019.9／大阪大学 サイバーメディアセンター本部（吹田キャンパス）にてインタビュー＞
【JGN・RISEを含む総合テストベッドに関するお問合せはこちら】
tb-info[アット]ml.nict.go.jp
1. Nara Institute of Science and Technology（NAIST）
2. National Applied Research Laboratories（NARLabs）
3. National Institute of Advanced Industrial Science and Technology（AIST）
4. National Institute of Information and Communications Technology（NICT）
5. Osaka University
6. University of California, San Diego（UCSD）
7. University of Florida
