卒業研究のご紹介
2020年版

情報系所属学生

クラウド環境を用いた8K映像ストリームサーバの実現

池田 哲也群馬県
大学院情報工学専攻 博士前期課程 2020年3月修了
（情報学部情報ネットワーク・コミュニケーション学科 2018年3月卒業）
足利大学附属高等学校出身

研究の目的

クラウドサービス市場の拡大やネットワーク機能の仮想化が進展している他、SMPTE ST-2110規格の策定により既存の放送網の編集、蓄積配信環境のIP化が進んでいる。我々はクラウドの空きリソースを柔軟に利用した8K非圧縮映像の分散蓄積配信システムの実現を目指している。本研究では要求伝送性能3Gbpsの仮想マシンを8台連携し、24Gbpsの8K非圧縮映像をクラウドから安定配信するまでの課題とチューニング手法を明らかにする。

研究内容や成果等

■ 技術目標とNII NFVシステムを用いた実現形態

データセンタの空きリソースを用いた8K非圧縮映像配信サーバの実現にあたり、まず以下のように本研究の到達目標を設定した。
(1)物理マシン上に複数の VM を構築し安定した伝送性能を持たせる事
(2)地理的に離れた複数のデータセンタ上のVMが連携して同期動作する事
本目標を達成する為、映像配信サーバの構築にはNII(国立情報学研究所)のNFV環境を使用する。本環境が保有する全国各地のデータセンタのうち数ヶ所の拠点を利用し、各拠点の物理サーバ上に構築したVMが相互連携して8K映像配信サーバが構成される。データ蓄積読み出しには、内部ネットワークに接続された共有ファイルシステムが使われ、サーバアプリケーションには、業界標準の3GSDI(3Gbps)の映像インタフェース上のデータをトランスペアレントに蓄積・送出できる機能を持たせる。また、8K非圧縮の伝送を行うためには 3G-SDIを8本並列伝送する事で実現する。物理サーバの構成から、1VMあたり 3Gbpsの配信能力を持つものを2台同時に動作させる事を目標とした。

図1 NFV システムにおける実現形態

■ 多地点リソース連携による映像配信サーバ

まず、遠隔地の多拠点(東京、大阪、福岡、北海道)の物理マシンや仮想マシン(VM)のリソースを相互連携させる事により、8K非圧縮映像(24Gbps)対応の映像サーバが構築できるか検討した。ここでそれぞれの送信拠点と受信拠点間の遅延差をインライン処理で調整する遅延補正機構を開発し、Interop Tokyo 2018における実証実験では本機構との併用によって正常な映像配信ができる事を示した。しかしVMリソースを用いた映像配信システムは、物理サーバで構成したシステムと比較して入出力性能が不足しており、ここで次の課題が明らかとなった。
(1)物理サーバ1台に1VMを搭載する性能しか得られず、柔軟性や拡張性に欠ける
(2)安定した映像配信は数分程度に留まる

図2 Interop Tokyo 2018 システム全体構成

■ サーバ構築に向けた VM リソースの基本評価

VMの入出力性能不足を調査する為、まず図3のように実験環境を整備し、映像サーバアプリケーションの処理を 1．蓄積読出し処理、2．回線配信処理、3．複数VMの同期処理に分け、それぞれの単体性能を中心に性能解析を進めた。

図3 NFVサーバ実験環境構成
ここで物理サーバ側の入出力性能には問題がないことが判明したが、VMでそれぞれの処理を確認すると、共有ストレージからの読み出し性能が3Gbpsを中心に大きく揺らいでいること、入出力を同時に行うとリソース競合が発生し性能がより低下すること、VMの基本構成にUbuntu16.04、vCPU10coreを用いた場合では内部のパラメータチューニングで性能が改善しないこと等が明らかになった。

図4 VMの映像読み出し性能

■ VMの入出力性能のチューニング手法

配信性能が不安定になる課題の克服として、まずプロトコル処理性能の向上のために、SR-IOVを用いて物理NICを仮想的に分割し、VMの入出力併用時のリソース競合を無効化した。加えて共有プロトコルの有効性の検討と選択、カーネルパラメータの最適化を行った。
次に複数VMの安定動作に寄与する手法を模索した。具体的にはVMの基本構成を再検討し、ここでOSにUbuntu16.04を用いると、kworkerの誤作動等により特定のvCPU coreの使用率が上昇することを確認した。安定動作の為には、OS変更やVMvCPU core数の削減、メモリ保有量の軽量化が特に有効である事を明らかにし、VMを用いた本システムの構築においては、映像伝送アプリケーションの動作に最低限必要なリソースの確保による仮想化オーバヘッドの削減が重要であると考察した。

表1 チューニング手法の検討と効果

■ VMを用いた8K非圧縮サーバの実現

これらを踏まえ、東京と札幌の8VMを連携させた8K非圧縮対応サーバを構築し、映像配信を行った結果、数日間に渡って安定的な動作を可能とした。またNICT主催の「雪まつり2020」の実験において展示実験を行った。

図5 チューニング後の8Kディスプレイ出力

■ むすび

クラウド環境の空きリソースを柔軟に利用した8K非圧縮映像サーバを実現した。構築にあたって、まず多拠点のデータセンタ上に構築したVM同士が相互連携することを確認したが、同時に複数のVMが単一の物理サーバ上に動作した際は入出力性能が不足することを確認した。次にアプリケーションの動作を分析して性能を改善する手法について検討し、特にSR-IOVの有効化やVMの vCPU core数の削減、VM OSの変更やメモリ保有量の軽量化が効果的であることを明らかにした。これらの結果、東京・北海道の8VMが連携した本システムは数日間に渡り安定伝送が可能となった。
指導教員からのコメント ネットワークコンピューティング研究室教授　丸山 充
本研究は、広く使われているクラウドの仮想マシンを使って、８K超高精細映像を非圧縮のまま配信（24Gbps）を行う挑戦的な課題です。まず本学の対外接続100Gbpsの実験ネットワークを用いて、国立情報学研究所（NII）の北海道と東京の8台の仮想マシンを遠隔接続するシステム構築を行いました。本システムを用いて、仮想マシンが映像配信時に性能低下を引き起こす要因を１つずつ解決しましたが、最後に安定的に性能を引き出すのが難しい課題に直面しました。しかし池田さんが、粘り強く試行錯誤した結果、仮想化を行う基盤そのものに性能低下を招く原因がある事を発見し、対策方法も提案してくれました。2020年2月には本システムを使って８K映像の遠隔配信する実験展示を成功させた他、得られた知見を学会の研究会で発表する事で、有益な結果を残してくれました。
修士研究学生からの一言 池田 哲也
本学では講義で習得したネットワーク基礎技術を切り口として、コンピュータに関する汎用的な知識から放送技術関連の最新の専門知識までを幅広く吸収することができました。また実践的な研究環境の中で自分の至らない部分も見つかり、今後さらに技術者として成長する為の目標も多く見つかりました。非常に中身の濃い時間を過ごせたと思います。