卒業研究のご紹介
2021年版
情報系所属学生
音源識別精度向上のための雑音除去手法の適用とその評価方法の検討
村上 史尚神奈川県
大学院情報工学専攻 博士前期課程1年
(情報学部情報工学科2021年3月卒業)
(情報学部情報工学科2021年3月卒業)
クラーク記念国際高等学校出身
研究の目的
人工知能(AI)を使うことにより、AIに学習させた音源が部屋の中で鳴っているかどうかをコンピュータで識別することができる。当研究室では耳が不自由な人や、聴覚障碍者向けに、警報器が鳴っていることを知らせるシステムを検討している。
このときに識別したい音源以外の室内の環境音が雑音となり、コンピュータによる識別の精度が劣化する問題があるため雑音除去を行う。そのためには、雑音除去に適した手法を選定する必要があり、雑音除去効果の評価を検討した。
評価の方法として音のエネルギーの分布を可視化したスペクトログラムの視認による比較を利用したが、この方法は定性的な評価である。そこで、本研究では定量的な雑音除去精度の評価を目的とし、スペクトログラムを人の視認によって比較するのではなく、音源に対する雑音除去前後の音のエネルギーの分布に関する類似度の計算を行い、雑音除去効果の評価への利用を検討した(図1)。
このときに識別したい音源以外の室内の環境音が雑音となり、コンピュータによる識別の精度が劣化する問題があるため雑音除去を行う。そのためには、雑音除去に適した手法を選定する必要があり、雑音除去効果の評価を検討した。
評価の方法として音のエネルギーの分布を可視化したスペクトログラムの視認による比較を利用したが、この方法は定性的な評価である。そこで、本研究では定量的な雑音除去精度の評価を目的とし、スペクトログラムを人の視認によって比較するのではなく、音源に対する雑音除去前後の音のエネルギーの分布に関する類似度の計算を行い、雑音除去効果の評価への利用を検討した(図1)。
研究内容や成果等
■ 実験手法
本実験では音源に対する雑音重畳音と各雑音除去音の類似度を計算し,その差から,改善値として雑音除去の効果を定量的に評価する。類似度はゼロ平均正規化2次元相互相関の最大値を用いて求める(式1)。
このとき
Similarity = max(Rk,l) (1)
ゼロ平均正規化2次元相互相関を、音の時間変化による周波数成分のエネルギー分布である257行4999列の数値データと、その数値データを白黒の輝度情報に変換。サイズを256行256列に圧縮した。モノクロ画像に適用する。
実験に使用する音源として、連続的に鳴動するドアアラームと断続的なキッチンタイマーを選定した。これらの音源に対して雑音としてホワイトノイズをSN比0dBに設定して重畳を行い、Spectral Subtraction法(以下SS)、MAP推定法(以下MAP)、Denoising Autoencoder(以下DAE)の3種類の雑音除去手法を適用した。
実験に使用する音源として、連続的に鳴動するドアアラームと断続的なキッチンタイマーを選定した。これらの音源に対して雑音としてホワイトノイズをSN比0dBに設定して重畳を行い、Spectral Subtraction法(以下SS)、MAP推定法(以下MAP)、Denoising Autoencoder(以下DAE)の3種類の雑音除去手法を適用した。
■ 実験結果
表1にエネルギー分布、モノクロ画像の両類似度、改善値の結果を示す。類似度は、スペクトログラムの見た目が音源に近いほど向上し、見た目が異なるほど低下する傾向となった。相違点として、キッチンタイマーのMAPとSSの結果は、画像の場合は類似度が改善していたが、エネルギーの場合は類似度が低下している。これは画像化した際のサイズの縮小が原因であり、エネルギー分布は、縮小されたサイズの画像では観測が困難な差異も計算されていると推察できるため、より正確な類似度の算出にはエネルギー分布の利用が有効的であると考察する。
■ まとめ
本研究では2次元相互相関で算出した類似度を用いた、定量的な雑音除去手法の評価の検討を行った。実験結果はエネルギー分布、モノクロ画像どちらの類似度も、スペクトログラムの見た目の印象と相関があるため、定量的な評価手法としての利用が期待できる。今後の予定としては検討手法の妥当性をさらに検証していきながら、音源識別精度向上のための雑音除去手法の選定を、検討手法を利用して行う。
研究ではプログラムの開発とは異なる難しさがあり、どのような問題のために、どのような手法で、どのような結果になったかを論理的に説明する能力が求められ、アウトプットをする力が身についたと思います。
4年間を通して、理論的な知識や、ツールを使う技術を勉強するだけでなく、問題解決に関する総合的な能力が成長し、目的のAIやIOTについても十分学ぶことができました。