深圳市城市更新辦法實施細則課件

音響信號処理特論

音響信號処理の基礎

－雑音抑圧など－奈良先端科學技術大學院大學情報科學研究科音情報処理學講座猿渡洋（2011年6月17日）音響信號処理特論

音響信號処理の基礎

－雑音抑圧など－（2音聲とは？音聲信號の特徴人間の口から発せられる言語構造をもつ信號基本周波數(shù)：男性平均125Hz女性平均250Hzスペクトル構造：長時間平均的には800Hzまではほぼ平坦，800Hz以上は-10dB/octの傾斜をもつ比較的低周波數(shù)帯域にエネルギーが集中する信號音聲とは？音聲信號の特徴比較的低周波數(shù)帯域にエネルギーが集実環(huán)境における音聲処理我々が耳にすることができる音聲信號は…口から発せられた原音聲信號は，空気を媒體として伝達され，耳（マイクロホン）に到達する．伝送の際に様々な変形が加わる．実環(huán)境における変形要因加法性変形：環(huán)境騒音，妨害話者乗法性変形：室內殘響（室內伝達関數(shù)），受音系裝置の音響歪その他の変形：実環(huán)境における発話狀態(tài)変化（Lombard効果）実環(huán)境における音聲処理我々が耳にすることができる音聲信號は…乗法性変形反射による殘響歪実環(huán)境における変形要因原音聲信號雑音加法性変形雑音等の干渉？我々が実際に受け取ることのできる信號は…乗法性変形実環(huán)境における変形要因原音聲信號雑音加法性変形？我加法性変形雑音の特性尺度：信號対雑音電力比（SN比）種類：計算機雑音，自動車雑音，話し聲，音楽…実環(huán)境における雑音のレベル靜かなオフィス：45～50dBA広いオフィス：60～70dBA走行自動車內：65～75dBAジェット機コクピット：90dBA以上加法性変形雑音の特性加法性変形(cont’d)1m離れた場所での音聲信號のレベルは…普通の強さで発聲される會話音聲（男性）：66dB普通の強さで発聲される會話音聲（女性）：63dB実環(huán)境でのSNR靜かなオフィス：30～25dBA広いオフィス：15～5dBA走行自動車內：10～0dBAジェット機コクピット：-15dBA以下一般に75dB以上のレベルで発聲されることはまれ常に実環(huán)境では雑音を意識しておく必要あり加法性変形(cont’d)1m離れた場所での音聲信號のレ乗法性変形殘響による空間伝達特性尺度１：殘響時間（音を停止してからエネルギーが-60dB減少するまでの時間）尺度２：波形歪（源波形からの変形を雑音とみなすSNR)尺度３：スペクトル歪（振幅スペクトル上でのSNR）実環(huán)境における殘響時間例自動車內：80～100msec通常室內（小）：300msec以上會議室:700msec以上コンサートホール：2000msec以上一般に、部屋の各壁の吸音率が小さく體積が大きい部屋ほど殘響時間が長く、音聲への影響が大きいスペクトル変形スペクトル変形＋波形変形乗法性変形殘響による空間伝達特性一般に、部屋の各壁の吸音率がその他の変形（発話狀態(tài)変化）Lombard効果ひどい雑音，過度の殘響などにより，発話者から発聲される音聲自身が変形してしまう現(xiàn)象具體的な変形例第一ホルマントの上昇第二ホルマントの下降スペクトルの傾きの変化母音継続長が長くなるその他の変形（発話狀態(tài)変化）Lombard効果実環(huán)境における変形音聲例原音聲加法性変形白色雑音SNR20dB白色雑音SNR0dB有色雑音SNR0dB乗法性変形壁による一次反射のみ殘響時間400msec殘響時間900msec殘響時間2500msec加法性＆乗法性変形白色雑音（SNR=20dB）＆殘響時間900msec実環(huán)境における変形音聲例原音聲実環(huán)境における信號処理加法性変形に対する処理スペクトルサブトラクションウィーナーフィルタ櫛形フィルタノイズキャンセラマイクロホンアレー乗法性変形に対する処理ケプストラム正規(guī)化逆フィルタ適応エコーキャンセラMINT法1入力，裝置規(guī)模小多點入力，裝置規(guī)模大1入力，裝置規(guī)模小多點入力，裝置規(guī)模大実環(huán)境における信號処理加法性変形に対する処理1入力，裝置規(guī)模スペクトルサブトラクション基本原理：雑音が定常であることを利用して，非音聲區(qū)間の信號より雑音の特徴量を推定しておき，雑音混じりの音聲の特徴量から雑音成分を取り除く．NoisySpeechSilenceDetectionNoiseEstimationSt-DFTAnalysisαAmplitudePhaseSt-IDFTOutputSpeechスペクトルサブトラクション基本原理：NoisySpeechスペクトルサブトラクション(cont’d)具體的な信號処理：時刻ｔでの雑音混じり信號を，真の音聲信號を，雑音信號をとする．その時観測される信號は以下で與えられる．窓の位置をmで表した短時間フーリエ分析により上の関係は周波數(shù)領域にて以下のように書ける

スペクトルサブトラクション(cont’d)具體的な信號処理スペクトルサブトラクション(cont’d)本方法では以下のようにして信號推定を行う．雑音信號を定常と仮定し，振幅スペクトルは入力 から推定雑音を減算したものとする．位相に関しては，入力信號のものを使用する．この方法により推定される出力信號は…

ここでは：非音聲區(qū)間で推定した雑音：減算調節(jié)パラメータ一般には2程度，は1or2スペクトルサブトラクション(cont’d)本方法では以下のスペクトルサブトラクション(cont’d)本方法における利點は…構造が単純．定常雑音であれば抑圧効果大．本方法における問題點?課題は…雑音抑圧によりミュージカルトーンが発聲音聲?非音聲をどのように區(qū)別するか．非定常な雑音にどのように対処するか．減算調節(jié)パラメータをどのように決定するか．スペクトルサブトラクション(cont’d)本方法における利スペクトルサブトラクション例原音聲雑音付加音聲（SNR=0dB,白色雑音）回復処理音聲スペクトルサブトラクション例原音聲櫛形フィルタ基本原理：音聲が周期的な波形（周波數(shù)領域ではハーモニクス構造を持つ）であることを利用して，音聲の基本周波數(shù)F0を推定しておき，雑音混じりの音聲信號に対してｎF0成分（ｎは整數(shù)）のみを強調するハーモニクス構造フィルタを構成する．F0→ｆ音聲雑音観測信號周波數(shù)特性×F0→ｆ櫛形フィルタ＝F0→ｆ出力信號櫛形フィルタ基本原理：F0→ｆ音聲雑音観測信號周波數(shù)特性×F櫛形フィルタ(cont’d)本方法における利點は…音聲のハーモニクス構造を陽に利用．非定常な雑音にもある程度対応可能．本方法における問題點?課題は…基本周波數(shù)を雑音中にどう推定するか．「櫛の形」をどのように調節(jié)するか．ハーモニクス構造を持たない子音の回復．櫛形フィルタ(cont’d)本方法における利點は…ノイズキャンセラ基本原理：２本のマイクロホン（主マイクと參照マイク)を用意する．主マイクでは音聲と雑音が観測され，參照マイクでは雑音のみが観測できると仮定する．同時刻の雑音を參照マイクで受音して，主マイクでの雑音混じり音聲より差し引く．この際に，參照マイクから主マイクへの伝達特性を適応的に同定する適応フィルタが使用される．ノイズキャンセラ基本原理：ノイズキャンセラ(cont’d)構成図：AdaptiveFilterOutputSpeechSpeechNoisePrimaryMicrophoneReferenceMicrophoneとは伝達経路が異なることに注意ノイズキャンセラ(cont’d)構成図：AdaptiveOノイズキャンセラ(cont’d)具體的な信號処理：主マイク信號を，音聲信號成分を，雑音信號をとすると以下が成り立つ．參照マイクでの雑音信號に適切なフィルタをかけ主マイク信號から減算し，誤差を算出．ノイズキャンセラ(cont’d)具體的な信號処理：ノイズキャンセラ(cont’d)音聲信號と雑音信號，において相関が無いと仮定すると，誤差のパワーは以下で與えられる．このをに関して最小化することにより，最適フィルタ係數(shù)が以下のように得られる．ノイズキャンセラ(cont’d)音聲信號と雑音信號ノイズキャンセラ(cont’d)式（1）を用いて最適なフィルタ係數(shù)を求めるには，音聲信號が無い時間にのみを観測してを推定しておく必要がある．そこで，LMS（LeastMeanSquare）法によって準最適なフィルタ係數(shù)を逐次推定する．まず

のに関する瞬時勾配は→実際上は困難である場合も多いノイズキャンセラ(cont’d)式（1）を用いて最適なフィノイズキャンセラ(cont’d)LMS法では式（2）の瞬時勾配を誤差期待値の代用とする．よって最急降下法が適用でき，以下の更新式を得る．ここでは，回目の反復における値であることを表し，はステップサイズパラメータである．式（1）に比べて，式（3）で推定されるものは，多少揺らぎながらも真?zhèn)帳藚工毪长趣椁欷皮い耄违ぅ亥悭螗互?cont’d)LMS法では式（2）の瞬時ノイズキャンセラ(cont’d)本方法における利點は…適応的に雑音をほぼ完全に消去できる．式（3）を使えば非定常?移動雑音にもある程度対応可能．本方法における問題點?課題は…式（1）を用いる場合は無音區(qū)間推定が必要式（3）では収束性が問題となる?yún)⒄榨蕙ぅ闻渲盲舜螭来妤违ぅ亥悭螗互?cont’d)本方法における利點は…マイクロホンアレー基本原理：２本のマイクロホンシステムをさらに拡張→多點受音処理系を構成複數(shù)のマイクロホンを並べたものをマイクロホンアレーと呼ぶ。空間選択性を持ち，音聲源の方位から到來する信號のみ強調し雑音源を抑圧することが可能指向特性（空間に対してアレーが形成する利得の分布）によって，その性能を評価?図示できる．マイクロホンアレー基本原理：マイクロホンアレーの歴史第一次大戦中フランス軍が使用した音響アレー裝置From“ArraySignalProcessing”,D.Johnson両耳による音源方位の同定（生物自身が持つアレー）音源のある方位に聞き耳を立てるディジタル信號処理技術の進歩とともに発展マイクロホンアレーの歴史第一次大戦中フランス軍が使用した音響マイクロホンアレーの構造基本構造：?多數(shù)のマイク素子を規(guī)則的に配列?各素子の後段にフィルタを接続?各素子でのフィルタ出力を総和素子配列形態(tài)，フィルタ特性を変化させることにより性能可変FilterFilterFilterΣMicrophoneArrayOutputNoiseSpeechマイクロホンアレーの構造基本構造：?多數(shù)のマイク素子を規(guī)則的マイクロホンアレーの種類加算型アレー：目的信號の到來方位に鋭い指向特性を形成例：DelayandSum（遅延和）アレー

FilterandSumアレー等減算型アレー：雑音の到來方位に指向特性の死角を形成例：死角制御型ビームフォーマ適応型ビームフォーマサイドローブキャンセラ等構造単純性能対裝置規(guī)模が優(yōu)秀マイクロホンアレーの種類加算型アレー：構造単純性能対裝置加算型アレー基本原理：目的信號を同相化し，その到來方位（これを目的方位;lookdirectionという）に「メインローブ」と呼ばれる鋭い指向性を形成する．目的方位以外には，できるだけ低い利得を形成し，雑音の混入を防ぐ．この目的方位以外に形成される利得パターンのことを「サイドローブ」という．θ目的音サイドローブを低くすれば雑音を抑圧可能メインローブ加算型アレー基本原理：θ目的音サイドローブを低くすれば雑音を遅延和アレー設計例設計條件：目的方位は0度，一様素子荷重係數(shù)を使用素子數(shù)8，素子間隔5cmの等間隔直線アレー低い周波數(shù)ほど鋭い指向特性が形成困難になる遅延和アレー設計例設計條件：低い周波數(shù)ほど鋭い指向特性が形成グレーティングローブによる劣化8kHzにおける指向特性（8素子5cm間隔アレー）メインローブ（0°方向）以外にも大きなローブが形成される．これは「波長に対して素子間隔が広すぎる」ために生じた折り返し歪でありグレーティングローブと呼ばれる．グレーティングローブによる劣化8kHzにおける指向特性（8加算型アレーの性能限界周波數(shù)とメインローブ幅低周波數(shù)帯域にて狹いメインローブを構成することは困難波長アレー長[°]（一様荷重係數(shù)の場合）周波數(shù)とグレーティングローブ高周波數(shù)帯域においてはグレーティングを避けることは困難素子間隔＜波長/２グレーティングローブを避けるための素子間隔條件高い?低いどちらの周波數(shù)帯域でも使用するには…マイク素子を密に（グレーティングローブ対策）かつ大量に（アレー長を増やすため）並べたアレーが必要加算型アレーの性能限界周波數(shù)とメインローブ幅低周波數(shù)帯域にて加算型アレーによる音聲回復例原音聲殘響が無い場合単一マイクロホン遅延和アレー殘響がある場合（殘響時間＝400msec）単一マイクロホン遅延和アレー8素子，５cm間隔…音聲雑音-50°加算型アレーによる音聲回復例原音聲8素子，５cm間隔…音聲減算型アレー基本原理：各素子出力を雑音方位に関してまず同相化し，その後，全素子の重み和が0になるように加算する．つまり，素子間にて雑音成分を減算していることになる．上記処理は，指向特性上おいて，雑音方位に鋭い「死角」を形成していることを意味する．θ目的音雑音に死角をあてる減算型アレー基本原理：θ目的音雑音に死角をあてる適応型アレー基本原理：雑音の到來方位を事前に知ること無く，「アレー出力を最小にする」という規(guī)範のもとで，指向特性を最適化する．これにより，限られたマイク素子においても，効率的に雑音を抑圧可能である．素子荷重係數(shù)の最適化には適応フィルタ理論が用いられる．ここでは，目的方位を歪ませないために「目的方位の利得を一定に保つ」という拘束條件のもとでフィルタの最適化を行う．拘束條件付きの最適化問題に帰著適応型アレー基本原理：拘束條件付きの最適化問題に帰著適応型アレーの構造AdaptiveFilterΣMicrophoneArrayOutputNoiseSpeechAdaptiveFilterAdaptiveFilter目的方位の利得は一定に保つ誤差信號→最小適応型アレーの構造AdaptiveΣMicrophoneAr適応型アレーの指向特性例1雑音數(shù)が少?殘響少の場合雑音に死角を形成することで雑音抑圧→減算型アレーを自動形成θ目的音雑音に死角をあてる適応型アレーの指向特性例1雑音數(shù)が少?殘響少の場合θ目的音雑適応型アレーの指向特性例2雑音數(shù)が少?殘響大の場合必ずしも雑音に死角を形成せず，雑音の殘響成分と併せてそれらの総和が0になるような指向特性を形成する．θ目的音雑音雑音の殘響＋－＋－適応型アレーの指向特性例2雑音數(shù)が少?殘響大の場合θ目的音雑適応型アレーの指向特性例3雑音數(shù)が大?殘響大の場合死角形成，殘響との打ち消しあい，低サイドローブによる抑圧，などを組み合わせて雑音を除去．θ目的音雑音2雑音1＋－適応型アレーの指向特性例3雑音數(shù)が大?殘響大の場合θ目的音雑適応型アレーの特徴利點加算?減算型よりも少數(shù)のマイク素子にて，効率的に雑音抑圧を行うことが出來る．目的音の存在しない時間が與えられれば，雑音方位を與えなくても環(huán)境に応じて雑音を最適に抑圧することが出來る．雑音の殘響成分が存在しても，それらの総和を最小化することにより雑音全體を除去．環(huán)境にあわせて加算?減算型などの中から最適なものが自動選択?組み合わされる．適応型アレーの特徴利點環(huán)境にあわせて加算?減算型などの中から適応型アレーの特徴（cont’d）問題點?課題素子數(shù)以上の死角を形成できない．つまり，素子數(shù)以上の雑音は抑圧不可能．目的音の無音區(qū)間情報が必要．雑音方位が幅を持っている場合や，室內殘響の影響が大きい場合には，抑圧性能が劣化する．拘束條件付の最小化問題に帰著→LMSアルゴリズムが使用できないので動的環(huán)境変化に対して逐次フィルタ更新不可能Griffith-Jim型適応アレーを用いることにより解決適応型アレーの特徴（cont’d）問題點?課題GriffitGriffith-Jim型適応アレーの構造ΣK-MicrophoneArrayOutputK-1chAdaptiveFilter目的方位信號成分を含まないK-1ch信號誤差信號→最小PhaseCompensation12Σ－＋＋－＋－主パス參照パスGriffith-Jim型適応アレーの構造ΣK-MicropGriffith-Jim型適応アレーの原理1主パスは単純な加算型アレーサイドローブ部分に雑音が混入する．一方，參照パスは…まず，隣あうアレー信號間で減算し，目的音成分を除去しておく（K-1chアレーに変換）．次に，それらをK-1ch適応フィルタに入力し，主パスとの減算を行う．主パス，參照パスの差を誤差信號と見なし，それを最小化するようにLMSアルゴリズムによってフィルタの最適化を行う．Griffith-Jim型適応アレーの原理1主パスは単純な加Griffith-Jim型適応アレーの原理2なぜ拘束條件付き問題にLMSが使えるのか?θ目的音（適応中は無音）サイドローブが雑音を受音するメインローブ主パスθ目的方位には死角主パスとなるべく同じサイドローブを構成參照パス主パスと參照パスの差を単純に最小化目的方位は無歪みのままサイドローブのみ最小化Griffith-Jim型適応アレーの原理2なぜ拘束條件付き適応型アレーによる音聲回復例雑音混合音聲GJ型適応アレーによる回復音聲4素子，4.2cm間隔…音聲雑音50°ブザー音適応型アレーによる音聲回復例雑音混合音聲4素子，4.2cmマイクロホンアレー処理の欠點音源の到來方位推定が必要適応のために無音區(qū)間の推定が必要素子位置の変動に対応できない素子誤差を事前に補正しておく必要があるマイクロホンアレーの問題點？マイクロホンアレー処理の欠點マイクロホンアレーの問題點？マイクロホンアレーの問題點（続き）遅延和型：素子係數(shù)により指向特性を制御適応型：雑音の到來方向に指向特性を適応θ目的音雑音も同時に拾ってしまうθ目的音を指定雑音のみを観測する時間が必要死角マイクロホンアレーの問題點（続き）遅延和型：素子係數(shù)により指ブラインド音源分離の登場BlindSourceSeparation(BSS)複數(shù)の音源信號が混合されて観測された場合、観測信號のみから音源信號を推定する技術目的音の方位?無音區(qū)間情報が不要マイク素子位置?特性情報も不要マイク特性誤差があっても頑健に動作する獨立成分分析（ICA）に基づくBSSJ.Cardoso,1989C.Jutten,1990（高次無相関化）P.Comon,1994（ICAという言葉を定義）A.Belletal.,1995（infomaxによる定式化）ブラインド音源分離の登場BlindSourceSepar獨立成分分析（ICA）とは何か？獨立な成分の抽出：複數(shù)の確率信號が混合された観測系列から，統(tǒng)計的に獨立な個々の確率過程を分解抽出する．特徴：獨立性は「無相関性」よりも厳しい尺度であり，確率信號同士の確率密度構造が問われる．→情報幾何學と呼ばれる→「獨立?無相関」であるが、「無相関?獨立」は必ずしも成り立たない．獨立成分分析（ICA）とは何か？獨立な成分の抽出：互いに獨立既知ICAに基づくBSSとは？Human2Human1Microphone1Microphone2おはようこんにちはObservedsignal1Observedsignal2Source2Source1音源信號を推定互いに獨立既知ICAに基づくBSSとは？Human2HuICAに基づくBSSの定式化線形混合過程混合行列音源信號観測信號分離過程分離信號分離行列獨立?コスト関數(shù)最適化ICAに基づくBSSの定式化線形混合過程混合行列音源信號観測ICA以外のBSS：BinaryMasking(BM)

s1(t)x2(t)x1(t)s2(t)ST-DFTfX1(f,t)fX2(f,t)fY1(f,t)fY2(f,t)パワーの比較ST-IDFTy1(t)y2(t)耳(マイクロホン)に接近している強い音源を，時間-周波數(shù)領域で抽出する手法ICA以外のBSS：BinaryMasking(BM)ICA以外のBSS：BinaryMasking(BM)

s1(t)x2(t)x1(t)s2(t)ST-DFTfX1(f,t)fX2(f,t)fY1(f,t)fY2(f,t)パワーの比較ST-IDFTy1(t)y2(t)耳(マイクロホン)に接近している強い音源を，時間-周波數(shù)領域で抽出する手法利點パワーの比較のみで高速欠點音源信號間にスペクトルの重なりが無いという

前提條件(スパース性)が必要欠點分離音に歪が生じるICA以外のBSS：BinaryMasking(BM)実験條件q1q2s1(t)s2(t)2.04m2.02m1.50mLoudspeakers(Height:1.17m)Microphones(Height:1.17m)ReverberationTime:200ms4.25m0.58m4.25m0.74mReverberation200msSourcesSpeech/StationaryNoise(3seconds)Samplingfrequency8kHzFilterlengthBinarymask:512taps

ICA:1024tapsSourceDOA(q1,q2)(-60,60),(-60,0),(0,60)InitialfilterNBFsteeredto(-15,15)EvaluationscoreSignaltoNoiseRatio[dB]実験條件q1q2s1(t)s2(t)2.04m2.02m音聲＆音聲の分離結果Source:(-60゜,60゜)Source:(-60゜,0゜)Source:(0゜,60゜)SignaltoNoiseRatio[dB]BinarymaskHO-ICAHO-ICA+BinarymaskProposedSO-ICAObservedsignal

全て12通り話者組合せの平均値音聲＆音聲の分離結果Source:(-60゜,60゜)S音聲認識による評価（音聲＆音聲）WordAccuracy[%]BinaryMaskICAICA+BMProposedBSS40455055606570758085音源方位=(-40,30)音源方位=(-40,10)各種従來法提案法提案法各種従來法大語彙音聲認識タスクによる評価（JNASデータベース、JULIUS（PTM)による認識、音響モデルはクリーンモデル）本実験においては16kHz サンプリングデータを取り扱った音聲認識による評価（音聲＆音聲）WordAccuracy今後のマイクロホンアレー技術は？そろそろアレーアンテナ理論からの脫卻を！音聲の波長（數(shù)ｍ～數(shù)ｃｍ）とアレーサイズ（＜50cm）から考えて、アンテナ理論と同じでうまくいくはずがない。反射がほとんど無いアンテナと、殘響だらけの音聲殘響を無視した理論は淘汰される??？マイクロホンアレー研究における「死の谷」よくあるパターン１．殘響無視で機上理論を立てる

「これは素晴らしい理論だ！殘響成分は面倒だから誤差ってことにしておこう」２．意図的に殘響を無視してシミュレーション実験

「うむうむ、やっぱり従來法よりも優(yōu)れているな。よし！」３．実機で実験＆公表

「（學會発表にて）殘響がない環(huán)境では、理論通り従來より優(yōu)れた性能が出ました。実環(huán)境における殘響対策は今後の課題です?！梗矗袱墙襻幛悉嗓Δ筏瑜ΑГ盲浚∽畛酩闅堩懁蚶碚摛巳毪欷皮伽坤盲?。」音聲?音響処理では、特に殘響を強く意識して理論を立てるべき今後のマイクロホンアレー技術は？そろそろアレーアンテナ理論か今後のマイクロホンアレー技術は？裝置誤差を考慮に入れない理論も淘汰される??？コンデンサマイクの素子誤差は予想以上に大きい（通常3dB程度はばらつき、かつ溫度?濕度にも過敏）。1素子の場合では問題なく動いていても、素子數(shù)が多くなると誤差をもったエレメントから成るシステムは弱い。実際の環(huán)境では、手動キャリブレーションはほぼ不可能萬能な技術は無い。TPOに合わせた信號処理を！音聲通話系と音聲認識系では要求されているものが異なるこれからは２つのタイプに分かれていくのでは？１．雑音除去重視、目的音の歪み軽視型（応用音聲認識）２．雑音除去軽視、目的音の歪み重視型（応用音聲通話）萬能さを目指して演算量を増やすよりも、目的に特化して高精度化?リアルタイム化を目指す今後のマイクロホンアレー技術は？裝置誤差を考慮に入れない理論音響信號処理特論

音響信號処理の基礎

－雑音抑圧など－奈良先端科學技術大學院大學情報科學研究科音情報処理學講座猿渡洋（2011年6月17日）音響信號処理特論

音響信號処理の基礎

－雑音抑圧など－（2音聲とは？音聲信號の特徴人間の口から発せられる言語構造をもつ信號基本周波數(shù)：男性平均125Hz女性平均250Hzスペクトル構造：長時間平均的には800Hzまではほぼ平坦，800Hz以上は-10dB/octの傾斜をもつ比較的低周波數(shù)帯域にエネルギーが集中する信號音聲とは？音聲信號の特徴比較的低周波數(shù)帯域にエネルギーが集実環(huán)境における音聲処理我々が耳にすることができる音聲信號は…口から発せられた原音聲信號は，空気を媒體として伝達され，耳（マイクロホン）に到達する．伝送の際に様々な変形が加わる．実環(huán)境における変形要因加法性変形：環(huán)境騒音，妨害話者乗法性変形：室內殘響（室內伝達関數(shù)），受音系裝置の音響歪その他の変形：実環(huán)境における発話狀態(tài)変化（Lombard効果）実環(huán)境における音聲処理我々が耳にすることができる音聲信號は…乗法性変形反射による殘響歪実環(huán)境における変形要因原音聲信號雑音加法性変形雑音等の干渉？我々が実際に受け取ることのできる信號は…乗法性変形実環(huán)境における変形要因原音聲信號雑音加法性変形？我加法性変形雑音の特性尺度：信號対雑音電力比（SN比）種類：計算機雑音，自動車雑音，話し聲，音楽…実環(huán)境における雑音のレベル靜かなオフィス：45～50dBA広いオフィス：60～70dBA走行自動車內：65～75dBAジェット機コクピット：90dBA以上加法性変形雑音の特性加法性変形(cont’d)1m離れた場所での音聲信號のレベルは…普通の強さで発聲される會話音聲（男性）：66dB普通の強さで発聲される會話音聲（女性）：63dB実環(huán)境でのSNR靜かなオフィス：30～25dBA広いオフィス：15～5dBA走行自動車內：10～0dBAジェット機コクピット：-15dBA以下一般に75dB以上のレベルで発聲されることはまれ常に実環(huán)境では雑音を意識しておく必要あり加法性変形(cont’d)1m離れた場所での音聲信號のレ乗法性変形殘響による空間伝達特性尺度１：殘響時間（音を停止してからエネルギーが-60dB減少するまでの時間）尺度２：波形歪（源波形からの変形を雑音とみなすSNR)尺度３：スペクトル歪（振幅スペクトル上でのSNR）実環(huán)境における殘響時間例自動車內：80～100msec通常室內（?。?00msec以上會議室:700msec以上コンサートホール：2000msec以上一般に、部屋の各壁の吸音率が小さく體積が大きい部屋ほど殘響時間が長く、音聲への影響が大きいスペクトル変形スペクトル変形＋波形変形乗法性変形殘響による空間伝達特性一般に、部屋の各壁の吸音率がその他の変形（発話狀態(tài)変化）Lombard効果ひどい雑音，過度の殘響などにより，発話者から発聲される音聲自身が変形してしまう現(xiàn)象具體的な変形例第一ホルマントの上昇第二ホルマントの下降スペクトルの傾きの変化母音継続長が長くなるその他の変形（発話狀態(tài)変化）Lombard効果実環(huán)境における変形音聲例原音聲加法性変形白色雑音SNR20dB白色雑音SNR0dB有色雑音SNR0dB乗法性変形壁による一次反射のみ殘響時間400msec殘響時間900msec殘響時間2500msec加法性＆乗法性変形白色雑音（SNR=20dB）＆殘響時間900msec実環(huán)境における変形音聲例原音聲実環(huán)境における信號処理加法性変形に対する処理スペクトルサブトラクションウィーナーフィルタ櫛形フィルタノイズキャンセラマイクロホンアレー乗法性変形に対する処理ケプストラム正規(guī)化逆フィルタ適応エコーキャンセラMINT法1入力，裝置規(guī)模小多點入力，裝置規(guī)模大1入力，裝置規(guī)模小多點入力，裝置規(guī)模大実環(huán)境における信號処理加法性変形に対する処理1入力，裝置規(guī)模スペクトルサブトラクション基本原理：雑音が定常であることを利用して，非音聲區(qū)間の信號より雑音の特徴量を推定しておき，雑音混じりの音聲の特徴量から雑音成分を取り除く．NoisySpeechSilenceDetectionNoiseEstimationSt-DFTAnalysisαAmplitudePhaseSt-IDFTOutputSpeechスペクトルサブトラクション基本原理：NoisySpeechスペクトルサブトラクション(cont’d)具體的な信號処理：時刻ｔでの雑音混じり信號を，真の音聲信號を，雑音信號をとする．その時観測される信號は以下で與えられる．窓の位置をmで表した短時間フーリエ分析により上の関係は周波數(shù)領域にて以下のように書ける

スペクトルサブトラクション(cont’d)具體的な信號処理スペクトルサブトラクション(cont’d)本方法では以下のようにして信號推定を行う．雑音信號を定常と仮定し，振幅スペクトルは入力 から推定雑音を減算したものとする．位相に関しては，入力信號のものを使用する．この方法により推定される出力信號は…

ここでは：非音聲區(qū)間で推定した雑音：減算調節(jié)パラメータ一般には2程度，は1or2スペクトルサブトラクション(cont’d)本方法では以下のスペクトルサブトラクション(cont’d)本方法における利點は…構造が単純．定常雑音であれば抑圧効果大．本方法における問題點?課題は…雑音抑圧によりミュージカルトーンが発聲音聲?非音聲をどのように區(qū)別するか．非定常な雑音にどのように対処するか．減算調節(jié)パラメータをどのように決定するか．スペクトルサブトラクション(cont’d)本方法における利スペクトルサブトラクション例原音聲雑音付加音聲（SNR=0dB,白色雑音）回復処理音聲スペクトルサブトラクション例原音聲櫛形フィルタ基本原理：音聲が周期的な波形（周波數(shù)領域ではハーモニクス構造を持つ）であることを利用して，音聲の基本周波數(shù)F0を推定しておき，雑音混じりの音聲信號に対してｎF0成分（ｎは整數(shù)）のみを強調するハーモニクス構造フィルタを構成する．F0→ｆ音聲雑音観測信號周波數(shù)特性×F0→ｆ櫛形フィルタ＝F0→ｆ出力信號櫛形フィルタ基本原理：F0→ｆ音聲雑音観測信號周波數(shù)特性×F櫛形フィルタ(cont’d)本方法における利點は…音聲のハーモニクス構造を陽に利用．非定常な雑音にもある程度対応可能．本方法における問題點?課題は…基本周波數(shù)を雑音中にどう推定するか．「櫛の形」をどのように調節(jié)するか．ハーモニクス構造を持たない子音の回復．櫛形フィルタ(cont’d)本方法における利點は…ノイズキャンセラ基本原理：２本のマイクロホン（主マイクと參照マイク)を用意する．主マイクでは音聲と雑音が観測され，參照マイクでは雑音のみが観測できると仮定する．同時刻の雑音を參照マイクで受音して，主マイクでの雑音混じり音聲より差し引く．この際に，參照マイクから主マイクへの伝達特性を適応的に同定する適応フィルタが使用される．ノイズキャンセラ基本原理：ノイズキャンセラ(cont’d)構成図：AdaptiveFilterOutputSpeechSpeechNoisePrimaryMicrophoneReferenceMicrophoneとは伝達経路が異なることに注意ノイズキャンセラ(cont’d)構成図：AdaptiveOノイズキャンセラ(cont’d)具體的な信號処理：主マイク信號を，音聲信號成分を，雑音信號をとすると以下が成り立つ．參照マイクでの雑音信號に適切なフィルタをかけ主マイク信號から減算し，誤差を算出．ノイズキャンセラ(cont’d)具體的な信號処理：ノイズキャンセラ(cont’d)音聲信號と雑音信號，において相関が無いと仮定すると，誤差のパワーは以下で與えられる．このをに関して最小化することにより，最適フィルタ係數(shù)が以下のように得られる．ノイズキャンセラ(cont’d)音聲信號と雑音信號ノイズキャンセラ(cont’d)式（1）を用いて最適なフィルタ係數(shù)を求めるには，音聲信號が無い時間にのみを観測してを推定しておく必要がある．そこで，LMS（LeastMeanSquare）法によって準最適なフィルタ係數(shù)を逐次推定する．まず

のに関する瞬時勾配は→実際上は困難である場合も多いノイズキャンセラ(cont’d)式（1）を用いて最適なフィノイズキャンセラ(cont’d)LMS法では式（2）の瞬時勾配を誤差期待値の代用とする．よって最急降下法が適用でき，以下の更新式を得る．ここでは，回目の反復における値であることを表し，はステップサイズパラメータである．式（1）に比べて，式（3）で推定されるものは，多少揺らぎながらも真?zhèn)帳藚工毪长趣椁欷皮い耄违ぅ亥悭螗互?cont’d)LMS法では式（2）の瞬時ノイズキャンセラ(cont’d)本方法における利點は…適応的に雑音をほぼ完全に消去できる．式（3）を使えば非定常?移動雑音にもある程度対応可能．本方法における問題點?課題は…式（1）を用いる場合は無音區(qū)間推定が必要式（3）では収束性が問題となる?yún)⒄榨蕙ぅ闻渲盲舜螭来妤违ぅ亥悭螗互?cont’d)本方法における利點は…マイクロホンアレー基本原理：２本のマイクロホンシステムをさらに拡張→多點受音処理系を構成複數(shù)のマイクロホンを並べたものをマイクロホンアレーと呼ぶ?？臻g選択性を持ち，音聲源の方位から到來する信號のみ強調し雑音源を抑圧することが可能指向特性（空間に対してアレーが形成する利得の分布）によって，その性能を評価?図示できる．マイクロホンアレー基本原理：マイクロホンアレーの歴史第一次大戦中フランス軍が使用した音響アレー裝置From“ArraySignalProcessing”,D.Johnson両耳による音源方位の同定（生物自身が持つアレー）音源のある方位に聞き耳を立てるディジタル信號処理技術の進歩とともに発展マイクロホンアレーの歴史第一次大戦中フランス軍が使用した音響マイクロホンアレーの構造基本構造：?多數(shù)のマイク素子を規(guī)則的に配列?各素子の後段にフィルタを接続?各素子でのフィルタ出力を総和素子配列形態(tài)，フィルタ特性を変化させることにより性能可変FilterFilterFilterΣMicrophoneArrayOutputNoiseSpeechマイクロホンアレーの構造基本構造：?多數(shù)のマイク素子を規(guī)則的マイクロホンアレーの種類加算型アレー：目的信號の到來方位に鋭い指向特性を形成例：DelayandSum（遅延和）アレー

FilterandSumアレー等減算型アレー：雑音の到來方位に指向特性の死角を形成例：死角制御型ビームフォーマ適応型ビームフォーマサイドローブキャンセラ等構造単純性能対裝置規(guī)模が優(yōu)秀マイクロホンアレーの種類加算型アレー：構造単純性能対裝置加算型アレー基本原理：目的信號を同相化し，その到來方位（これを目的方位;lookdirectionという）に「メインローブ」と呼ばれる鋭い指向性を形成する．目的方位以外には，できるだけ低い利得を形成し，雑音の混入を防ぐ．この目的方位以外に形成される利得パターンのことを「サイドローブ」という．θ目的音サイドローブを低くすれば雑音を抑圧可能メインローブ加算型アレー基本原理：θ目的音サイドローブを低くすれば雑音を遅延和アレー設計例設計條件：目的方位は0度，一様素子荷重係數(shù)を使用素子數(shù)8，素子間隔5cmの等間隔直線アレー低い周波數(shù)ほど鋭い指向特性が形成困難になる遅延和アレー設計例設計條件：低い周波數(shù)ほど鋭い指向特性が形成グレーティングローブによる劣化8kHzにおける指向特性（8素子5cm間隔アレー）メインローブ（0°方向）以外にも大きなローブが形成される．これは「波長に対して素子間隔が広すぎる」ために生じた折り返し歪でありグレーティングローブと呼ばれる．グレーティングローブによる劣化8kHzにおける指向特性（8加算型アレーの性能限界周波數(shù)とメインローブ幅低周波數(shù)帯域にて狹いメインローブを構成することは困難波長アレー長[°]（一様荷重係數(shù)の場合）周波數(shù)とグレーティングローブ高周波數(shù)帯域においてはグレーティングを避けることは困難素子間隔＜波長/２グレーティングローブを避けるための素子間隔條件高い?低いどちらの周波數(shù)帯域でも使用するには…マイク素子を密に（グレーティングローブ対策）かつ大量に（アレー長を増やすため）並べたアレーが必要加算型アレーの性能限界周波數(shù)とメインローブ幅低周波數(shù)帯域にて加算型アレーによる音聲回復例原音聲殘響が無い場合単一マイクロホン遅延和アレー殘響がある場合（殘響時間＝400msec）単一マイクロホン遅延和アレー8素子，５cm間隔…音聲雑音-50°加算型アレーによる音聲回復例原音聲8素子，５cm間隔…音聲減算型アレー基本原理：各素子出力を雑音方位に関してまず同相化し，その後，全素子の重み和が0になるように加算する．つまり，素子間にて雑音成分を減算していることになる．上記処理は，指向特性上おいて，雑音方位に鋭い「死角」を形成していることを意味する．θ目的音雑音に死角をあてる減算型アレー基本原理：θ目的音雑音に死角をあてる適応型アレー基本原理：雑音の到來方位を事前に知ること無く，「アレー出力を最小にする」という規(guī)範のもとで，指向特性を最適化する．これにより，限られたマイク素子においても，効率的に雑音を抑圧可能である．素子荷重係數(shù)の最適化には適応フィルタ理論が用いられる．ここでは，目的方位を歪ませないために「目的方位の利得を一定に保つ」という拘束條件のもとでフィルタの最適化を行う．拘束條件付きの最適化問題に帰著適応型アレー基本原理：拘束條件付きの最適化問題に帰著適応型アレーの構造AdaptiveFilterΣMicrophoneArrayOutputNoiseSpeechAdaptiveFilterAdaptiveFilter目的方位の利得は一定に保つ誤差信號→最小適応型アレーの構造AdaptiveΣMicrophoneAr適応型アレーの指向特性例1雑音數(shù)が少?殘響少の場合雑音に死角を形成することで雑音抑圧→減算型アレーを自動形成θ目的音雑音に死角をあてる適応型アレーの指向特性例1雑音數(shù)が少?殘響少の場合θ目的音雑適応型アレーの指向特性例2雑音數(shù)が少?殘響大の場合必ずしも雑音に死角を形成せず，雑音の殘響成分と併せてそれらの総和が0になるような指向特性を形成する．θ目的音雑音雑音の殘響＋－＋－適応型アレーの指向特性例2雑音數(shù)が少?殘響大の場合θ目的音雑適応型アレーの指向特性例3雑音數(shù)が大?殘響大の場合死角形成，殘響との打ち消しあい，低サイドローブによる抑圧，などを組み合わせて雑音を除去．θ目的音雑音2雑音1＋－適応型アレーの指向特性例3雑音數(shù)が大?殘響大の場合θ目的音雑適応型アレーの特徴利點加算?減算型よりも少數(shù)のマイク素子にて，効率的に雑音抑圧を行うことが出來る．目的音の存在しない時間が與えられれば，雑音方位を與えなくても環(huán)境に応じて雑音を最適に抑圧することが出來る．雑音の殘響成分が存在しても，それらの総和を最小化することにより雑音全體を除去．環(huán)境にあわせて加算?減算型などの中から最適なものが自動選択?組み合わされる．適応型アレーの特徴利點環(huán)境にあわせて加算?減算型などの中から適応型アレーの特徴（cont’d）問題點?課題素子數(shù)以上の死角を形成できない．つまり，素子數(shù)以上の雑音は抑圧不可能．目的音の無音區(qū)間情報が必要．雑音方位が幅を持っている場合や，室內殘響の影響が大きい場合には，抑圧性能が劣化する．拘束條件付の最小化問題に帰著→LMSアルゴリズムが使用できないので動的環(huán)境変化に対して逐次フィルタ更新不可能Griffith-Jim型適応アレーを用いることにより解決適応型アレーの特徴（cont’d）問題點?課題GriffitGriffith-Jim型適応アレーの構造ΣK-MicrophoneArrayOutputK-1chAdaptiveFilter目的方位信號成分を含まないK-1ch信號誤差信號→最小PhaseCompensation12Σ－＋＋－＋－主パス參照パスGriffith-Jim型適応アレーの構造ΣK-MicropGriffith-Jim型適応アレーの原理1主パスは単純な加算型アレーサイドローブ部分に雑音が混入する．一方，參照パスは…まず，隣あうアレー信號間で減算し，目的音成分を除去しておく（K-1chアレーに変換）．次に，それらをK-1ch適応フィルタに入力し，主パスとの減算を行う．主パス，參照パスの差を誤差信號と見なし，それを最小化するようにLMSアルゴリズムによってフィルタの最適化を行う．Griffith-Jim型適応アレーの原理1主パスは単純な加Griffith-Jim型適応アレーの原理2なぜ拘束條件付き問題にLMSが使えるのか?θ目的音（適応中は無音）サイドローブが雑音を受音するメインローブ主パスθ目的方位には死角主パスとなるべく同じサイドローブを構成參照パス主パスと參照パスの差を単純に最小化目的方位は無歪みのままサイドローブのみ最小化Griffith-Jim型適応アレーの原理2なぜ拘束條件付き適応型アレーによる音聲回復例雑音混合音聲GJ型適応アレーによる回復音聲4素子，4.2cm間隔…音聲雑音50°ブザー音適応型アレーによる音聲回復例雑音混合音聲4素子，4.2cmマイクロホンアレー処理の欠點音源の到來方位推定が必要適応のために無音區(qū)間の推定が必要素子位置の変動に対応できない素子誤差を事前に補正しておく必要があるマイクロホンアレーの問題點？マイクロホンアレー処理の欠點マイクロホンアレーの問題點？マイクロホンアレーの問題點（続き）遅延和型：素子係數(shù)により指向特性を制御適応型：雑音の到來方向に指向特性を適応θ目的音雑音も同時に拾ってしまうθ目的音を指定雑音のみを観測する時間が必要死角マイクロホンアレーの問題點（続き）遅延和型：素子係數(shù)により指ブラインド音源分離の登場BlindSourceSeparation(BSS)複數(shù)の音源信號が混合されて観測された場合、観測信號のみから音源信號を推定する技術目的音の方位?無音區(qū)間情報が不要マイク素子位置?特性情報も不要マイク特性誤差があっても頑健に動作する獨立成分分析（ICA）に基づくBSSJ.Cardoso,1989C.Jutten,1990（高次無相関化）P.Comon,1994（ICAという言葉を定義）A.Belletal.,1995（infomaxによる定式化）ブラインド音源分離の登場BlindSourceSepar獨立成分分析（ICA）とは何か？獨立な成分の抽出：複數(shù)の確率信號が混合された観測系列から，統(tǒng)計的に獨立な個々の確率過程を分解抽出する．特徴：獨立性は「無相関性」よりも厳しい尺度であり，確率信號同士の確率密度構造が問われる．→情報幾何學と呼ばれる→「獨立?無相関」であるが、「無相関?獨立」は必ずしも成り立たない．獨立成分分析（ICA）とは何か？獨立な成分の抽出：互いに獨立既知ICAに基づくBSSとは？Human2Human1Microphone1Microphone2おはようこんにちはObservedsignal1Observedsignal2Source2Source1音源信號を推定互いに獨立既知ICAに基づくBSSとは？Human2HuICAに基づくBSSの定式化線形混合過程混合行列音源信號観測信號分離過程分離信號分離行列獨立?コスト関數(shù)最適化ICAに基づくBSSの定式化線形混合過程混合行列音源信號観測ICA以外のBSS：BinaryMasking(BM)

s1(t)x2(t)x1(t)s2(t)ST-D