本公開涉及基于加權(quán)訓(xùn)練數(shù)據(jù)生成頭部相關(guān)(hr)濾波器模型。

背景技術(shù)：

1、人類聽覺系統(tǒng)配有兩個(gè)耳朵，兩個(gè)耳朵采集向收聽者傳播的聲波。圖4示出了從由球坐標(biāo)系中的一對仰角和方位角指定的到達(dá)方向(doa)向收聽者傳播的聲波。在去向收聽者的傳播路徑上，每個(gè)聲波在到達(dá)我們的左耳膜和右耳膜之前與收聽者的上軀干、頭部、外耳和周圍物質(zhì)相互作用。這種相互作用導(dǎo)致到達(dá)左耳膜和右耳膜的波形在時(shí)間和頻譜上的變化，其中一些變化是doa相關(guān)的。人類聽覺系統(tǒng)已經(jīng)學(xué)會(huì)了解釋這些變化，從而推斷聲波本身以及收聽者自身所處的聲學(xué)環(huán)境的各種空間特性。

2、這種能力被稱為空間聽力，其涉及如何評估嵌入在雙耳信號(即，右耳道和左耳道中的聲音信號)中的空間線索，以推斷由聲音事件(例如，物理聲源)引起的聽覺事件的位置以及由物理環(huán)境(例如，小房間、鋪瓷磚的浴室、禮堂、洞穴等)導(dǎo)致的聲學(xué)特性。這種人類能力(空間聽力)轉(zhuǎn)而可以用于通過重新引入雙耳信號中的空間線索來創(chuàng)建空間音頻場景，從而產(chǎn)生對聲音的空間感知。

3、主要空間線索包括：1)角度相關(guān)線索：雙耳線索，即，耳間強(qiáng)度差(ild)和耳間時(shí)間差(itd)，以及單耳(或頻譜)線索；2)距離相關(guān)線索：強(qiáng)度和直接與混響(d/r)能量比。波形的短時(shí)間doa相關(guān)時(shí)間和頻譜變化(1-5毫秒)的數(shù)學(xué)表示是所謂的hr濾波器。這些濾波器的頻域(fd)表示是所謂的頭部相關(guān)傳遞函數(shù)(hrtf)，并且時(shí)域(td)表示是頭部相關(guān)脈沖響應(yīng)(hrir)。圖19a至19e示出了采集itd和向收聽者傳播的聲波的頻譜線索的hr濾波器的示例。這四個(gè)圖示出了在0度仰角和40度方位角處獲取的一對hr濾波器的時(shí)域和頻域響應(yīng)(數(shù)據(jù)來自cipic數(shù)據(jù)庫：主題id?28。數(shù)據(jù)庫是公開可用的，并且可以從鏈接https://www.ece.ucdavis.edu/cipic/spatial-sound/hrtf-data/訪問)。

4、hr濾波器通常根據(jù)聲學(xué)測量被估計(jì)為線性動(dòng)態(tài)系統(tǒng)的脈沖響應(yīng)，該線性動(dòng)態(tài)系統(tǒng)將原始聲音信號(輸入信號)轉(zhuǎn)換為左耳信號和右耳信號(輸出信號)，該左耳信號和右耳信號可以在收聽對象的耳道內(nèi)在距收聽對象(例如，人工頭部、人體模型或人類對象)恒定半徑的球形表面上的仰角和方位角的預(yù)定義集合處被測量。

5、通過測量或通過數(shù)字模擬估計(jì)的hr濾波器通常被提供為有限脈沖響應(yīng)(fir)濾波器，并且可以直接以該格式被使用。為了實(shí)現(xiàn)高效的雙耳渲染，一對hrtf可以被轉(zhuǎn)換為耳間傳遞函數(shù)(itf)或經(jīng)修改的itf，以防止突發(fā)的頻譜峰。備選地，hrtf可以通過參數(shù)表示來描述。此類參數(shù)化的hrtf易于與參數(shù)化多信道音頻編碼器(例如，動(dòng)態(tài)圖片專家組(mpeg)環(huán)繞聲及空間音頻對象編碼(saoc))集成。

6、渲染空間音頻信號以在空間中的任意位置處提供聲音的逼真空間感知需要在對應(yīng)位置處的一對hr濾波器，并且因此可以在二維(2d)球體上的精細(xì)采樣位置處提供hr濾波器的集合。注意，在本公開中，2d球體意味著可以圍繞收聽者的虛擬三維(3d)球的表面或邊界。最小可聽角度(maa)表征人類聽覺系統(tǒng)對聲音事件的角度位移的靈敏度。

7、關(guān)于方位角中的定位，已經(jīng)觀察到在收聽者的前面和后面(約1度)maa最小，并且對于寬帶噪聲突發(fā)的橫向聲源(約10度)maa則大得多。中間平面中的maa隨著仰角而增加。利用寬帶噪聲突發(fā)已經(jīng)觀察到平均仰角小至4度的maa。存在一些在空間中密集采樣的公開可用的hr濾波器數(shù)據(jù)庫，諸如sadie數(shù)據(jù)庫、cipic數(shù)據(jù)庫。然而，這些數(shù)據(jù)庫中沒有一個(gè)完全滿足maa要求，特別是關(guān)于仰角采樣。盡管人工頭部諾音曼(neumann)ku100和kemar人體模型的sadie數(shù)據(jù)集包含多于8000個(gè)測量，但是在-15度到15度之間的仰角上的采樣分辨率是15度，而根據(jù)maa研究需要4度的采樣分辨率。不可避免地，需要hr濾波器的角度插值，使得聲源可以在尚未測量實(shí)際濾波器的位置處被渲染。

8、為了獲取用于實(shí)際濾波器未被測量的位置的hr濾波器，可以使用hr濾波器模型、對hr濾波器進(jìn)行建模。該hr濾波器模型可以是仰角和方位角的函數(shù)，并且可以被配置為計(jì)算與特定仰角和特定方位角對應(yīng)的hr濾波器。在pct/ep2022/074787、wo?2022/223132、wo2022/008549、wo?2021/254652和wo?2021/074294中公開了對hr濾波器進(jìn)行建模，從而生成hr濾波器模型的方法。

技術(shù)實(shí)現(xiàn)思路

1、目前存在某些挑戰(zhàn)。例如，已經(jīng)觀察到，hr濾波器模型的建模準(zhǔn)確度(即，其指示hr濾波器模型對多個(gè)hr濾波器的建模有多好)可能不滿足那些區(qū)域(例如，2d球體的區(qū)域或具有相對低(或最低)hr濾波器密度的仰角-方位角平面的區(qū)域)中的期望準(zhǔn)確度水平。這些區(qū)域通常對應(yīng)于2d球體或仰角-方位角平面中具有仰角低于-60度的空間區(qū)域和仰角高于60度的空間區(qū)域。

2、由于無法滿足期望的準(zhǔn)確度水平，在使用hr濾波器模型渲染的那些空間區(qū)域中，與hr濾波器的建模準(zhǔn)確度高的其他空間區(qū)域相比，經(jīng)渲染的音頻源的主觀質(zhì)量要低得多。

3、對于那些區(qū)域中的hr濾波器模型的不良建模準(zhǔn)確度的一個(gè)解釋是，與具有高采樣密度的區(qū)域相比，那些區(qū)域?qū)偨Ｕ`差測量的貢獻(xiàn)沒有那么大，因?yàn)槟切﹨^(qū)域中的樣本點(diǎn)的數(shù)目遠(yuǎn)少于具有高采樣密度的區(qū)域中的樣本點(diǎn)的數(shù)目。類似地，離樣本點(diǎn)的球體的赤道(朝向極點(diǎn))更遠(yuǎn)的區(qū)域?qū)偨Ｕ`差度量的貢獻(xiàn)更少，即使球體上的密度相等。因此，具有低采樣密度的區(qū)域和/或由相對較少數(shù)目的樣本點(diǎn)表示的區(qū)域以較低的準(zhǔn)確度被建模。

4、因此，在本公開的一些實(shí)施例中，通過對區(qū)域中的樣本點(diǎn)進(jìn)行加權(quán)(例如，對2d球體的區(qū)域或具有相對低密度的hr濾波器的仰角-方位角平面的區(qū)域賦予比具有相對高密度的hr濾波器的區(qū)域中的樣本點(diǎn)更多的權(quán)重)，可以提高h(yuǎn)r濾波器模型的建模準(zhǔn)確度，同時(shí)最小化其他區(qū)域中的建模誤差增加。

5、更具體地，在本公開的一些實(shí)施例的一個(gè)方面，提供了一種用于生成用于頭部相關(guān)(hr)濾波器的集合的hr濾波器模型的方法。該方法包括獲取hr濾波器數(shù)據(jù)，該hr濾波器數(shù)據(jù)指示與多個(gè)hr濾波器相關(guān)聯(lián)的多個(gè)樣本點(diǎn)，其中多個(gè)樣本點(diǎn)包括第一樣本點(diǎn)。該方法還包括計(jì)算針對第一樣本點(diǎn)的第一權(quán)重值，其中第一權(quán)重值基于包含第一樣本點(diǎn)的區(qū)域內(nèi)的樣本點(diǎn)的密度而變化。該方法還包括基于所計(jì)算的第一權(quán)重值生成hr濾波器模型。

6、在另一方面，提供了一種計(jì)算機(jī)程序，包括指令，該指令在由處理電路系統(tǒng)執(zhí)行時(shí)，使處理電路系統(tǒng)執(zhí)行上述實(shí)施例中任一項(xiàng)的方法。

7、在另一方面，提供了一種載體，包含上述實(shí)施例的計(jì)算機(jī)程序，其中載體是以下一項(xiàng)：電子信號、光信號、無線電信號、計(jì)算機(jī)可讀存儲介質(zhì)。

8、在另一方面，提供了一種用于生成用于頭部相關(guān)hr濾波器的集合的hr濾波器模型的裝置。該裝置被配置為獲取hr濾波器數(shù)據(jù)，該hr濾波器數(shù)據(jù)指示與多個(gè)hr濾波器相關(guān)聯(lián)的多個(gè)樣本點(diǎn)，其中多個(gè)樣本點(diǎn)包括第一樣本點(diǎn)。該裝置還被配置為計(jì)算針對第一樣本點(diǎn)的第一權(quán)重值，其中第一權(quán)重值基于包含第一樣本點(diǎn)的區(qū)域內(nèi)的樣本點(diǎn)的密度而變化。該裝置還被配置為基于所計(jì)算的第一權(quán)重值生成hr濾波器模型。

9、在另一方面，提供了一種裝置，包括：處理電路系統(tǒng)；以及存儲器，該存儲器包含由處理電路系統(tǒng)可執(zhí)行的指令，由此該裝置可操作以執(zhí)行至少一個(gè)上述實(shí)施例的方法。

10、本公開的一些實(shí)施例通過改進(jìn)具有相對低密度的hr濾波器的那些區(qū)域中的建模準(zhǔn)確度同時(shí)維持其他空間區(qū)域中的低建模誤差來在不均勻分布的hr濾波器的集合上提供更一致的建模性能。