<sup id="k62se"></sup>
<xmp id="k62se"><option id="k62se"></option>
<object id="k62se"><tr id="k62se"></tr></object><rt id="k62se"><wbr id="k62se"></wbr></rt>
<tt id="k62se"></tt>
<bdo id="k62se"><label id="k62se"></label></bdo>
  • <menu id="k62se"><sup id="k62se"></sup></menu>
    安防峰會
    您正在使用IE低版瀏覽器,為了您的雷鋒網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
    人工智能 正文
    發私信給雷鋒字幕組
    發送

    0

    如何讓機器像人一樣聽聲音

    本文作者:雷鋒字幕組 2019-03-11 10:16
    導語:通過對人體系統進行建模,人工智能技術已經取得了重大突破。

    如何讓機器像人一樣聽聲音

    本文為 AI 研習社編譯的技術博客,原標題 :

    Human-Like Machine Hearing With AI (1/3)

    作者 | Daniel Rothmann

    翻譯 | 悟空空、Glimmer           

    校對 | 鄧普斯?杰弗        審核 | 醬番梨       整理 | 立魚王

    原文鏈接:

    https://towardsdatascience.com/human-like-machine-hearing-with-ai-1-3-a5713af6e2f8


    如何讓機器像人一樣聽聲音圖片來源:Jonathan Gross

    通過對人體系統進行建模,人工智能技術已經取得了重大突破。盡管人工神經網絡是數學模型,僅能粗糙地模擬人類神經元的實際運作方式,但它們在解決復雜而模糊的現實問題中的應用卻是深遠的。此外,在神經網絡中模擬建模人腦的結構深度,為學習到數據背后更有意義的內涵開辟了廣泛的可能性。

    如果您錯過了其他文章,請點擊下面鏈接以了解該技術的最新發展。

    背景:人工智能在音頻處理方面的前景

    評論:用于音頻處理的卷積神經網絡(CNNs)和頻譜圖有什么問題?

    第二部分:如何讓機器像人一樣聽聲音(2/3)

    在圖片識別和處理中,來自視覺系統卷積神經網絡(CNNs)中的復雜且空間不變的神經元的靈感,也對我們的技術產生了很大的改進。如果您對將圖片識別技術應用于音頻頻譜圖感興趣,請查看我的文章“用于音頻處理的卷積神經網絡(CNNs)和頻譜圖有什么問題?”

    只要人類的感知能力超過機器,我們就可以通過理解人類系統的原理來學習獲益。在感知任務方面,人類非常熟練,且在機器聽覺領域,人類的理解能力和當前的AI技術之間的對比尤為明顯。考慮到在視覺處理領域中受到人類系統啟發所帶來的好處,我建議我們可以通過神經網絡應用于視覺領域相似的過程,運用在機器聽覺領域一定會獲益。

    如何讓機器像人一樣聽聲音

    本文的流程框架       

    在本系列文章中,我將詳細介紹使用AI進行實時音頻信號處理的一個框架,該框架是Aarhus大學和智能揚聲器制造商Dynaudio A/S合作開發的。它的靈感主要來自于認知科學, 認知科學試圖將生物學、神經科學、心理學和哲學的觀點結合起來,以更好地理解我們的認知能力。


      認知聲音屬性

    也許關于聲音最抽象方式,在于我們作為人類如何理解它。雖然信號處理問題的解決方案必須在強度、頻譜和時間這些低級別屬性參數的范圍內進行處理,但最終目標通常是可認知的:以我們對聲音包含的意義認知方式轉換信號。

    例如,如果希望以編程方式改變一段語音說話者的性別,則必須在定義其較低級別特征之前,以更有意義的術語來描述該問題。說話者的性別可以被認為是由多種因素構成的認知屬性:語音的音高和音色、發音的差異、單詞和語言選擇的差異,以及對這些屬性如何與性別聯系起來的理解。

    這些參數可以用較低級別的特征來描述,例如強度、頻譜和時間這些屬性,但只有在更復雜的組合中,它們才能形成高級別的意義表示。這形成了音頻特征的層次結構,從中可以推斷出聲音的“含義”。人類聲音的認知屬性可以認為由聲音的強度、頻譜和統計特性的時間序列的組合模式來表示。

    如何讓機器像人一樣聽聲音

    可用于從數字音頻中獲得含義的功能層次。

    神經網絡(NNs)非常擅長提取抽象的數據表示,因此非常適合檢測聲音中的認知屬性。為了構建一個基于此目的的系統,讓我們先來研究聲音在人類聽覺器官中的表現方式,我們可以用它來激發通過神經網絡來處理聲音意義的表示。


      耳蝸表示

    人類聽覺始于外耳,外耳首先由耳郭組成。耳郭充當聲音頻譜預處理的一種形式,其中輸入聲音根據其相對于收聽者的方向而被修改。然后聲音通過耳郭中的開口進入耳道,隨后通過共振這種放大頻率(范圍為~1-6kHz)的方式,來改變輸入聲音的頻譜特性[1]。

    如何讓機器像人一樣聽聲音

     人類聽覺系統的圖解。

    當聲波到達耳道末端時,它們會激發耳膜,耳膜上附著了聽小骨(人體中的最小骨頭)。這些骨頭將壓力從耳道傳遞到內耳充滿液體的耳蝸內[1]。耳蝸對為神經網絡(NNs)引導聲音的意義表示起很大作用,因為這是負責將聲振動轉換成人類神經活動的器官。

    它是一個盤管,沿其長度上被兩個薄膜分開,即賴斯納氏膜和基底膜。沿著耳蝸的長度上, 有一排約3500個內毛細胞[1]。當壓力進入耳蝸時,它的兩個膜被壓下。基底膜的底部較窄且較硬,但在其頂點處較寬且松散,這使得沿其長度的每個位置在特定頻率下的相應更強烈。

    簡單來說,基底膜可以被認為是一組連續的、和薄膜一樣長度的帶通濾波器,作用是把聲音分離到他們的譜分量。

    如何讓機器像人一樣聽聲音

    人類耳蝸的圖解

    這是人類將聲壓轉變為神經活動的最基本的機制。因此,我們有理由假設,在用人工智能建立聲音感知模型的時候,聲音的譜表示比較有利。因為基底膜上的頻率反應是以指數形式變化的,對數化的頻率表示可能是最有效的。一個這樣的頻率表示可以用gammatone濾波器組產生。這些濾波器被普遍應用于聽覺系統的譜濾波建模中,因為他們能夠估計產生自聽覺神經纖維的人類聽覺濾波器的脈沖響應,這是對一種叫做“revcor”函數的白噪聲的回應。

    如何讓機器像人一樣聽聲音

    簡化的人類譜轉導和數字化譜轉導的對比

    耳蝸有大約3500個內毛細胞,且人類能夠檢測到長度在2-5ms的聲音中的空隙,因此使用3500個分為2ms的窗口的gammatone濾波器進行譜分解看起來是用機器實現類人譜表示的最好的參數。然而,在實際場景中,我認為更少的譜分解也能在大多數分析和處理任務中達到理想的效果,同時在計算角度更為可行。

    一些聽覺分析的軟件庫在線可用。一個重要的例子就是Gammatone Filterbank Toolkit by Jason Heeris.它不僅提供了可調節的濾波器,也提供了用gammatone濾波器進行聲音信號類譜分析的工具。


      神經編碼

    在神經活動從耳蝸移動到聽覺神經和上升聽覺通路的同時,一些工序在它到達聽覺皮層之前在腦干核執行。

    這些工序建立了一個表示刺激和感知之間相互作用的神經編碼。更多的關于這些細胞核內具體的工作的知識仍然是基于猜測或未知的,所以我將在他們如何發揮作用的高層次來介紹。

    如何讓機器像人一樣聽聲音

    圖:簡化的上升聽覺通路(一只耳朵)和設想功能的圖解。

    人類內在連接著的每只耳朵都有一套這樣的核,但是簡單起見,我只闡述一只耳朵中的流程。耳蝸核是為從聽覺神經到來的神經信號編碼的第一步。它包含許多有著不同特性,能夠完成聲音特征的初處理的神經元。這些神經元中,一部分指向和聲源定位相關的上橄欖體,另一部分指向外側丘系核和下丘,通常與更高級的特征相關。

    J.J.Eggermont 在“Between sound and perception: reviewing the search for a neural code” 中如下詳細地闡述了從耳蝸核開始的信息流動過程:“腹側耳蝸核(VCN)提取并增強了在聽覺神經纖維的放電模式中多路復用的頻率和時間信息,并且通過兩種主要的通路來發送結果:聲源定位路徑和聲紋鑒別路徑。VCN的前部(AVCN)主要在聲源定位方面發揮作用,而且它的兩種bushy 細胞為上橄欖核(SOC)提供了輸入。在上橄欖核中耳間時間差(ITDs)和耳間水平差(ILDs)對于每種頻率分別映射。

    聲紋鑒別路徑攜帶的信息是像元音一樣的復譜的一種表示。這種表示主要在腹側耳蝸核中由特殊種類的單元創造,這些單元也被叫做”chopper"神經元。聽覺編碼的細節很難被詳細說明,但是他們告訴我們,到來的頻譜的“編碼”形式可以提高對低層次聲音特性的理解,同時使在神經網絡中處理聲音的代價更小。


       譜聲音嵌入

    我們可以應用非監督自動編碼器神經網絡結構作為學習和復雜譜相關的普遍特性的一種嘗試。像詞嵌入一樣,在表示選中特征(或一種更嚴格濃縮的含義)頻譜中發現共性是可能的。

    一個自動編碼器經訓練能夠將輸入編碼為一種壓縮的表示法,這種表示法能重建回和輸入有高相似度的形式。這意味著一個自動編碼器的目標輸出就是輸入本身。如果一個輸入能夠在被重建的同時沒有很大的損失,神經網絡就會學習在這種包含足夠多有意義的信息的壓縮內在表示法下編碼它。這種內在表示法也就是我們所說的嵌入。自動編碼器的編碼部分可以從解碼器解耦,來為其他應用生成嵌入。

    如何讓機器像人一樣聽聲音

    譜聲音嵌入的自動編碼器結構圖解

    嵌入還有一個優點,就是他們通常比原始數據有著更低的維度。舉個例子,一個自動編碼器可以把有著3500個值的頻譜壓縮為一個長度為500的向量。簡單地說,這樣的向量的每一個值都可以描述像元音、聲震粗糙度或調和性的高層次的譜特征——它們僅僅是例子,事實上一個自動編碼器生成的統計上的共同特征的含義通常很難在原始語言中標記。

    在下一個文章中,我們會拓展這個想法,采用新增內存來為聲音頻譜的時間產物生成嵌入。

    這是我“用人工智能進行聲音處理”的系列文章的第一部分。接下來,我們會討論聲音中的感覺記憶和時序依賴的核心概念。

    參考文獻:

    [1] C. J. Plack, The Sense of Hearing, 2nd ed. Psychology Press, 2014.

    [2] S. J. Elliott and C. A. Shera, “The cochlea as a smart structure,” Smart Mater. Struct., vol. 21, no. 6, p. 64001, Jun. 2012.

    [3] A.M. Darling, “Properties and implementation of the gammatone filter: A tutorial”, Speech hearing and language, University College London, 1991.

    [4] J. J. Eggermont, “Between sound and perception: reviewing the search for a neural code.,” Hear. Res., vol. 157, no. 1–2, pp. 1–42, Jul. 2001.

    [5] T. P. Lillicrap et al., Learning Deep Architectures for AI, vol. 2, no. 1. 2015.

    想要繼續查看該篇文章相關鏈接和參考文獻?

    點擊【如何讓機器像人一樣聽聲音】或長按下方地址/二維碼:

    https://ai.yanxishe.com/page/TextTranslation/1424

    AI研習社今日推薦:雷鋒網雷鋒網雷鋒網(公眾號:雷鋒網)

    卡耐基梅隆大學 2019 春季《神經網絡自然語言處理》是CMU語言技術學院和計算機學院聯合開課,主要內容是教學生如何用神經網絡做自然語言處理。神經網絡對于語言建模任務而言,可以稱得上是提供了一種強大的新工具,與此同時,神經網絡能夠改進諸多任務中的最新技術,將過去不容易解決的問題變得輕松簡單。

    加入小組免費觀看視頻:https://ai.yanxishe.com/page/groupDetail/33

    如何讓機器像人一樣聽聲音


    雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知

    分享:
    相關文章

    文章點評:

    表情
    最新文章
    請填寫申請人資料
    姓名
    電話
    郵箱
    微信號
    作品鏈接
    個人簡介
    為了您的賬戶安全,請驗證郵箱
    您的郵箱還未驗證,完成可獲20積分喲!
    請驗證您的郵箱
    立即驗證
    完善賬號信息
    您的賬號已經綁定,現在您可以設置密碼以方便用郵箱登錄
    立即設置 以后再說
    江苏11选5投注