機器學習中,特徵學習(feature learning)或表徵學習(representation learning)[1]是學習一個特徵的技術的集合:將原始數據轉換成為能夠被機器學習來有效開發的一種形式。它避免了手動提取特徵的麻煩,允許計算機學習使用特徵的同時,也學習如何提取特徵:學習如何學習。

機器學習任務,例如分類問題,通常都要求輸入在數學上或者在計算上都非常便於處理,在這樣的前提下,特徵學習就應運而生了。然而,現實世界中的數據,例如圖片、影片,以及感測器的測量值都非常的複雜、冗長又多變,如何有效的提取出特徵並且將其表達出來成為了一個重要挑戰。傳統的手動提取特徵需要大量的人力並且依賴於非常專業的知識。同時,還不便於推廣。這就要求特徵學習技術的整體設計非常有效,自動化,並且易於推廣。

特徵學習可以被分為兩類:監督的和無監督的,類似於機器學習。

  • 在監督特徵學習中,被標記過的數據被當做特徵用來學習。例如神經網絡,多層感知器,(監督)字典學習。
  • 在無監督特徵學習中,未被標記過的數據被當做特徵用來學習。例如(無監督)字典學習,獨立成分分析自動編碼矩陣分解[2] ,各種聚類分析及其變形[3][4][5]

監督特徵學習

編輯

監督特徵學習就是從被標記的數據中學習特徵。大致有以下幾種方法。

監督字典學習

編輯

總體來說,字典學習是為了從輸入數據獲得一組的表徵元素,使每一個數據點可以(近似的)通過對表徵元素加權求和來重構。字典中的元素和權值可以通過最小化表徵誤差來得到。通過L1正則化可以讓權值變得稀疏(例,每一個數據點的表徵只有幾個非零的權值)。

監督字典學習利用輸入數據的結構和給定的標籤(輸出)來優化字典。例如,2009年Mairal等人提出的一種監督字典學習方案被應用在了分類問題上。這個方案的優化目標包括最小化分類誤差,表徵誤差,權值的1範數(L1正則化)和分類器參數的2範數。 有監督的字典學習可以被視為一個三層神經網絡(一層隱含層),第一層(輸入層)到第二層(隱含層)是表徵學習,第二層到第三層(輸出)是分類器的參數回歸。

神經網絡

編輯

神經網絡是通過多層由內部相連的節點組成的網絡的一個學習算法。它的命名是受到神經系統的啟發,它的每一個節點就像神經系統裏的神經元,而每一條邊就像一條突觸。神經網絡裏面的每一條邊都有對應的權值,而整個網絡則定義運算法則將輸入數據轉換成為輸出。神經網絡的網絡函數通過權值來刻畫輸入層跟輸出層之間的關係。通過適當的調整網絡函數,可以儘量最小化損耗的同時解決各種各樣的機器學習任務。

無監督特徵學習

編輯

κ-平均算法

編輯

主要成分分析

編輯

獨立成分分析

編輯

局部線性嵌入算法

編輯

無監督字典學習

編輯

另見

編輯

參考文獻

編輯
  1. ^ Y. Bengio; A. Courville; P. Vincent. Representation Learning: A Review and New Perspectives. IEEE Trans. PAMI, special issue Learning Deep Architectures. 2013, 35: 1798–1828. doi:10.1109/tpami.2013.50. 
  2. ^ Nathan Srebro; Jason D. M. Rennie; Tommi S. Jaakkola. Maximum-Margin Matrix Factorization. NIPS. 2004. 
  3. ^ 引用錯誤:沒有為名為coates2011的參考文獻提供內容
  4. ^ Csurka, Gabriella; Dance, Christopher C.; Fan, Lixin; Willamowski, Jutta; Bray, Cédric. Visual categorization with bags of keypoints (PDF). ECCV Workshop on Statistical Learning in Computer Vision. 2004 [2016-04-17]. (原始內容存檔 (PDF)於2021-03-08). 
  5. ^ Daniel Jurafsky; James H. Martin. Speech and Language Processing. Pearson Education International. 2009: 145–146.