非參數回歸指的是一類回歸分析,其中的預測子不是預先確定的,而根據從數據中獲得的信息。也就是說,預測子與因變量之間的關係不會假定為參數形式。非參數回歸需要更大的樣本量,因為數據必須提供參數模型結構和模型估計值。

定義

編輯

非參數回歸中,有隨機變量  ,並假設其關係如下:

 

其中 是某個確定函數。線性回歸也是非參數回歸的一種, 假定為仿射。 有些學者使用了稍強的加性噪聲假設:

 

其中隨機變量 是「噪聲項」,均值為0. 若不假設 屬於特定的函數參數族,就不可能得到 的無偏估計,但大多數估計量在適當條件下都是一致的。

通用非參數回歸算法列表

編輯

這是非參數回歸模型的非詳盡列表。

例子

編輯

高斯過程回歸/克里金法

編輯

高斯過程回歸也稱克里金法,假設回歸曲線的先驗為常態分布,並假設誤差遵循多元常態分布,回歸曲線由後驗模式估計。正態先驗可能取決於未知的超參數,可用經驗貝葉斯方法估計。 超參數通常指定一個先驗協方差核。若核也要從數據中進行非參數推斷,則可使用臨界濾波器

平滑樣條法可解釋為高斯過程貨櫃的後驗模式。

核回歸

編輯
 
使用高斯核平滑器對小數據集(黑點)進行非參數回歸擬合(紅線)。粉色陰影展示了核函數,以獲得給定x值的y估計值。核函數定義了在得出目標點估計值時,給每個數據點的權。

核回歸用核函數卷積數據點位置,從有限的數據點中估計連續因變量。近似地說,核函數說明了「模糊」數據點影響的方法,以便用它們的值預測附近位置的值。

回歸樹

編輯

決策樹學習算法可以從數據中學習,以預測因變量。[2]雖然最初的分類回歸樹(CART)公式僅適用於預測單變量數據,該框架也可用於預測多變量數據,包括時間序列。[3]

另見

編輯

參考文獻

編輯
  1. ^ Statistical and neural network techniques for nonparametric regression by Vladimir Cherkassky, Filip Mulier https://link.springer.com/chapter/10.1007/978-1-4612-2660-4_39頁面存檔備份,存於網際網路檔案館
  2. ^ Breiman, Leo; Friedman, J. H.; Olshen, R. A.; Stone, C. J. Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. 1984. ISBN 978-0-412-04841-8. 
  3. ^ Segal, M.R. Tree-structured methods for longitudinal data. Journal of the American Statistical Association (American Statistical Association, Taylor & Francis). 1992, 87 (418): 407–418. JSTOR 2290271. doi:10.2307/2290271. 

閱讀更多

編輯

外部連結

編輯