用sklearn進(jìn)行降維的七種方法
在實(shí)際的應(yīng)用中，有時(shí)候我們會(huì)遇到數(shù)據(jù)的維度太少，我們需要新生成新的維度，可以用我們之前的分享（ 如何自動(dòng)化進(jìn)行特征工程 ）；有時(shí)候維度太多，這時(shí)候我們就需要降維了。降維的方法有許多，我們這里介紹了sklearn中介紹的7種，供大家學(xué)習(xí)和收藏。
主成分分析（PCA）用于將多維的數(shù)據(jù)集分解為一組具有最大方差的連續(xù)正交分量。在sklearn這個(gè)包中，PCA是一個(gè)transformer對(duì)象，使用fit方法可以選擇前n個(gè)主成分，并且用于投射到新的數(shù)據(jù)中。
PCA有兩種實(shí)現(xiàn)方式，一種是特征值分解去實(shí)現(xiàn)，一種是奇異值分解去實(shí)現(xiàn)。特征值分解是一個(gè)提取矩陣特征很不錯(cuò)的方法，但是它只是對(duì)方陣而言的，如果不使用SVD，PCA只會(huì)尋找每個(gè)特征的中心，但并不會(huì)對(duì)數(shù)據(jù)進(jìn)行縮放（scaled）。使用參數(shù)whiten=True ，可以將數(shù)據(jù)投射到奇異空間中，并且將每個(gè)組分縮放到方差為1，這個(gè)對(duì)于后續(xù)分析中，假設(shè)每個(gè)特征是isotropy 是很有幫助的，例如SVM和Kmeans聚類。
PCA不僅僅是對(duì)高維數(shù)據(jù)進(jìn)行降維，更重要的是經(jīng)過降維去除了噪聲，發(fā)現(xiàn)了數(shù)據(jù)中的模式。PCA把原先的n個(gè)特征用數(shù)目更少的m個(gè)特征取代，新特征是舊特征的線性組合，這些線性組合最大化樣本方差，盡量使新的m個(gè)特征互不相關(guān)。
SVD是一種矩陣分解法，把一個(gè)大矩陣分解成易于處理的形式，這種形式可能是兩個(gè)或多個(gè)矩陣的乘積。
參數(shù)
例子2：獲取每個(gè)主成分與特征的關(guān)系
PCA雖然很有用，但是需要將數(shù)據(jù)全部都存入內(nèi)存，因此當(dāng)當(dāng)要分解的數(shù)據(jù)集太大，會(huì)導(dǎo)致內(nèi)存很大。這時(shí)候，增量主成分分析（IPCA）通常用作主成分分析（PCA）的替代，可以通過部分計(jì)算的方式，獲得跟PCA一樣的結(jié)果。
IPCA使用與輸入數(shù)據(jù)樣本數(shù)無關(guān)的內(nèi)存量為輸入數(shù)據(jù)建立低秩近似。它仍然依賴于輸入數(shù)據(jù)功能，但更改批量大小可以控制內(nèi)存使用量。
該函數(shù)，增加了一個(gè)batch_size的參數(shù)，用來控制批次，其余都一樣，至此不再贅述。
實(shí)例
對(duì)于大型矩陣的分解，我們往往會(huì)想到用SVD算法。然而當(dāng)矩陣的維數(shù)與奇異值個(gè)數(shù)k上升到一定程度時(shí)，SVD分解法往往因?yàn)閮?nèi)存溢出而失敗。因此，Randomized SVD算法，相比于SVD，它更能適應(yīng)大型矩陣分解的要求，且速度更快。
此外，在某些場(chǎng)景下，我們期望丟掉某些lower sigular values，來達(dá)到減少噪音，保留盡可能多的方差，從而達(dá)到更好的預(yù)測(cè)效果。比如人臉的識(shí)別，如果是64X64的像素，那么整個(gè)維度有4096個(gè)。我們利用這個(gè)方法，可以保留重要的維度，從而利于后續(xù)的分析。
使用 svd_solver='randomized' 可以實(shí)現(xiàn)隨機(jī)化的SVD，來去掉部分的奇異矩陣。
主成分分析（Principal Components Analysis, PCA）適用于數(shù)據(jù)的線性降維。而核主成分分析（Kernel PCA，KPCA）可實(shí)現(xiàn)數(shù)據(jù)的非線性降維，用于處理線性不可分的數(shù)據(jù)集。kernel的選擇有 {'linear', 'poly', 'rbf', 'sigmoid', 'cosine', 'precomputed'}，默認(rèn)是'linear'。
詳細(xì)說明見官方說明，與普通的PCA差不多。
SparsePCA 期望找到一組可以最優(yōu)地重構(gòu)數(shù)據(jù)的稀疏主成分。稀疏性的大小由參數(shù)alpha給出的L1懲罰系數(shù)來控制。Mini-batch sparse PCA是sparsePCA的變種，提高了速度，但是降低了精度。
主成分分析（PCA）的缺點(diǎn)是，該方法提取的成分是一種密集表達(dá)式，即用原始變量的線性組合表示時(shí)，它們的系數(shù)是非零的。這可能會(huì)使解釋模型變得困難。在許多情況下，真實(shí)的基礎(chǔ)分量可以更自然地想象為稀疏向量;例如，在人臉識(shí)別中，主成分會(huì)只包含部分的圖像，映射到人臉的某些部分。稀疏主成分產(chǎn)生了一種更簡(jiǎn)潔的、可解釋的表示，清楚地強(qiáng)調(diào)是哪些原始特征導(dǎo)致了樣本之間的差異。
通過調(diào)節(jié)alpha來調(diào)整懲罰度，alpha越大，越導(dǎo)致許多系數(shù)為0。
TruncatedSVD是普通SVD的一個(gè)變種，只計(jì)算用戶指定的前K個(gè)奇異值。TSVD通常用于語義分析中，是LSA的其中的一部分，可以解決一詞多義和一義多詞的問題。
LSA潛在語義分析的目的，就是要找出詞（terms）在文檔和查詢中真正的含義，也就是潛在語義，從而解決上節(jié)所描述的問題。具體說來就是對(duì)一個(gè)大型的文檔集合使用一個(gè)合理的維度建模，并將詞和文檔都表示到該空間，比如有2000個(gè)文檔，包含7000個(gè)索引詞，LSA使用一個(gè)維度為100的向量空間將文檔和詞表示到該空間，進(jìn)而在該空間進(jìn)行信息檢索。而將文檔表示到此空間的過程就是SVD奇異值分解和降維的過程。降維是LSA分析中最重要的一步，通過降維，去除了文檔中的“噪音”，也就是無關(guān)信息（比如詞的誤用或不相關(guān)的詞偶爾出現(xiàn)在一起），語義結(jié)構(gòu)逐漸呈現(xiàn)。相比傳統(tǒng)向量空間，潛在語義空間的維度更小，語義關(guān)系更明確。
使用例子如下：
用事先預(yù)定義好的字典來對(duì)矩陣進(jìn)行稀疏化編碼，達(dá)到降維和簡(jiǎn)化的目的。就像人類的所有語言都是由單詞組成一樣，因此使用已知的詞典可以減少維度；其次，稀疏化可以減少計(jì)算的成本，讓后續(xù)的計(jì)算更快。
這個(gè)對(duì)象沒有fit的方法，transformation方法會(huì)將數(shù)據(jù)表示為盡可能少的字典原子的線性組合。可以用transform_method來控制初始化參數(shù)，有以下幾種：
使用的函數(shù)為sklearn.decomposition.DictionaryLearning，會(huì)找到一個(gè)可以將fitted data足夠好稀疏化的字典。
將數(shù)據(jù)表示為一個(gè)overcomplete的字典這個(gè)過程，同大腦處理數(shù)據(jù)的過程類似。這個(gè)方法在圖像補(bǔ)丁的字典學(xué)習(xí)已被證明在諸如圖像完成、修復(fù)和去噪以及監(jiān)督識(shí)別任務(wù)的圖像處理任務(wù)中給出良好的結(jié)果。
使用函數(shù)為sklearn.decomposition.MiniBatchDictionaryLearning，是一種快速的，但是精確度降低的版本，適應(yīng)于大數(shù)據(jù)集合。
默認(rèn)情況下，MiniBatchDictionaryLearning將數(shù)據(jù)分成小批量，并通過在指定次數(shù)的迭代中循環(huán)使用小批量，以在線方式進(jìn)行優(yōu)化。但是，目前它沒有退出迭代的停止條件。也可以用partial_fit來實(shí)現(xiàn)小批次的fit。
從變量中提取共性因子。
因子分析要求原有變量間具有較強(qiáng)的相關(guān)性，否則，因子分析無法提取變量間的共性特征，如果相關(guān)系數(shù)小于0.3，則變量間的共線性較小，不適合因子分析；因子分析得到因子和原變量的關(guān)系，因此能夠?qū)σ蜃舆M(jìn)行解釋。
因子分析可以產(chǎn)生與 PCA 相似的特征（載荷矩陣的列）。不過，不能對(duì)這些特征做出任何一般性的說明（例如他們是否正交）。
使用的函數(shù)為sklearn.decomposition.FactorAnalysis。
使用的函數(shù)為sklearn.decomposition.FastICA，ICA可以提取出一系列的主成分，彼此最大的獨(dú)立。因此，ICA一般不用于降維，而用于區(qū)分疊加信號(hào)。ICA不考慮noise，為了使模型正確，必須使用whitening，可以使用whiten這個(gè)參數(shù)。
ICA 通常用于分離混合信號(hào)（稱為盲源分離的問題），也可以作為一種非線性降維方法，可以找到具有一些稀疏性的特征。
主成分分析假設(shè)源信號(hào)間彼此非相關(guān)，獨(dú)立成分分析假設(shè)源信號(hào)間彼此獨(dú)立。
主成分分析認(rèn)為主元之間彼此正交，樣本呈高斯分布；獨(dú)立成分分析則不要求樣本呈高斯分布。
非負(fù)矩陣分解，顧名思義就是，將非負(fù)的大矩陣分解成兩個(gè)非負(fù)的小矩陣。在數(shù)據(jù)矩陣不包含負(fù)值的情況下，應(yīng)用NMF而不是PCA或其變體。
NMF可以產(chǎn)生可以代表數(shù)據(jù)的主成分，從而可以來解釋整個(gè)模型。
參數(shù)init，可以用來選擇初始化的方法，不同的方法對(duì)結(jié)果會(huì)有不同的表現(xiàn)。
在PCA處理中，假使將特征降維為600個(gè)，那么降維后的每個(gè)人臉都包含了600個(gè)特征（所以我們看到降維后的人臉有種“伏地魔”的感覺 ，這是因?yàn)榻稻S處理相當(dāng)于刪去了部分細(xì)節(jié)特征，導(dǎo)致一部分信息丟失，在圖片中最直觀的體現(xiàn)就是變模糊）。而在NMF的處理中，這1000個(gè)特征相當(dāng)于是被分離了。相當(dāng)于，一張人臉是由鼻子、耳朵等這些獨(dú)立的特征疊加出來的。
LDA是文檔主題生成模型，對(duì)離散數(shù)據(jù)集（如文本語料庫）的集合的生成概率模型。它也是一個(gè)主題模型，用于從文檔集合中發(fā)現(xiàn)抽象主題。LDA是一種非監(jiān)督機(jī)器學(xué)習(xí)技術(shù)，可以用來識(shí)別大規(guī)模文檔集（document collection）或語料庫（corpus）中潛藏的主題信息。
sklearn.decomposition.LatentDirichletAllocation是用于進(jìn)行LDA的函數(shù)。
1、 https://www.jianshu.com/p/1adef2d6dd88
2、 https://www.jianshu.com/p/e574e91070ad
3、 https://scikit-learn.org/stable/modules/decomposition.html#decompositions
4、 https://shankarmsy.github.io/posts/pca-sklearn.html
5、 https://mp.weixin.qq.com/s/Tl9ssjmGdeyNrNuIReo1aw
6、 https://www.cnblogs.com/eczhou/p/5433856.html
7、 https://scikit-learn.org/stable/auto_examples/applications/plot_face_recognition.html#sphx-glr-auto-examples-applications-plot-face-recognition-py
8、 https://blog.csdn.net/fkyyly/article/details/84665361 LSA(Latent semantic analysis)
9、 https://blog.csdn.net/fjssharpsword/article/details/74964127
10、 https://www.jianshu.com/p/e90900a3d03a
用sklearn進(jìn)行降維的七種方法
參數(shù)init,可以用來選擇初始化的方法,不同的方法對(duì)結(jié)果會(huì)有不同的表現(xiàn)。 在PCA處理中,假使將特征降維為600個(gè),那么降維后的每個(gè)人臉都包含了600個(gè)特征(所以我們看到降維后的人臉有種“伏地魔”的感覺 ,這是因?yàn)榻稻S處理相當(dāng)于刪去了部分細(xì)節(jié)特征,導(dǎo)致一部分信息丟失,在圖片中最直觀的體現(xiàn)就是變模糊)。而在NMF的處理...
數(shù)據(jù)降維的 7 種方法,附 Python 代碼
1. 線性降維主成分分析（PCA）: 通過最大化方差，將數(shù)據(jù)映射到低維子空間，sklearn庫示例演示了在人臉數(shù)據(jù)上保留關(guān)鍵信息的過程。獨(dú)立成分分析（ICA）: 用于分離混合信號(hào)，如音頻中的不同說話者，GitHub上有相關(guān)示例。線性判別分析（LDA）: 監(jiān)督學(xué)習(xí)方法，通過優(yōu)化類間和類內(nèi)距離，適用于分類和可視化。...
降維算法PCA、SVD
SVD與PCA均屬于矩陣分解算法的入門級(jí)方法，通過分解特征矩陣實(shí)現(xiàn)降維。降維的核心是減少特征數(shù)量，同時(shí)保留大部分有效信息。方差過濾是有效特征選擇方法，剔除方差小（信息量少）特征，保留方差大（信息量多）特征。PCA在降維過程中，通過方差過濾保留信息量大的特征，實(shí)現(xiàn)降維。方差計(jì)算公式分母為n-1，以獲得...
數(shù)據(jù)集特征提取和降維
主成分分析（PCA）是一種統(tǒng)計(jì)方法，主要用于數(shù)據(jù)降維和特征提取，通過正交變換將一組變量轉(zhuǎn)換為一組線性不相關(guān)的變量，即主成分。PCA 的目的是在保留原始數(shù)據(jù)集信息的前提下降低數(shù)據(jù)的維度，簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)，適用于數(shù)據(jù)降維和特征提取。在 Scikit-learn 中，PCA 通過 sklearn.decomposition.PCA 類實(shí)現(xiàn)。線性...
LDA(線性判別分析)降維原理小結(jié)與實(shí)例
6.sklearn實(shí)現(xiàn)LDA降維 在scikit-learn中，LDA類sklearn.discriminant_analysis.LinearDiscriminantAnalysis既可用于分類也可用于降維，但主要應(yīng)用于降維。與PCA類似，LDA降維基本不需要調(diào)參，只需指定降維到的維數(shù)。LinearDiscriminantAnalysis類概述 以下是LinearDiscriminantAnalysis類的參數(shù)總結(jié)。1）solver：求LDA...
PCA與SVD
3、降維實(shí)現(xiàn)利用sklearn庫中的PCA進(jìn)行降維操作，參數(shù)設(shè)計(jì)靈活多樣：n_components：指定降維后的特征維度數(shù)目。常用方法是直接指定目標(biāo)維度，或設(shè)置主成分方差占比閾值，讓PCA自行決定。copy：控制是否在運(yùn)行算法時(shí)復(fù)制原始數(shù)據(jù)，防止數(shù)據(jù)更改。whiten：判斷是否進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化處理，使每個(gè)特征的方差為1。默認(rèn)...
python的sklearn中的PCAS參數(shù)說明
在Python的sklearn庫中，PCA模型的參數(shù)設(shè)置對(duì)于數(shù)據(jù)分析的效率和結(jié)果質(zhì)量至關(guān)重要。主要參數(shù)包括：1. **n_components**：確定降維后的特征維度，可設(shè)置為整數(shù)、百分比（如90%）或'mle'。當(dāng)選擇'mle'時(shí)，配合'svd_solver'為'full'，會(huì)使用Minka's MLE方法來估算維度。小于1但大于0的小數(shù)值，表示主...
t-SNE實(shí)踐(可視化兩個(gè)圖片數(shù)據(jù)集合的差異)
首先確保已安裝所有依賴庫，包括sklearn。以下是獲取數(shù)據(jù)的代碼：數(shù)據(jù)處理應(yīng)轉(zhuǎn)化為np.array類型，確保形狀為(數(shù)據(jù)條數(shù)，每條數(shù)據(jù)維度)。label應(yīng)為(數(shù)據(jù)條數(shù),)形式，以便后續(xù)調(diào)用t-SNE方法。下面展示結(jié)果圖，明顯可以看出兩類數(shù)據(jù)的顯著差異。t-SNE的降維能力表現(xiàn)突出。作為補(bǔ)充，這里給出手寫數(shù)據(jù)集分類的...
機(jī)器學(xué)習(xí)之SKlearn(scikit-learn)的K-means聚類算法
模型選擇和預(yù)處理是sklearn的重要組成部分，包括網(wǎng)格搜索、交叉驗(yàn)證、度量等，用于參數(shù)調(diào)整和數(shù)據(jù)預(yù)處理，以提高模型精度。sklearn提供了一個(gè)直觀的流程圖，幫助用戶根據(jù)問題類型（分類、回歸、聚類或降維）和數(shù)據(jù)量大小選擇合適的算法。例如，當(dāng)數(shù)據(jù)量超過100K時(shí)，可能需要考慮降維方法以優(yōu)化計(jì)算性能。對(duì)于聚類...
主成分分析(PCA)原理詳解
5. 通過投影矩陣計(jì)算降維到k維后的樣本特征。通過Python的sklearn庫實(shí)現(xiàn)較為方便，例題通過在鳶尾花數(shù)據(jù)集上的實(shí)現(xiàn)PCA降維。通過讀取數(shù)據(jù)集，將數(shù)據(jù)集的特征和標(biāo)簽分開，定義降維函數(shù)，使用sklearn庫實(shí)現(xiàn)PCA降維功能。在訓(xùn)練前，需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。調(diào)用PCA_sklearn()函數(shù)，運(yùn)行結(jié)果表明提取兩個(gè)主...
相關(guān)評(píng)說：
靈壽縣齒頂： ______ 在數(shù)學(xué)中,矩陣(Matrix)是一個(gè)按照長方陣列排列的復(fù)數(shù)或?qū)崝?shù)集合[1],最早來自于方程組的系數(shù)及常數(shù)所構(gòu)成的方陣.這一概念由19世紀(jì)英國數(shù)學(xué)家凱利首先提出. 矩陣是高等代數(shù)學(xué)中的常見工具,也常見于統(tǒng)計(jì)分析等應(yīng)用數(shù)學(xué)學(xué)科中.[2]在物理學(xué)中,矩陣于電路學(xué)、力學(xué)、光學(xué)和量子物理中都有應(yīng)用;計(jì)算機(jī)科學(xué)中,三維動(dòng)畫制作也需要用到矩陣. 矩陣的運(yùn)算是數(shù)值分析領(lǐng)域的重要問題.
靈壽縣齒頂： ______ 將要分析的問卷進(jìn)行因子分析,即在spss菜單中選擇分析——降維——因子分析,分析時(shí)不要進(jìn)行旋轉(zhuǎn),也不要指定抽取幾個(gè)因子,然后看結(jié)果,如果抽取出的因子數(shù)量不止一個(gè),且第一個(gè)因子的方差貢獻(xiàn)率不超過40%,通常認(rèn)為共同方法偏差不嚴(yán)重,此即用spss做Harman單因子檢驗(yàn)的方法
靈壽縣齒頂： ______ 用3維數(shù)組來存放七種基本方塊圖形: 例如: int BOX[7][4][4]={ { {1,1,1,1}, // ----型 {0,0,0,0}, {0,0,0,0}, {0,0,0,0} }, { {1,1,1,0}, // 1---型 {1,0,0,0}, {0,0,0,0}, {0,0,0,0} }, { {1,1,1,0}, // ---1型 {0,0,1,0}, {0,0,0,0}, {0,0,0,0} }, { {1,1,1,0}, // -T-型 {0,1,0,0}, {0,0,0,0...
靈壽縣齒頂： ______ 對(duì)文本做共現(xiàn)詞匯統(tǒng)計(jì),可以統(tǒng)計(jì)相鄰距離不超5的詞,也可以統(tǒng)計(jì)鄰接詞. 2、選擇共現(xiàn)比較多的組合作為特征,
靈壽縣齒頂： ______ 概念 :若原特征空間是D維的,現(xiàn)希望降至d維的 運(yùn)用:通過單幅圖像數(shù)據(jù)的高維化,將單幅圖像轉(zhuǎn)化為高維空間中的數(shù)據(jù)集合,對(duì)其進(jìn)行非線性降維,尋求其高維數(shù)據(jù)流形本征結(jié)構(gòu)的一維表示向量,將其作為圖像數(shù)據(jù)的特征表達(dá)向量.從而將...
靈壽縣齒頂： ______ 安裝并運(yùn)行matlab軟件;2 在命令行窗口輸入需要進(jìn)行奇異值分解的矩陣,并輸入矩陣求秩及求奇異值的公式,如下圖;3 單擊回車鍵,求得奇異值分解得到的U、S、V矩陣;4 若要查看之前輸入的求解矩陣及所求得的相關(guān)變量,從右側(cè)工作區(qū)窗口進(jìn)行查看;5 分別單擊所要查看的變量名進(jìn)行查看;
靈壽縣齒頂： ______ 1,減少特征數(shù)量、降維,使模型泛化能力更強(qiáng),減少過擬合 增強(qiáng)對(duì)特征和特征值之間的理解 單變量特征選擇能夠?qū)γ恳粋€(gè)特征進(jìn)行測(cè)試,衡量該特征和響應(yīng)變量 之間的關(guān)系,根據(jù)得分扔掉不好的特征.對(duì)于回歸和分類問題可以采用卡 方檢驗(yàn)等方式對(duì)特征進(jìn)行測(cè)試.這種方法比較簡(jiǎn)單,易于運(yùn)行,易于理解,通常對(duì)于理解數(shù)據(jù)有較好 的效果(但對(duì)特征優(yōu)化、提高泛化能力來說不一定有效);這種方法有許 多改進(jìn)的版本、變種
靈壽縣齒頂： ______ 1、 如果黑板就是浩淼的大海,那么,老師便是海上的水手.鈴聲響起那刻,你用教職工鞭作漿,劃動(dòng)那船只般泊在港口的課本 .課桌上,那難題堆放,猶如暗礁一樣布列,你手勢(shì)生動(dòng)如一只飛翔的鳥...
靈壽縣齒頂： ______ 采用PCA核主元分析法,或者SVD奇異值分解法,都可以對(duì)數(shù)據(jù)進(jìn)行降維處理.
