數(shù)據(jù)挖掘干貨總結(jié)（四）--聚類算法
本文共計(jì)2680字，預(yù)計(jì)閱讀時(shí)長七分鐘
聚類算法
一 、 本質(zhì)
將數(shù)據(jù)劃分到不同的類里，使相似的數(shù)據(jù)在同一類里，不相似的數(shù)據(jù)在不同類里
二 、 分類算法用來解決什么問題
文本聚類、圖像聚類和商品聚類，便于發(fā)現(xiàn)規(guī)律，以解決數(shù)據(jù)稀疏問題
三 、 聚類算法基礎(chǔ)知識(shí)
1. 層次聚類 vs 非層次聚類
– 不同類之間有無包含關(guān)系
2. 硬聚類 vs 軟聚類
– 硬聚類：每個(gè)對象只屬于一個(gè)類
– 軟聚類：每個(gè)對象以某個(gè)概率屬于每個(gè)類
3. 用向量表示對象
– 每個(gè)對象用一個(gè)向量表示，可以視為高維空間的一個(gè)點(diǎn)
– 所有對象形成數(shù)據(jù)空間（矩陣）
– 相似度計(jì)算：Cosine、點(diǎn)積、質(zhì)心距離
4. 用矩陣列出對象之間的距離、相似度
5. 用字典保存上述矩陣（節(jié)省空間）
D={(1,1):0,(1,2):2,(1,3):6...(5,5):0}
6. 評價(jià)方法
– 內(nèi)部評價(jià)法（Internal Evalution）：
• 沒有外部標(biāo)準(zhǔn)，非監(jiān)督式
• 同類是否相似，跨類是否相異
DB值越小聚類效果越好，反之，越不好
– 外部評價(jià)法（External Evalution）：
• 準(zhǔn)確度（accuracy）: (C11+C22) / (C11 + C12 + C21 + C22)
• 精度（Precision）: C11 / (C11 + C21 )
• 召回（Recall）: C11 / (C11 + C12 )
• F值（F-measure）：
β表示對精度P的重視程度，越大越重視，默認(rèn)設(shè)置為1，即變成了F值，F(xiàn)較高時(shí)則能說明聚類效果較好。
四 、 有哪些聚類算法
主要分為 層次化聚類算法 ， 劃分式聚類算法 ， 基于密度的聚類算法 ， 基于網(wǎng)格的聚類算法 ， 基于模型的聚類算法等 。
4.1 層次化聚類算法
又稱樹聚類算法，透過一種層次架構(gòu)方式，反復(fù)將數(shù)據(jù)進(jìn)行分裂或聚合。典型的有BIRCH算法，CURE算法，CHAMELEON算法，Sequence data rough clustering算法,Between groups average算法,Furthest neighbor算法,Neares neighbor算法等。
凝聚型層次聚類 ：
先將每個(gè)對象作為一個(gè)簇，然后合并這些原子簇為越來越大的簇，直到所有對象都在一個(gè)簇中，或者某個(gè)終結(jié)條件被滿足。
算法流程：
1. 將每個(gè)對象看作一類，計(jì)算兩兩之間的最小距離；
2. 將距離最小的兩個(gè)類合并成一個(gè)新類；
3. 重新計(jì)算新類與所有類之間的距離；
4. 重復(fù)2、3，直到所有類最后合并成一類。
特點(diǎn)：
1. 算法簡單
2. 層次用于概念聚類（生成概念、文檔層次樹）
3. 聚類對象的兩種表示法都適用
4. 處理大小不同的簇
5. 簇選取步驟在樹狀圖生成之后
4.2 劃分式聚類算法
預(yù)先指定聚類數(shù)目或聚類中心，反復(fù)迭代逐步降低目標(biāo)函數(shù)誤差值直至收斂，得到最終結(jié)果。K-means,K-modes-Huang,K-means-CP,MDS_CLUSTER, Feature weighted fuzzy clustering，CLARANS等
經(jīng)典K-means：
算法流程：
1. 隨機(jī)地選擇k個(gè)對象，每個(gè)對象初始地代表了一個(gè)簇的中心；
2. 對剩余的每個(gè)對象，根據(jù)其與各簇中心的距離，將它賦給最近的簇；
3. 重新計(jì)算每個(gè)簇的平均值，更新為新的簇中心；
4. 不斷重復(fù)2、3，直到準(zhǔn)則函數(shù)收斂。
特點(diǎn)：
1.K的選擇
2.中心點(diǎn)的選擇
– 隨機(jī)
– 多輪隨機(jī)：選擇最小的WCSS
3.優(yōu)點(diǎn)
– 算法簡單、有效
– 時(shí)間復(fù)雜度：O(nkt)
4.缺點(diǎn)
– 不適于處理球面數(shù)據(jù)
– 密度、大小不同的聚類，受K的限制，難于發(fā)現(xiàn)自然的聚類
4.3 基于模型的聚類算法
為每簇假定了一個(gè)模型，尋找數(shù)據(jù)對給定模型的最佳擬合，同一”類“的數(shù)據(jù)屬于同一種概率分布，即假設(shè)數(shù)據(jù)是根據(jù)潛在的概率分布生成的。主要有基于統(tǒng)計(jì)學(xué)模型的方法和基于神經(jīng)網(wǎng)絡(luò)模型的方法，尤其以基于概率模型的方法居多。一個(gè)基于模型的算法可能通過構(gòu)建反應(yīng)數(shù)據(jù)點(diǎn)空間分布的密度函數(shù)來定位聚類。基于模型的聚類試圖優(yōu)化給定的數(shù)據(jù)和某些數(shù)據(jù)模型之間的適應(yīng)性。
SOM 神經(jīng)網(wǎng)絡(luò)算法 ：
該算法假設(shè)在輸入對象中存在一些拓?fù)浣Y(jié)構(gòu)或順序，可以實(shí)現(xiàn)從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓?fù)涮卣鞅３中再|(zhì),與實(shí)際的大腦處理有很強(qiáng)的理論聯(lián)系。
SOM網(wǎng)絡(luò)包含輸入層和輸出層。輸入層對應(yīng)一個(gè)高維的輸入向量，輸出層由一系列組織在2維網(wǎng)格上的有序節(jié)點(diǎn)構(gòu)成，輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)通過權(quán)重向量連接。學(xué)習(xí)過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時(shí)，將鄰近區(qū)域的權(quán)值更新，使輸出節(jié)點(diǎn)保持輸入向量的拓?fù)涮卣鳌?/p>
算法流程：
1. 網(wǎng)絡(luò)初始化，對輸出層每個(gè)節(jié)點(diǎn)權(quán)重賦初值；
2. 將輸入樣本中隨機(jī)選取輸入向量，找到與輸入向量距離最小的權(quán)重向量；
3. 定義獲勝單元，在獲勝單元的鄰近區(qū)域調(diào)整權(quán)重使其向輸入向量靠攏；
4. 提供新樣本、進(jìn)行訓(xùn)練；
5. 收縮鄰域半徑、減小學(xué)習(xí)率、重復(fù)，直到小于允許值，輸出聚類結(jié)果。
4.4 基于密度聚類算法
只要鄰近區(qū)域的密度（對象或數(shù)據(jù)點(diǎn)的數(shù)目）超過某個(gè)閾值，就繼續(xù)聚類，擅于解決不規(guī)則形狀的聚類問題，廣泛應(yīng)用于空間信息處理,SGC,GCHL，DBSCAN算法、OPTICS算法、DENCLUE算法。
DBSCAN：
對于集中區(qū)域效果較好，為了發(fā)現(xiàn)任意形狀的簇，這類方法將簇看做是數(shù)據(jù)空間中被低密度區(qū)域分割開的稠密對象區(qū)域；一種基于高密度連通區(qū)域的基于密度的聚類方法，該算法將具有足夠高密度的區(qū)域劃分為簇，并在具有噪聲的空間數(shù)據(jù)中發(fā)現(xiàn)任意形狀的簇。
4.5 基于網(wǎng)格的聚類算法
基于網(wǎng)格的方法把對象空間量化為有限數(shù)目的單元，形成一個(gè)網(wǎng)格結(jié)構(gòu)。所有的聚類操作都在這個(gè)網(wǎng)格結(jié)構(gòu)（即量化空間）上進(jìn)行。這種方法的主要優(yōu)點(diǎn)是它的處理 速度很快，其處理速度獨(dú)立于數(shù)據(jù)對象的數(shù)目，只與量化空間中每一維的單元數(shù)目有關(guān)。但這種算法效率的提高是以聚類結(jié)果的精確性為代價(jià)的。經(jīng)常與基于密度的算法結(jié)合使用。代表算法有STING算法、CLIQUE算法、WAVE-CLUSTER算法等。
如何利用數(shù)據(jù)挖掘算法進(jìn)行精準(zhǔn)營銷?
聚類算法實(shí)際應(yīng)用案例：電商公司想要新進(jìn)一批高端服裝，但究竟進(jìn)什么款式等，這需要根據(jù)消費(fèi)群體特征來分類，首先需要從上一年的數(shù)據(jù)，查看顧客購買行為、消費(fèi)額、購買時(shí)間等通過聚類方法進(jìn)行分類，找出每類群體的特征，然后根據(jù)這類群體進(jìn)行相應(yīng)的推送，而不是廣撒網(wǎng)模式。關(guān)聯(lián)規(guī)則：關(guān)聯(lián)分析是從大量數(shù)據(jù)中發(fā)現(xiàn)...
聚類算法 clustering algorithm
算法的核心步驟包括初始化中心點(diǎn)、將數(shù)據(jù)點(diǎn)分配到最近的簇、重新計(jì)算中心點(diǎn)，并重復(fù)此過程直到收斂。在確定K的值時(shí)，常用“肘部法則”來尋找最佳的簇?cái)?shù)。這一法則通過繪制K與簇內(nèi)點(diǎn)到中心點(diǎn)平均距離的曲線，觀察曲線的陡峭變化，選取變化點(diǎn)作為最佳K值，以達(dá)到最佳聚類效果。K-Means聚類算法的關(guān)鍵在于其迭...
常用的聚類方法有哪幾種??
聚類分析的算法可以分為劃分法、層次法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法。1、劃分法，給定一個(gè)有N個(gè)元組或者紀(jì)錄的數(shù)據(jù)集，分裂法將構(gòu)造K個(gè)分組，每一個(gè)分組就代表一個(gè)聚類，K<N。2、層次法，這種方法對給定的數(shù)據(jù)集進(jìn)行層次似的分解，直到某種條件滿足為止。3、基于密度的方法，基于...
聚類分析算法論文
總的說來,運(yùn)用聚類分析是基本成功的,大部分的分類是符合實(shí)際的。綜合以上論述鹽礦區(qū)劃分如下表所示:當(dāng)然聚類分析有其優(yōu)點(diǎn)也有其缺點(diǎn):(1)優(yōu)點(diǎn):聚類分析模型的優(yōu)點(diǎn)就是直觀,結(jié)論形式簡明。(2)缺點(diǎn):在樣本量較大時(shí),要獲得聚類結(jié)論有一定困難。由于相似系數(shù)是根據(jù)被試的反映來建立反映被試問內(nèi)在聯(lián)系的指標(biāo),而實(shí)踐中有時(shí)...
聚類算法選方形窗口計(jì)算空間信息有依據(jù)嗎
聚類分析是數(shù)據(jù)挖掘中的一個(gè)很活躍的研究領(lǐng)域，并提出了許多聚類算法。這些算法可以被分為劃分方法、層次方法、基于密度方法、基于網(wǎng)格方法和 基于模型方法。1 劃分方法(PAM:PArtitioning method) 首先創(chuàng)建k個(gè)劃分，k為要?jiǎng)?chuàng)建的劃分個(gè)數(shù)；然后利用一個(gè)循環(huán) 定位技術(shù)通過將對象從一個(gè)劃分移到另一個(gè)劃分來...
數(shù)據(jù)分析建模步驟有哪些?
1. 分類與聚類：分類算法是數(shù)據(jù)挖掘中廣泛應(yīng)用的方法之一，旨在找出數(shù)據(jù)項(xiàng)的共同特征，并依據(jù)分類規(guī)則將它們劃入不同的類別。聚類算法則側(cè)重于將數(shù)據(jù)集分為若干類別，以增大同類數(shù)據(jù)間的相似度，減小不同類別間的相似度。分類通過監(jiān)督學(xué)習(xí)實(shí)現(xiàn)，即在已知類別的情況下，學(xué)習(xí)分類特征并對未知數(shù)據(jù)進(jìn)行分類。聚...
數(shù)據(jù)挖掘有哪些方法
數(shù)據(jù)挖掘的方法主要包括：聚類分析、關(guān)聯(lián)規(guī)則挖掘、序列模式挖掘、分類與預(yù)測以及異常檢測。聚類分析是數(shù)據(jù)挖掘中一種非常重要的方法。它是指將大量的數(shù)據(jù)劃分為若干個(gè)類別或簇，使得同一類別中的數(shù)據(jù)相似度較高，不同類別中的數(shù)據(jù)差異較大。聚類分析的方法包括K均值聚類、層次聚類等。這些方法可以幫助我們...
數(shù)據(jù)挖掘的方法有哪些?
數(shù)據(jù)挖掘的的方法主要有以下幾點(diǎn)： 1.分類挖掘方法。分類挖掘方法主要利用決策樹進(jìn)行分類，是一種高效且在數(shù)據(jù)挖掘方法中占有重要地位的挖掘方法。為了對數(shù)據(jù)進(jìn)行較為準(zhǔn)確的測試并據(jù)此分類，我們采用決策樹算法，而決策樹中比較典型的幾種方法為：ID3算法，此方法具有較強(qiáng)的實(shí)用性，適用于大規(guī)模數(shù)據(jù)處理；...
數(shù)據(jù)挖掘的常用方法有哪些?
5、聚類分析法 聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個(gè)類別，其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小。根據(jù)定義可以把其分為四類：基于層次的聚類方法;分區(qū)聚類算法;基于密度的聚類算法;網(wǎng)格的聚類算法。常用的經(jīng)典聚類方法有K-mean，K-...
Python數(shù)據(jù)挖掘?qū)崙?zhàn)案例】K-Means廣告效果聚類分析
K-Means聚類算法，屬于無監(jiān)督學(xué)習(xí)方法，通過計(jì)算樣本間的距離，將數(shù)據(jù)集劃分為多個(gè)類別，使類別內(nèi)部的樣本相似，類別間的樣本差異顯著。算法通過迭代優(yōu)化質(zhì)心，直至達(dá)到中止條件，如組內(nèi)最小平方誤差最小或達(dá)到迭代次數(shù)。輪廓系數(shù)用于評估聚類效果，通過計(jì)算類內(nèi)距離最小化與類間距離最大化，直觀反映樣本的...
相關(guān)評說：
安源區(qū)等效： ______ 聚類分析是數(shù)據(jù)挖掘中的一種,聚類就是把具有相似特性的個(gè)體聚在一起,形成一個(gè)類.類內(nèi)的個(gè)體屬性最接近,類間的屬性最不相似.常用的聚類算法有C—mean.
安源區(qū)等效： ______ 可以,一般預(yù)測指的是分類預(yù)測、回歸預(yù)測、時(shí)間序列預(yù)測等等,這里首先聚類(不屬于預(yù)測)是歸納推理,聚類后得到了類別,然后對新的數(shù)據(jù)就可以進(jìn)行KNN等分類啦,這就是預(yù)測啦.這種在客戶群分類預(yù)測中用的比較多.
安源區(qū)等效： ______ 簡單地說,分類(categorization or classification)就是按照某種標(biāo)準(zhǔn)給對象貼標(biāo)簽(label),再根據(jù)標(biāo)簽來區(qū)分歸類. 簡單地說,聚類是指事先沒有“標(biāo)簽”而通過某種成團(tuán)分析找出事物之間存在聚集性原因的過程. 區(qū)別是,分類是事先定義好...
安源區(qū)等效： ______ (1)協(xié)同過濾:協(xié)同過濾技術(shù)采用最近鄰技術(shù),利用客戶的歷史、喜好信息計(jì)算用戶之間的距離,目標(biāo)客戶對特點(diǎn)商品的喜好程度由最近鄰居對商品的評價(jià)的加權(quán)平均值來計(jì)算. (2)關(guān)聯(lián)規(guī)則:關(guān)聯(lián)規(guī)則是尋找在同一個(gè)事件中出現(xiàn)的不同項(xiàng)的相關(guān)...
安源區(qū)等效： ______ C4.5就是一個(gè)決策樹算法,它是決策樹(決策樹也就是做決策的節(jié)點(diǎn)間像一棵樹一樣的組織方式,其實(shí)是一個(gè)倒樹)核心算法ID3的改進(jìn)算法,所以基本上了解了一半決策樹構(gòu)造方法就能構(gòu)造它.決策樹構(gòu)造方法其實(shí)就是每次選擇一個(gè)好的特征...
安源區(qū)等效： ______ 數(shù)據(jù)挖掘源于人工智能.它利用人工智能中成熟的技術(shù)和方法對經(jīng)過處理的數(shù)據(jù)進(jìn)行分析,其利用的技術(shù)方法越多,所得到的信息也就越精確.在電子商務(wù)中主要應(yīng)用的數(shù)...
安源區(qū)等效： ______ 1. C4.5 C4.5算法是機(jī)器學(xué)習(xí)算法中的一種分類決策樹算法,其核心算法是ID3算法. 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一個(gè)聚類算法,把n的對象根據(jù)他們的屬性分為k個(gè)分割,k < n.它與處理混合正態(tài)分布的最...
安源區(qū)等效： ______ 蟻群聚類算法是數(shù)據(jù)挖掘聚類算法.蟻群算法在數(shù)據(jù)挖掘聚類中的應(yīng)用所采用的生物原型為蟻群的蟻穴清理行為和蟻群覓食行為.在蟻群蟻穴清理行為中,蟻群會(huì)將蟻穴中分布分散的螞蟻尸體堆積成相對集中的幾個(gè)大堆.在聚類分析中,將這些分散分布的螞蟻尸體視為待分析的數(shù)據(jù)集合,而最終堆積而成的大堆則對應(yīng)于最終的聚類結(jié)果.在蟻群的覓食行為中,螞蟻依據(jù)一定的概率選擇覓食路徑,使得螞蟻所尋找的路徑呈現(xiàn)多樣化狀態(tài).在基于蟻群覓食行為的聚類分析中,將數(shù)據(jù)視為具有不同屬性的螞蟻,而將聚類結(jié)果視為食物源,所不同的是,此時(shí)認(rèn)為存在多個(gè)食物源.這樣各個(gè)螞蟻通過一定的概率實(shí)現(xiàn)移動(dòng),并聚集在不同的食物源而實(shí)現(xiàn)聚類.
安源區(qū)等效： ______ 1,數(shù)據(jù)分析可以分為廣義的數(shù)據(jù)分析和狹義的數(shù)據(jù)分析,廣義的數(shù)據(jù)分析就包括狹義的數(shù)據(jù)分析和數(shù)據(jù)挖掘,我們常說的數(shù)據(jù)分析就是指狹義的數(shù)據(jù)分析. 2,數(shù)據(jù)分析(狹義): 定義:簡單來說,數(shù)據(jù)分析就是對數(shù)據(jù)進(jìn)行分析.專業(yè)的說...
