手機(jī)版
化工儀器網(wǎng)手機(jī)版
化工儀器網(wǎng)小程序
官方微信
公眾號(hào)：chem17
掃碼關(guān)注視頻號(hào)
顯微課堂 | UMAP、t-SNE與PacMAP降維大對決
從高維到低維：
Aivia帶你輕松駕馭3種數(shù)據(jù)降維技術(shù)
數(shù)據(jù)降維大揭秘：
UMAP、t-SNE與PacMAP的zhongji對決
降維將數(shù)據(jù)從高維空間轉(zhuǎn)換到低維空間，以簡化數(shù)據(jù)解釋。
在Aivia中的應(yīng)用：通過選擇不同的測量方法，幫助用戶為不同類別實(shí)現(xiàn)清晰的決策邊界，這些測量方法可以用于不同的聚類技術(shù)。
Aivia中的三種降維方法：
UMAP – 比t-SNE更快
PacMAP – 比UMAP更快，并且更好地保留高維數(shù)據(jù)的局部和全局結(jié)構(gòu)
t-SNE – 保留局部結(jié)構(gòu)
關(guān)于參數(shù)和不同使用示例的詳細(xì)技術(shù)說明，請參見Aivia Wiki。
UMAP（統(tǒng)yiliu形近似與投影）是一種現(xiàn)代降維技術(shù)，主要用于高維數(shù)據(jù)集的可視化。它的用途與t-SNE相似，但通常速度更快且能夠處理更大的數(shù)據(jù)集。UMAP基于保持?jǐn)?shù)據(jù)的拓?fù)浣Y(jié)構(gòu)的原則，通過利用黎曼幾何和代數(shù)拓?fù)鋪斫茢?shù)據(jù)的底層流形。通過捕捉局部和全局結(jié)構(gòu)，它提供了數(shù)據(jù)簇和關(guān)系的全面視圖。
UMAP的兩個(gè)主要步驟
步驟1
創(chuàng)建一個(gè)高維圖。這是一個(gè)加權(quán)圖，其中一個(gè)點(diǎn)與其最近的鄰居相連。
步驟2
創(chuàng)建一個(gè)盡可能類似于高維圖的低維或二維圖，生成UMAP 1和UMAP 2參數(shù)。
深入了解UMAP理論
UMAP的核心工作原理與t-SNE非常相似——兩者都使用圖布局算法在低維空間中排列數(shù)據(jù)。UMAP構(gòu)建數(shù)據(jù)的高維圖表示，然后優(yōu)化一個(gè)低維圖，使其在結(jié)構(gòu)上盡可能相似。UMAP通過基于每個(gè)點(diǎn)的第n個(gè)最近鄰的距離來局部選擇半徑，從而確保局部結(jié)構(gòu)與全局結(jié)構(gòu)的平衡。
如何（誤）解讀UMAP
雖然UMAP相較于t-SNE有許多優(yōu)勢，但它絕不是萬能的——解讀和理解其結(jié)果需要一定的謹(jǐn)慎。需要注意以下幾點(diǎn)：
超參數(shù)非常重要：選擇合適的值取決于數(shù)據(jù)和你的目標(biāo)。
UMAP圖中的簇大小毫無意義：簇之間的相對大小基本上沒有意義。
簇之間的距離可能毫無意義：盡管UMAP在全局位置上更好地保留了簇的位置，但它們之間的距離并不具有意義。
隨機(jī)噪聲不總是看起來隨機(jī)：特別是在n_neighbors值較低時(shí)，可能會(huì)觀察到虛假的聚類。
你可能需要不止一張圖：由于UMAP算法是隨機(jī)的，不同的運(yùn)行可能產(chǎn)生不同的結(jié)果。
優(yōu)點(diǎn)
保留局部和全局結(jié)構(gòu)：UMAP捕捉數(shù)據(jù)中的非線性關(guān)系，適用于處理復(fù)雜數(shù)據(jù)集。
速度和可擴(kuò)展性：UMAP在計(jì)算上更高效，適合處理大數(shù)據(jù)集。
參數(shù)調(diào)優(yōu)：UMAP提供了參數(shù)調(diào)優(yōu)的靈活性，允許用戶在保留局部和全局結(jié)構(gòu)之間進(jìn)行權(quán)衡。
缺點(diǎn)
可解釋性：UMAP嵌入可能不如一些其他方法（如PCA）那樣具有可解釋性。
對超參數(shù)的敏感性：UMAP的性能可能對超參數(shù)選擇敏感，找到合適的參數(shù)可能需要進(jìn)行實(shí)驗(yàn)。
在高維空間中的局限性：UMAP在非常高維的空間中可能表現(xiàn)不佳。
計(jì)算資源需求：對于極其龐大的數(shù)據(jù)集,UMAP仍然可能需要大量的計(jì)算資源。
圖2:對Fashion MNIST數(shù)據(jù)集應(yīng)用降維。10類服裝物品的28x28圖像被編碼為784維向量，然后通過UMATt-SNE投影到3維。
t-SNE（t-隨機(jī)鄰域嵌入）
t-SNE（t-隨機(jī)鄰域嵌入）是一種流行的降維方法，用于高維數(shù)據(jù)的可視化。t-SNE通過保留數(shù)據(jù)的局部結(jié)構(gòu)來工作，通常會(huì)導(dǎo)致簇的清晰分離。與專注于zuida化方差的PCA（主成分分析）不同，t-SNE強(qiáng)調(diào)在降維空間中保持相似的距離接近，不相似的距離遠(yuǎn)離。然而，由于其對局部結(jié)構(gòu)的強(qiáng)調(diào)，它有時(shí)會(huì)夸大簇，并不總是能保留數(shù)據(jù)的全局結(jié)構(gòu)。此方法計(jì)算量大，尤其是對于大型數(shù)據(jù)集。
優(yōu)點(diǎn)
1
局部結(jié)構(gòu)的保留
t-SNE在保留數(shù)據(jù)的局部結(jié)構(gòu)方面表現(xiàn)出色，使其在識(shí)別相似數(shù)據(jù)點(diǎn)的聚類時(shí)非常有效。
2
靈活性
與某些線性方法（如PCA）不同，它可以有效處理非線性數(shù)據(jù)結(jié)構(gòu)。
3
可視化
特別適用于將高維數(shù)據(jù)可視化為二維或三維。
缺點(diǎn)
1
計(jì)算強(qiáng)度
該算法在處理大型數(shù)據(jù)集時(shí)可能會(huì)非常耗費(fèi)計(jì)算資源。
2
隨機(jī)性
由于算法的隨機(jī)性，最終的可視化結(jié)果在不同運(yùn)行之間可能會(huì)有所不同，這可能導(dǎo)致不一致性。
3
超參數(shù)敏感性
結(jié)果可能對困惑度（perplexity）的選擇非常敏感。
4
可解釋性
t-SNE圖中聚類之間的距離并不總是具有有意義的解釋。該算法優(yōu)先保留局部結(jié)構(gòu)而非全局結(jié)構(gòu)。t-SNE可視化中的數(shù)據(jù)點(diǎn)密度不一定代表原始高維空間中的密度。
5
僅適用于可視性
雖然在可視化方面表現(xiàn)出色，但t-SNE嵌入可能并不總是適合作為其他機(jī)器學(xué)習(xí)算法的輸入。
PaCMAP（成對控制流形近似）
PaCMAP（成對控制流形近似）是一種降維技術(shù)，作為t-SNE和UMAP等方法的替代方案被引入。該方法旨在平衡數(shù)據(jù)中局部和全局結(jié)構(gòu)的保留，解決其他技術(shù)中觀察到的一些挑戰(zhàn)。它引入了成對吸引和排斥項(xiàng)，以在流形學(xué)習(xí)過程中控制平衡，并以其速度和處理大數(shù)據(jù)集的能力而著稱，同時(shí)能夠生成可解釋的嵌入。
優(yōu)點(diǎn)
1
混合方法
PacMAP結(jié)合了局部和全局結(jié)構(gòu)保留的優(yōu)點(diǎn)，旨在從t-SNE（局部）和PCA（全局）等方法中捕捉兩者的最佳特性。PacMAP旨在結(jié)合t-SNE（局部結(jié)構(gòu)保留）和UMAP/PCA（全局結(jié)構(gòu)保留）的優(yōu)勢。
2
局部和全局結(jié)構(gòu)保留的靈活性
該方法可以根據(jù)數(shù)據(jù)的性質(zhì)和用戶的目標(biāo)，調(diào)整以強(qiáng)調(diào)局部或全局結(jié)構(gòu)。
3
減少擁擠問題
該方法旨在緩解t-SNE中常見的“擁擠問題”，這種問題會(huì)導(dǎo)致簇被推得過遠(yuǎn)。
4
減少隨機(jī)性
與t-SNE的隨機(jī)性相比，PacMAP在多次運(yùn)行中提供了更一致的結(jié)果。雖然有參數(shù)需要調(diào)整，但該方法設(shè)計(jì)得比t-SNE對參數(shù)變化更具魯棒性。
缺點(diǎn)
1
復(fù)雜性和熟悉度
作為一種混合方法，PacMAP可能對熟悉簡單、單一目標(biāo)方法的用戶來說更難理解。一些數(shù)據(jù)分析社區(qū)可能對PacMAP不太熟悉，導(dǎo)致在采用或解釋時(shí)可能面臨挑戰(zhàn)。由于其較新，可能沒有像t-SNE或PCA等長期存在的方法在各種應(yīng)用中經(jīng)過廣泛驗(yàn)證。
2
參數(shù)敏感性
盡管設(shè)計(jì)得對參數(shù)變化更具魯棒性，但結(jié)果仍可能因參數(shù)選擇而異。根據(jù)數(shù)據(jù)的不同，如果調(diào)整不當(dāng)，可能會(huì)有過度強(qiáng)調(diào)局部或全局結(jié)構(gòu)的風(fēng)險(xiǎn)。
3
可解釋性
與其他降維技術(shù)一樣，解釋降維后的維度仍然可能是不直觀的。
Aivia賦能數(shù)據(jù)驅(qū)動(dòng)的空間洞察
降維工具大解析
參考文獻(xiàn)：
1. Becht E, McInnes L, Healy J, Dutertre CA, Kwok IW, Ng LG, Ginhoux F, Newell EW. Dimensionality reduction for visualizing single-cell data using UMAP. Nature biotechnology. 2019 Jan;37(1):38-44.
2. Wang Y, Huang H, Rudin C, Shaposhnik Y. Understanding how dimension reduction tools work: an empirical approach to deciphering t-SNE, UMAP, TriMAP, and PaCMAP for data visualization. The Journal of Machine Learning Research. 2021 Jan 1;22(1):9129-201.
3. Van der Maaten L, Hinton G. Visualizing data using t-SNE. Journal of machine learning research. 2008 Nov 1;9(11).
4. McInnes L, Healy J, Melville J. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv preprint arXiv:1802.03426. 2018 Feb 9.
相關(guān)產(chǎn)品
免責(zé)聲明
- 凡本網(wǎng)注明“來源：化工儀器網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-化工儀器網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：化工儀器網(wǎng)”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。
- 本網(wǎng)轉(zhuǎn)載并注明自其他來源（非化工儀器網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。
- 如涉及作品內(nèi)容、版權(quán)等問題，請?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。
采購中心