免费看日逼视频,精品一二三区av,国产午夜成人黄色,少妇熟女二区

<center id="rwmpt"></center>
<form id="rwmpt"><nav id="rwmpt"></nav></form>

    <i id="rwmpt"></i>
  1. 您好!歡迎訪問徠卡顯微系統(tǒng)(上海)貿(mào)易有限公司網(wǎng)站!
    全國服務咨詢熱線:

    17806260618

    當前位置:首頁 > 技術文章 > 顯微課堂 | UMAP、t-SNE與PacMAP降維大對決

    顯微課堂 | UMAP、t-SNE與PacMAP降維大對決

    更新時間:2024-09-19      點擊次數(shù):902

    從高維到低維:

    Aivia帶你輕松駕馭3種數(shù)據(jù)降維技術

    數(shù)據(jù)降維大揭秘:


    UMAP、t-SNE與PacMAP的zhongji對決


    1.png

    c642415bfd2b1ca3af90aa61811d2f72.png

    降維將數(shù)據(jù)從高維空間轉換到低維空間,以簡化數(shù)據(jù)解釋。

    在Aivia中的應用:通過選擇不同的測量方法,幫助用戶為不同類別實現(xiàn)清晰的決策邊界,這些測量方法可以用于不同的聚類技術。



    Aivia中的三種降維方法:



    • UMAP – 比t-SNE更快


    • PacMAP – 比UMAP更快,并且更好地保留高維數(shù)據(jù)的局部和全局結構

    • t-SNE – 保留局部結構



    關于參數(shù)和不同使用示例的詳細技術說明,請參見Aivia Wiki。



    UMAP



    UMAP(統(tǒng)yiliu形近似與投影)是一種現(xiàn)代降維技術,主要用于高維數(shù)據(jù)集的可視化。它的用途與t-SNE相似,但通常速度更快且能夠處理更大的數(shù)據(jù)集。UMAP基于保持數(shù)據(jù)的拓撲結構的原則,通過利用黎曼幾何和代數(shù)拓撲來近似數(shù)據(jù)的底層流形。通過捕捉局部和全局結構,它提供了數(shù)據(jù)簇和關系的全面視圖。


    UMAP的兩個主要步驟

    2.png


    步驟1


    創(chuàng)建一個高維圖。這是一個加權圖,其中一個點與其最近的鄰居相連。


    圖片

    84d8a474257112206a0bd251b789b2c7.png

    610036c364fa4823a2f7bec4927eb1d9.png

    79811fc4c1a8e494db9f9ee0c8fb90fc.png

    步驟2


    創(chuàng)建一個盡可能類似于高維圖的低維或二維圖,生成UMAP 1和UMAP 2參數(shù)。



    1

    深入了解UMAP理論


    UMAP的核心工作原理與t-SNE非常相似——兩者都使用圖布局算法在低維空間中排列數(shù)據(jù)。UMAP構建數(shù)據(jù)的高維圖表示,然后優(yōu)化一個低維圖,使其在結構上盡可能相似。UMAP通過基于每個點的第n個最近鄰的距離來局部選擇半徑,從而確保局部結構與全局結構的平衡。



    2

    如何(誤)解讀UMAP


    雖然UMAP相較于t-SNE有許多優(yōu)勢,但它絕不是萬能的——解讀和理解其結果需要一定的謹慎。需要注意以下幾點:


    • 超參數(shù)非常重要:選擇合適的值取決于數(shù)據(jù)和你的目標。

    •  UMAP圖中的簇大小毫無意義:簇之間的相對大小基本上沒有意義。

    • 簇之間的距離可能毫無意義:盡管UMAP在全局位置上更好地保留了簇的位置,但它們之間的距離并不具有意義。

    • 隨機噪聲不總是看起來隨機:特別是在n_neighbors值較低時,可能會觀察到虛假的聚類。

    • 你可能需要不止一張圖:由于UMAP算法是隨機的,不同的運行可能產(chǎn)生不同的結果。




    優(yōu)點

    • 保留局部和全局結構:UMAP捕捉數(shù)據(jù)中的非線性關系,適用于處理復雜數(shù)據(jù)集。


    • 速度和可擴展性:UMAP在計算上更高效,適合處理大數(shù)據(jù)集。

    • 參數(shù)調優(yōu):UMAP提供了參數(shù)調優(yōu)的靈活性,允許用戶在保留局部和全局結構之間進權衡。



    缺點

    • 可解釋性:UMAP嵌入可能不如一些其他方法(如PCA)那樣具有可解釋性。


    • 對超參數(shù)的敏感性:UMAP的性能可能對超參數(shù)選擇敏感,找到合適的參數(shù)可能需要進行實驗。

    • 在高維空間中的局限性:UMAP在非常高維的空間中可能表現(xiàn)不佳。

    • 計算資源需求:對于極其龐大的數(shù)據(jù)集,UMAP仍然可能需要大量的計算資源。



    圖片

    圖2:對Fashion MNIST數(shù)據(jù)集應用降維。10類服裝物品的28x28圖像被編碼為784維向量,然后通過UMATt-SNE投影到3維。



    t-SNE(t-隨機鄰域嵌入)


    t-SNE(t-隨機鄰域嵌入)是一種流行的降維方法,用于高維數(shù)據(jù)的可視化。t-SNE通過保留數(shù)據(jù)的局部結構來工作,通常會導致簇的清晰分離。與專注于zuida化方差的PCA(主成分分析)不同,t-SNE強調在降維空間中保持相似的距離接近,不相似的距離遠離。然而,由于其對局部結構的強調,它有時會夸大簇,并不總是能保留數(shù)據(jù)的全局結構。此方法計算量大,尤其是對于大型數(shù)據(jù)集。


    優(yōu)點


    1

    局部結構的保留


    t-SNE在保留數(shù)據(jù)的局部結構方面表現(xiàn)出色,使其在識別相似數(shù)據(jù)點的聚類時非常有效。


    2

    靈活性

    與某些線性方法(如PCA)不同,它可以有效處理非線性數(shù)據(jù)結構。

    3

    可視化

    特別適用于將高維數(shù)據(jù)可視化為二維或三維。



    缺點


    1

    計算強度


    該算法在處理大型數(shù)據(jù)集時可能會非常耗費計算資源。


    2

    隨機性

    由于算法的隨機性,最終的可視化結果在不同運行之間可能會有所不同,這可能導致不一致性。

    3

    超參數(shù)敏感性

    結果可能對困惑度(perplexity)的選擇非常敏感。

    4

    可解釋性

    t-SNE圖中聚類之間的距離并不總是具有有意義的解釋。該算法優(yōu)先保留局部結構而非全局結構。t-SNE可視化中的數(shù)據(jù)點密度不一定代表原始高維空間中的密度。

    5

    僅適用于可視性

    雖然在可視化方面表現(xiàn)出色,但t-SNE嵌入可能并不總是適合作為其他機器學習算法的輸入。



    PaCMAP(成對控制流形近似)


    PaCMAP(成對控制流形近似)是一種降維技術,作為t-SNE和UMAP等方法的替代方案被引入。該方法旨在平衡數(shù)據(jù)中局部和全局結構的保留,解決其他技術中觀察到的一些挑戰(zhàn)。它引入了成對吸引和排斥項,以在流形學習過程中控制平衡,并以其速度和處理大數(shù)據(jù)集的能力而著稱,同時能夠生成可解釋的嵌入。


    優(yōu)點



    1

    混合方法


    PacMAP結合了局部和全局結構保留的優(yōu)點,旨在從t-SNE(局部)和PCA(全局)等方法中捕捉兩者的最佳特性。PacMAP旨在結合t-SNE(局部結構保留)和UMAP/PCA(全局結構保留)的優(yōu)勢。


    2

    局部和全局結構保留的靈活性

    該方法可以根據(jù)數(shù)據(jù)的性質和用戶的目標,調整以強調局部或全局結構。

    3

    減少擁擠問題

    該方法旨在緩解t-SNE中常見的“擁擠問題",這種問題會導致簇被推得過遠。

    4

    減少隨機性

    與t-SNE的隨機性相比,PacMAP在多次運行中提供了更一致的結果。雖然有參數(shù)需要調整,但該方法設計得比t-SNE對參數(shù)變化更具魯棒性。



    缺點


    1

    復雜性和熟悉度


    作為一種混合方法,PacMAP可能對熟悉簡單、單一目標方法的用戶來說更難理解。一些數(shù)據(jù)分析社區(qū)可能對PacMAP不太熟悉,導致在采用或解釋時可能面臨挑戰(zhàn)。由于其較新,可能沒有像t-SNE或PCA等長期存在的方法在各種應用中經(jīng)過廣泛驗證。


    2

    參數(shù)敏感性

    盡管設計得對參數(shù)變化更具魯棒性,但結果仍可能因參數(shù)選擇而異。根據(jù)數(shù)據(jù)的不同,如果調整不當,可能會有過度強調局部或全局結構的風險。

    3

    可解釋性

    與其他降維技術一樣,解釋降維后的維度仍然可能是不直觀的。



    Aivia賦能數(shù)據(jù)驅動的空間洞察

    降維工具大解析

    微信圖片_20240919110833.jpg

    參考文獻:


    1. Becht E, McInnes L, Healy J, Dutertre CA, Kwok IW, Ng LG, Ginhoux F, Newell EW. Dimensionality reduction for visualizing single-cell data using UMAP. Nature biotechnology. 2019 Jan;37(1):38-44.

    2. Wang Y, Huang H, Rudin C, Shaposhnik Y. Understanding how dimension reduction tools work: an empirical approach to deciphering t-SNE, UMAP, TriMAP, and PaCMAP for data visualization. The Journal of Machine Learning Research. 2021 Jan 1;22(1):9129-201.

    3. Van der Maaten L, Hinton G. Visualizing data using t-SNE. Journal of machine learning research. 2008 Nov 1;9(11).

    4. McInnes L, Healy J, Melville J. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv preprint arXiv:1802.03426. 2018 Feb 9.



    徠卡顯微系統(tǒng)(上海)貿(mào)易有限公司
    地址:上海市長寧區(qū)福泉北路518號2座5樓
    郵箱:lmscn.customers@leica-microsystems.com
    傳真:
    關注我們
    歡迎您關注我們的微信公眾號了解更多信息:
    歡迎您關注我們的微信公眾號
    了解更多信息