自表示子空間聚類方法在高維數據處理中表現優秀，已成為該領域的關鍵技術之一。然而，傳統的自表示模型通常假設數據集是靜態的，難以適應動態、連續到達的數據流，會導致新舊數據存在特征異構、新到樣本可能包含未知新類別等情況。因此，文中提出聯合自表示子空間聚類方法(Joint Self-Expressive Subspace Clustering Method, JSSC)，可適應數據流的連續到達。JSSC結合聯合自表示特征學習模塊和新類別樣本處理模塊，有效聚類新類別樣本，同時確保已有類別的聚類性能不受影響。此外，該方法利用深度自動編碼器學習子空間基，實現直觀、可解釋的表示，并通過成對目標和正則化項，同時管理已知類別和新興類別。基準數據集上的實驗表明，JSSC在聚類任務中表現較優，尤其是在處理動態數據中的新類別方面。

　　關鍵詞：子空間聚類;自表示學習;子空間基;動態數據

　　論文《面向動態數據的聯合自表示子空間聚類方法》發表在《模式識別與人工智能》，版權歸《模式識別與人工智能》所有。本文來自網絡平臺，僅供參考。

　　一、引言

　　近年來，子空間聚類技術因其在處理高維數據中的優異表現受到廣泛關注[1]。該技術假設同簇內的數據點共享一個公共子空間，而不同簇的數據分布在彼此獨立的子空間中。這一特性使得該技術在降維和聚類方面具有顯著優勢，廣泛應用于人臉聚類、視頻運動分割和圖像聚類等領域[2-5]。

　　自表示模型的引入為子空間聚類的發展提供關鍵的突破技術，其核心思想是將數據集上每個數據點表示為其余數據點的線性組合，從而有效構建親和矩陣，揭示數據點之間的關系。然而，傳統的淺層子空間聚類方法在處理復雜數據時判別能力有限。隨著深度學習的快速發展，深度模型能更有效地捕捉數據的潛在復雜結構，為自表示模型帶來新的突破。

　　DSC-Nets(Deep Subspace Clustering Networks)[6]是在深度神經網絡中實現自表示子空間聚類的直接方式之一，其核心思想是在編碼器和解碼器之間引入無偏置的全連接層，用于執行自表示建模。具體地，輸入數據通過編碼器映射到線性子空間，隨后全連接層執行自表示建模，其權重矩陣用于譜聚類?；贒SC-Nets的后續研究引入額外的正則化項，如對抗性學習、偽監督和自監督卷積[7-9]等，進一步提升聚類性能。通過結合深度學習與自表示子空間聚類，子空間聚類的應用得到擴展和優化。

　　盡管DSC-Nets的聚類性能較優，但仍存在一些局限性。當前的深度模型大多基于封閉環境的假設，即數據集是靜態、固定不變的。這種假設在現實世界中并不常見，因為數據往往是動態的，以流的形式不斷到達。DSC-Nets難以適應這種新數據的到來，尤其是當新數據包含來自全新類別的樣本時，因為這些模型通常是在固定數據集上訓練并優化，缺乏足夠的靈活性以應對動態變化的數據環境。因此亟需開發具備更強泛化能力的子空間聚類方法，以適應不斷變化且復雜的數據環境。

　　為了解決類別外數據在子空間聚類中的挑戰，本文在自表示子空間聚類框架的基礎上進行擴展，提出聯合自表示子空間聚類方法(Joint Self-Expressive Subspace Clustering Method, JSSC)，專門用于處理舊數據和新數據的聯合聚類。然而，舊數據和新數據的特征往往存在異構性，JSSC利用從舊數據中學習的知識，實現對新數據的高效表征，這種跨數據表征方式還有助于處理新類別樣本。通過迭代優化，從舊數據中學習的子空間基被用于表示新數據，確保特征的互補性與一致性。此外，設計新類別樣本處理模塊，結合成對目標和正則化項，有效處理舊類別和新類別樣本的聚類任務。

　　二、相關工作

　　(一)深度聚類

　　隨著深度神經網絡(Deep Neural Network, DNN)的不斷發展，深度聚類方法逐漸興起，展現出較強的表征能力。其中，自編碼器(Autoencoder, AE)已成為許多深度聚類框架的核心，通過重構損失函數學數據的潛在表示。Huang等[10]利用自編碼器，將數據投影到低維空間，并通過K-means對嵌入的低維數據進行聚類。Li等[11]提出PLrSC(Projective Low-Rank Subspace Clustering)，從大數據集上隨機抽取小數據集，使用PLD(Predictive Low-Rank Decomposition)訓練深度編碼器，從而快速計算數據樣本的低秩表示。Chang等[12]提出DSEC(Deep Self-Evolution Clustering)，通過選定的模式進行網絡的交替訓練。Wu等[13]提出DCCM(Deep Comprehensive Correlation Mining)，使用偽標簽進行自我監督，并結合互信息捕捉具有更強判別力的表示。Huang等[14]提出PICA(Partition Confidence mAximisation)，通過最小化分區不確定性指數，學習最有置信度的聚類分配。Ronen等[15]提出DeepDPM(Deep Nonparametric Method)，結合深度神經網絡與狄利克雷過程，并通過分裂、合并框架及動態網絡結構，在訓練過程中自適應確定聚類數目K，在大規模數據集上取得較優性能。

　　(二)子空間聚類

　　經典的子空間聚類方法，如SSC(Sparse Subspace Clustering)[16]、LRR(Low-Rank Representation)[17]、KSSC(Kernel Sparse Subspace Clustering)[18]，旨在學習用于譜聚類的自表達親和矩陣。許多研究者都在探索子空間聚類的自表達系數正則化的不同選擇，(l_1)正則化廣泛應用于稀疏子空間聚類[16]，而核規范和(l_2)正則化分別應用于低秩[17,19]和最小二乘子空間聚類[20]。一些研究者還試圖將(l_1)規范與其它正則化混合使用，提高親和圖連通性，并對自表達模型進行噪聲建模和特征學習的改進。

　　在此基礎上，已有研究者嘗試解決樣本外數據問題。Peng等[21]提出StructureAE(Structured Autoencoder)，構建雙向圖，揭示樣本與錨點之間的關系，使用標簽傳播方法處理樣本外數據。然而，該方法偏離傳統自表示子空間框架，未能有效應對樣本外數據的聚類挑戰，效果欠佳。Zhang等[22]提出SENet(Self-Expressive Network)，通過神經網絡學習自表達函數并創建自表達系數。需要注意的是，SENet僅將測試集作為樣本外數據直接判斷，因此只能處理同一分布下的樣本外數據，并且需要事先學習大量同類數據。雖然SENet對獨立同分布的樣本外數據有效，但在處理超出類別范圍的新數據時存在局限性。

　　(三)新類別發現

　　新類別發現(Novel Class Discovery, NCD)旨在利用有標注數據中的知識發現未標注數據中的新類別，并假設兩者類別相互獨立但相關。

　　近年來，該領域許多方法在圖像分類和語義分割等任務中表現出色。Hsu等設計基于成對相似性的聚類正則化分類損失，并提出框架重構與語義聚類數量估計的方法[23]。同時，還提出MCL(Meta Classification Likelihood)[24]，通過成對相似性學習多類分類器。Zhong等[25]提出NCL(Neighborhood Contrastive Learning)，旨在學習對聚類性能重要的判別表示，通過檢索和聚合偽陽性對改進對比學習，并在特征空間中生成硬負例。Han等[26]提出AutoNovel，結合自監督學習，避免標記數據的偏差，利用排名統計進行知識遷移，通過聯合目標函數優化數據表示。Zhang等[27]提出PromptCAL(Prompt Contrastive Affinity Learning)，在預訓練的ViT(Visual Transformer)模型中引入輔助視覺提示(Prompts)，并通過迭代式的半監督親和圖生成策略，挖掘無標注混合數據中的可靠正樣本對。Gu等[28]基于在已知類上訓練的模型的預測類分布，引入新類的類關系表示，提出一種知識蒸餾框架，利用類關系表示規范新類的學習，并通過可學習的加權函數，根據新類與已知類之間的語義相似性，自適應促進知識轉移。

　　(四)開放世界

　　開放世界(Open World)研究涵蓋多個關鍵子領域，包括增量學習(Incremental Learning)、零樣本學習(Zero-Shot Learning)、領域適應(Domain Adaptation)、終身學習(Lifelong Learning)。Tao等[29]提出FSCIL(Few-Shot Class-Incremental Learning)，固定少樣本類增量學習，每次引入固定數量的類別和樣本，但在實際應用中因數據分布不確定，模型容易過擬合和遺忘。Naeem等[30]提出CGE(Compositional Graph Embedding)，通過圖結構中狀態、對象及其組合的依賴關系，促進已見組合與未見組合之間的知識轉移。Li等[31]針對OSDA(Open Set Domain Adaptation)中的語義偏差問題，提出ANNA(Adjustment and Alignment)，通過細粒度分析源域圖像中的視覺塊，識別隱藏的新類別區域，再利用正交掩碼，將源域和目標域的基礎類別與新類別區域解耦，確保數據分布的無偏對齊。

　　三、聯合自表示子空間聚類方法

　　本文提出聯合自表示子空間聚類方法(JSSC)，旨在解決流形數據中新類別樣本聚類的挑戰，具體框架如圖1所示。

　　JSSC可分為如下兩部分：

　　1. 聯合自表示特征學習模塊。首先，使用舊數據訓練自編碼器，在編碼器和解碼器之間加入無偏置的全連接層，并引入子空間基相關損失，提取舊數據的子空間基特征。在這一過程中，舊數據的特征得到有效的自表示，從而捕捉其固有結構和子空間分布。與此同時，新數據通過共享舊數據編碼器的權重進行特征提取，可確保新舊數據在特征空間內的一致性和關聯性，進而利用舊數據表征新數據，獲得新數據的特征。

　　2. 新類別樣本處理模塊。在獲取舊數據特征后，通過譜聚類生成偽標簽，并在骨干網絡末端添加分類頭，將帶有偽標簽的舊數據與無標簽的新數據一并輸入后分類。引入成對目標損失和正則化項，較好地區分新舊數據特征。

　　[圖1 JSSC框架圖](Fig. 1 Framework of JSSC)

　　(一)聯合自表示特征學習

　　在處理具有新樣本的數據集時，首要問題是來自不同數據集的樣本會導致自表達學習框架內的特征異構。JSSC首先從舊數據中學習一個統一的坐標基，構建共享的特征空間。在該共享空間中，可在同一坐標系下無縫表示新數據，從而確保特征的高效整合與分析。通過這一統一特征空間的構建，不僅能有效應對多源特征的多樣性，同時也確保學習的表征對新樣本和未見數據具有良好的泛化能力。

　　給定一個舊數據集(x_i subset X in R^{d×n})，其中，d表示特征維度，n表示樣本數，假設：

　　[x_i = f_j(v) + varepsilon]

　　其中：(f_j(cdot))表示未知的非線性函數映射(R^{r_j} o R^d);(v in R^r)表示一個隨機變量;(varepsilon)表示隨機高斯噪聲。

　　假設X中有k簇，X的列被分成與函數(f_1(cdot), f_2(cdot), cdots, f_k(cdot))對應的k簇，則上式等價于一個聚類問題，可看作是一個經典的非線性子空間問題或流形聚類問題。

　　對于(j=1,2,cdots,k)，假設：

　　[f_j(v) = h(B_jv)]

　　其中，(B_j in R^{t×r_j})，(h: R^t o R^d)。因此當獲得對(B_1, B_2, cdots, B_k)的良好估計時就足以識別正確聚類。在本文中通過多層神經網絡對(x_i)進行近似以估計(B_j)，即：

　　[x_i approx hat{h}(B_jv_i), x_i in C_j]

　　其中，(hat{h}(cdot))表示深度神經網絡，(C_j)表示第j個集群。通過下式估計(B_j)：

　　[min left{frac{1}{2n}sum_{i=1}^nleft|x_i - hat{h}(B_jv_i) ight| ight}, B_j in C_j]

　　理想情況下，(B_j)對應于(C_j)簇，(j=1,2,cdots,k)。然而，(B_j)的簇是未知的，因此無法直接求解上式。為此，需要引入新的約束條件。

　　根據估計的基(B_j)獲得正確聚類的假設，對于所有(j≠l)，(left|B_l^TB_j ight|_F)應足夠小，則：

　　[ left|B_l^TB_j ight|_F leq epsilon]

　　其中(epsilon)為一個非常小的常數。基的集合([B_1, B_2, cdots, B_k])由k塊組成。為了方便起見，對塊中的每個單獨向量(B_j^{(u)})進行歸一化處理，從而消除維度差異并簡化計算，即：

　　[ left|B_j^{(u)} ight|_F = 1, u=1,2,cdots,r_j, j=1,2,cdots,k]

　　結合上述三式，旨在得出正交且獨立的基。為了將新數據點(y_i subset Y in R^{d×m})表示為所學基([B_1, B_2, cdots, B_k])的線性組合，最小化重構誤差：

　　[min_{z_{ij}}left|y_i - sum_{j=1}^kB_jz_{ij} ight|_2]

　　其中(z_{ij})表示使用(B_j)表示(y_i)的系數。

　　將上述各式擴展至深度網絡時，首先從舊數據中學習特征基。具體地，網絡通過自動編碼器重構舊數據，獲得可靠的潛在表示。然后在單位正交約束下優化特征基，利用學習的特征基對新數據進行表征，提取新數據的特征。學習基B的損失函數：

　　[L_B = L_{rc} + zeta(B_{con1} + B_{con2})]

　　其中(zeta)表示一個超參數。

　　為了簡化處理，使用舊數據(x_i)代替隨機變量(v_i)，并引入重建目標(hat{x}_i)代替原函數表示(hat{h}(B_jv_i))，其中(hat{x}_i)表示對原始數據(x_i)的重建。此外，(B_j)的維度調整為(t×d)以適應新數據的重建表示。則重建損失函數為：

　　[L_{re} = frac{1}{2n}sum_{i=1}^nleft|x_i - hat{x}_i ight|_F^2]

　　通過最小化目標函數，應用約束條件，得：

　　[B_{con1} = frac{1}{2}left|B^TB cdot D ight|_F^2]

　　其中(cdot)表示哈達瑪乘積。

　　考慮到B的維數為(R^{1×kd})，D的配置至關重要。在設計時，D對角線塊中所有大小為d的元素都設為1，所有其它元素都設為0。這種設計使得D可選擇性地忽略對角線塊，避免同一塊內的自我正交，強調不同塊之間的正交性。

　　然后，將約束條件的優化目標定義如下：

　　[B_{con2} = frac{1}{2}left|B^TB cdot I - I ight|_F^2]

　　其中(I in R^{kd×kd})為單位矩陣。

　　通過優化目標函數可從舊數據中得到B，類似地，同樣通過自動編碼器提取新數據的潛在特征。需要強調的是，為了確保模型的一致性，自動編碼器的參數直接復用舊數據的訓練結果。在此基礎上，進一步表示新數據的潛在特征，其優化目標定義如下：

　　[L(Z_{novel}) = frac{1}{2m}sum_{i=1}^mleft|y_i - sum_{j=1}^kB_jz_{ij} ight|_F^2 + lambdaleft|Z_{novel} ight|_P]

　　其中，(z_{ij} subset Z_{novel})，(lambda)表示一個超參數，(|cdot|_P)表示一個常用的正則化項如(l_1)或(l_2)。

　　(二)新類別樣本處理

　　在給定舊數據X和新數據Y的情況下面臨的一個主要問題是新數據中可能包含舊數據中未出現的類別。為了解決這一問題，在新類別樣本處理過程中，首先利用已有的有標簽的舊數據，通過適當的損失函數優化模型，使其能準確識別已知類別，確保模型對舊類別具有良好的識別能力。對于無標簽的新數據，采用成對目標策略，衡量樣本之間的相似性，有效分組同類別的無標簽樣本，從而在缺乏明確標簽指導時提升新類別的識別效果。此外，考慮到有標簽數據在訓練過程中可能導致新舊數據學習速率的不平衡，采用最大熵正則化策略，引入正則化項，平衡舊數據與新數據的學習速率，保障模型在處理新舊類別時的穩定性和高效性。

　　現已得到新數據的特征集(Z_{novel})，通過自表達結構也可獲得舊數據的特征集(Z_{old})。再對(Z_{old})進行譜聚類，生成偽標簽，并通過反復優化確保其準確性和可靠性。

　　分類頭被集成到主干網絡中。由于新數據包括未知類別，分類頭的數量是先前識別的類別和新類別的總和，最終優化分類器權重w。

　　分類器的目標函數包括：帶有偽標簽舊數據的交叉熵損失、成對目標、正則化項，即：

　　[L_{NCD} = L_{cc} + eta_1L_p + eta_2R]

　　其中，(L_{ce})表示交叉熵損失，(L_p)表示成對目標，R表示正則化項，超參數(eta_1)、(eta_2)分別控制成對目標和正則化項的貢獻。由于所有數據都是無標簽的，因此從根本上進行聚類，全面衡量聚類性能。

　　1. 成對目標

　　成對目標衡量樣本之間的相似性，旨在使同類樣本在特征空間中更緊密聚集的同時，不同類別樣本之間的距離更遠。具體地，首先構建樣本對，并計算余弦相似度，量化它們的相似性。對于有偽標簽的數據(Z_{old})，標簽表示哪些樣本對屬于同一類別。對于未標記的數據(Z_{novel})，計算每個小批次中所有樣本對之間的余弦距離，選擇最相似的鄰近樣本對，即：

　　[Z_{novel}' = underset{z_i in Z_{novel}}{cup} top<sigma(W^T cdot z_i), sigma(W^T cdot Z_{novel})>]

　　其中：(sigma(cdot))表示softmax函數，將樣本分配給已知類或新類之一;(top<cdot>)表示根據最高置信度選擇鄰居，為未標記的實例找出最近的鄰居(Z_{novel}')。對于小批量的特征表示(Z_{old} cup Z_{novel})，最近的集合表示為(Z_{old}' cup Z_{novel}')。

　　二元交叉熵損失(Binary Cross-Entropy Loss, BCE)的改進版本如下所示：

　　[L_p = frac{1}{m+n}sum_{z_i, z_i'}(-ln<sigma(W cdot z_i), sigma(W cdot z_i')>)]

　　其中：

　　[z_i in Z_{old} cup Z_{novel}, z_i' in Z_{old}' cup Z_{novel}']

　　m表示(Z_{old})的向量數，n表示(Z_{novel})的向量數。以在線方式更新距離和成對目標。

　　2. 正則化

　　在多類別學習中，尤其是在引入新類別時，模型面臨的一個主要挑戰是如何在保持對舊類別良好識別能力的同時，有效學習新類別的信息。由于有標簽的舊數據在訓練過程中可能帶來較快的學習速率，這種不平衡可導致模型在處理新舊類別時表現不一致。最大熵正則化通過鼓勵模型輸出分布的高熵特性，有效避免模型傾向于將所有實例歸入少數幾類的簡單解。具體地，在給定條件下選擇熵最大的分布作為最優分布，并使用KL散度約束模型輸出分布與先驗分布(q(c))之間的差異，其中c表示類別標簽，從而實現正則化。具體正則化項公式如下：

　　[R = frac{1}{m+n}sum_{z_i}(KL(sigma(W^T cdot z_i) | q(c)))]

　　[z_i in Z_{old} cup Z_{novel}]

　　先驗分布定義為：

　　[q(c) = left[frac{1}{C}, frac{1}{C}, cdots, frac{1}{C} ight]]

　　其中，C為類別總數，表示對各類別的均等假設，并且無任何先驗偏好。

　　最大熵正則化的目標是將模型輸出的條件概率與先驗分布(q(c))進行對比，并最小化兩者之間的KL散度，從而使模型輸出更接近先驗分布，減少對標注數據的依賴，提高模型的泛化性能。

　　四、實驗及結果分析

　　(一)實驗數據集

　　本文選擇在COIL-20、COIL-100、MNIST、CIFAR-10、E-YaleB數據集上進行實驗，并對每個數據集進行相應的預處理。每個數據集按照類別劃分為兩個子集，一部分用于先到的舊數據，另一部分用于未知類別的新數據。數據集詳細信息如表1所示。

　　表1 實驗數據集詳細信息

　　|名稱|樣本總數|舊類|新類|大小|

　　|COIL-20|1440|15|5|32×32|

　　(二)實驗環境

　　在Ubuntu 20.04.6系統上完成實驗，采用兩塊NVIDIA RTX 3080 GPU(20GB顯存)，使用PyTorch框架實現。

　　在聯合自表示特征學習階段，采用表2所示的架構進行構建。使用Adam(Adaptive Moment Estimation)優化器，學習率為0.001。各數據集的訓練輪次設置如下：COIL-20數據集上為25次，COIL-100數據集上為130次，MNIST、CIFAR-10數據集上均為128次，E-YaleB數據集上為175次，批次大小為360。子空間基B的維數定義為(R^{t×kd})，并在實驗中默認將t固定為1。對舊數據的潛在特征進行譜聚類，并使用Kuhn-Munkres算法匹配聚類標簽與真實標簽，將其作為偽標簽。在新類別樣本處理階段，對不同數據集設置不同的超參數，并進一步討論超參數的影響。

　　表2 五個數據集的特征學習網絡架構

　　|名稱|層數|編碼器|解碼器|

　　|COIL-20|卷積核：3×3;通道：15|卷積核：3×3;通道：15|

　　|COIL-100|卷積核：5×5;通道：50|卷積核：5×5;通道：50|

　　|MNIST|卷積核：(5×5,3×3,3×3);通道：(10,20,30)|卷積核：(3×3,3×3,5×5);通道：(30,20,10)|

　　|CIFAR-10|卷積核：(8×8,5×5,5×5,3×3);通道：(20,30,40,50)|卷積核：(3×3,5×5,5×5,8×8);通道：(50,40,30,20)|

　　|E-YaleB|卷積核：(5×5,3×3,3×3);通道：(10,20,30)|卷積核：(3×3,3×3,5×5);通道：(30,20,10)|

　　本文采用如下評價指標進行綜合評估：

　　1. 準確率(Accuracy, ACC)。評估模型的整體準確率，具體公式如下：

　　[ACC = frac{sum_{i=1}^c(TP_i + TN_i)}{sum_{i=1}^c(TP_i + FP_i + TN_i + FN_i)}]

　　其中，C表示類別數量，對于每個類別i，(TP_i)表示真正例數量，(TN_i)表示真負例數量，(FP_i)表示假正例數量，(FN_i)表示假負例數量。

　　2. 歸一化互信息(Normalized Mutual Information, NMI)。度量真實標簽與預測標簽的一致性，提供歸一化的一致性評分，具體公式如下：

　　[NMI = frac{2I(G, hat{G})}{H(G) + H(hat{G})}]

　　其中，(I(G, hat{G}))表示互信息，用于衡量真實標簽G和預測標簽(hat{G})之間的一致性，(H(cdot))表示標簽的熵，用于評估標簽的不確定性。

　　3. 調整蘭德指數(Adjusted Rand Index, ARI)。衡量聚類結果與真實標簽的匹配程度，同時考慮隨機因素的影響，具體公式如下：

　　[ARI = frac{sum_{ij}inom{n_{ij}}{2} - frac{1}{inom{n}{2}}[sum_iinom{a_i}{2}sum_jinom{b_j}{2}]}{frac{1}{2}[sum_iinom{a_i}{2} + sum_jinom{b_j}{2}] - frac{1}{inom{n}{2}}[sum_iinom{a_i}{2}sum_jinom{b_j}{2}]}]

　　其中，(n_{ij})表示在聚類結果A中屬于第i個簇且在聚類結果B中屬于第j個簇的樣本數量，(a_i)表示在聚類結果A中屬于第i個簇的樣本總數，(b_j)表示在聚類結果B中屬于第j個簇的樣本總數，n表示樣本總數。

　　(三)對比實驗

　　首先選擇如下經典子空間聚類方法進行對比：DSC[6]、DCCM[13]、SSC[16]、SENet[22]、SSC-OMP(Sparse Subspace Clustering by Orthogonal Matching Pursuit)[32]、EDSC(Efficient Dense Subspace Clustering)[33]、AE+SSC、AE+EDSC、文獻[34]方法、AASSC-Net(Adaptive Attribute and Structure Subspace Clustering Network)[35]。

　　鑒于子空間聚類在處理新類別問題上的研究相對較少，現有工作中缺乏足夠的可比性，因此，本文不僅考察經典子空間聚類方法，還與如下前沿的半監督分類方法進行參考性對比：文獻[23]方法、AutoNovel[26]、DTC(Deep Transfer Clustering)[36]、TR-SSL(Towards Realistic Semi-supervised Learning)[37]。

　　各方法在5個數據集上的準確率對比如表3所示，在表中，黑體數字表示最優值，“舊”表示舊數據，“新”表示新數據，“全”表示整個數據集。由表可知，傳統的子空間聚類方法在處理新類別數據時往往表現不佳，特別是當新類別未包含在訓練數據中時，通常只能在舊數據上取得較優值。在動態引入新類別的復雜數據環境中，傳統方法的適應性顯著不足。這主要是因為在子空間聚類領域，除了SENet以外，針對包含新類別的新樣本的相關研究較少。相比之下，JSSC在舊數據上的表現較穩健，同時在處理新類別時展現出一定的泛化能力。特別是在新類別樣本處理中，JSSC表現出相對優勢，能有效識別新類別，并在此過程中盡可能維持整體模型的性能平衡。盡管SENet的總體表現與JSSC較接近，但在處理新數據和新類別方面，JSSC具有明顯優勢。

　　盡管半監督方法能利用部分標簽信息，在某些情況下表現出色，但對標簽的依賴使其在動態數據環境中存在一定的局限性。相比之下，JSSC完全無監督，能在無需任何標簽信息的情況下處理新類別問題。從指標上看，盡管在某些細節上JSSC的準確率略遜于半監督方法，但總體性能相當接近。

　　本文方法與傳統子空間聚類方法在CIFAR-10數據集上的NMI和ARI值對比如表4所示，表中黑體數字表示最優值。由表可見，盡管JSSC在舊數據上的性能未必始終優于對比方法，但在新數據和整體數據上表現出色。

　　盡管JSSC通常假設類別數量已知，但在實際應用中，?；谌缦禄炯僭O：舊數據的類別數量已知，而新數據的類別數量未知且需要進行估計。

　　在此基礎上，本文嘗試首先估計新類別的數量以應用JSSC。參考DeepDPM[15]，在CIFAR-10數據集上進行類別數估計的模擬實驗。在訓練過程中，初始設定類別數(K=10)，并在每隔若干個輪次后動態調整K值，每當觸發調整步驟時，系統會隨機選擇執行分裂或合并操作。

　　盡管初始類別數設定為10，但通過動態分裂與合并，最終自動調整為13個有效集群，接近實際類別數。實驗結果表明，這一動態調整策略導致分類準確率有所下降，舊數據的準確率下降約23%，新數據的準確率下降約17%，整體數據的準確率下降19%。

　　(四)特征可視化分析

　　在COIL-20數據集上，通過t-SNE(t-Distributed Stochastic Neighbor Embedding)進行嵌入表示的可視化，效果如圖2所示。

　　由圖2可見，隨著訓練輪次的增加，特征分布逐步趨于清晰可分。圖2(a)為所有COIL-20數據集的嵌入表示，(b)為舊數據(前15類)的嵌入。舊數據的嵌入雖然具有一定的可分性，但部分類別仍存在交疊。(c)-(g)為舊數據經過不同輪次訓練后的嵌入變化，隨著訓練的深入，嵌入分離性逐步增強，類別區分更清晰。

　　圖2(h)為結合新舊數據的嵌入，通過訓練后的舊數據嵌入特征表示新數據的嵌入，分別用黑色圓圈標記5個新數據類別。由圖可看到，這些新數據依然表現出較優的分離性。

　　實驗結果在一定程度上說明，在特征層面上，JSSC利用舊數據的嵌入特征也能準確表示新數據。

　　(五)收斂性分析

　　下面驗證JSSC的收斂性，在5個數據集上進行實驗，并繪制各自的收斂曲線，具體如圖3所示。由圖可見，新數據的收斂曲線波動較大，并且收斂速度相對較慢。其原因在于新數據是通過舊數據的特征表示進行學習的，因此初期模型對新類別的特征分布不夠明確，導致訓練過程中波動明顯，準確率較低。隨著訓練深入，模型逐步適應新數據的特征，準確率逐漸提高并最終趨于穩定。盡管新數據的收斂較緩慢，但值得注意的是，無論是完整數據、舊數據還是新數據，收斂曲線最終都能達到穩定狀態，由此表明JSSC在處理不同類型數據時都能有效收斂。

　　(六)消融實驗

　　新類別樣本處理模塊的目標函數由帶有偽標簽的舊數據的交叉熵損失((L_{ce}))、成對目標((L_p))和正則化項(R)組成，始終保留(L_{ce})以維持模型對舊類別數據的識別能力。為了評估各模塊對JSSC性能的貢獻，在5個數據集上進行詳細的消融實驗，結果如表5-表9所示。

　　(L_p)在處理新數據時具有顯著作用，通過學習新類別樣本的成對距離，可幫助模型更好地適應新類別的分布，實驗表明加入(L_p)后新數據的分類性能明顯提升。

　　R在防止模型過擬合的同時，平衡舊數據和新數據的表現，確保在訓練過程中，舊數據的性能在不受影響的情況下，提升對新數據的適應能力。

　　由表5-表9可見，各模塊相互配合，使新類別樣本處理模塊在多個數據集上的表現較穩定。

　　同時，在完成每個模塊的消融實驗后，進一步對模型進行更細粒度的考察，分析超參數(eta_1)和(eta_2)對聚類性能的影響。將這兩個超參數的取值范圍設置在0~1之間，不同超參數組合下模型的表現差異如圖4所示。

　　由圖4可看出，在5個數據集上，舊數據的聚類性能顯著受到(eta_2)的影響。隨著(eta_2)的增大，舊數據的準確率呈現下降趨勢。相比之下，新數據的準確率隨(eta_1)的增加而逐步提升。此外，完整數據的準確率在不同參數設置下表現出一定的波動性，未能呈現出明顯的單調變化趨勢。

　　五、結束語

　　本文提出聯合自表示子空間聚類方法(JSSC)，這是一種用于新舊數據子空間聚類的框架，可有效管理類外數據，發現新的類別，強調舊數據與新數據之間的關系與互補性。通過聯合特征學習，JSSC能從舊數據中提取的知識為新數據提供有力支持，從而提高聚類的準確性和可靠性。在處理異構特征時，JSSC利用舊數據的潛在結構，確保新數據的表示與之相符，實現更優的聚類性能。這種跨數據關系的處理策略不僅增強對新類別樣本的檢測能力，也有效維護舊類別的聚類準確性。實驗表明，JSSC在處理新數據方面性能較優，同時保留現有數據的聚類準確性，并驗證其在不同數據集上的有效性和適應性。今后可考慮進一步優化JSSC在特定領域的應用，如醫療影像和社交網絡數據;探索自適應學習策略，提升方法對不同數據流特征的適應性;開發更高效的模型訓練和推理方法，應對大規模數據集的挑戰。

　　參考文獻

　　[1] VIDAL R. Subspace Clustering. IEEE Signal Processing Magazine, 2011, 28(2): 52-68.

　　[2] ZHANG Z, LIU B, SHAO J M. Fine-Tuning Happens in Tiny Subspaces: Exploring Intrinsic Task-Specific Subspaces of Pre-trained Language Models // Proc of the 61st Annual Meeting of the Association for Computational Linguistics (Long Papers). Stroudsburg, USA: ACL, 2023: 1701-1713.

　　[3] ZHOU Z L, DING C, LI J, et al. Sequential Order-Aware Coding-Based Robust Subspace Clustering for Human Action Recognition in Untrimmed Videos. IEEE Transactions on Image Processing, 2023, 32: 13-28.

　　[4] ZHANG C Q, FU H Z, HU Q H, et al. Generalized Latent Multi-view Subspace Clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(1): 86-99.

　　[5] CUI Z H, JING X C, ZHAO P, et al. A New Subspace Clustering Strategy for AI-Based Data Analysis in IoT System. IEEE Internet of Things Journal, 2021, 8(16): 12540-12549.

　　[6] JI P, ZHANG T, LI H D, et al. Deep Subspace Clustering Networks // Proc of the 31st International Conference on Neural Information Processing Systems. Cambridge, USA: MIT Press, 2017: 2332.

　　[7] ZHOU P, HOU Y Q, FENG J S. Deep Adversarial Subspace Clustering // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2018: 1596-1604.

　　[8] LÜ J C, KANG Z, LU X, et al. Pseudo-Supervised Deep Subspace Clustering. IEEE Transactions on Image Processing, 2021, 30: 5252-5263.

　　[9] ZHANG J J, LI C G, YOU C, et al. Self-Supervised Convolutional Subspace Clustering Network // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2019: 5468-5477.

　　[10] HUANG P H, HUANG Y, WANG W, et al. Deep Embedding Network for Clustering // Proc of the 22nd International Conference on Pattern Recognition. Washington, USA: IEEE, 2014: 1532-1537.

　　[11] LI J, LIU H F, ZHAO H D, et al. Projective Low-Rank Subspace Clustering via Learning Deep Encoder // Proc of the 26th International Joint Conference on Artificial Intelligence Main Track. San Francisco, USA: IJCAI, 2017: 2145-2151.

　　[12] CHANG J L, MENG G F, WANG L F, et al. Deep Self-Evolution Clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(4): 809-823.

　　[13] WU J L, LONG K Y, WANG F, et al. Deep Comprehensive Correlation Mining for Image Clustering // Proc of the IEEE/CVF International Conference on Computer Vision. Washington, USA: IEEE, 2019: 8149-8158.

　　[14] HUANG J B, GONG S G, ZHU X T. Deep Semantic Clustering by Partition Confidence Maximisation // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2020: 8846-8855.

　　[15] RONEN M, FINDER S E, FREIFELD O. DeepDPM: Deep Clustering with an Unknown Number of Clusters // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2022: 9851-9860.

　　[16] ELHAMIFAR E, VIDAL R. Sparse Subspace Clustering: Algorithm, Theory, and Applications. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(11): 2765-2781.

　　[17] FAN J C, YANG C R, UDELL M. Robust Non-linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering. IEEE Transactions on Signal Processing, 2021, 69: 1755-1770.

　　[18] FAN J C, PATE L V M, VIDAL R. Kernel Sparse Subspace Clustering // Proc of the IEEE International Conference on Image Processing. Washington, USA: IEEE, 2014: 2849-2853.

　　[19] FAVARO P, VIDAL R, RAVICHANDRAN A. A Closed form Solution to Robust Subspace Estimation and Clustering // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2011: 1801-1807.

　　[20] LU C Y, MIN H, ZHAO Z Q, et al. Robust and Efficient Subspace Segmentation via Least Squares Regression // Proc of the 12th European Conference on Computer Vision. Berlin, Germany: Springer, 2012: 347-360.

　　[21] PENG X, FENG J S, XIAO S J, et al. Structured Autoencoders for Subspace Clustering. IEEE Transactions on Image Processing, 2018, 27(10): 5076-5086.

　　[22] ZHANG S Z, YOU C, VIDAL R, et al. Learning a Self-Expressive Network for Subspace Clustering // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2021: 12388-12398.

　　[23] HSU Y C, LÜ Z Y, KIRA Z. Learning to Cluster in Order to Transfer Across Domains and Tasks[C/OL]. [2024-10-27]. https://arxiv.org/pdf/1711.10125.

　　[24] HSU Y C, LÜ Z Y, SCHLOSSER J, et al. Multi-class Classification without Multi-class Labels[C/OL]. [2024-10-27]. https://arxiv.org/pdf/1901.00544.

　　[25] ZHONG Z, FINI E, ROY S, et al. Neighborhood Contrastive Learning for Novel Class Discovery // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2021: 10862-10870.

　　[26] HAN K, REBUFFI S A, EHRHARDT S, et al. AutoNovel: Automatically Discovering and Learning Novel Visual Categories. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(10): 6767-6781.

　　[27] ZHANG S, KHAN S, SHEN Z Q, et al. PromptCAL: Contrastive Affinity Learning via Auxiliary Prompts for Generalized Novel Category Discovery // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2023: 3479-3488.

　　[28] GU P Y, ZHANG C Y, XU R J, et al. Class-Relation Knowledge Distillation for Novel Class Discovery // Proc of the IEEE/CVF International Conference on Computer Vision. Washington, USA: IEEE, 2023: 16428-16437.

　　[29] TAO X Y, HONG X P, CHANG X Y, et al. Few-Shot Class-Incremental Learning // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2020: 12180-12189.

　　[30] NAEEM M F, XIAN Y Q, TOMBARI F, et al. Learning Graph Embeddings for Compositional Zero-Shot Learning // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2021: 953-962.

　　[31] LI W Y, LIU J, HAN B, et al. Adjustment and Alignment for Unbiased Open Set Domain Adaptation // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2023: 24110-24119.

　　[32] YOU C, ROBINSON D P, VIDAL R. Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2016: 3918-3927.

　　[33] JI P, SALZMANN M, LI H D. Efficient Dense Subspace Clustering // Proc of the IEEE Winter Conference on Applications of Computer Vision. Washington, USA: IEEE, 2014: 461-468.

　　[34] YANG X, DENG C, ZHENG F, et al. Deep Spectral Clustering Using Dual Autoencoder Network // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2019: 4061-4070.

　　[35] PENG Z H, LIU H, JIA Y H, et al. Adaptive Attribute and Structure Subspace Clustering Network. IEEE Transactions on Image Processing, 2022, 31: 3430-3439.

　　[36] HAN K, VEDALDI A, ZISSERMAN A. Learning to Discover Novel Visual Categories via Deep Transfer Clustering // Proc of the IEEE/CVF International Conference on Computer Vision. Washington, USA: IEEE, 2019: 8400-8408.

　　[37] RIZVE M N, KARDAN N, SHAH M. Towards Realistic Semi-Supervised Learning // Proc of the European Conference on Computer Vision. Berlin, Germany: Springer, 2022: 437-455.