深度監督網絡作者謝賽寧被拒稿 11 年后翻盤獲時間檢驗獎：拒稿≠學術死刑
謝賽寧十年前被 NeurIPS（當時還叫 NIPS）拒收的論文，剛在今年獲得了 AISTATS 2025 年度時間檢驗獎。
這篇論文就是《Deeply-Supervised Nets》（DSN，深度監督網絡），2014 年 9 月掛上 arXiv。
時間匆匆，十一年過去，屬于是真?時間檢驗了。
它提出的中間層監督思想被謝賽寧后續作品 REPA（Representation Alignment）和 U-REPA（U-Net Representation Alignment）等繼承并發展，展示出從單一模型優化到跨模型知識遷移的演進。
而后兩者在深度學習、擴散模型深化發展的這兩年間，影響頗深。
“恭喜！”“當之無愧！”
AISTATS 官宣其獲獎的推文下面，業界大佬齊聚，一片祝賀之聲。
當初，這篇論文被 AISTATS 接收。然而在謝賽寧本人的轉發推文中，我們知道另一重內幕 ——
這篇論文最初投稿給 NeurIPS。雖然拿下 8/8/7 高分，但仍然被該頂會拒絕了。
他表示：
那次挫折一直縈繞在我心頭，困擾著我……
十一年前，拿到 8/8/7 高分卻被拒
補充下背景信息 ——
《Deeply-Supervised Nets》是謝賽寧攻讀博士學位期間提交的第一篇論文。
他是共同一作之一，另一位共同一作是現在的谷歌研究科學家 Chen-Yu Lee。
該項目通訊作者是清華校友、馬爾獎獲得者，現 UCSD 的計算機科學與工程系教授屠卓文。他也是謝賽寧和 Chen-Yu Lee 的博導。
這篇論文提出了 DSN（深度監督網絡）方法，旨在解決深度學習中隱藏層特征學習的問題，提升分類性能。
當時的深度學習已經開始再次發展，在圖像分類和語音識別領域卓有成效。
不過，它仍然面臨諸多問題，比如隱藏層特征的透明度和判別力降低、梯度消失或爆炸導致訓練困難、對算法行為缺乏數學理解、依賴大量訓練數據以及訓練時手動調參復雜等等。
研究團隊基于觀察發現，在高判別力特征上訓練的分類器性能更好。
通過在網絡各隱藏層利用特征質量反饋，直接影響權重更新，能讓網絡更快學習到好的特征，減輕梯度問題，且不影響整體網絡性能。
于是，團隊提出 DSN，通過中間層監督機制解決 CNN（傳統卷積神經網絡）的三大痛點：
梯度消失
在隱藏層添加輔助分類器（”companion” objective），通過逐層反向傳播增強梯度信號。
特征魯棒性
強制中間層直接參與最終分類任務，使淺層特征更具判別性（如在 AlexNet 中，第 3 層特征分類準確率提升 18%）。
訓練效率
實驗證明在 CIFAR-10 數據集上，DSN 使 ResNet-50 的訓練收斂速度加快 30%，Top-1 準確率提升 2.1%。
時至今日，該成果已成為計算機視覺領域的經典方法，成為首個在生成式 AI 領域產生跨代影響的監督學習框架。
截至本文推送，這篇論文的谷歌學術被引量超過 3000 次。
那，為什么當時的 NeurIPS 沒有接收這篇論文呢？
或許是評審認為該工作是對傳統 CNN 的增量改進而非顛覆性創新，而當時的 NeurIPS 更關注理論突破或新型架構。
總之，雖然評審給這篇論文打出了 8/8/7 的高分，但還是被無情拒收了。
堅持不懈的表現不僅僅是“再試一次”
現在，當初接收 DSN 的 AISTATS，又給予了這個項目時間檢驗獎以嘉獎。
眾所周知，計算機會議的時間檢驗獎通常要求論文在獲獎的 10 年前發表，高被引是核心門檻。
而更為重要的是，時間檢驗獎獲獎項目需被同行評價為開創性工作（seminal work），或理論創新，或有應用價值，成為后續研究的基礎范式。
就像 GAN 啟發了生成式模型，Seq2Seq 推動機器翻譯的發展。
至此，謝賽寧在相關推文中寫下，“也許現在我可以終于釋懷?！保ㄔ杆娴膹拇酸寫选?/p>
當然，謝賽寧還毫不吝嗇地分享了更多感慨與經驗總結。
“我不會把學術會議比做大樂透，但堅持不懈確實能給學術生涯帶來很大的幫助?！敝x賽寫對著所有學子們喊話，“同學們：如果你們在看到最近的論文評審結果后感到灰心喪氣，又正為下一篇文章做準備的話，我希望這（DSN 獲時間檢驗獎）能給你們一點小小的提醒，繼續前行吧?！?/p>
后來他又對自己的感悟進行了補充說明 ——
堅持不懈并不僅僅是說“繼續努力”或者“再試一次”，它需要一個強大的支持系統和具體的實踐指導。
當我進入 UCSD 時，我對研究一無所知。我的導師屠卓文耐心地指導我們，從編程和數學證明相關的基礎知識，到提出自己的研究想法，再到在臺上自如地演講。
等我自己成為教授后，才體會到這種程度的指導是多么稀有和寶貴。
同時，我也有像 Chen-Yu Lee 這樣的合作者 —— 我們發現挫折，克服挑戰，一起前進。
“你永遠不應該獨自前行。”謝賽寧在最后寫道。
DSN 的共一 Chen-Yu Lee 也很激動地在??上發聲。
我們感到非常自豪！
這篇論文最早（在頂會上）發表于 2015 年?？吹竭@項工作的持續相關性和影響力，真是令人難以置信。
One More Thing
Anyway，對大多數相關從業者來說，論文被頂會接收是一種認可，一種榮譽。
但被頂會拒收，并不意味著對這個項目的全盤否定。
不知道大家還記不記得大明湖畔被 ICLR 2013 拒稿的 Word2vec（后轉投 NeurIPS 并獲接收，2023 年獲時間檢驗獎），以及被 ICLR 2024 拒稿的 Mamba？
謝賽寧的推文評論區，也挖掘出了更多的類似故事。
浙大校友、哥倫比亞大學計算機科學系副教授俞舟（zhou Yu）就留言說，她的團隊在 2019 年獲 ACL 最佳論文提名的項目也在首投時被拒稿。
如果一篇好論文被拒絕，它就具有「成為最好的論文」和「被時間檢驗」的潛力，因為它會再次改進。:)
聽了賽寧的分享，她表示，現在有另一個很好的例子可以用來鼓勵低年級的同學們了～
參考鏈接：
[1]https://x.com/sainingxie/status/1919423231687000493
[2]https://x.com/sainingxie/status/1919022082391671195
[3]https://arxiv.org/abs/1409.5185
[4]https://scholar.google.com/citations?user=Y2GtJkAAAAAJ&hl=en
本文來自微信公眾號：量子位（ID：QbitAI），作者：衡宇，原標題《被拒稿 11 年后翻盤獲時間檢驗獎，DSN 作者謝賽寧：拒稿≠學術死刑》
來源:IT之家
