作者 | 陳彩嫻

上個月27日，

ACM通訊爆出論文作者與審稿人串通欺騙盲審的學術欺詐事件

，在計算機科學研究領域掀起了一陣討論風暴。人們就此發表了不同看法與評論，其中，來自加拿大Mila實驗室的 AI 博士生 Jacob Buckman 甚至發表了一篇部落格文章，控訴了更為“看似合理”的學術欺詐行為。

Buckman的本科畢業於卡內基梅隆大學計算機科學專業，研究生畢業於卡內基梅隆大學語言技術研究所，2018年開始在麥吉爾大學讀博，在Yoshua Bengio（深度學習三巨頭之一）於1993年創立的Mila實驗室做研究。

這篇文章被上傳到 Reddit 上，引來了超過150條的評論與跟帖：

Reddit討論：

https：//www。reddit。com/r/MachineLearning/comments/nooiha/d_please_commit_more_blatant_academic_fraud_blog/

關於人工智慧領域裡所謂“看似合理”的學術欺詐論文，Buckman舉了很多常見例子，比如：

在數十個種子上試驗一種新的演算法，然後只通報效能最好的幾種情形；

在提出的方法上執行大型超引數掃描，但使用基線的預設值；

挑選幾個模型在其中表現不錯的場景，或挑選一個在上面進行測試、且模型優勢被證明的資料集；

捏造新的問題設定、新的資料集與新的目標，以便在空曠的賽場上取得勝利；

在論文介紹中宣稱某項工作是“有前景的第一步”，即使完全意識到沒有人會在這項工作的基礎上繼續發展；

把論文投到會議，僅僅是因為論文有可能被接收，不希望在這個論文上花費的時間被浪費，即使意識到論文的核心思想是錯誤的；

……

相比同行勾結、欺騙評審，Buckman認為，這種學術欺詐行為更難以“定罪”，對計算機科學研究領域的危害更大。

他甚至呼籲：讓暴風雨來得更猛烈些吧！待學術欺詐行為氾濫成災，方能一切推倒重來，重建一個更加美好的明天！

Buckman認為，相比有明顯證據的盲審欺詐，這類“低調”學術欺詐的問題就在於它的陰險與微妙。許多時候，我們難以區分欺詐行為與簡單的錯誤。對於這類行為，相關研究者可以提出合理的否認，比如說：“噢，我只是忘記了包含哪些種子。”“我沒有足夠的計算機來處理這些消融。”“我沒有發現這個bug。”……

在這種情況下，我們很難因為一些也許有合理緣由的簡單錯誤來懲罰一個善良的研究生，所以只能“手下留情”，讓這些事件一而再、再而三地發生，直到這些行為“正常化”。當論文發表的標準變得很低時，那麼高標準要求自己會變得對任何人都沒有好處。領域的新入門者看到這些現象，會學習、模仿。

Buckman指出，模仿“欺詐”的年輕研究者通常是受到導師的“鼓勵”。每個教授都希望實驗室裡的研究生每年都能發表儘可能多的論文。如果每個實驗室都認可某些行為，那麼這些行為就會成為該領域研究標準的一部分。

但最糟糕的是：因為每個人都是這類“微妙欺詐”的同謀，所以沒有人願意承認它的存在。對於這個現實，同一個領域的研究者形成了一個集體盲點：即使是頂級會議上發表的中等水平論文，也不包含真知灼見。任何突顯或糾正這種情況的嘗試都會遭到既得利益者的強烈抵制。

如今，當所有公然的學術造假混雜在一起，研究人員可以迫使人工智慧領域承認這個盲點的存在。在閱讀會議論文時，研究人員可以提出這樣的懷疑：這項工作真的值得我的關注嗎？它的發表會不會僅僅是一種學術“欺詐”行為？

事實上，我們很難將“欺詐”發表論文與“合法”發表論文區分開來。（這其實已經詮釋了 AI 領域的發展現狀。）

但 Buckman 認為，如果假設所有論文都帶有“欺詐行為”，那麼人們可以帶有懷疑的目光去閱讀所有已經發表的工作。讀者被迫像審稿人一樣閱讀，審查論文中可能存在“欺詐”的行為。久而久之，同一領域的研究者會對這類“欺詐”產生敏感，反過來給作者帶來壓力，讓他們創作出經得起考驗的作品，產生真正有科學價值的出版物。

Buckman還提到，大多數研究人員更像是“職場研究員”，他們的動力不是追求科學真理，而是追捧在學術界有威望的人士。不僅是初級研究員，高階研究員也如此。但如果“科學是人情世故”的觀念在人工智慧領域根深蒂固，原先的受益者，真的能繼續受益嗎？

來自布朗大學的Michael L。 Littman教授認為，論文作者與審稿人“狼狽為奸”的現象會威脅整個計算機科學研究領域的誠信。Buckman對此觀點表示贊同，甚至希望有一天，這種行為能最終破壞計算機科學研究的整體可信度，最終迫使該領域的所有人重新參與建設學術規範，改變研究的方式，提高人類知識成長的整體能力。

在文末，Buckman呼籲：請進行更多的學術欺詐行為……

在Reddit上，網友就Buckman的文章發表了自己的觀點/大膽地爆料。

有人分享了自己身邊的故事（不確定是否“無中生友”），提到有位機器學習領域的博士生髮現導師的一個論文觀點完全是憑空捏造的，而實驗室裡其他研究生的工作又是基於這位教授的工作所完成的。這位博士生因此失去了對學術的信仰…

研究3D點雲配準的網友表示，這類學術欺詐行為不僅發生在人工智慧領域：

但是，也有人對Buckman定義日常學術欺詐的例子進行了反駁。比如，Buckman認為，“捏造新的問題設定、新的資料集與新的目標，以便在空曠的賽場上取得勝利”也是一種學術欺詐，而網友則指出：定義新的問題設定、新的資料集與新的目標，是研究者能對領域付出的最大貢獻！

這個觀點使部分研究者感到了冒犯：

有網友搬出吳恩達的觀點：研究新的資料集/目標/問題設定，比調整模型架構、以在同一個資料集上實現比SOTA高0。1%的工作更有意義。

這是該帖所含超連結中吳恩達的觀點：

還有網友指出，Buckman的文章觀點很好，但過於理想主義化。比如說，Buckman提到種子與不恰當的測試。但現實是，很多實驗室的裝置完全比不了MIT、斯坦福或Facebook等頂級高校、大廠。

此外，關於“科學是人情世故”的問題，該網友認為這是一個特徵，而不是一個bug。學者想要慶祝個人的成就，隨之獲得聲望，是一個自然而然的過程。這個體系已經執行許多年。

大家怎麼看？

參考連結：

https：//jacobbuckman。com/2021-05-29-please-commit-more-blatant-academic-fraud/

https：//www。reddit。com/r/MachineLearning/comments/nooiha/d_please_commit_more_blatant_academic_fraud_blog/

https：//cacm。acm。org/magazines/2021/6/252840-collusion-rings-threaten-the-integrity-of-computer-science-research/fulltext#FNA