11月5日?qǐng)?bào)道，近日，騰訊微信AI團(tuán)隊(duì)發(fā)布的一篇論文在海外AI圈引發(fā)廣泛關(guān)注。論文提出了一種名為“連續(xù)自回歸語(yǔ)言模型（CALM）”的新穎架構(gòu)。與傳統(tǒng)Transformer相比，CALM直接將訓(xùn)練大模型所用的計(jì)算量減少了44%，推理時(shí)的計(jì)算量也減少了34%。

CALM的核心邏輯是，將連續(xù)的K個(gè)token壓縮成一個(gè)語(yǔ)義向量，并在生成時(shí)直接預(yù)測(cè)“下一個(gè)向量”而非“下一個(gè)token”。假設(shè)K=4，那么原本需要逐步生成4次的內(nèi)容，現(xiàn)在只需1步即可完成，使其能在一次生成中輸出更多信息，大幅提升效率。

這項(xiàng)研究的相關(guān)討論在社交媒體平臺(tái)X的閱讀量累計(jì)已經(jīng)超過(guò)100萬(wàn)次，在評(píng)論區(qū)引起熱議。

提示詞分享網(wǎng)站godofprompt.ai的聯(lián)合創(chuàng)始人Robert Youssef認(rèn)為，CALM或許就是AI領(lǐng)域下一次大的范式轉(zhuǎn)變，徹底顛覆了所有大語(yǔ)言模型賴(lài)以構(gòu)建的“下一個(gè)token預(yù)測(cè)”范式，讓大模型不再逐字思考，而是以想法為單位進(jìn)行思考，簡(jiǎn)直不可思議。這一方法如果能成功擴(kuò)展，那么現(xiàn)有的LLM都將過(guò)時(shí)。

還有多位網(wǎng)友認(rèn)為CALM提出的概念值得探討，但關(guān)鍵是需要在更大規(guī)模的Scaling過(guò)程中獲得驗(yàn)證。

然而，也有人質(zhì)疑CALM的前景。這位網(wǎng)友稱(chēng)，CALM只是楊立昆的一個(gè)老舊想法，訓(xùn)練不穩(wěn)定，基礎(chǔ)很薄弱，且無(wú)法擴(kuò)展，是一種“有缺陷的方案”。

CALM論文的作者均在微信AI團(tuán)隊(duì)任職，第一作者邵晨澤曾在中科院計(jì)算所智能信息處理實(shí)驗(yàn)室完成博士學(xué)業(yè)。這篇論文的其他作者包括Darren Li、Fandong Meng和Jie Zhou，其中，Darren Li是清華大學(xué)求真學(xué)院的在讀學(xué)生。為方便后續(xù)研究，研究使用的預(yù)訓(xùn)練Autoencoder以及CALM的檢查點(diǎn)均可供下載。