DeepSeek-AI團隊梁文鋒及其同事17日在《自然》雜志上發(fā)表了開源人工智能（AI）模型DeepSeek-R1所采用的大規(guī)模推理模型訓(xùn)練方法。研究表明，大語言模型（LLM）的推理能力可通過純強化學(xué)習(xí)來提升，從而減少增強性能所需的人類輸入工作量。訓(xùn)練出的模型在數(shù)學(xué)、編程競賽和STEM領(lǐng)域研究生水平問題等任務(wù)上，比傳統(tǒng)訓(xùn)練的LLM表現(xiàn)更好。

DeepSeek-R1包含一個在人類監(jiān)督下的深入訓(xùn)練階段，以優(yōu)化推理過程。梁文鋒團隊報告稱，該模型使用了強化學(xué)習(xí)而非人類示例來開發(fā)推理步驟，減少了訓(xùn)練成本和復(fù)雜性。DeepSeek-R1在被展示優(yōu)質(zhì)的問題解決案例后，會獲得一個模板來產(chǎn)生推理過程，即這一模型通過解決問題獲得獎勵，從而強化學(xué)習(xí)效果。團隊總結(jié)說，未來研究可以聚焦優(yōu)化獎勵過程，以確保推理和任務(wù)結(jié)果更可靠。

在評估AI表現(xiàn)的數(shù)學(xué)基準(zhǔn)測試中，DeepSeek-R1-Zero和DeepSeek-R1得分分別為77.9%和79.8%，在編程競賽及研究生水平的生物學(xué)、物理和化學(xué)問題上同樣表現(xiàn)優(yōu)異。