近日，《每日經(jīng)濟(jì)新聞》記者專訪了廈門(mén)大學(xué)教授蘇勁松。蘇勁松向記者介紹，ChatGPT本質(zhì)上是一個(gè)語(yǔ)言模型，它可以根據(jù)給定的上下文來(lái)預(yù)測(cè)當(dāng)前出現(xiàn)詞語(yǔ)的分布概率。

粗略來(lái)看，ChatGPT的發(fā)展經(jīng)歷了多個(gè)階段：第一階段是統(tǒng)計(jì)語(yǔ)言模型，即用傳統(tǒng)的統(tǒng)計(jì)方法來(lái)建立語(yǔ)言模型；第二階段是神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，即使用神經(jīng)網(wǎng)絡(luò)來(lái)建立語(yǔ)言模型，先后出現(xiàn)了許多經(jīng)典模型，包括前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型、循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型等等。隨著2017年Transformer模型的出現(xiàn)，研究者們也開(kāi)始使用Transformer模型來(lái)構(gòu)建預(yù)訓(xùn)練語(yǔ)言模型，也就是ChatGPT的前身GPT。