厦门大学教授苏劲松：ChatGPT的发展经历了多个阶段

近日，《每日经济新闻》记者专访了厦门大学教授苏劲松。苏劲松向记者介绍，ChatGPT本质上是一个语言模型，它可以根据给定的上下文来预测当前出现词语的分布概率。

粗略来看，ChatGPT的发展经历了多个阶段：第一阶段是统计语言模型，即用传统的统计方法来建立语言模型；第二阶段是神经网络语言模型，即使用神经网络来建立语言模型，先后出现了许多经典模型，包括前馈神经网络语言模型、循环神经网络语言模型等等。随着2017年Transformer模型的出现，研究者们也开始使用Transformer模型来构建预训练语言模型，也就是ChatGPT的前身GPT。