欧洲科学院外籍院士焦李成：GPT很伟大，但并不完美

今日（4月8日），由中国人工智能学会主办的“人工智能大模型技术高峰论坛”主论坛在杭州萧山启幕。论坛上，欧洲科学院外籍院士、俄罗斯自然科学院外籍院士焦李成发表演讲。

焦李成指出，ChatGPT的成功离不开Transformer模型和基于人类反馈的强化学习（RLHF）的方法，其过程包括以下四个关键技术点。具体来看，ChatGPT的关键技术1在于，Transformer的强大表征能力为GPT的成功起到关键作用；ChatGPT的关键技术2在于奖励模型，即可根据人类偏好校准生成奖励模型（RM），并对GPT模型的“回答”进行评分优化；ChatGPT的关键技术3在于强化学习的原理及基本思想；ChatGPT的关键技术4在于提示学习方法。

同时，焦李成强调，GPT很伟大，但GPT并不完美。尽管ChatGPT取得了不错的进展，但它仍处于发展初期，依然存在训练时间长、资源消耗高、准确性有待提高、容易存在误导性、生成结果的一致性、对话历史长度限制、多语言支持、风格和语气的控制、创新性有待提升等技术特点与局限。