随着ChatGPT的亮相已满四个月,基于大型语言模型技术的新产品如雨后春笋般涌现。例如,日前谷歌的Bard更新,增加了对20种编程语言的辅助功能。

尽管如此,大型模型技术的重要性也遭遇了质疑。不久前,吴军博士提出ChatGPT并非技术革命,也未能带来新的机遇。他认为大型模型仍有许多局限性,并非像人们追逐的那样诱人。尽管有关此议题的争议在网上此起彼伏,但我注意到一个关键问题尚未得到充分探讨:在大型模型赋予的新能力中,哪些是最关键、可能带来长远影响的?

在我看来,大型语言模型相较于之前的自然语言处理技术,至少有三大革命性新能力。学术界已对这些能力展开广泛讨论,但在产业界和产品团队中却鲜有关注。这些特点不仅改变了我们对业务和产品规划的思维方式,也将重塑众多产品的经济模型,因此产品经理和业务负责人需深入思考这些新能力的应用场景。

有道技术沙龙:技术分享盛宴,专业洞见解读

首先是涌现能力(emergent abilities)。这种能力在小规模模型中并不存在,却在大型模型中“突然出现”,如常识推理、问答、翻译、数学、摘要等。OpenAI首席技术官Ilya Sutskever指出,当模型足够大,transformer技术的建模能力足够强时,基于内部表示的推理能力就会出现,展现出与规模小时完全不同的行为。

其次是基座模型支持多元应用的能力。斯坦福大学等机构的研究人员提出了基座模型的概念,即通过海量无标注数据的训练,获得适用于多种下游任务的大型模型。这种模式集中化了多模态数据,并能够适配多元化的下游任务,大幅提高研发效率。

最后是支持对话作为统一入口的能力。大型语言模型通过对话聊天形式提供了全新的交互模式,如微软的Jarvis项目,结合多模态任务,实现复杂AI任务的自动化。

随着大型语言模型技术的普及,我们有理由期待更多惊喜。考虑到这些新能力,语言智能黄金十年(2024-2030)很可能成为现实,我们正处在一个充满激动人心的时代。