有道技术沙龙:技术分享盛宴,专业洞见解读
随着ChatGPT的亮相已满四个月,基于大型语言模型技术的新产品如雨后春笋般涌现。例如,日前谷歌的Bard更新,增加了对20种编程语言的辅助功能。
尽管如此,大型模型技术的重要性也遭遇了质疑。不久前,吴军博士提出ChatGPT并非技术革命,也未能带来新的机遇。他认为大型模型仍有许多局限性,并非像人们追逐的那样诱人。尽管有关此议题的争议在网上此起彼伏,但我注意到一个关键问题尚未得到充分探讨:在大型模型赋予的新能力中,哪些是最关键、可能带来长远影响的?
在我看来,大型语言模型相较于之前的自然语言处理技术,至少有三大革命性新能力。学术界已对这些能力展开广泛讨论,但在产业界和产品团队中却鲜有关注。这些特点不仅改变了我们对业务和产品规划的思维方式,也将重塑众多产品的经济模型,因此产品经理和业务负责人需深入思考这些新能力的应用场景。
首先是涌现能力(emergent abilities)。这种能力在小规模模型中并不存在,却在大型模型中“突然出现”,如常识推理、问答、翻译、数学、摘要等。OpenAI首席技术官Ilya Sutskever指出,当模型足够大,transformer技术的建模能力足够强时,基于内部表示的推理能力就会出现,展现出与规模小时完全不同的行为。
其次是基座模型支持多元应用的能力。斯坦福大学等机构的研究人员提出了基座模型的概念,即通过海量无标注数据的训练,获得适用于多种下游任务的大型模型。这种模式集中化了多模态数据,并能够适配多元化的下游任务,大幅提高研发效率。
最后是支持对话作为统一入口的能力。大型语言模型通过对话聊天形式提供了全新的交互模式,如微软的Jarvis项目,结合多模态任务,实现复杂AI任务的自动化。
随着大型语言模型技术的普及,我们有理由期待更多惊喜。考虑到这些新能力,语言智能黄金十年(2024-2030)很可能成为现实,我们正处在一个充满激动人心的时代。
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至,我们将安排核实处理。