达观动态

达观愿与业内同行分享 助力各企业在大数据浪潮来临之际一起破浪前行

ChatGPT及大模型专题研讨会圆满落幕,达观数据布局垂直领域大语言模型

ChatGPT及大模型专题研讨会圆满落幕,与会专家合影

3月11日,由中国人工智能学会主办,国内AI领军企业达观数据携手中国人工智能学会自然语言理解专委会、真格基金共同承办,中国信通院云计算与大数据研究所支持的ChatGPT及大模型专题研讨会在北京圆满落幕。大会围绕ChatGPT和大规模语言模型的发展应用,聚集众多人工智能产研大咖,共同探讨前沿技术及产业未来,呈现了一场精彩的思想交流盛宴。研讨会通过五大平台实时线上直播,共吸引线下线上十余万听众共襄盛举。

中国人工智能学会副监事长马少平在致辞中表示,中国人工智能学会希望同业界专家和产业界伙伴深入研讨,把握时代脉搏,通过持续创新投入,共同促进中国大规模语言模型产业可持续发展。

中国人工智能学会副监事长马少平为研讨会致辞

中国信通院云计算与大数据研究所所长何宝宏致辞认为,ChatGPT带来了人工智能技术和应用的新一轮发展热潮,虽然它离通用人工智能的距离还非常遥远,但我们应充分认识到借助人工智能技术进行分析、理解、生成的道路是正确的。这对于中国乃至全球人工智能企业而言,既是机遇也是挑战,希望各方一起携手并进、共同助力人工智能产业的发展。

中国信通院云计算与大数据研究所所长何宝宏为研讨会致辞

中国人工智能学会自然语言理解专委会主任、北京邮电大学教授王小捷担任本次研讨会主持人

演讲环节,复旦大学计算机学院教授、MOSS系统负责人邱锡鹏,中国科学院自动化研究所研究员张家俊,CCF自然语言处理专委会秘书长、北大教授万小军,达观数据董事长兼CEO、复旦大学计算机博士陈运文,新浪新技术研发负责人、中国中文信息学会理事张俊林等多位人工智能领域专家,从ChatGPT及大规模语言模型的学术发展、应用落地与前景展望三大维度进行了分享。

复旦大学计算机学院教授、MOSS系统负责人邱锡鹏演讲:《对话式大型语言模型》

复旦大学计算机学院教授、MOSS系统负责人邱锡鹏认为,在未来几年内,ChatGPT不光是以目前Chat的形式,它背后的大型语言模型可能以其他更广泛的形式融入到我们的生活中。邱锡鹏教授在演讲中介绍了ChatGPT的三个关键技术:情景学习,思维链和指令学习。他认为虽然ChatGPT本身还有很多不足,比如当前形式是语言模型、并不可控、和现实世界没有关联等,但是它为通用人工智能给出了清晰的研究发展方向,在此过程中非常重要的是保持模型的可信、有助、无害、诚实。

中国科学院自动化研究所研究员张家俊演讲:《ChatGPT中的提示与指令学习》

中国科学院自动化研究所研究员张家俊以ChatGPT中的提示与指令学习为题,从ChatGPT简要技术回顾、迈向通用性的提示学习、从提示学习到指令学习、相关探索与学习等角度和在场听众展开技术分享。大模型主要有两个方向,一个是“预训练+参数微调”,就是大模型有了之后针对下游任务进行微调,然后得到一个面向下游任务的大的模型,二是“预训练+提示学习”,预训练之后不变,用提示学习激发大模型来完成特定的任务。相关实践证明,学习提示对于模型性能提升非常有效,怎样学到或者找到提示语非常关键。

CCF自然语言处理专委会秘书长、北大教授万小军演讲:《自然语言生成评价的若干问题》

CCF自然语言处理专委会秘书长、北大教授万小军就自然语言生成评价的若干问题展开分享。他认为评价是指引技术发展的灯塔,也可以作为模型优化目标。当前业界NLG生成人工评价与自动评价在公平性、可重复性、低成本这些指标上都面临一些问题。利用ChatGPT做NLG的自动评价,在实验中很多指标上都高于以前模型的结果,也为自动评价带来了好的可能性。

达观数据董事长兼CEO、复旦大学计算机博士陈运文演讲:《探索大语言模型的垂直化训练技术和应用》

达观数据董事长兼CEO、复旦大学计算机博士陈运文以探索大语言模型的垂直化训练技术和应用为主题,细致分享了达观数据在垂直领域的语言模型方面的工程化探索,包括:参数规模和数据规模的探索、垂直领域适应预训练、微调技术探索、提示工程和垂直优化、模型训练加速思路、模型功能的垂直效能增强等。他认为深化大模型在垂直领域的应用,真正把大模型融入到企业的实际业务中,对于商业化和大语言模型研究都具有重要意义。达观数据正在研发的垂直领域模型名叫“曹植”,引自曹植七步成诗的典故,希望它作为垂直、专用、国产的GPT模型,未来在各行各业里落地应用,为每个行业赋能。

新浪新技术研发负责人、中国中文信息学会理事张俊林演讲:《大型语言模型的涌现能力:现象与解释》

新浪新技术研发负责人、中国中文信息学会理事张俊林针对围绕大语言模型“涌现能力”的部分质疑展开解析。一个复杂系统是由很多微小个体构成的,这些微小个体凑到一起,如果数量足够多的时候,在宏观层面上出现微观个体无法解释的特殊现象,这就是所谓的“涌现现象”。张俊林认为,基于当前研究进展,大规模语言模型的涌现能力确实存在,这也赋予我们对大模型的未来发展一个乐观的预期。涌现能力的存在意味着只要不断的推高大模型规模,到达某个阶段后很多任务效果会得到突然提升。

圆桌对话:国产“ChatGPT”和大模型研究现状与未来发展

在圆桌对话环节,中国人工智能学会副监事长马少平,澜舟科技创始人兼CEO、中国计算机学会CCF副理事长周明,中国科学院自动化研究所研究员宗成庆,真格基金管理合伙人戴雨森,华为人工智能科学家、北京邮电大学博士杨浩,中国信通院云计算与大数据研究所人工智能部副主任曹峰围绕“国产‘ChatGPT’和大模型研究现状与未来发展”的主题展开了深度探讨和交流,现场氛围热烈。

专家们在讨论中对于“国产‘ChatGPT’和大模型的发展方向”达成共识:自然语言处理这一方向比起其他领域,跟海外先进企业的差距要小很多。要平视OpenAI而非神话它,我们面临的是一个代沟,但不是跨越不了的鸿沟,在追赶到超越的过程中需要给国产模型一些时间。在技术与落地层面,与会专家们认为,ChatGPT带动了自然语言处理整体上下游以及芯片的思考和发展,某种程度上大模型可能将成为下一代的基础设施,中国需要有自己的基础模型体系,来保证安全性、并发性、稳定性等问题。投资界、学术界、产业界要沉住气,远离概念炒作,扎扎实实做出成绩。

  

扫描二维码进群免费获取嘉宾PPT

关注“达观数据”视频号 查看直播回放