达观动态

达观愿与业内同行分享 助力各企业在大数据浪潮来临之际一起破浪前行

业内首创多模并联Ensemble架构大模型管理平台快速构建场景专用模型

自达观数据2023年3月宣布研发大语言模型以来,一直积极探索大语言模型的专业化、特长化和产品化,并在7月7日世界人工智能大会上,正式推出具有长文本、多语言、垂直化三大特点的专用国产“曹植”大语言模型,并创新性地采用了多模型并联(Ensemble)架构,可以通过将不同参数规模和不同类型的模型相结合,更好地解决垂直行业的问题。在这个基础上,为促使“曹植”大模型在各垂直领域中可以进行基于专有数据的模型微调,并得到更低成本、更高效能的落地与应用,达观数据正式推出全新一站式企业级大模型生产平台——“曹植”大模型管理平台

“曹植”大模型管理平台

作为一款面向企业开发者的一站式大模型开发及服务管理平台,本次推出的大模型管理平台,内置达观数据全栈自主研发的“曹植”大模型,并兼容外部LLaMA2、ChatGLM2、Baichuan、InternLM等多种开源模型,实现各类模型fine-tuning微调,方便客户快速上手、轻松使用,上线开发者所需专业领域服务,实现智能知识管理、知识搜索与问答、文档智能写作、素材生成等智能化应用。

大模型管理平台核心功能

一、数据管理

训练数据的质量对模型训练效果及模型输出内容的影响是决定性的,正向好的训练数据可以让模型的生成内容“围绕问题,思路清晰”、“妙笔生花”,因此对训练数据体系化的管理至关重要。“曹植”大模型管理平台提供了完善的数据标注、数据清洗、数据增强、数据集版本迭代等数据相关维护功能。

二、模型管理

大模型管理平台构建了完善的模型训练流程,根据垂直业务场景需求,建立针对性的模型组,选取合适的数据集进行模型训练、版本迭代,为服务上线提供模型选择。

平台内置自研多种大语言模型,增加用户模型选择维度,除了预置模型外,平台同样支持适配其他开源模型,能够实现快速上线模型仓库。

模型管理功能

三、服务管理

大模型管理平台提供了简单易上手的场景服务上线流程,简单快捷选取微调模型上线服务,可以根据垂直场景业务需求,构建统一应用服务,只需更换底层微调模型版本即可完成热切换。

基于独创技术平台支持异构硬件统一管理调度,广泛支持国内主流的NPU芯片、GPU加速芯片,支持集群化分组管理,支持底层资源监测、调度,最大化利用计算资源。

四、指令管理

指令即通常所说的Prompt,Prompt质量对模型输出文本质量影响重大,全面、完善的Prompt可以使得模型生成更优的内容。大模型管理平台深度适配不同行业、不同细分领域的指令需求,提供清晰和具体的指令,引导模型输出生成高相关、高准确且高质量的文本内容。

翻译场景下不同Prompt的差异

大模型管理平台提供了定制Prompt模板功能,用户可以根据业务垂直场景需求参照内置Prompt样例,自定义编写业务侧需要的Prompt内容,自主、灵活配置Prompt模板中需要引用的参数,在调用时,传递相应参数即可调用全部Prompt全部内容。

此外,达观数据也使用海量训练数据对“曹植”大模型进行预训练,生成具备基础语言能力和垂直应用能力的模型;独家提供定制化精调服务,以加强垂直领域专用任务的能力;坚持训练数据与算法模型自主可控,与国产GPU合作伙伴开展长期合作,不断优化高质量硬件设备,以适应市场需求和技术发展。未来,达观数据也将在自研的先进人工智能技术和丰富的应用经验之上,不断提升大模型管理平台的功能和性能边界;平台的广泛兼容性、可扩展性和操作便利性,为各行业提供提供更好、更快、更安全的解决方案,为客户提供更好的服务和支持,让大模型赋能百业,促进科技进步和社会发展。