00:00
大家好,欢迎观看本次。Com算法模型平台专业版产品讲解与系统全功能演示。专业版是面向政企行业客户的企业级算法模型平台。围绕模型接入与运行模型、资产管理、数据治理、计算执行模型、融合模型编排。服务治理。模型训练以及模型市场等核心能力,支持多语言算法模型快速接入、标准化注册管理、可视化模型编排、离线发布与全链路监控运行。现在我们看到的是分model平台的。系统首页。顶部区域划分了平台的6大核心模块,完整覆盖模型全审周期管理。下面。我带大家逐一认识各模块的定位。
01:00
模型管理是模型资产的统一入口。负责模型的接入、注册、分类,还有模,还有单模型计算调用。模型市场。是模型资产。运营共享中心覆盖模型上架、订阅订单许可证管理。模型编排是。多任务业务流程编排中心,零代码可视化搭建自动化业务链路。呃,服务治理是模型。服务运行管控中心提供模型的服务运行监控、流量策略、异常告警、调用审计。模型训练是自研模型中心,覆盖数据及处理。训练调度、成果产出与效果评估。数据管理是平台统一数据底座。
02:01
集中管理API接口。数据源连接与各类文件资产。好,对平台的整体框架有了概念之后,我们正式进入逐个模块的功能演示,首先是模型管理的模型中心。模型中心是平台所有已注册模型的统一管理页,通过API Python包接入的模型以及训练产出的模型注册后都集中在这里。左侧是。多级分类目录,按照模型算算法类型或者业务领域来分类,方便快速检索。底部展示支持名称、编码、接入方式等多条件查询。呃,卡片。左侧主体是模型卡片列表。呃,展示了模型的名称,模型的模型的名称、类型以及编码,还有模型的分类以及创建信息。
03:03
然后是模型的添加,呃,点击模型的模,点击新增模型按钮。呃,目前目前平台支持两种模型的接入方式,第1种呃最常用的API接入,如果大家已经有上线部署好的模型服务,或者第三方模型接口,或者是业务系统自带的推理接口,不需要迁移模型,不需要改代码,我们只需要在平台呃录入信息,就可以快速完成模型的接入。第2种是Python包的接入。这种接入方式针对我们算法团队开发的本地的模型,或者好的那个Python算法模型,可以直接打包为VIP文件上传到平台。呃,上传完后系统会自动解析,在沙盒模式下进行运行。呃,下面演示一下模型的接入。呃,首先是API的接入,选择了模型的接入方式为为API后,然后输入模型名称。
04:21
选择分类信息。然后可以补充作者以及标签或者图标,呃,以及来源信息。然后输入模型的版本号。然后模型的具体信息就已经填写完毕了。呃,在第2步API配置页面,在这里填写目标模型的接口地址,选择对应的请求方式。呃平台目前支持post delete的4种常见的呃请求方式覆盖了绝大多数的。接口使用场景。我们这里选择盖子。
05:03
填入要接入的模型的服务地址。紧急的选择肯太火。目前支持杰森表单文件上传。等呃,这几种常见的主流报文格式。最后设置超时时间。呃,对于健全方式。平台目前提供了三种健全类型,呃,适配不同的安全等级的业务场景。首先是无健全模式,这个模式比较简单。一般用于内网测试环境,不需要,不需要校验密钥的可以可以使用这种方式。第二种是固定的token API健全可以选择,可以选择token或者apik。嗯,可以自定义健全的参数名称和传入位置,录入密钥保存后平台会调,调用模型时会自动携带信息。
06:04
然后第3种是动态超健全。动态操健全,适用于对安全场景要求比较高的地方。呃,密钥会定期刷新过时的,这种只需要配,只需要配置的获取地址,平台会在调用的时候会自动拉取密钥。以以及更新。你有。不需要人工的修改配置就可以更新密钥,保证了保证了这个服务的。避免中断。然后我们这里选择无健全模式。设置完了,设置完了请求地址以及健全之后,第3步是参数定义。嗯,平台采用的是ten skim的形式来定义输入参数。左侧是写参数的结构,右侧可以实时的预览。我们在这里定义字段类型约束规则后,在后续用这个模型的时候,会根据这些规则进行自动的校验。
07:06
我们输入一下。参数模板。可以看到右侧已经自动解析了。然后点击下一步进入。特殊保存页面。呃,页面提供在线调用测试。可以手动输入这个测试参数。实施的话题请求。通过在线测试就可以提前把这个全失败,或者参数错误或或者网络不通,结果超时等这些问题在接入的时候就已经排查清楚了,保证接入的模型是正确的。呃,我们左左侧这边展示的是呃请求的原始结果,右侧展示的是定义结果,定义区域我们可以把我们可以把请求的结果。
08:08
字段逐个拆解定义。给每一个字段配业务名称、示例和说明,这样可以方便后续查看结果。好,测试没问题之后。我们就可以确认并退出。好,此时模型已经正确接入。然后第二种,第二种模型接入方式是本地的Python代码接入。将模型和业务代码打包为ZPZP压缩包。呃,上传到平台后,平台通过内置的沙箱完成加载运行适配,适配那种以文件包交付的模型,呃,然后不需要再需要去开通对外的接口服务了,可以直接以文件包的形式进入到模型平台。选择Python包之后,想要输入模型,输入模型的信息。
09:14
输入模型的编码,选择分类。然后输入模型的版本号。选定了派TH送包接入之后,呃,第二步是文件上传校验页面,平台提供了标准化的打包约束,我们只需要按照规定把模型代码打包成压缩包,然后上传到平台。平台会。自动去识,平台会自动识别。然后上传完毕之后,下一步是参数定义。背部和那个API方式接入的是一样的。
10:07
在运行层面,支持两种模式,普通的沙盒环境运行脚本以及自定义镜像,分别适配呃轻量的脚本运行,以以及这个复杂的呃复杂依赖模的模型。上传后,系统会自动解析环境,校验依赖并完成环境的构建,不需要人工的去整理依赖的冲突,降低了这种文件类型模型的运行的门槛。嗯。呃,两种接入方式已经介绍完了。总的来说,嗯,API接入适合那种已经有对外提供接口的模型啊,比较轻量快速的接入,派送包的接入,适配那种文件类型的算法模型。两种接入方式覆盖不同的模型资产,实现这个模型的统一的一个接入。
11:04
下一步看模型的一个详情页面。详情页面顶部是table部分,展示了这个模型的一些基础信息,然后下方是下方是table页。第一个是在线调试,呃,和我们在在模型创建的时候。的那个调试是一致的,嗯,然后可以选切换版本,切换版本如果模型有多个版本,可以在这里切换,填写输入参数。对。参数。第二个是调用记录,呃,这里会留存这个模型的所有的历史的调用记录。哦,第3个是计算任务,计算任务这里会查看到。呃,所有使用这个模型创建的计算任务。然后版本管理。版本管理,支持模型的多版本,每一个版本的修改内容都有记录,还能够做做版本对比。
12:05
模型的迭代过程都可以追溯的。接下来是模型分类功能。在这里可以自定义创建多级的模型分类目录。呃,方便对这个存量的模做一个结构化的管理。然后下面是构建日志,构建日页面,这里记录的是所有通过Python文件。上传的接入的模型的构建日志。呃,通过构建一致可以查看构建的全过程,方便查看构建结果,如果出现了构建异常的情况,可以排查排查异常。详情页面可以查看后天的详细过程。接下来是调用记录功能。调用记录。呃,统一记录了所有已经接入的模型的调用记录,支持支持筛选检索。
13:00
直观的查看模型阵容情况。下面是。模型计算模块的功能介绍。刚刚我们把模型接入的方式讲完了。不管我们是用API还是。拍子猫添加的模型,这模型用户之后,我们怎么样去调用它呢?我们就要用到这个模型计算模块了,模型计算就是给模型计算,就是给单个模型发起一次推理任务。现在已经可以看到已经创建的模型,模型计算任务。点击创建。嗯,顶部是首先是要选择选择模型。可以根据模型分类进行筛选。选择,选择刚刚已经创建的模型。然后版本信息以及绑定的参数会回填过来,然后输入计算任务的模名称。
14:06
下方可以配置运行策略,包括超时时间、重试次数。还可以设置业务的优先级,用来控制平台调度资源的先后顺序。然后配置这个模型需要的参数。全部配置完毕之后。点击提交计算,就可以将这个任务添加进来,然后可以看一下计算结果。在详情页中,顶部以table的形式展示了计算任务的一些详情信息。下方是table页。第一个是结果的可视化配置。呃。将模型返回的结算数据直接在这里生成图表。支持折线图以及呃,白色64的图片的解析。
15:01
第二个是模型输出结果。呃,查看原始返回的监测数据。并且呃,右侧可以展示。数字字段的含义,含义含义。第3个是。输入参数。可以查看本次计算任务我们传给模型的参数是什么,第4个是执行记录。记录每一次的执行的批次的耗时,成功失败状态,就是方便去排查问题。模型计算适用于呃,单独调用一个模型。然后是计算历史。计算力是。留存了所有的计算任务的执行记录,支持多条件筛选。点击详情可以查看。单次计算任务的输入输出以及是否有以及以及执行记录,方便任务的回溯和问题的排查。
16:04
好,看完模型管理模块,接下来我们看平台上的第二大模块,模型市场。模拟市场就是把模型中心的模型标准化,上架发布,提供订阅使用的地方。在这里上架的模型。可以直接供他人直接订阅使用。然后首页模拟市场,左侧是多级多级的分类导航,按照业务领域分类啊,用来快速的定位筛选模型。呃,然后页面上方是总览区。呃下4个统计卡片分别展示了模型的产品数量。然后以订阅的数量以及不同类型模型的数量。支持按照热度,按照热度以及发布时间以及智能推荐去按照模型排序,后面我们筛选到。合适的模型。
17:00
然后下面是模型分类。这里就是模型市场的市场的分类管理的页面用量维护多多级的分类体系。三大管理。这是架管理页面,我们可以在这里提交模型上架申请,将模型中的模型发布到模型市场列表,展示全部上架记录,看每条记录的申请和审批的上架状态,完成审批以及下架操作。然后点击新增上架申请。新增三大陷阱,采用4部向导式流程。第一步,选择模型。可以从呃模型中心的分类去帮助筛选。选择模型后,会自动回填模型的基础信息。第二步,嗯,维护维护模型产品在模拟市场中的展示信息。
18:04
首先要选择嗯,上架的模型在模型市场中的分类。以及输入在模型式的时候要展示的模型名称。这种模型的简介。第三步就是配置服务策略。服务策略是对模型的一个服务管理的一个策略。支持支持新建以及从已有的策略中导入。现在我们使用导入的方式,使用原本已经预设好的策略信息。服务的名称。
19:09
现在是善良心的第4步,价格与许可证配置,这里支持多种计费模式,可以自由组合。包括免费试用、按次计费、包月套餐以及买断这4类。像我们之前勾选的免费试用,可以设置每月试用的次数。下许可证信息,呃,用来绑定对应的许可证控制模型的使用权限、允许效期。全部的模型全部的并填写完后可以提交申请。呃,在审核通过后,就可以在模型视角中进行查看。然后是我的订阅。接下来是我的订阅,这里集中展示了当前登录用户的所有订阅的产品。
20:04
呃,这里有订阅的方式以及以及这个余额配置有效期以及订阅的状态,点击详情可以查看模型的订阅模型的相关资料。这里有订阅模型关资料以及呃,设备信息,然后。可以打开密钥,呃,可以在这里新增查看复制用于访问这个模型的API密钥。是订单管理。这里统一记录了模拟市场里所有的订单产品的支付信息。呃,帮助我们这个管理员可以。从那个支付信息中查看每个模型的一个定位状况,下面是许可证管理。呃,许可证管理是对接的外部的电子签章系统,呃,统一管理模拟上架绑定的电子合同也支持检索的功能,你们可以实时的去同步,同步外部系统的合同最新状态。
21:07
呃,到这里市场的整套整套功能已经介绍完毕,接下来呃,我们看到下一个核心模块。呃,如何编排?如何编排?就是面向多模型复杂业务场景,实现零代码可视化编排的业务流程中心。相当于模型的业务流水。工厂。可以把多个模型逻辑节点串联起来,实现串行、并行、分支、循环等复杂的逻辑。完成多模型的一个。调度与整合的融合。模拟编码就是通过可视化的方式,可视化配置的方式。串联多个模型与数据处理节点,搭建自动化的业务链路。呃,我们点击新增页面,新增页面有基础信息和版本信息,呃,在这里新增后。
22:06
会出现那个就是模,就是模型编排的。呃,一个基础信息,然后我们点击,我们点击构建一构建按钮。进入了模型编排的画布编辑页面。模型编排的可视化画布护理液画布采用了拖拽式搭建。在开始节点。嗯,节点用于定义整条流水线的输入参数,我们可以按照需求呃,添加各各类节点,包含算法模型。出输出结果条件分支。循环。呃,ID请求,脚本执行等。既可以,既可以定义数据流转关系。选中节点,就能够配置对应的参数,快速搭建。
23:00
模型融合的链路页面,支持在线测试。提前的页面之间测试,提前去验证整条流程的逻辑,然后。嗯。右上角两个保存按钮,保存会覆盖当前的版本。这里是什么?这里是编排,编排的版本信息。呃,保存新版本会生成独立的版本,旧版本,旧版本完整保留,支持后续编排回溯。然后这是模型编排的。功能。现在我们来到运营记录页面,这里统一留存所有模型编排、模型融合任务的执行日志。我们可以。啊,运行状态进行筛选。点击详情。可以看到单次任务的完整执行信息,核对运行结果,快速定位执行的异常问题。
24:07
这里是版本管理。统一管理了所有的模型编排的历史版本,我们可以检索对应的编排工程。点击详情查看版本信息。方便追溯每一次流程变更,支持按需回回退。保障编排流程的可管控。好,接下来我们进入模型融合页面。模型融合,简单来说就是模型编排加上模型结果融合能力。模型编排负责调度多个模型按串行、并行的方式进行运行,而模型融合就是把多个模型的输出结果按照预设策略合并成一份统一的最终结论。它不是把模型文件合并在一起,而是同一份输输入数据同时给到多个模型去计算。
25:03
再融合多个模型的预测结果。以此降低单一模型带来的误判风险,提升整体的结果的可靠性。我们看创建融合任务的四步流程。第一步是基础信息配置。填写任务名称,选择需要选择参与融合的子模型。我们选择。2个2个子模型。第二步是输输入对齐,在这里定义整套如何任务的统一输入参数,再把统一输入映射绑定到每一个子模型的入参。还支持单位转换。
26:02
解决不同模型的入名称类型不一致的问题。然后。第三步是输出结果对齐。定义如何任务对外统一输出的字段,再把各子模型、子模型的输出结果映射到这套统一的输出参数上,完成多模型输出字段的标准化对齐。哦,第4步是。如何奏理的设置?平台内置的多种融合算法,包含加权平均投票法。规则、如何自定义脚本等,我们可以按需求选择策略。配置全度。配置完了之后,整个模,整个融合任务就可以直接测试。运行,嗯,配置完了之后,整个融合任务可以直接运行。测试,而且可以对外发布成统一的API服务外部,外部业务只需要调用这个融合服务,就可以拿到多个模型综合计算后的统一结果,而不必去分别调用每一个子模型。
27:19
接下来我们进入。服治理模块服务治理专门针对已经上架到模型市场的。服务模型、服务统一完成,服务运行情况统计流量策略配置、调用日志、异常日志。的生命周期管理。在这里,我们可以集中查看所有上架模型的服务运行指标。配置访问策略。追溯每一次运行记录,同时收集与排查各类异常信息,保障上架的模型服务对外提供非常稳定的。服务能力。首先是。首先是运行监控。
28:02
运营监控修改观测已经下降到模业服务的调用状态以及展示运行数量。呃,下方的统计图。展示了调用量延迟趋势。才可以看到,嗯,异常的告警信息,方便我们掌控模型服务的健康状态以及及时发现异常。下面是。服务管理是统一管理模型市场发布上线的所有的模型服务。呃,页面上可以按名称以及类型去检索。嗯,接下来我们先不接。呃,然后我们看服务策略。这里统一管理模拟上架时绑定的策略,治理策略在模拟市场新增上架,上架创建的策略也会自动同步在这里。
29:05
嗯,在某一市场那里选择已有策略,就是选择了这里的数据。点击新增策略。呃。项目是策略的基本信息以及策略健全方式。以及访问控制。包括黑名单、白名单以及。呃,流量控制。以及是否添加是否开启模拟水印。是否添加水印。接下来我们看看到的是异常告警页面,这里统一收集模型市场对外提供服务时产生的所有异常调用记录。嗯,像调用限流或者格式错误。呃,敏感词拦截非法安全访问这种问题都会在这里进行记录。
30:00
点击详情才能够查看。这条告警记录的详情信息。后面我们快速定位问题,排查这个模型的故障。下面是电位抑制。这里记录了模拟市场对外服务产生的所有的记录。列表展示了记录信息,点击详情可以查看单次调用的完整的请求与返回信息,并复盘调用情况。然后详情顶部是嗯,调用的一些模型的信息,下是两个table页展示,调的链路中包含阅阅的情况判断,以及健全情况判断,以及参数合规性判断,以及模型音频状态,以及最终的输出结果。接下来我们看平台的第5个模块,模型训练。
31:00
模型训练就是平台自研模型的生产中心,相当于模型的加工车间的。数据准备,呃,训练任务调度。算力资源管控。模型效果评估,从原始数据训练产生全新的模型。训练可以得到成果,还可以一键注册到模型中心。纳入平台的统一资产管理。接下来我们进入模拟训练模块。首先看一下数据集。数据集是为了后续模型训练任务提供训练数据的。在数据集的。列表可以看到已经创建的数据集信息。首先我们点击新增创建一个数据集。创建数据集是3步流程。基本信息配置。数据及支持三种数据接入方式,数据源抽取文件上传系统文件。
32:03
呃,如果选择的是数据抽取,需要选择数据库,选择数据库。然后选择数据库表名称。数据库表。可以填写条件来筛选需要需要的数据。第二步是配置清洗规则。支持新增清洗规则包含去重。控制填中异常值过滤。包含异异常的过滤、字段类型转换等。我们可以选择目标字段配置对应的清洗,清洗逻辑自动完成数据未处理。不需要额外的写代码,处理脏数据的问题,然后第三步可以进行一个预览。页面会展示清洗后的数据样式,我们核对无误后点确认保存,平台就会把呃处理完成的数据以SVCSV的格式进行存储。
33:01
处理好的数据集就可以提供给训练任务。好,清洗成功。呃,可以看一下详情页。第一个是数据血源,直观展示了数据的全链路,从数据抽取、清洗,最终生成目标数据集,实现了数据的可追溯。第二个table也是数据质量。自动评估得到的数据质量评分,然后第3步是清洗规则,呃,展示了。这这个数据体使用了哪些清洗规则?然后是训训练任务。接下来我们进入训练任务模块,这里是基于前面准备好的数据集进行创建调度。管理模拟训练任务的地方,可以看到训练任务的列表。呃,点击新增新增任务。
34:03
锻件训练训练任务一共分为四步,基本信息设置、算法参数。资源设置提交任务第一步,设置基本信息。训练来源,呃,支持两种,一种是内置的算法,或者是基于模型中心已有的模型进行二次训练。选定任务类型分为任务类型分为分为分类回归,持续预测。然后接下来选择刚才已经训练好的数据集作为训练数据。然后选择目标字段。呃,第二步。算法参数设置平台内置了多种算法,像KG0、xboss.
35:02
LSTM逻辑回归。我们选择对应的算法之后。可以可视化的调整对应超数据。不同的算法有不同的超三超三设置。我选择KT免疫。第三步是资源配置。这里用来。配置训练所需的算力资源,支持单机单卡、多机多卡两种训练模式,可以设置机器数量、CPU数量。CPU核数、内存与。临时存储还能够设置最大训练时长,避免任务长时间占据集群资源,实现的精准管控。第4步。嗯,确认提交页面会生成完整的配置摘要,把前面所有的基础信息。算法参数以及资源配置全部汇总展示。
36:00
核对无误之后就可以提交任务。平台会自动。调度资源,开始训练。训练,训练任务完成之后,训练成功的模型会生成训练成果。后续可以,后续可以直接注册到模型中心去。然后是训练成果的查看。这里其中展示了已经跑完的训练任务。产出的。产出的模型成果。嗯,大家可以看到列表里面。展示训练成果信息还有一些关键性的指标,包括准确率F1值。呃,P95延迟吞吐量等。状态分为呃,已注册和未注册。点击详情我们可以看到。点击详情,我们可以查看每个模型的训练效果,如果这个模型的验证,如果验证效果达标,可以点击后方的注册模型按钮一键。
37:06
把训练好的模型注册到模型中心去。这样就打通了,从数据去准备到发起训练。产出训练结果,再再注册入库,后续接入调用的完整链路形成,形成模型从训练到发布使用的闭环。没有注册的成果还停留在仓库,注册完成之后,这个模型就已经进入了模型中心了。可以拿来做后续的呃,计算任务以及模型编排,模型融合等。进行结合使用。然后下面是评估报告。模型训练完成后,平台会自动生成对应的PDF评估报告,用来评估本次训练的产出模型效果。大家可以看列表,能看到评估报告的信息,同时支持预览。
38:00
支持预览和下载。报告类型分为分类评估、回归评估、如何检测评估。我们点击预览可以看到。呃,评估报告的详细信息。已支持,已支持PDF导出。看完评估报告,呃,我们我们看训练日志,这里会记录每一条训练任务的。运行过程,不管是任务正在训练、训练成功还是训练失败,所有的过程信息都会统一保存在这里。呃,我们点击详情按钮。会日志会按时间进行顺序记录,完整的记录整个训练过程,从任务启动到数据加载,到数据,到数据质检,再到特征处理,再到数据集划分。再到训练参数初始化。每一轮的训练进度。
39:01
缺失值变化,一直到最后的模型评估。6味。如果训练过程出现了异常,报错任务失败,我们在这里可以看到通过日志快速的定位。因为有问题产生的原因,帮助排查。嗯。模型训练模块我们就确认完了,下一步介绍。数据数据管理模块。数据管理模块是整个平台的数据底座,为模型训练,模型计算提供数数据来源,在这里我们呃可以对外部的API以及数据数据库。和文件资源进行管理。现在是现在是API接入的页面主要呃,API接入主要是为模型计算任务提供外部的入来源,如果模型计算需要输入的参数需要从外部接口获取,我们可以在这里通过API的统一配置,配置好之后。
40:07
在创建和修改任务时,可以直接选择这个已经配置好的API。在这里。如果这个模型计算需要用到外部的API就可以。省去了省去了去,呃,手动调用,调用那个接口获取参数,然后再点击。填充的模型里面去使用的过程。然后是数据源管理。这个,呃,这个功能主要是用来统一管理各类数据库连接信息,当我们创建数据的时候。需要从数据库里抽取数据的时候,就可以提前维护好数据库的信息。提前客户数据库的信息,呃,在使用的时候直接选择使用就可以了。
41:04
然后是文件管理。这里是平台统一的文件仓库。我们可以呃,按分类进行存,按分类进行存放。呃,存放的文件可以在数据集中使用,以及也可以在模型训练直接使用这个文件。啊,到这里,各model平台的6个功能模块就已经演示完了,整套平台覆盖了从数据及准备,呃,再到模型的接入以及模型序列,模型编排,以及模型市场的模型对外提供服务,再到服务治理。呃,模型的全套的生命周期管理进行闭环,不管是已有的第三方模型业务接口,还是还是算法团队,团队训练的模型文件。嗯,都可以在这套体系里面去完成接入。以及呃,管理调试编排。
42:04
呃,以上就是PRO专业版的。全部核心功能演示。好,谢谢大家观看。
我来说两句