
以神经网络、大语言模型为基础的AI已经改变了这个世界,这一点毫无疑问,尽管现在,我们还处在这场改变的很早期!这个世界的各行各业,凡是没有和AI深度结合的,都已经成了所谓的“传统业务”。几乎每个组织都在迫不及待地将AI应用到自己的业务中,重塑组织,提升效能。
但成果到底怎么样呢?怎么知道方向对不对呢?
全面引入人工智能,对企业来说就是一场重大变革。和过去一样,评估一场变革是否成功,一般有两个视角:过程 和 成效,或者称为ROI。成效视角自然是最重要的,因为它反映真实的业务结果。比如企业基于AI的创新,带来的新业务营收占比,或客户增长;又或者,通过AI技术缩短的Time to market上市周期、流程周期。
在过往的视频里,我分享过,对任何一个业务单元,如何从速度、质量、价值与成长四个维度来评估组织变革的成效。
不过,每个企业的业务都不同,想评估量化的成效,就需要结合具体的业务,我将来再谈。今天,就让我们先聚焦从过程的视角来评估。
LLM的能力,从一问一答的对话、推理到今天的智能体、多智能体协作,能力已经大幅进化,更加实用;企业部署AI的范式,从开放token,鼓励员工去用,到封装MCP,搭建RAG知识库,再到提供企业级智能体平台,范式逐渐在成熟。那个天生有点“幻觉”、有点不确定性的AI智能体,正在变得越来越可控、可预测,真正可以开始替代企业的部分业务活动了。也许,到今天,我们来构思一套系统化的组织评估方法,才变得可行!
我把它称为“AI领先企业组织效能评估框架”,缩写为“ALCA”,是以我之前分享的OED组织效能发展框架为基础。更多的细节,如何落地评估,后续会继续补充,可以赶紧订阅起来。
ALCA评估,有特定的对象。它不是用来评估那些对外提供算力的AI公司的AI能力,也不是用来评估公司里一项具体的业务智能化做得好不好。比如,你想评估某个产品,结合AI技术到底做对了没有?它不是用来干这个的。
ALCA评估,是针对那些用AI的公司,想要将AI与智能体应用深度融入公司业务和管理的组织,是评估这些组织的能力强不强,而不是产品?能力差距在哪里?
它遵循OED组织效能发展框架中的六个通用能力维度,不仅涉及技术,也与组织、流程、人才等因素密切相关。每个维度,又包含一系列的评估问题和标准,用来审视一个组织,是不是为持续经营以数据和AI为核心的下一代业务提供了可持续的土壤和环境。六个维度分别是:工具能力、数据能力、流程能力、战略能力、组织能力与人才能力。
这是企业数智化的关键基础。
之所以我用比较抽象的“工具”来描述这种能力,这就像人类从原始动物成为智人,进化的关键标志之一就是学会了使用“工具”。
这里的“工具”,泛指那些支持业务开展的硬件与软件平台。几十年前的桌面应用,互联网时代的Web应用、移动APP,以及今天说句话就能让它干活的智能体,甚至物理AI,这些都是“工具”。我们的日常工作、业务流程都通过与这些“工具”交互来完成,它将很多流程与规则固化到了系统,不再完全依赖个体的能力,从而才能实现规模化。
企业所用工具的成熟度,决定了我们开展业务的能力下限,不够好的工具也会约束能力上限,显然它是非常重要的。但它永远也无法完全替代人和优秀的工作方法。可有时候,我们的企业,经常将采购或自建了一堆工具,就视为“数智化”能力很强了,这不过是最基础的一个维度。
对“工具”的评估,有三个方面:
就像淘宝与商家的关系,未来企业,数据与智能的基础平台会变得越发重要,由于软件生产被AI大幅地提效,大量的通用性、低创造性工作都可以被平台标准化、自动化。我们主要针对几项关键的基础设施进行评估。这包括:
企业是否具有随时可用、高弹性的算力资源平台?现在算力除了CPU,又增加对GPU资源和模型的管理。对于大多数企业,这些底层资源可以来自云服务商,不需要自建。但如果企业将AI作为自己的核心竞争力之一,仍然需要一层平台来管理多供应商的混合云资源,进行灵活的算力调度。在一些专业性行业,平台可能还需要具备对LLM和一系列小模型的训练和部署能力,仅仅靠通用LLM是不够的。
员工是否随时可以从公司获得完成他的任务、搭建系统、搭建智能体所需的AI平台,且稳定易用?也被称为“AaaS”。它由一系列子系统构成,包括传统应用系统、AI智能体的搭建、编排和全生命周期管理;从需求共创,原型、代码生成,质量验证到发布,以及持续运行观测、灰度实验、安全和稳定性保障在内的所有通用能力。
它应该内置完整的“Harness工程”实现,为员工提供一个标准化且强大,但又可扩展的AI工具全家桶。
是否提供了完善的对多模态数据与知识的存储、加工与管控平台?应当包括对结构化数据,非结构化的文本、语音等多模态数据的管理能力,也包括AI运行所依赖的知识库,获取数据所需的感知能力(例如OCR、语音识别),允许对数据进行采集、加工、治理、检索,对外提供数据服务。
数据、知识是未来企业的核心资产。当通用知识、业务执行将来都可以被AI所替代,企业的真正护城河,除了人以外,就是自己独有的“数据”,是让自己能够谈判议价的“筹码”。这样的管理平台能不重要吗?
员工是否能够安全、便捷、可视化地掌握全方位信息,并高效开展分析?从而能及时地获知进度、风险,形成洞察,并闭环投资的价值。这是依托在智能体与数据平台之上的另一种关键平台,为企业的战略落地、稳健运营、开展创新实验提供关键的数据洞察能力。
是否为员工、客户提供了多样化、简单易用的智能服务交互渠道?AI智能体的价值,只有通过被用户消费来实现,就像组织内部的飞书、企微,对外的应用市场、小程序,允许发布我们的服务。这样的服务渠道是否成熟,体验好不好,决定了企业的智能化业务能不能有效地触达和留住用户。
光有工具平台远远不够,还必须要有围绕数字化、智能化系统的一套治理机制,我称为“架构治理”,可以通过这么几个典型问题来评估:
所有系统与系统之间、智能体之间,是否基于业务能力的内聚性进行了清晰、合理的边界划分?确保智能体之间、系统服务之间的松耦合,可以被独立地管理和交付,可以明确其归属,并快速迭代。
是否企业所有的架构资产,包括存量的流程型系统和AI智能体,都有清晰的定位和边界,容易发现并获取它的服务,可随时被其它系统消费?比如封装了稳定运行的MCP、Function Call接口、Skills。企业通过统一的规范,接口与技能市场来管理。
数智企业,CPU和GPU的算力资源将是一笔不可忽视的成本,我们是否针对各类资源消耗都建立了成本模型,并能持续优化开支?比如,不同场景下对token的消费额度管理,能监控和动态调配,让有限的算力资源供给给最有价值的应用场景。
是否建立了从模型、应用、网络、数据各个层次的安全防护体系?例如针对人和智能体的“数字员工”身份,基于最小化原则的权限控制?来确保AI不会给企业带来破坏和严重损失。
是否建立了企业级对系统、工具的架构治理与决策机制,包括必要的机构与流程?例如,何时可以增加一个新的智能体,应当由谁来决策?
有平台、有治理机制还不够,工具建设还要有速度!无论是采用自研,还是与供应商合作,能够基于客户需要,敏捷、快速地交付数智化成果,比如,你能不能在1小时内迭代更新一个智能体,一个数据指标。到今天,典型的交付速度,已经从过去的数月、数周,变成了今天的数天,数个小时,甚至一些调优、配置变更能以分钟来计算。
我们可以这样来评估:
是否产品、开发、数据等多种角色之间,能够以2~4人的微型团队方式,紧密协作?按需地灵活交付和迭代智能体成果,沉淀出了最佳的协作实践。
是否建立了,按照需求的价值高低,快速响应、持续地交付系统与数据成果的敏捷交付能力?让高价值的想法不需要等待,可以随时响应和交付。
是否主要通过人机协同方式进行系统的版本迭代?充分发挥AI的代码生成能力,由智能体负责更新维护代码版本,充分自检,最后人负责审核变更。
是否所有系统、智能体以及配置项都纳入统一的版本控制,所有的更新都可回退、可追溯?
是否建立从生成、验证、发布到运维监控的交付流水线?流水线不仅仅针对传统的应用系统,也针对智能体的交付,可能也包括对模型的训练迭代,也就是常说的MLOps。将一切可以自动化的都自动化,关键环节包括人的介入和决策。
如果说信息化时代,重在流程的线上化,数据的价值往往没有被充分重视和挖掘。那么在AI时代,数据就是智能的粮食,这就是一项需要不择不扣去完成的基础工作。如果粮食不足,你的智能服务和其他公司的服务没什么差别,何来竞争力呢?如果粮食腐败了,AI的幻觉就会放大,业务就变得很不可靠。
我们可以从治理、知识管理和数据应用三个方面来评估:
我们要看企业是否对所有业务数据和知识有一套成熟的管理与改进机制,能够为数据分析与智能体理解提供准确的信息。包括:
是否建立了包括组织、制度、权责、绩效在内的完整数据治理责任体系?例如明确业务方对数据和知识的主体责任,将数据质量纳入他们的关键绩效维度?而不只是IT的事情。
是否具备对所有数据的定义、规则、血缘关系及其生命周期进行管理的机制?也就是描述数据的数据,从而让数据能被人和智能体“看得见、找得到、搞得懂”。
是否具有了一套清晰的数据质量标准,和数据质量评估与监控体系?能够对数据的准确性、完整性、时效性等进行持续检查、评估,驱动改进。
是否针对所有数据访问和操作,有系统性的权限和安全防护机制,有可靠的容灾与恢复能力?以此来避免数据被非授权访问,泄露,确保合规,避免数据资产损失。
是否建立了针对智能体的元数据、行为数据与血缘关系?这包括智能体的提示词、操作、结果、错误及升级行为,为审计和异常排查提供依据,让数据的流转与智能体的行为“有迹可循”。
智能时代,数据的范畴,早已经超越了以前的传统结构化、非结构化数据,更重要的是要让AI智能体真正懂企业的业务,能看得懂“人话”。要让智能体的行为、产出更加有质量、可预期,我们就需要把企业的独特知识用AI能看懂的方式沉淀下来。主要包括这几个问题:
是否建立了构造高质量上下文所需的一套工程能力?这包括从基础的提示词构造、长短期记忆,到知识库检索、如何调用工具等等,以此来确保能为AI输入最准确的知识信息,让它的语言、行为更符合我们预期。
业务部门是否已经沉淀了全面并结构清晰,可被AI理解的知识库?通常包括智能体运行所需的企业独有流程、制度、经验、案例,以及会议和聊天记录等等。
是否已经将业务活动中所有的业务概念、指标、彼此间的关系以及操作、业务规则进行了清晰的定义,并以此形成知识图谱?从而能够为人与智能体建立一套统一的术语体系,让行为更精准。
与应用交付的流水线类似,是否建立了流水线对潜在知识进行自动化的清洗、分类、标注、向量化等操作,以及包括必要的人工介入审核?
企业如何将数据及指标全面地应用在企业经营活动中,从数据中发现机会,以数据驱动决策,这包括:
有效、高质量治理的数据,是否覆盖了组织的所有重要数据、知识领域?包括外部客户与市场信息,内部的组织与生产经营全维度信息,数据和知识来源包括来自外部的,和内部生产的。
那些重要的、高业务价值的数据,是否被识别出来了?在组织内外以产品方式提供服务?它们通常是通过API或智能体作为交互方式,可随时被其他组织消费。
是否建立了针对丰富的客户特征,完整的客户旅程行为、反馈的客户数据,能够支持精准地识别客户痛点与新机会?
是否为生产和经营过程建立了完善的指标体系,以准确数据和智能分析支持低延时的洞察、风控和过程决策?比如,能够对生产线上的关键信息进行实时、可视化的观测,及时进行风险告警。
是否能够以数据,对组织的所有战略、投资与目标,及其进展进行衡量,验证实际的价值成效?从而能实现我们真正以数据驱动决策的目标。
ALCA评估模型的介绍上半段就先到这儿,这篇文章我分享了两个数智企业最基本的‘工具’和‘数据’两个大的评估维度。
下一期将继续分享流程、战略、组织和人才四个维度,敬请关注。