4月19日,联想在深圳举行了数据中心业务集团(DCG)合作伙伴大会。
…… 从联想DCG于2016年成立后,童夫尧就希望把联想企业级的业务能力集中在一个平台上展示——把联想DCG的实力及价值观全面地传递给用户。 而在此次温水水冷HPC落地之后,联想DCG要面对的,将是自己亲手开启的“后北大”时代。 此外,在企业级市场中,联想DCG对价值销售的重要性及趋势有着自己的判断。 童夫尧说,它为DCG已经带来了“不少商机”。 另一种协作模式似乎更有价值。 联想DCG在创投孵化技术的过程中即进行介入,利用联想DCG与联想研究院技术资源,直接将技术孵化成联想DCG用户所需的前沿产品与方案。 如今的客户,凡事从应用落地出发,显然认可这一模式带来的成果。 它可以随着联想创投孵化业务的成熟,以及与联想DCG协作模式的完善而日益彰显。 当然,这一切还有赖于联想DCG如何分配利用业已到手的资本,集腋成裘。
CG的一个缺点是没有考虑不同位置的影响,我们总是希望相关性高的结果排在前面,如果相关性高的结果排在后面,我们应该进行惩罚,所以引入了DCG(Discounted Cummulative Gain,折扣累积增益 其中,分子表示相关性越高,DCG越大,分母表示位置越靠后,DCG越小。 虽然DCG考虑了位置的影响,但是DCG也会受到结果数量的影响,为了使得具有可比性,需要对DCG进行归一化处理,这样就得到了NDCG。 ? 其中, ? 表示前k个排序返回结果集能得到的最佳排序结果,即当越相关的文档排放的位置越靠前时计算得到DCG即为IDCG。 练习题 看完这篇文章,我们来做几道练习题来检验下学习成果: 1.
D C G DCG DCG指标的计算值。 DCG指标的定义。 与MAP中不同,MAP指标中的相关度定义非零即一,而DCG指标中的相关度指标却是一个量化指标。 我们同样给出一个例子来进行说明。 @K = \sum_{i}^{K}\frac{2^{rel(i)}-1}{log_{2}(i+1)} DCG@K=i∑Klog2(i+1)2rel(i)−1
DCG CG的一个缺点是没有考虑每个推荐结果处于不同位置对整个推荐效果的影响,例如我们总是希望相关性高的结果应排在前面。 ,这里指的是对于排名靠后推荐结果的推荐效果进行“打折处理”: 从上面的式子可以得到两个结论: 1)推荐结果的相关性越大,DCG越大。 2)相关性好的排在推荐列表的前面的话,推荐效果越好,DCG越大。 NDCG DCG仍然有其局限之处,即不同的推荐列表之间,很难进行横向的评估。 IDCG, 即Ideal DCG, 指推荐系统为某一用户返回的最好推荐结果列表, 即假设返回结果按照相关性排序, 最相关的结果放在最前面, 此序列的DCG为IDCG。 DCG的值为6.69,具体见下表: 理想状况下,我们的IDCG排序结果的相关性应该是3,3,2,2,1,因此IDCG为7.14(具体过程不再给出),因此NDCG结果为6.69/7.14 = 0.94。
与之相比,Intel的数据中心业务(DCG)收入却持续下滑。 而Intel的Sapphire Rapids Xeon系列处理器,也计划于今年下半年推出,能否重新拉升其DCG收入呢?
DCG CG的一个缺点是没有考虑每个推荐结果处于不同位置对整个推荐效果的影响,例如我们总是希望相关性高的结果应排在前面。 从上面的式子可以得到两个结论: 1)推荐结果的相关性越大,DCG越大。 2)相关性好的排在推荐列表的前面的话,推荐效果越好,DCG越大。 NDCG DCG仍然有其局限之处,即不同的推荐列表之间,很难进行横向的评估。 IDCG, 即Ideal DCG, 指推荐系统为某一用户返回的最好推荐结果列表, 即假设返回结果按照相关性排序, 最相关的结果放在最前面, 此序列的DCG为IDCG。 DCG的值为6.69,具体见下表: ?
CG=\sum_{i=1}^{p}{rel_i} 1.2.2 DCG discounted CG简称为DCG,这对CG的问题,DCG的计算方式考虑了位置因素。 DCG=rel_1+\sum_{i=2}^{p}{\frac{rel_i}{log_2 i}} 还有一种计算DCG常见的公式,如下式所示: DCG=\sum_{i=1}^{p}{\frac{2^{rel_i 而上面的CG和DCG他们只是单纯的进行求和,无法进行不用用户之间的对比,因此需要对其进行标准化,从而诞生了NDCG。 这里对DCG进行标准化的方式是对其处以IDCG,公式如下: NDCG=\frac{DCG}{IDCG} IDCG=\sum_{i=1}^{|REL|}{\frac{2^{rel_i}-1}{log_2 (i+1)}} 其中REL表示将原始的召回集合R按照得分从大到小排序后的集合,将排序后的集合计算DCG得到IDCG。
2016年4月,施浩德选择离开英特尔时,孙纳颐接手CCG客户端计算事业部,一年之后的5月4日,孙纳颐再次扛起大旗,负责DCG数据中心业务,担任总经理职位。 在英特尔内部,能够接连管理CCG和DCG两大事业部的人选寥寥可数,施浩德算一个,现在孙纳颐也加入了这个少数派名单之中。 作为英特尔两大现金牛业务,CCG和DCG拿下了英特尔85%的营收,刚刚发布的二季度财报就显示,CCG营收占比55.4%,而DCG贡献了29.7%的营收。 虽然CCG客户端计算事业部依然保持着运营利润最高的势头,但是很显然伴随着云服务提供商的数据中心对于芯片的需求日益旺盛,DCG数据中心业务被英特尔认为是下一个增长动力和营收来源。 面对来自各方的挑战,孙纳颐坦言压力不小,谈及CEO科再奇对他的要求,孙纳颐的回答是:科再奇先生希望我能够不断的实现DCG业务的增长。
DCG的两个思想: 1、高关联度的结果比一般关联度的结果更影响最终的指标得分; 2、有高关联度的结果出现在更靠前的位置的时候,指标会越高; 根据推出的Item列表,定义DCG如下: ? nDCG 为 normalized DCG,通过如下公式计算每个用户 i 的nDCG: ? 例如: ? 对于, DCG(id1)= 0 + { 1/log(2,2) + 1/log(2,6) } ≈ 1.39 DCG(id2)= 1 + { 0 } ≈ 1 DCG(id3)= 0 + { 1/log(2,2 ) +1/log(2,3) +1/log(2,7) } ≈ 1.98 DCG(id4)= 0 + { 1/log(2,2) +1/log(2,7) } ≈ 1.35 计算nDCG,标准化的目的在于, nDCG(id1)= DCG(id1)/(1+{1/log(2,2)})≈ 0.695 nDCG(id2)= DCG(id2)/(1)≈ 1 nDCG(id3)= DCG(id3)/(1+ 1/log(
DCG: Discounted Cumulative Gain,考虑排序顺序的因素,使得排名靠前的 item 增益更高,对排名靠后的 item 进行折损。 \mathrm{DCG} = \sum_{i}^K \frac{rel(i)}{\log_2 (i+1)} IDCG: Ideal Discounted Cumulative Gain,最理想的排序列表对应的 DCG。 \mathrm{NDCG} = \frac{\mathrm{DCG}}{\mathrm{IDCG}}
英特尔CFO兼执行副总裁Robert Holmes Swan总结了数据中心业务的失败原因,其数据中心工作组(DCG)利润同比下降14%,只剩下19亿美元。 英特尔的数据中心工作组(DCG)生产大量产品,涵盖各种领域,如CPU、网络和存储,因此我们主动跟进英特尔以更清楚地了解故障的性质。 由于英特尔在这些领域的努力,它减少了DCG对传统企业CPU市场的依赖,这部分收入目前只占其收入的50%。不幸的是,CPU故障与英特尔选定的三个领域中的两个领域相关。 英特尔可能会淡化这个问题,任何新的芯片版本都需要大量的支出和工程设计工作,而这目前已经被DCG的底线所拖累。
首先我们计算理想 DCG(称之为 IDCG), 再根据用户点击结果, 计算真实的 DCG, NDCG = DCG / IDCG,值越接近 1, 则代表搜索结果越好。DCG 计算公式如下: ? 计算得出 IDCG = 1, DCG = 0.5,NDCG = DCG / IDCG = 0.5 , 最终通过对每次搜索计算 NDCG 得分,用来作为判断搜索结果好坏的一个评价指标。
联想DCG中国区企业级服务和云事业部总经理刘淼说,联想企业级混合云业务一方面在继续扩大生态,另一方面,也在和用户探讨新的商业模式。 王平在2018年底出任联想DCG中国区企业级服务和云事业部CTO,在过去的数年间,他都供职于甲方并任CIO。 联想ThinkCloud产品家族发布仪式 这是联想数据中心业务集团(联想DCG)在企业级混合云领域的一次年度大秀。 刘淼是联想DCG中国区企业级服务和云事业部总经理,他在演讲中展示了一张来自Gartner的图片,那张图片描述了客户云转型的路径选择。 联想DCG过往多年实践并向外输出的稳态IT与敏态IT能力——双态IT——为它的混合云服务提供了经验和基础。
虽然Spectrum-4要在四季度才推出 但是分析师大会已经狗掀门帘-露了一鼻子 反观只有 AMD的数据中心营收 只有CPU+GPU两条稍显单薄的线 即使加上刚刚收购的Xilinx 最新季度DCG 的全年大概为300million 好在DCG的营收 正处于历史最好发展阶段 季度增长28%,年度增长81% AMD如果想与 Intel和Nvidia同台竞技 那显而易见还缺一条网络的腿 OFC2022
假设搜索“篮球”结果,最理想的结果是:B1, B2, B3;而出现的结果是B3, B1, B2的话,CG的值是没有变化的,因此需要下面的DCG。 DCG在CG的基础上引入了位置影响因素,计算公式如下: 从上面的式子可以得出:1)推荐结果的相关性越大,DCG越大。2)相关性好的排在推荐列表前面的话,推荐效果越好,DCG越大。 DCG针对不同的推荐列表之间很难进行横向评估,而我们评估一个推荐系统不可能仅使用一个用户的推荐列表及相应结果进行评估,而是对整个测试集中的用户及其推荐列表结果进行评估。 IDCG表示推荐系统某一用户返回的最好推荐结果列表, 即假设返回结果按照相关性排序, 最相关的结果放在最前面, 此序列的DCG为IDCG。 而我们看DCG: 所以 DCG = 3+1.26+1.5+0+0.38+0.71 = 6.86 接下来我们归一化,归一化需要先结算 IDCG,假如我们实际召回了8个物品,除了上面的6个,还有两个结果
DCG 其实是由 DCG 的值计算出来的,分子为模型计算出的 DCG 值,分母则为理想情况下的 DCG 值,而 DCG 的计算公式如下: ? 在 DCG 的表达式中,r(i)表示在模型给出的排序中,排名为 i 的元素的实际分数,这里通过 2^r(i)-1 运算放大了其分数的差异,log_2(i+1) 是每个元素的折价,由于排序靠前的元素被选取的概率更大
各种变种的NDCG:考虑了位次重要度的指标 ndcg= DCG/ IDCG;DCG叫 折损累计增益(Discounted Cumulative Gain) 思想是命中的item越排名靠前增益越高, IDCG 是完美的排序下的dcg 。 DCG的计算一般用。sum【每一个item的价值分/log(n+1)】, n是列表排序位次,也就意味着排序越靠前的item对dcg贡献的越大。 我们团队目前使用的除了第一种auc之外,比较有效的是 也是折损累计增义的思想:我们定义DCG@N为粗排截断N后的排序期望收益(可以就按可曝光的候选算期望价值分),而IDCG就是当下该请求的最佳排序期望收益
我们更愿意看那些位于列表前面的最相关的项,因此,在把这些分数相加之前,我们将每项除以一个递增的数(通常是该项位置的对数值),也就是折损值,并得到DCG。 最糟糕的情况是,当使用非负相关评分时DCG为0。为了得到最好的,我们把测试集中所有的条目置放在理想的次序下,采取的是前K项并计算它们的DCG。 然后将原DCG除以理想状态下的DCG并得到NDCG@K,它是一个0到1之间的数。 你可能已经注意到,我们使用K表示推荐列表的长度。这个数由专业人员指定。 现在,它的要点是,还有另一种DCG表述。你还可以使用负相关分数。在这种情况下,你可以计算出更糟糕情况下DCG的归一化(它将小于零),或者仍然使用零作为下限值,具体要视情况而定。
「3.2discounted cumulative gain」 折扣累计收益(discounted cumulative gain, DCG)的主要思想是用户喜欢的商品被排在推荐列表前面比排在后面会更大程度上增加用户体验 最糟糕的情况是,当使用非负相关评分时DCG为0。为了得到最好的,我们把测试集中所有的条目置放在理想的次序下,采取的是前K项并计算它们的DCG。 然后将原DCG除以理想状态下的DCG就可以得到「归一化折扣累计收益(Normalized Discounted Cumulative Gain,NDCG)」 ,它是一个0到1之间的数。 ? 「3.3排序偏差准确率(rank-biased precision,RBP)」 与 DCG 指标不同,排序偏差准确率(rank-biased precision,RBP)假设用户往往先浏览排在推荐列表首位的商品然后依次以固定的概率 RBP和DCG指标的唯一不同点在于RBP把推荐列表中商品的浏览概率按等比数列递减,而DCG则是按照log调和级数形式。