- 综合排序
- 最热优先
- 最新优先
- 来自专栏专知
Expressivity,Trainability,and Generalization in Machine Learning
I consider Generalization to be comprised of two categories -- “weak” and “strong” generalization -- Does solving generalization require vastly more expressive models? ▌Generalization ---- Generalization is the most profound of the 3 problems, and is the heart of Machine Let’s call (1) “weak generalization” and (2) “strong generalization. Strong Generalization: Natural Manifold In tests of “strong generalization”, the model is evaluated on
1.2K60发布于 2018-04-11 - 来自专栏数据分析与挖掘
On the Generalization Effects of Linear Transformations in Data Augmentation
地址：https://arxiv.org/abs/2005.00695
43720发布于 2020-08-26 - 来自专栏数据派THU
全面讨论泛化 (generalization) 和正则化 (regularization)
模型泛化能力，是设计和评估一个机器学习 or 深度学习方法时无比重要的维度，所以我想通过一系列文章，与大家全面地讨论机器学习和深度学习中的泛化（generalization）/正则化（regularization 定义：正则化（regularization）是所有用来降低算法泛化误差（generalization error）的方法的总称。 2. 1.引子（可以速读或略过哦） 定义：正则化（regularization）是所有用来降低算法泛化误差（generalization error）的方法的总称。 在机器学习中，为了让模型不局限于训练集上，我们通常采用很多手段来降低测试集误差（test error），或者说泛化误差（generalization error），未见过的新样本，我们也希望模型能表现良好
1K30编辑于 2022-06-07 - 来自专栏我还不懂对话
『 论文阅读』Understanding deep learning requires rethinking generalization
Explicit regularization may improve generalization performance, but is neither necessary nor by itself sufficient for controlling generalization error. 1.1.3 有限的样本表达 Finite sample expressivity. Understanding deep learning requires rethinking generalization[J]. 2016. PDF下载：1611.03530.pdf
1.3K30发布于 2021-10-19 - 来自专栏自然语言处理
【论文笔记】Multi-Sample Dropout for Accelerated Training and Better Generalization
训练更快，泛化更强的Dropout：Multi-Sample Dropout 论文标题：Multi-Sample Dropout for Accelerated Training and Better Generalization
64110编辑于 2022-03-04 - 来自专栏AI科技评论
一篇综述带你全面了解领域泛化(Domain Generalization)
AI科技评论报道 「领域泛化 (Domain Generalization, DG)」 是近几年非常热门的一个研究方向。 本文介绍DG领域的第一篇综述文章《Generalizing to Unseen Domains: A Survey on Domain Generalization》。 2 理论和方法 理论 我们从Domain adaptation理论出发，分析影响不同领域学习结果的因素，如H-divergence、 等，继而过渡到领域Domain generalization问题中，
13K40发布于 2021-04-29 - 来自专栏红色石头的机器学习之路
中国台湾大学林轩田机器学习基石课程学习笔记6 -- Theory of Generalization
本文主要介绍了如何通过分析一个机器学习算法在训练集和验证集上的表现，来推断该算法在未见过的数据上的性能表现。这个过程被称为泛化。作者通过一个2D perceptron模型来演示如何通过在训练数据上学习一个分割超平面，来对新的数据点进行分类。通过推导和数学证明，得到了一个称为Vapnik-Chervonenkis(VC) bound的结果，该结果提供了一个关于算法泛化性能的上界。这一理论框架为后来的机器学习算法，如支持向量机、神经网络等，提供了重要的基础。
83200发布于 2017-12-28 - 来自专栏图与推荐
推荐1个图上OOD的论文库~awesome-graph-OOD
This repository contains the paper list of Graph Out-of-Distribution (OOD) Generalization. For more details, please refer to our survey paper: Out-Of-Distribution Generalization on Graphs: A Survey Invariant Learning [NeurIPS 2022] Learning Invariant Graph Representations for Out-of-Distribution Generalization Attention Mechanism [paper] [arXiv 2022] Finding Diverse and Predictable Subgraphs for Graph Domain Generalization bounds for graph neural networks [paper] [arXiv 2021] Generalization bounds for graph convolutional
90820编辑于 2023-03-01 - 来自专栏图与推荐
MIT博士论文 | 图指导的预测（含GNN的泛化能力和表示能力分析）
We also investigate data dependent generalization bounds for GNNs. 3 Generalization and Representational . . 63 3.4 Representation limits of GNNs . . . . . . . . . . . . . . . . . . . . . . . . . 66 7 3.5 Generalization . . . . 71 3.5.1 From Graphs to Trees . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.5.2 Generalization Bound for GNNs . . . . . . . . . . . . . . . . . . . . 75 3.5.3 Toward generalization analysis for CPNGNNs
32420编辑于 2023-02-26 - 来自专栏AI科技时讯
Wide&Deep： Wide & Deep Learning for Recommender System》
例如上面的例子中，如果每个专业的人都没有下载过《消愁》，那么这两个特征共同出现的频次是0，模型训练后的对应权重也将是0； Generalization Generalization 为sparse特征学习低维的 可以联想到NLP中的词向量，不同词的词向量有相关性，因此文中也称Generalization是基于相关性之间的传递。这类模型的代表是DNN和FM。 Generalization的优点是更少的人工参与，对历史上没有出现的特征组合有更好的泛化性 。 而Generalization会学习新的特征组合，提高推荐物品的多样性。 四、Conclusion 详细解释了目前常用的 Wide 与 Deep 模型各自的优势：Memorization 与 Generalization。
1.4K30发布于 2020-09-29 - 来自专栏YoungGy
ML基石_9_LinearRegression
linear regression problem linear regression algorithm 优化问题 求梯度 算法 generalization issue 是否学到了东西 上限保证 图形观点 generalization issue 是否学到了东西 ? 上限保证 ? 图形观点 ? 测试 ?
65960发布于 2018-01-02 - 来自专栏机器学习实践二三事
机器学习基本概念-2
Capacity 上篇博客说过，ML的central challenge就是model的泛化能力，也就是generalization. The ability to perform well on previously unobserved inputs is called generalization. 那什么是Capacity呢？ 衡量model的generalization，我们会让model作用在一个单独的set上，叫做test set，同样的也会产生generalization error或者叫test error.
79190发布于 2018-01-02 - 来自专栏机器学习、深度学习
CNN网络泛化能力--Why Deep Nets Generalize?
Understanding deep learning requires rethinking generalization https://arxiv.org/abs/1611.03530 上面这篇文献说明了网络模型强大的过拟合能力 On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima https://arxiv.org/abs
70040发布于 2019-05-26 - 来自专栏算法和应用
论婚姻问题的泛化概括
原文标题：On a Generalization of the Marriage Problem 原文摘要：We present a generalization of the marriage problem
53330发布于 2019-07-18 - 来自专栏人工智能前沿讲习
【论文推荐】了解《因果科学》必看的6篇论文（附打包下载地址）
02 Estimatingindividual treatment effect: generalization bounds and algorithms. 05 OnCalibration and Out-of-domain Generalization. 推荐理由：这篇paper是从causal invariance的角度来看out-of-domain generalization，并且巧妙的将causal invariance和muti-domain
32410编辑于 2022-02-24 - 来自专栏量子位
拒绝DNN过拟合，谷歌准确预测训练集与测试集泛化差异，还开源了数据集 | ICLR 2019
边缘分布成泛化预测因子 想要理解泛化，就要了解一个重要的概念泛化间隙（generalization gap），即模型在训练集上的准确率与在测试集上的准确率之间的差异。 ? 这里他们采用了一个名为Deep Model Generalization（DEMOGEN）的数据集，这个数据集由756个训练过的深度模型组成，囊括了这些模型在CIFAR-10和CIFAR-100数据集上的训练及测试表现 Yoshua Bengio同样开展过有关深度学习泛化问题的研究，他的团队提出了一个深度学习泛化保障方案（《Generalization in Deep Learning》），这篇ICLR 2019的论文里也引用了他们的文章 传送门 Google AI博客： https://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html 论文地址： https
97120发布于 2019-07-15 - 来自专栏计算机视觉战队
从AI顶会最佳论文，看深度学习的理论基础
泛化问题（Generalization）：为什么过参数化仍然能拥有比较好的泛化性，不过拟合？ ? ? 19 年顶会关于理论的研究 ? ? 参考文献： [1]Theoretical Issues in Deep Networks: Approximation, Optimization and Generalization, arXiv:1908.09375 [2]Uniform convergence may be unable to explain generalization in deep learning, arXiv:1902.04742 [3
50320发布于 2021-03-15 - 来自专栏AI SPPECH
正则化到底在惩罚什么：安全复杂度控制中的惩罚机制
= [results[model]["generalization_error"] for model in model_names] axes[1, 0].bar(model_names, generalization_errors ('Generalization Error') axes[1, 0].tick_params(axis='x', rotation=45) # 绘制非零参数数量（模型复杂度） non_zero_params = [dropout_results[model]["generalization_error"] for model in model_names] axes[1, 0].bar(model_names , generalization_errors, color='#FF4500') axes[1, 0].set_title('Generalization Error with Different Dropout Rates') axes[1, 0].set_ylabel('Generalization Error') axes[1, 0].tick_params(axis='x', rotation=45)
13310编辑于 2026-01-16 - 来自专栏杨丝儿的小站
Week 5 Concepts and Categories
objects. problem for similarity in general: Options can change the implicit similarity function, but Generalization Goals: prediction adn generalization, communication optimization: local MAP (“maximum a posteriori”),
39110编辑于 2022-02-28 - 来自专栏机器学习实践二三事
机器学习基本概念-3
很重要的一点是: 使用正则化可以减小generalization error而不是training error. Regularization is any modification we make to a learning algorithm that is intended to reduce its generalization 当然这里的设计过程需要相应的domain knwledge,如果参数设计的好的话,即使function的capacity比较小也同样能够获得low generalization error.
82180发布于 2018-01-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号