- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
可组合扩散模型主打Any-to-Any生成：文本、图像、视频、音频全都行
比如，前面提到的「一辆进站的火车」，CoDi 根据这句话生成的效果如下： 与现有的生成式人工智能系统不同，CoDi 可以并行生成多种模态，其输入不限于文本或图像等模态。 论文主页：https://codi-gen.github.io/ 研究者表示 CoDi 不仅可以从单模态到单模态的生成，还可以接收多个条件输入，以及多模态联合生成。 除此以外，CoDi 还能以三种模态（文本 + 音频 + 图片）作为输入，生成符合要求的图片。 接下来是展示 CoDi 视频生成能力。 CoDi 在音频字幕和音频生成方面实现了新 SOTA，如表 4 和表 6 所示。 在图像和视频生成方面，CoDi 的表现与最先进的技术相媲美，如表 2 和表 3 所示。 如表 8 所示，CoDi 在给定的输入模态分组中实现了高质量图像生成。此外，表 9 表明，CoDi 在给定各种输入模态组的情况下与真值相似。 了解更多内容，请参考原论文。
71010编辑于 2023-05-31 - 来自专栏AiCharm
统一多种模态 | 扩散模型主打Any-to-Any生成：文本、图像、视频、音频全都行
比如，前面提到的「一辆进站的火车」，CoDi 根据这句话生成的效果如下： 与现有的生成式人工智能系统不同，CoDi 可以并行生成多种模态，其输入不限于文本或图像等模态。 论文主页：https://codi-gen.github.io/ 研究者表示 CoDi 不仅可以从单模态到单模态的生成，还可以接收多个条件输入，以及多模态联合生成。 除此以外，CoDi 还能以三种模态（文本 + 音频 + 图片）作为输入，生成符合要求的图片。 接下来是展示 CoDi 视频生成能力。 CoDi 在音频字幕和音频生成方面实现了新 SOTA，如表 4 和表 6 所示。 在图像和视频生成方面，CoDi 的表现与最先进的技术相媲美，如表 2 和表 3 所示。 如表 8 所示，CoDi 在给定的输入模态分组中实现了高质量图像生成。此外，表 9 表明，CoDi 在给定各种输入模态组的情况下与真值相似。 了解更多内容，请参考原论文。
1.2K20编辑于 2023-06-07 - 来自专栏机器之心
任意文本、视觉、音频混合生成，多模态有了强大的基础引擎CoDi-2
机器之心报道 编辑：杜伟、大盘鸡 研究者表示，CoDi-2 标志着在开发全面的多模态基础模型领域取得了重大突破。 CoDi 不仅支持从单模态到单模态的生成，还能接收多个条件输入以及多模态联合生成。 近日，UC 伯克利、微软 Azure AI、Zoom、北卡罗来纳大学教堂山分校等多个机构的研究者将 CoDi 升级到了 CoDi-2。 人类与 CoDi-2 的多轮对话为图像编辑提供了上下文多模态指令。 模型架构 CoDi-2 在设计时旨在处理上下文中的文本、图像和音频等多模态输入，利用特定指令促进上下文学习并生成相应的文本、图像和音频输出。CoDi-2 模型架构图如下所示。
51910编辑于 2023-12-05 - 来自专栏媒矿工厂
NeurIPS 2023 | CoDi: 利用可组合扩散实现任意组合模态的处理与生成
Zeng, Mohit Bansal 来源： NeurIPS 2023 项目链接： https://codi-gen.github.io/ 内容整理：张俸玺 本文作者提出了可组合扩散模型(CoDi)。 不同于先前已有的生成式AI系统，CoDi可以并行生成多个模态，并且它的输入不受像文本或图像一类的模态子集的限制。 文中证明，CoDi高度可定制且高度灵活，实现了强大的联合模态生成质量。 引言 图1 CoDi可以处理任意模态组合的输入，从而生成任意模态组合的输出。 单模态生成结果 图3 单模态生成：文本到图像，图像到文本，图像到视频，音频到图像 单模态生成实验表明，CoDi在音频字幕生成和音频生成方面实现了SOTA；CoDi是第一个可以进行视频字幕生成的扩散模型 实验表明，CoDi在灵活利用广泛的多种模态组合输入生成单一或多种组合模态输出方面具备卓越的能力。
99740编辑于 2023-10-24 - 来自专栏AiCharm
每日学术速递12.9
, Interleaved, and Interactive Any-to-Any Generation 标题：CoDi-2：上下文关联、交错和交互式任意生成 作者：Zineng Tang, Ziyi 通过将模态与编码和生成的语言保持一致，CoDi-2 使大型语言模型 (LLM) 不仅能够理解复杂的模态交错指令和上下文示例，而且还能在连续特征空间中自回归生成接地且连贯的多模态输出。 为了训练 CoDi-2，我们构建了一个大规模生成数据集，其中包含跨文本、视觉和音频的上下文多模式指令。 CoDi-2 展示了多种多模态生成的零样本功能，例如上下文学习、推理以及通过多轮交互式对话生成任意模态的组合性。CoDi-2 在主题驱动图像生成、视觉转换和音频编辑等任务上超越了以前的特定领域模型。 CoDi-2 标志着在开发全面的多模态基础模型方面取得了重大突破，该模型擅长解释上下文中的语言-视觉-音频交错指令并产生多模态输出。
40710编辑于 2023-12-13 - 来自专栏机器之心
7 Papers & Radios | 英伟达把GPT-4塞进我的世界；比Adam快2倍的大模型预训练优化器
Second-order Optimizer for Language Model Pre-training RWKV: Reinventing RNNs for the Transformer Era CoDi 推荐：在 Transformer 时代重塑 RNN，RWKV 将非 Transformer 架构扩展到数百亿参数 论文 4：CoDi: Any-to-Any Generation via Composable Diffusion 作者：Zineng Tang、Ziyi Yang 等 论文地址：https://codi-gen.github.io/ 摘要：给定一句话，然后让你想象这句话在现实场景中的样子，对于人类来说这项任务过于简单 现在，北卡罗来纳大学教堂山分校、微软提出的可组合扩散（Composable Diffusion，CoDi）模型很好的解决了这个问题。 与现有的生成式人工智能系统不同，CoDi 可以并行生成多种模态，其输入不限于文本或图像等模态。
50930编辑于 2023-05-31 - 来自专栏机器之心
多模态LLM多到看不过来？先看这26个SOTA模型吧
反过来，为了减少级联系统中传播的错误，也有一些研究团队想要打造出端到端式的任意模态 MM-LLM；这类研究包括 NExT-GPT 和 CoDi-2。 图 1 给出了 MM-LLM 的时间线。 (25) CoDi-2：这是一种多模态生成模型，可以出色地执行多模态融合的指令遵从、上下文生成以及多轮对话形式的用户 - 模型交互。 它是对 CoDi 的增强，使其可以处理复杂的模态交织的输入和指令，以自回归的方式生成隐含特征。 (26) VILA：该模型在视觉任务上的性能出色，并能在保持纯文本能力的同时表现出卓越的推理能力。
89810编辑于 2024-02-06 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(4)
扩散模型：增加视频的帧数 6 跨模态多重组合技术 模型无关的融合方法：早期融合方法；后期融合方法；混合融合方法 模型相关的融合方法 基于深度学习（主流） 基于多核学习 基于图形模型 融合技术CoDi 第二个阶段:通过在每个潜在扩散模型和环境编码器上加一个交叉注竞力模块 第三个阶段: CoDi 模型在训练完成时会拥有处理多种类型输入和输出信息的能力。
46710编辑于 2024-09-10 - 来自专栏张善友的专栏
Professional K2 blackpearl
作为Wrox 出版的畅销技术书籍系列之一，这本包含986页内容的书籍是由包括K2公司成员Holly Anderson、Chris Geier、Codi Kaji、Shaun Leisegang、Mike
1.1K90发布于 2018-01-31 - 来自专栏机器学习与统计学
“大模型”研究风向变了！从这120篇顶刊顶会看最新研究趋势......
研究在数学和通用推理任务上对 Coconut 和 CODI 两种代表性范式展开实验，发现潜在步骤预算更偏向具有非局部路由的阶段化功能而非同质化的额外深度，且早期输出偏倚与后期表征承诺之间存在持续差距。
32510编辑于 2026-03-27 - 来自专栏时空探索之旅
AAAI 2024 | 大模型（LLM）论文总结
针对这一空缺，我们提出了一个新的基准 CoDI-Eval，以系统、全面地评估 LLM 对带有各种约束的指令的响应。我们构建了一个大型的约束条件指令集合，作为一个测试套件，重点关注通用性和覆盖性。 与现有的可控文本生成研究不同，CoDI-Eval 首次将研究范围扩展到流行的指令遵循范式。 我们在 CoDI-Eval 上对具有代表性的 LLM（如 ChatGPT、Vicuna）进行了广泛的评估，揭示了它们在遵循具有特定约束的指令方面的局限性，以及开源 LLM 与商业闭源 LLM 之间仍然存在的巨大差距 我们的数据和代码见 https://github.com/Xt-cyh/CoDI-Eval 3.Norm Tweaking: High-Performance Low-Bit Quantization
1.9K10编辑于 2024-11-19 - 来自专栏自然语言处理(NLP)论文速递
2024开年，看一看：大型语言模型（LLM）在过去一年多的发展！（按月总结）
「在模型/应用方面」UC 伯克利、「微软将CoDi 升级到了 CoDi-2」，作为一种多功能、交互式的多模态大语言模型（MLLM），CoDi-2 能够以 any-to-any 输入-输出模态范式进行上下文学习
1.8K10编辑于 2024-02-22 - 来自专栏全栈程序员必看
oracle启动时必须启动哪两个服务_富士康的领导
版本的简单贪吃蛇 先看看效果,白色的条是蛇(简单勿怪,有研究的同学请告知做的美观点),做了一个笑脸是糖果,背景弄了一个图, 代码也是从其他人那边弄来的,改了一部分直接可以在window上直接运行 代码如下: #codi
1.7K20编辑于 2022-11-15 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(3)
·CoDi模型 o输人为文本、图像、语音、视频的任意组合；输出也可以是文本、图像、语音、视频的任意组合 o扩散模型的概念 o生成对抗网络(Generative Adversarial Network GAN 2，基于多模态对齐数据训练多模态大模型 VideoBERT、CLIP、CoCa、CoDi。
1.2K20编辑于 2024-09-10 - 来自专栏AIGC 先锋科技
斯坦福大学 & 亚马逊 AI 探索视觉-语言模型的前沿，当前方法与未来方向的调查！
Multimodal Output with Multimodal Input 可组合扩散（CoDi）：CoDi [22]模型采用了一种多模态方法，使用潜在扩散模型处理文本、图像、视频和音频。 CoDi通过跨模态生成的联合多模态生成和跨注意力模块，创建了一个共享的多模态空间。训练涉及带有对齐提示编码器的个体扩散模型，CoDi通过线性数量的训练目标实现任意到任意的生成。 CoDi-2[22]：CoDi-2采用了一个多模态编码器ImageBind，带有对齐的编码器和一个用于模态投影的多层感知机。
1.1K10编辑于 2024-07-08 - 来自专栏机器之心
跨模态通信总丢失语义、产生歧义？加入AI大模型，LAM-MSC实现四模态统一高效传输
为解决上述挑战，本文提出了一种基于 AI 大模型的多模态语义通信框架，具体贡献如下： （1）统一的语义表示：采用基于多模态语言模型的多模态对齐技术（MMA），使用可组合扩散模型（CoDi）处理多模态数据
54500编辑于 2025-02-14 - 来自专栏新智元
LLM「想太多」有救了！高效推理让大模型思考过程更精简
CODI：运用自蒸馏的方式，压缩推理内容。 CCOT：把CoT推理压缩为潜在表征。 SoftCoT：借助小型辅助模型，将潜在思维投射到较大的模型中。
42610编辑于 2025-04-07 - 来自专栏行业研究报告
2021年多领域控股行业发展研究报告
image.png 3.5 全球重要竞争者 全球非中国主要企业有伯克希尔哈撒韦(BERKSHIRE)[BRK_B.N]、罗盘多元控股[CODI.N]、STEEL PARTNERS[SPLP.N]、VIDLER
49160编辑于 2022-04-15 - 来自专栏新智元
真·大一统！AI2南邮校友等打造Unified-IO 2：首个视觉/语言/音频/动作多模态模型
在TIFA上的测试结果显示，Unified-IO 2的得分与minDALL-E相近，并且比其他综合型模型，比如CoDi和Emu，领先约10分。
56410编辑于 2024-01-04 - 来自专栏全栈程序员必看
Couchbase vs Redis，究竟哪个更胜一筹？
Redis从一开始就是单点解决方案，直到Redis3.0后才出来官方的集群方案，而且仍存在一些架构上的问题，其高可用性目前还没有在线上被证明，第三方的集群方案像豌豆荚的Codi又缺少官方的后续支持。
1.5K40编辑于 2022-07-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号