- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT从业者张某某
大语言模型-01-语言模型发展历程-03-预训练语言模型到大语言模型
简介 1.1语言模型发展历程 语言模型发展历程 语言模型通常是指能够建模自然语言文本生成概率的模型。 从语言建模到任务求解，这是科学思维的一次重要跃升。 语言模型的发展历程如下： 神经语言模型（Neural Language Models,NLM） 预训练语言模型（Pre-trained Language Model，PLM） 预训练语言模型是一种在大规模文本数据上进行无监督学习得到的语言模型 语言模型任务是根据给定的上文预测下一个单词，通过这种方式，模型可以学习到语言的统计规律和语义表示。 通常需要对于结构进行修改，或者进行大规模微调 尽管早期研究工作较多，但是没有工作能够通过统一途径同时解决上述代表性挑战 大语言模型的到来 海量无标注文本数据预训练得到的大型预训练语言模型 通常指参数规模达到百亿 、千亿甚至万亿的模型 经过大规模数据预训练的数十亿参数的高性能模型也可以称为大语言模型 与传统语言模型构建的差异 极大地扩展了模型参数和数据数量 需要更为复杂、精细的模型训练方法 模型需要能够学习更多的数据知识
72400编辑于 2025-03-15 - 来自专栏muller的测试分享
Mistral 大语言模型
我们通过突破性的创新打造开放、高效、有用且值得信赖的人工智能模型。我们的使命是让前沿人工智能无处不在，为所有建设者提供量身定制的人工智能。 在线 Chat 服务 Le Chat开源大语言模型 Mistral MixtralMistral 大语言模型Mistral-7BMistral-7B 大型语言模型 (LLM) 是一个预训练的生成文本模型 r = llm.invoke('请为google编写web自动化测试用例，使用pytest page object设计模式，断言使用hamcrest') debug(r)Mixtral 大语言模型 Mixtral 大语言模型介绍这是一种具有开放权重的高质量稀疏专家混合模型 (SMoE)。 它是最强大的开放权重模型，具有宽松的许可证，也是成本/性能权衡方面的最佳模型。特别是，它在大多数标准基准测试中匹配或优于 GPT3.5。Mixtral 的特点可以优雅地处理 32k 令牌的上下文。
42910编辑于 2024-09-03 - 来自专栏产品笔记
大语言模型(LLM)
最近，作为代表性的大语言模型应用ChatGPT展现出了超强的人机对话能力和任务求解能力，对于整个AI研究社区带来了重大影响。01 — 什么是大语言模型？ 目前，大语言模型取得如此巨大的成就，总结了五方面原因：模型、数据和计算资源的扩展；高效稳定的训练手段；语言模型能力诱导；对齐训练，将大语言模型与人类偏好对齐；工具使用（潜在发展方向）； ---- 02 — 大语言模型预训练和微调技术 大型通用语言模型可以进行预训练，然后针对特定目标进行微调。 预训练是大语言模型能力的基础。当语言模型的参数量扩展到超千亿级别时，从头预训练一个大语言模型就成为一件十分困难且有挑战的事情。在数据层面，如何收集尽可能多的高质量语料对预训练模型的效果十分关键。 03 — 大语言模型的特征 大型通用语言模型可以进行预训练，然后针对特定目标进行微调。 Large（大）：在"大语言模型"的上下文中，"大"主要有两层含义。一方面，它指的是模型的参数数量。
1.8K50编辑于 2023-09-09 - 来自专栏IT从业者张某某
大语言模型-1.2-大模型技术基础
简介 1.2 大模型技术基础 大语言模型 预训练阶段会得到base model，本质上就是一个互联网文本模拟器，这个阶段需要上万台服务器训练几个月的时间，这个生成的模型可以认为是互联网的有损压缩。 构建一个大语言模型 大语言模型预训练（Pre-training） 使用与下游任务无关的大规模数据进行模型参数的初始训练 ➢ 基于Transformer解码器架构，进行下一个词预测 ➢ 数据数量、数据质量都非常关键 Scaling Law) ➢ 通过扩展参数规模、数据规模和计算算力，大语言模型的能力会出现显著提升 ➢ 扩展定律在本次大模型浪潮中起到了重要作用 大语言模型采用了与小型预训练语言模型相似的神经网络结构 但是通过扩展参数规模、数据规模和计算算力，大语言模型的能力显著超越了小型语言模型的能力。 有趣的是，这种通过扩展所带来的性能提升通常显著高于通过改进架构、算法等方面所带来的改进。 年提出了一种可选的扩展法则，旨在指导大语言模型充分利用给定的算力资源进行优化训练。
51110编辑于 2025-03-15 - 来自专栏IT从业者张某某
大语言模型-1.1-语言模型发展历程
简介 本博客内容是《大语言模型》一书的读书笔记，该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的核心技术 1.1语言模型发展历程 大模型的能力 范围广泛的世界知识： 例如，了解历史事件如2024年巴黎奥运会的详细情况，包括参赛国家、主要比赛项目和获奖者的信息；或者解释科学理论，比如量子计算的基本原理及其对未来计算机技术的影响 这里没有继续问，一问一个不吱声 大语言模型的百花齐放时代 论文地址: https://arxiv.org/abs/2303.18223 https://hub.baai.ac.cn/view 通常需要对于结构进行修改，或者进行大规模微调 尽管早期研究工作较多，但是没有工作能够通过统一途径同时解决上述代表性挑战 大语言模型的到来 海量无标注文本数据预训练得到的大型预训练语言模型 通常指参数规模达到百亿 、千亿甚至万亿的模型 经过大规模数据预训练的数十亿参数的高性能模型也可以称为大语言模型 与传统语言模型构建的差异 极大地扩展了模型参数和数据数量 需要更为复杂、精细的模型训练方法 模型需要能够学习更多的数据知识
49400编辑于 2025-03-15 - 来自专栏云云众生s
为什么大语言模型这么大？
核心上，AI模型只是一个浮点数的集合，输入数据通过它来获得输出。模型主要有两种：语言模型和图像扩散模型。它们非常相似，但也有一些不同之处。 语言模型的参数数量指的是标记预测权重中浮点数的数量。一个80亿参数的语言模型有80亿个浮点参数。 图像扩散（image diffusion）模型与语言模型的大部分组成部分相同： 一个分词器，用于获取你的输入并将其分解成单词、语法分隔符和表情符号。 这通常意味着，一个700亿参数的语言模型能够处理一个80亿参数的语言模型无法处理的任务，或者一个700亿参数的语言模型能够比一个80亿参数的语言模型更好地完成任务。 大多数情况下，您不需要对图像扩散模型进行量化就能运行它们（对于在低端消费级 GPU 上运行 Flux [dev] 有一些例外）。这几乎只在语言模型中进行。
41400编辑于 2025-01-25 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 一、大语言模型的发展 大语言模型作为一个被验证可行的方向，其“大”体现在训练数据集广，模型参数和层数大，计算量大，其价值体现在通用性上，并且有更好的泛化能力。 ，第一阶段是无监督预训练，基于海量的文本集通过Transformer学习一个大容量的语言模型，第二阶段基于标注数据进行参数微调。 最后，大语言模型作为一个被验证可行的方向，其“大”体现在数据集广泛，参数和层数大，计算量大，其价值体现在通用性上，有广泛的应用场景。 大语言模型能够发展，主要还是模型具备很好的并行扩展性，随着数据量和计算量的增加，主要挑战在工程和调优上。
2.3K45编辑于 2023-05-30 - 来自专栏云云众生s
什么是大语言模型？
什么是大语言模型？ 关于大语言模型是什么、为什么它们被使用、不同类型以及未来可能涉及的 LLM（大语言模型）应用的基础知识。 翻译自 What Is a Large Language Model? LLM 代表大语言模型（Large Language Model）。当然，这引出了一个非常重要的第二个问题，“大语言模型是什么？” 在本文中，我们将提供大语言模型的定义，并讨论 LLM 的含义。 使用这个资源来探讨大语言模型是什么，LLM 在人工智能背景下是什么，为什么它们被使用，不同类型的大语言模型以及未来可能的发展。 解释大语言模型 大语言模型的定义：LLM 是一种以其巨大的规模为特征的语言模型，能够包含数十亿个参数，构建复杂的人工神经网络。 在未标记数据上训练的模型可能具有一定程度的偏见。 LLM 有时可能会产生幻觉，即不准确的响应。 结论 那么，什么是大语言模型？实际上，大语言模型可以是许多不同的东西，因为大语言模型的潜力是巨大的。
1.1K10编辑于 2024-03-28 - 来自专栏AI工程落地
大语言模型--评价指标
困惑度 衡量语言建模能力的重要指标，通过计算给定文本序列概率的倒数的几何平均，来衡量模型对于语言的建模能力。基础公式如下： 其中，u代表整个句子，T是文本u的单词总数。 P(u)是模型对文本u的建模概率， 代表文本中的第 个词元，( |<) 则表示在给定前 − 1 个词元的条件下第 个词元出现的概率。 变换之后的公式如下： BLEU 是一种再机器翻译领域广泛采用的评估指标，通过度量模型生成的文本和参考文本之间的词汇相似度来评估生成质量。 比如rouge-2度量模型生成的文本和“参考”之间匹配的“bigrams”的数量，示例如下： Rouge-L 度量模型生成的文本和“参考”之间的最长公共子序列（LCS），用来衡量两个序列的相似性 准确率 计算模型预测正确的样本数占总样本数的比例，计算步骤如下： 1、假如答案是四个选项，模型会生成每个选项对应的概率。
1.3K10编辑于 2024-06-11 - 来自专栏机器学习
介绍大语言模型（LLM）
大语言模型是基于深度学习技术训练的，可以理解和生成自然语言文本的AI模型。本文将介绍大语言模型的基本概念、发展历程、应用领域以及未来的潜力。什么是大语言模型？ 大语言模型的发展历程大语言模型的发展可以追溯到早期的语言模型，如N-gram模型和LSTM（长短期记忆网络）。 大语言模型的应用领域大语言模型在多个领域展现了巨大的应用潜力：文本生成：大语言模型可以生成高质量的文本，用于写作辅助、新闻生成、小说创作等。例如，GPT-3可以根据提示生成连贯的故事情节和文章。 大语言模型的优势和挑战大语言模型具有许多优势，但也面临一些挑战：优势高效的学习能力：大语言模型能够从海量数据中学习语言模式，捕捉复杂的语言关系和结构。 未来的发展方向随着技术的不断进步，大语言模型在未来有望实现更多的突破：模型压缩和优化：通过模型压缩和优化技术，降低大语言模型的计算资源需求，推动其在移动设备和资源受限环境中的应用。
1.3K00编辑于 2024-07-30 - 来自专栏学习
【机器学习】---大语言模型
引言：开启大语言模型的奇幻旅程 近年来，人工智能（AI）领域正在经历一场前所未有的技术革命，而其中最耀眼的明星莫过于大语言模型（Large Language Models, LLMs）。 本文将以系统且易懂的方式，深入探讨大语言模型的基本原理、广泛应用场景、技术最新进展，并带您从零开始构建和部署一个属于自己的语言模型。准备好了吗？让我们一起揭开大语言模型的神秘面纱。 第一部分：什么是大语言模型？ 1. 走近大语言模型 大语言模型并非传统意义上的“语言学家”，而是通过深度学习技术训练的大规模神经网络，其核心目标是理解、生成并操控自然语言。 第二部分：大语言模型的应用场景 大语言模型的应用范围广阔，无论是文本生成、智能问答，还是代码生成、语言翻译，它都扮演着重要角色。以下是几个代表性的应用领域： 1. 多语言翻译：跨文化桥梁 借助大语言模型的强大能力，可以实现高质量的多语言翻译，为跨文化交流和国际化业务提供技术支持。 第三部分：如何构建和部署一个大语言模型？ 1.
56510编辑于 2025-01-13 - 来自专栏AI
GPT与大语言模型
GPT与大语言模型：从GPT-1到GPT-4的演变近年来，随着人工智能技术的飞速发展，尤其是自然语言处理（NLP）领域，大语言模型（Large Language Models, LLMs）取得了显著进展 对有害内容的生成：由于GPT-2通过大量的互联网上的文本数据进行预训练，模型可能会生成不适当或带有偏见的内容。计算资源需求大：GPT-2的训练和推理需要大量的计算资源，这限制了它的普及。3. 总结与未来展望从GPT-1到GPT-4，GPT系列模型经历了从基础的语言理解到强大的生成能力的逐步演变。每一代模型的进步都推动了自然语言处理的边界，使得机器生成的文本越来越接近人类水平。 这篇文章探讨了大规模语言模型的训练效率和规模扩展规律，是理解GPT演变的重要参考。 通过学习GPT模型的发展历程，你将能够理解大语言模型如何在自然语言处理任务中不断突破技术瓶颈，并应用于实际场景。随着未来技术的不断进步，GPT系列将继续为我们提供更强大的语言生成和理解能力。
83110编辑于 2025-02-10 - 来自专栏机器学习AI算法工程
医疗大语言模型：CareGPT
CareGPT (关怀GPT)是一个医疗大语言模型，同时它集合了数十个公开可用的医疗微调数据集和开放可用的医疗大语言模型，包含LLM的训练、测评、部署等以促进医疗LLM快速发展。 特性： 添加ChatGPT fine-tuning实现，推荐有额度的朋友在ChatGPT上进行微调实验； 支持ChatGPT-Next-Web部署微调的模型； 支持Gradio部署微调的模型； 支持LLaMA 、LLaMA-2全系列模型训练； 支持LoRA、QLoRA，包括后续PPO、DPO强化学习训练； 支持模型与知识库结合问答； 开源了超过60个医院科室的导诊材料信息； 开发了支持GPT-4/ChatGPT 模型蒸馏医学数据的工具，能够批量生成各种用于构建知识库和微调的数据； 聚合了丰富的开源医学LLM、LLM训练的医学数据、LLM部署资料、LLM测评以及相关LLM的资源整理； 我们参与了医学LLM的CMB query 列的内容将会和 prompt 列拼接作为模型输入。history 列应当是一个列表，其中每个元素是一个字符串二元组，分别代表用户请求和模型答复。
84710编辑于 2024-06-08 - 来自专栏数据派THU
独家 | 大语言模型教程
另一方面，思维和语言是相互关联的，正如GPT4所呈现的那样，一个足够强大的语言模型仍然可以表现出某种思维能力。在接下来的内容中，让我们来探索如何使大语言模型（LLM）智能化的科学创举。 上下文学习 GPT3表明，扩大语言模型的规模可以大大提高了与任务无关的、少样本性能。 模型大小 在TriviaQA上，GPT3的性能随着模型大小的增长而平稳增长，它表明语言模型会随着其容量的增加而吸收更多的知识。单样本和少样本的表现比零样本的性能有更加显著的提高。 语言模型的数据集大小已经迅速扩大，例如CommonCrawl 数据集中包含了近1万亿个单词，在无需对同一序列更新两次的情况下，用它足以训练最大的模型。 InstructGPT 通过使用来自人类反馈的强化学习（RLHF）对语言模型进行微调，实现语言模型与用户在通用任务上的意图一致。这种技术利用人类的偏好作为奖励信号来微调模型。
88231编辑于 2023-11-09 - 来自专栏IT从业者张某某
大语言模型-01-语言模型发展历程-01
简介 本博客内容是《大语言模型》一书的读书笔记，该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的核心技术 1.1语言模型发展历程 大模型的能力 范围广泛的世界知识： 例如，了解历史事件如2024年巴黎奥运会的详细情况，包括参赛国家、主要比赛项目和获奖者的信息；或者解释科学理论，比如量子计算的基本原理及其对未来计算机技术的影响 这里没有继续问，一问一个不吱声 大语言模型的百花齐放时代 语言模型发展历程 语言模型通常是指能够建模自然语言文本生成概率的模型。 从语言建模到任务求解，这是科学思维的一次重要跃升。 语言模型的发展历程如下： 统计语言模型（Statistical Language models,SLM） ➢ 主要建立在统计学习理论框架，通常使用链式法则建模句子序列 ➢ 例如： n-gram 语言模型 通常这种方式可以结合不同阶数估计方法的优势 但仍然不能从根本解决数据稀疏性问题 神经语言模型（Neural Language Models,NLM） 在自然语言处理领域，NLM 指神经语言模型
42600编辑于 2025-03-15 - 来自专栏DevOps
AI模型：开源大语言模型bloom学习
作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列，让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。 一、模型介绍 bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 它的训练集包含了45种自然语言和12种编程语言，1.5TB的预处理文本转化为了350B的唯一token。 bigscience在hugging face上发布的bloom模型包含多个参数多个版本，本文中出于让大家都能动手实践的考虑，选择最小号的bloom-1b1版本，其他模型请自行尝试。 (checkpoint) #下载模型 网速足够快的情况下等一会就下载好了，但通常情况下我们得ctrl+c打断代码运行，手动下载模型存放到对应位置，即.cache\huggingface\hub\models–bigscience–bloom
90410编辑于 2024-03-29 - 来自专栏深度学习自然语言处理
大语言模型越狱攻击综述
本文聚焦于大模型安全领域，探讨了目前大模型所面临的“越狱攻击”(Jailbreak)问题。 目前，大语言模型(LLMs)在各类生成任务中表现出了出色的性能，然而其强大的生成能力带来了“越狱攻击”的隐患，即攻击者通过设计对抗性提示(Adversarial Prompt)来诱导大模型生成违反社区规定和具有社会危害性的内容 随着大模型的各种安全漏洞被不断揭露，研究者们陆续提出了各种攻防手段。 ，呈现出了一个大模型越狱攻击和防御的完整分类图表，并对目前的评估方法进行了总结和对比，从而为大模型安全领域的后续研究提供参考，本文的主要贡献包括三个方面：攻防分类、子类定义与攻防联系和评估方法。 基于大模型的生成 攻击者使用大量成功的越狱攻击案例作为训练数据，训练一个大模型作为攻击模型来生成越狱攻击的Prompt，从而对目标模型进行越狱攻击，这类方法的多样性在于攻击者对训练语料的构建和攻击模型的选取
2K10编辑于 2024-07-26 基于大语言模型的应用
在AI领域，大语言模型已成为备受瞩目的焦点，尤其在自然语言处理（NLP）领域，其应用愈发广泛。BLM作为一种多任务语言建模方法，旨在构建一个具备多功能的强大模型。 在给定文本和查询条件下，该模型能够充分利用上下文中的丰富信息，如查询内容、特定任务或领域知识，以生成准确而恰当的答案。这一特性使得BLM在优化自然语言处理任务中展现出巨大潜力。 悦数图数据库凭借其前沿的图技术，为大语言模型注入了万亿级的丰富上下文，显著提升了模型的回答准确度，为企业级应用提供了强大的支持。 通过引入悦数图数据库，企业能够以更低的费用成本和更短的时间成本，实现大模型落地应用。这不仅优化了企业的运营效率，还提高了决策的准确性，为企业在激烈的市场竞争中赢得了宝贵的时间和资源。 未来，随着技术的不断进步和应用的深入拓展，悦数图数据库将继续为大语言模型领域注入新的活力，推动企业级应用走向更加智能、有效的新时代。
42710编辑于 2024-04-30- 来自专栏猿人谷
大语言模型的微调策略
尽管大语言模型展示出强大的能力，但在特定任务领域，它们往往无法达到最佳效果。 本文章讲大语言模型的微调策略及基于 ChatGPT 的微调。 一.大语言模型的微调策略 微调是让预训练的大语言模型适应特定领域任务的关键技术。根据不同的需求和资源用户可以选择全面微调或参数高效微调。 OpenAI 的大语言模型 ChatGPT 已经在大量文本上进行了预训练，而微调可以让其更适合特定的应用场景。 1.使用 Fine-Tuning Ul 微调 OpenAl 支持通过 Fine-Tuning UI进行大语言模型的微调。 这些实践将帮助你更灵活地利用大语言模型。以实现更出色的性能和更广泛的应用。 注：本文节选自机械工业出版社出版的《Python大模型应用开发：核心技术与项目实战》，略有改动，以纸质书出版为准。
61710编辑于 2025-10-21 什么是大语言模型（LLM）
大语言模型（LargeLanguageModel，简称LLM）是一种旨在理解和生成人类语言的人工智能模型。 1.定义与基本原理大语言模型是一种基于深度学习的自然语言处理模型。其“大”主要体现在两个方面：参数规模大：模型包含数十亿至数千亿的可调节参数，用以学习语言数据中的细微模式和复杂关系。 2.训练方式大语言模型的训练通常分为两个关键阶段：阶段核心目标数据与方式预训练让模型学习通用的语言知识和世界知识。在包含数千亿词汇的庞大数据集上进行无监督学习。 3.流行原因大语言模型之所以成为人工智能领域的焦点，主要源于其以下几个突出优势：关键原因具体说明卓越的性能庞大的参数量使其能捕捉极其复杂的语言模式，在多种自然语言处理任务（如生成、翻译）的准确性和流畅度上超越了许多之前的专用模型 4.常见的大语言模型例子以下是一些具有代表性和影响力的大语言模型：模型名称开发机构主要特点GPT系列OpenAI最具代表性的自回归语言模型系列。
70910编辑于 2026-03-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号