暂无搜索历史
在AI应用开发过程中,我们常面临“重复造轮子”、“流程碎片化”、“技术门槛高”三大绊脚难题,不同场景需重新编写数据处理、工具调用逻辑,非专业人员难以参与,复杂流...
最近在实际应用的基础上深挖了一些算力和显存的底层业务,也被各种烧脑的计算算法折腾的心力交瘁,在这个过程中,我们基本都要么依赖笨重的专业数学软件,要么手动逐行推导...
最近大模型的算法理论着实让大家CPU都要冒烟了,缓缓换一些简单的动手实操,体验一下大模型的趣味,我们前期把 Transformer 架构、分词器工作原理、模型推...
大模型的应用,算力成了我们逃脱不开的话题,往往我们在谈到模型应用这个事情,算力焦虑似乎成了我们都会遇到的痛点。不仅是我,我相信都会陷入“算力要显卡、加卡即提效”...
医疗行业对准确性、合规性、安全性有着极高的要求,大模型在医疗场景,如病历撰写、医嘱辅助、医学科普、诊断建议参考等,不能简单直接的“输入-输出”,否则可能出现医疗...
在日常工作场景中,批量处理合同、报告类文档是高频刚需,传统人工逐份阅读、总结、分类的模式,不仅耗时耗力、易漏关键信息,还存在敏感数据泄露风险。而基于本地批量文档...
代表模型:GPT 系列、LLaMA 系列、Qwen 系列等。 主要应用场景:自然语言生成任务,包括智能对话、文本创作、内容摘要、代码生成等。 核心特点:
在大模型落地实践中,我们都会面临一个共性困惑:明明显卡算力达标、模型量化适配,实际运行时却始终跑不满算力,甚至出现卡顿、显存溢出等问题。前文我们已详解算力指标(...
对大模型而言,算力核心体现在“单位时间内完成矩阵乘法、注意力计算等核心操作的次数”。
在大模型本地化部署的学习路上,我们都会经历懵懵懂懂、茫然无措的阶段,不是被五花八门的模型给整迷糊了,就是被一系列硬件适配问题困住:模型参数与显存占用到底如何精准...
大模型的权重敏感性,通俗来说就是模型中某一个或某一组权重参数的微小变化,对模型最终输出结果或性能指标的影响程度。我们可以把大模型想象成一个精密的"黑箱计算器",...
推荐系统是连接用户与信息的桥梁,核心目标是在海量信息中为用户精准匹配其感兴趣的内容、商品或服务,广泛应用于电商行业、内容平台、生活服务等场景。其核心价值体现在:
随着大模型技术的普及,不管是企业开发者还是个人爱好者,都绕不开一个核心抉择:大模型到底该放在自己的设备上跑,还是直接调用云端服务商提供的接口?这个问题其实很好理...
今天的核心目的就是为了做一个超长上下文处理的实践,我们常用的模型LLaMA-2 默认上下文长度为 4096 tokens,原生不支持滑动窗口!强行设置 conf...
我们应该也遇到过这样的情况,在和模型应用沟通的过程中,聊着聊着它就忘了开头的要求;或者让模型工具分析一本几百页的电子书,它只记住了最后几页的内容?我们也反复讨论...
在大模型的世界里,理解其处理长文本的能力,不能只看一个数字。我们常听到“支持128K上下文”这样的宣传,但真正决定模型能否有效利用这些信息的,远不止窗口长度本身...
如今大模型越来越火,不管是企业做业务落地,还是我们作为个人开发者上手体验,都绕不开一个核心问题:大模型虽强,但太笨重,动辄几十上百GB显存占用,普通硬件跑不动,...
在我们反复探讨的大模型落地的过程中,高性能与低成本的矛盾始终存在。想用好一个高性能拥有千亿参数大模型,都面临着存储占用高、推理速度慢的问题。模型量化作为一种核心...
大模型的量化我们前期也探讨了基础概念和实践原理,针对CPU的量化流程做了通俗易懂的基础说明,但实际应用场景往往是需要GPU的落地实践,随着大模型参数规模突破千亿...
我们接触大模型以来,经常听到什么模型有多少亿参数,通常1B/7B/13B/34B/70B/175B或者GPT有 1750 亿参等等这类说法,很容易让我们陷入模型...
暂未填写学校和专业
暂未填写个人网址