

>传统开发的内容越来越少，现在基本都是全栈，本来想连产品和设计都通过ai来实现的,但是原型和设计稿的效果一直不好，还是需要设计同学把握审美（需要基础）。现在出一些自己转型的基础知识库。

## 目录

- [一、为什么学：Agent 工程师为何要懂神经网络](#一为什么学agent-工程师为何要懂神经网络)
- [二、核心原理](#二核心原理)
- [三、可运行实现：30 行搭一个 MLP](#三可运行实现30-行搭一个-mlp)
- [四、工程陷阱与避坑](#四工程陷阱与避坑)
- [五、JD 对应与岗位映射](#五jd-对应与岗位映射)
- [六、本节要点小结](#六本节要点小结)
- [七、常见问答（8 条）](#七常见问答8-条)
- [八、模拟面试题（3 道）](#八模拟面试题3-道)
- [九、速记清单（10 条）](#九速记清单10-条)
- [十、延伸阅读](#十延伸阅读)

## 一、为什么学：Agent 工程师为何要懂神经网络

大模型（LLM）本质是一个超大规模神经网络。你不需要成为训练专家，但必须理解它的**能力边界从何而来**——否则在 Agent 系统中会出现两类典型误判：把"幻觉"当成"知识缺失"去补 RAG（其实是模型归纳偏置问题），或把"上下文窗口够大"当成"能稳定推理"（其实是注意力稀释问题）。

一门 Agent 课程把"神经网络基础"放在大模型原理的第一篇，逻辑是：**Transformer 是神经网络的特例，理解了最朴素的 MLP，才看得懂注意力机制为什么那样设计。**

一句话结论：**神经网络 = 嵌套的函数复合 + 可微优化；大模型只是把"深"和"宽"推到了极致。**

## 二、核心原理

### 2.1 从感知机到多层网络

单个神经元（感知机）做的事就三步：加权求和 → 加偏置 → 过激活函数。

```
输入 x1, x2 ... xn
        │  (乘权重 w1..wn)
        ▼
  z = w1·x1 + w2·x2 + ... + wn·xn + b
        │  (激活)
        ▼
  a = σ(z)          ← σ 是激活函数
```

单层只能画一条直线（线性可分）；把多层叠起来，理论上可以逼近任意连续函数（**万能近似定理**）。这就是"深度"的全部意义：用层次化的特征组合表达复杂映射。

| 结构                       | 表达能力  | 典型用途           |
| ------------------------ | ----- | -------------- |
| 单层感知机                    | 线性可分  | 几乎不用           |
| 浅层 MLP（2–3 层）            | 中等非线性 | 传统 ML 头        |
| 深层网络（ResNet/Transformer） | 极强    | 视觉、语言、Agent 主干 |

#### ✅ 本节要点小结

神经元 = 加权求和 + 激活；多层堆叠带来非线性表达力，深层网络靠层次化特征组合逼近复杂函数。

### 2.2 激活函数：为什么必须非线性

如果激活函数是线性的，无论叠多少层，整体仍是线性变换——网络"退化"成一条直线。非线性激活（ReLU、GELU、SiLU）是让深层网络有意义的前提。

| 激活函数        | 公式要点       | 特点 / 坑     |
| ----------- | ---------- | ---------- |
| Sigmoid     | 1/(1+e^-z) | 易梯度消失，现代少用 |
| Tanh        | 双曲正切       | 零中心但仍有消失   |
| ReLU        | max(0,z)   | 快，但"死神经元"  |
| GELU / SiLU | 平滑近似       | LLM 主流选择   |

LLM 几乎全部用 GELU 或 SiLU（SwiGLU 门控变体），因为它们平滑、非零中心、对优化更友好。

#### ✅ 本节要点小结

没有非线性激活，深层网络退化成线性映射；现代 LLM 选 GELU/SiLU 是优化稳定性与表达力的折中。

### 2.3 损失函数与优化目标

训练 = 找一组参数 θ，让"预测"尽量接近"标签"。损失 L(θ) 衡量差距，优化的目标就是最小化它：

```
θ* = argmin_θ  L(θ)
```

常用损失：回归用 MSE，分类用 Cross-Entropy（交叉熵）。大模型预训练用的是**下一 token 的交叉熵**，本质是在海量文本上做"超级多分类"。

#### ✅ 本节要点小结

训练是最小化损失函数的参数搜索；LLM 预训练目标 = 在巨大词表上做下一 token 的交叉熵分类。

### 2.4 深度学习为什么"深"才有效

浅网络要表达复杂函数需要指数级宽；深网络用"层层抽象"用更少参数做到同样事：底层学边缘，中层学语义，高层学任务。Transformer 的"深"体现在堆叠 N 个相同 block（如 32/64 层），每层只做一件小事（注意力 + 前馈），靠深度累积能力。

| 维度    | 宽而浅  | 深而窄       |
| ----- | ---- | --------- |
| 参数效率  | 低    | 高         |
| 特征复用  | 弱    | 强         |
| 训练稳定性 | 易过拟合 | 需残差/归一化辅助 |

#### ✅ 本节要点小结

深度带来参数效率与特征复用；LLM 用"堆叠同构 block + 残差"把深度推到几十层而不坍塌。

## 三、可运行实现：30 行搭一个 MLP

下面用 NumPy 手写一个两层 MLP，只为建立"前向就是矩阵乘、反向就是链式法则"的直觉（训练细节见 B2_02）：

```python
import numpy as np

def relu(x): return np.maximum(0, x)

def forward(x, W1, b1, W2, b2):
    h = relu(x @ W1 + b1)      # 隐藏层
    y = h @ W2 + b2            # 输出层（线性）
    return y, h

# 随机初始化（真实训练要用 He/Xavier）
np.random.seed(0)
x  = np.random.randn(4, 8)     # 4 个样本，8 维特征
W1 = np.random.randn(8, 16)    # 8 -> 16 隐藏
b1 = np.zeros(16)
W2 = np.random.randn(16, 3)    # 16 -> 3 类
b2 = np.zeros(3)

y, h = forward(x, W1, b1, W2, b2)
print(y.shape)                 # (4, 3)  ← 每个样本 3 类 logits
```

要点：**前向传播就是一连串矩阵乘法 + 激活**；Transformer 的每一层也是同样范式，只是把"矩阵乘"换成了"注意力 + 前馈"两个子模块。

## 四、工程陷阱与避坑

| 陷阱       | 现象         | 正确做法             |
| -------- | ---------- | ---------------- |
| 把激活当线性   | 深层无效       | 必须非线性激活          |
| 初始化乱来    | 梯度爆炸/消失    | He / Xavier 初始化  |
| 忽视数值范围   | softmax 溢出 | 减最大值再 exp        |
| 混淆参数量与算力 | 以为小模型能平替   | 看 FLOPs 与显存      |
| 用训练思维做推理 | 想重训模型      | Agent 用提示/微调而非重训 |

Agent 工程师最常踩的是最后一条：**你的大多数问题不该靠改模型权重解决，而该靠上下文工程（B5_05）与工具编排。**

## 五、国内大厂招聘岗位说明

搜索国内互联网大厂JD 词频里"模型能力"高达 43.4%（59/136），是所有岗位的最高单信号——它不考你会不会推导反向传播，而是默认你**理解模型能做什么、不能做什么**，从而在设计 Agent 时把任务拆到模型擅长的地方。

| 国内大厂招聘岗位 信号   | 占比    | 本篇对应关系         |
| ------- | ----- | -------------- |
| 模型能力    | 43.4% | 理解能力边界，避免误用    |
| 推理优化/部署 | 7.4%  | 为 B2_05 推理加速铺垫 |
| 业务落地    | 高频    | 用对模型、用对边界      |

面试常问："什么任务适合 LLM，什么不适合？"——答案就藏在神经网络的非线性与归纳偏置里。

## 六、本节要点小结

1. 神经网络 = 嵌套函数复合 + 可微优化，大模型是其极端形态。
2. 非线性激活是深层网络有效的前提；LLM 用 GELU/SiLU。
3. 预训练目标本质是"下一 token 的交叉熵"超级分类。
4. 深度带来参数效率；LLM 靠堆叠同构 block + 残差实现深而不崩。
5. Agent 工程师的重点是"用对模型边界"，而非重训模型。

## 七、常见问答（8 条）

1. **Q：Agent 工程师需要会手推反向传播吗？** 不必精通推导，但必须理解"梯度决定参数往哪更新、消失/爆炸为何发生"。
2. **Q：为什么 LLM 不用 Sigmoid？** 深层 Sigmoid 梯度消失严重，训练几乎不动。
3. **Q：万能近似定理说单层就够，为何还要深？** 单层需指数级宽，深度用层次抽象更高效。
4. **Q：ReLU 的死神经元是什么？** 神经元输出恒为 0 后梯度也为 0，永久沉默；用 LeakyReLU 缓解。
5. **Q：GELU 和 ReLU 差别大吗？** 实践中 GELU 更平滑稳定，LLM 普遍采用。
6. **Q：损失函数为 0 是好事吗？** 训练集归零往往过拟合；看验证集。
7. **Q：参数量和推理成本成正比吗？** 大致相关，但 KV Cache、批大小影响更大（见 B2_05）。
8. **Q：为什么不直接用更大模型解决一切？** 成本、延迟、可控性都受限，Agent 讲究"够用+编排"。

## 八、模拟面试题（3 道）

1. 用一句话解释"为什么没有非线性激活，再深的网络也等价于单层"。（答：复合线性仍为线性变换。）
2. 万能近似定理支持了"浅网络够用"的观点，为何现代模型几乎都做深？请从参数效率角度答。
3. 给定一个 3 类分类任务，输出层该用线性还是 softmax？损失选什么？为什么？（答：logits 线性 + 交叉熵，softmax 常合入损失数值稳定。）

## 九、速记清单（10 条）

1. 神经元 = 加权求和 + 偏置 + 非线性激活。
2. 线性激活 → 深层退化成线性。
3. 非线性是深度学习有效的命门。
4. LLM 激活主流：GELU / SiLU / SwiGLU。
5. 训练目标 = 最小化损失 L(θ)。
6. LLM 预训练 = 下一 token 交叉熵。
7. 深度换宽度 → 参数更高效。
8. Transformer = 同构 block 堆叠 N 层。
9. 残差/归一化让深层可训练。
10. Agent 重"用对边界"，不重"改权重"。

## 十、延伸阅读

- 《Deep Learning》（Goodfellow 等）第 6 章：深度网络表达力。（ISBN 978-0262035613，获取日期 2026-10-09）
- Vaswani et al., *Attention Is All You Need*, arXiv:1706.03762（Transformer 原论文，获取日期 2026-10-09）
- PyTorch 官方教程：https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html（获取日期 2026-10-09）
- 渡一教育《Agents 应用开发》大纲「二、大模型原理」第 1 点（内部教材，获取日期 2026-10-09）


传统开发的内容越来越少，现在基本都是全栈，本来想连产品和设计都通过ai来实现的,但是原型和设计稿的效果一直不好，还是需要设计同学把握审美（需要基础）。现在出一些自己转型的基础知识库。

软件开发转Agent应用开发基础：神经网络与深度学习基础

高级工程师

人工智能

编程语言

职业发展

Agent工程师必读：从MLP理解大模型能力边界。本知识库用30行代码演示神经网络核心原理，拆解激活函数、损失函数等关键概念，并揭示Agent开发中"用对模型边界"比"重训模型"更重要，附大厂JD对应、面试题库与速记清单。

上下文工程

深度学习

代码解释

Transformer

Agent

2026上云采购 | AI焕新·智启新局

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

软件开发转Agent应用开发基础：神经网络与深度学习基础-腾讯云开发者社区-腾讯云

软件开发转Agent应用开发基础：神经网络与深度学习基础

软件开发转Agent应用开发基础：神经网络与深度学习基础

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐