# 爬虫的基础

在上期我们成功的安装了相关的python环境折起我们来讲解爬虫从讲解到反爬，讲解cookie，UA等，好了废话不多说我们开始吧

在上期我们成功运行一下测试代码，你已经超越很多人了

```python
import requests
 
r = requests.get("https://example.com")  # 请求代码，网站可以自行更换
print(r.status_code)  # 输出状态码
print(r.text)  # 输出网页源码
```

我上期讲过.status\_code==200的时候证明爬虫与服务器之间的通信是正常的

但是当我们拿这个请求去请求像百度这样没有robot.txt管理很松的网站是可以的，但是当我们请求一些常规的网站会直接返回403，这是因为你又很多参数没加，被服务器识别成了爬虫，那么又没有方法可以完成这样拿到请求呢。

# 爬虫的进阶

## 请求头

请求头(User-Agent)，一般里面包含有Referer，cookie，主要是这俩个还有其他我们在就见到会说

聪明的你灵机一动把浏览器的f12(开发者模式)打开了在里面找到了user-agent把user-agent加里面了这时候请变了成了

```python
import requests
 
headers={"Usre-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}   #这是请求头
r = requests.get("https://example.com",headers=headers)  # 请求代码，网站可以自行更换
print(r.status_code)  # 输出状态码
print(r.text)  # 输出网页源码
```

这时候聪明的你发现又可以请求了,兴致冲冲的你像一个里面有文章的页面发送请求但是又返回403(我滴乖乖！！,怎么回事)，怎么访问不了了？？？

聪明的你又把我的博客往下扒了扒

## 防盗链

防盗链(Referer)，顾名思义是常见的一种反爬手段一般常见是厂商为了防止Spider来的但是没啥大用，但是很重要的一个设置，那怎么获取呢，在刚刚的f12下滑里找到Referer把它复制下来之后粘贴到headers里代码如下

```python
import requests
 
headers={"Usre-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
         "Referer   ":"          你的防盗链             "}#这是请求头
r = requests.get("https://example.com",headers=headers)  # 请求代码，网站可以自行更换
print(r.status_code)  # 输出状态码
print(r.text)  # 输出网页源码
```
```bash
这时候你再次兴致冲冲的去请求网页但是现实在次给你当头一棒依旧403，依旧拿不下来，这时候聪明的你在次在网页的f12往下扒了扒发现有一个叫cookie(曲奇)的一个东西
```

## 曲奇

曲奇(cookie)是一种检测Spider的一种手段之一，一般由后端生成比较复杂原理如下

正常浏览器：  
  请求A → 服务器种 Cookie → 浏览器保存 → 请求B 带上 Cookie → 通过 ✅

Spider（不带 Cookie）：  
  请求A → 服务器种 Cookie → 没保存/没带回 → 请求B 没 Cookie → 拦截 ❌

当你的爬虫不能爬取的时候一般是这个原因导致的，但聪明的你把cookie复制下来添加进headers里代码如下

```python
import requests



# 2. 设置请求头
headers = {
    
    "User-Agent": (
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/120.0.0.0 Safari/537.36"
    ),

    # 防盗链 Referer：告诉服务器"我是从你的页面跳过来的"
    "Referer": "https://www.example.com/",

    # Cookie：携带登录状态或追踪标识
    "Cookie": "session_id=abc123; token=xyz789; uid=10001",

}

# 3. 发送请求
url = "https://www.example.com/page"
resp = requests.get(url, headers=headers)

# 4. 检查结果
print(f"状态码: {resp.status_code}")
```

这样你就可以爬取到网页了

爬虫的基础 在上期我们成功的安装了相关的python环境折起我们来讲解爬虫从讲解到反爬，讲解cookie，UA等，好了废话不多说我们开始吧 在上期我们成功运行一下测试代码，你已经超越很多人了 import requests r = requests.get("https://example.com") # 请求代码，网站可以自行更换 print(r.statuscode) # 输出状态码 prin

python爬虫(02)

编程语言

客户端

网络与通信

爬虫入门核心在于理解请求头与反爬机制。本文详解User-Agent、Referer和Cookie三大关键参数，通过添加浏览器标识、来源链接和会话信息，解决403拒绝访问问题，助你掌握基础反爬对抗技巧，成功获取网页数据。

服务器

Windows

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

python爬虫(02)-腾讯云开发者社区-腾讯云

python爬虫(02)

python爬虫(02)

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐