文章/答案/技术大牛

发布

社区首页 >问答首页 >requests.get不返回任何内容

问requests.get不返回任何内容
EN

Stack Overflow用户

提问于 2021-09-11 20:54:40

回答 1查看 56关注 0票数 1

我正在尝试使用requests.get检索url

import requests
from bs4 import BeautifulSoup

baseurl = "https://www.olx.com.eg/"

headers = {
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
}

r = requests.get('https://www.olx.com.eg/jobs/')
soup = BeautifulSoup(r.content, 'lxml')


product_list = soup.findAll('div',class_ = 'ads__item')

print(product_list)

但它返回一个空列表，因为它甚至没有打开URL。

这里的问题是什么？

python

beautifulsoup

user-agent

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-09-11 20:58:26

向requests.get添加headers=参数

import requests
from bs4 import BeautifulSoup

baseurl = "https://www.olx.com.eg/"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36"
}

r = requests.get("https://www.olx.com.eg/jobs/", headers=headers)
soup = BeautifulSoup(r.content, "lxml")


product_list = soup.findAll("div", class_="ads__item")

print(len(product_list))

打印：

票数 4

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/69146659

复制

相似问题

问requests.get不返回任何内容
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问requests.get不返回任何内容EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问requests.get不返回任何内容
EN