文章/答案/技术大牛

发布

问无法用requests.get打开URL
EN

Stack Overflow用户

提问于 2020-02-05 14:23:04

回答 1查看 62关注 0票数 0

我得到了以下代码的HTTPError: 400，我不明白为什么我不能打开url

from bs4 import BeautifulSoup
import requests
import lxml
import pandas as pd
import re
search_url = f'https://www.booking.com/reviewlist.en-gb.html?aid=304142&label=gen173nr-1DCAsoAkIbY2VudHJvLXlhcy1pc2xhbmQtYWJ1LWRoYWJpSDNYBGhsiAEBmAEJuAEGyAEM2AED6AEBiAIBqAIDuAKEwOrxBcACAQ&sid=61a721d17d76bc82ccf82c3c3d92de7c&cc1=ae&dist=1&pagename=centro-yas-island-abu-dhabi&srpvid=fee14d92dc160043&type=total&rows=10&offset=0'

page = requests.get(search_url)
print(page)
if page.status_code == requests.codes.ok:
    soup = BeautifulSoup(page.text, 'lxml')
#    get_property_attributes(soup)
else:
    print('open error')

ouput : <Response [400]>

请给我一些解决这个问题的建议。

python

web-scraping

beautifulsoup

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-02-05 14:29:58

尝试在请求中添加headers参数：

from bs4 import BeautifulSoup
import requests
import lxml
import pandas as pd
import re
search_url = 'https://www.booking.com/reviewlist.en-gb.html?aid=304142&label=gen173nr-1DCAsoAkIbY2VudHJvLXlhcy1pc2xhbmQtYWJ1LWRoYWJpSDNYBGhsiAEBmAEJuAEGyAEM2AED6AEBiAIBqAIDuAKEwOrxBcACAQ&sid=61a721d17d76bc82ccf82c3c3d92de7c&cc1=ae&dist=1&pagename=centro-yas-island-abu-dhabi&srpvid=fee14d92dc160043&type=total&rows=10&offset=0'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}

page = requests.get(search_url, headers=headers)
print(page)
if page.status_code == requests.codes.ok:
    soup = BeautifulSoup(page.text, 'lxml')
#    get_property_attributes(soup)
else:
    print('open error')

输出：

<Response [200]>

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/60077904

复制

相似问题

问无法用requests.get打开URL
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问无法用requests.get打开URLEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问无法用requests.get打开URL
EN