文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Python抓取JavaScript内容

问使用Python抓取JavaScript内容
EN

Stack Overflow用户

提问于 2019-03-30 03:12:58

回答 1查看 100关注 0票数 0

我正在尝试从here获取‘销售历史’的数据。

因为数据来自JavaScript，所以我参考了这个link并尝试抓取数据。然而，当我运行下面的代码时，新窗口不能正确显示网页。

如果你能建议如何在这种情况下获得数据，我将不胜感激。

# import libraries
import urllib.request
from bs4 import BeautifulSoup
from selenium import webdriver
import time
import pandas as pd
# specify the url
urlpage = 'https://nonfungible.com/market/history/axieinfinity' 
print(urlpage)
# run Chrome webdriver from executable path of your choice
driver = webdriver.Chrome(executable_path = r'C:\Users\trey\AppData\Local\Programs\Python\Python36\Scripts\chromedriver')

我期望得到包含合约/交易散列/卖方/买方/姓名/出生日期列的数据集的输出。

javascript

python-3.x

web-scraping

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-03-30 03:23:37

您不需要抓取站点来获取销售历史数据，因为您可以从他们的JSON API端点获取数据。

以下是指向您发布的网页的端点的链接：

https://api.nonfungible.com/api/v3/project/list

您可以使用Python JSON库来提取所需的数据。要查看站点是否有可用的JSON API，请使用浏览器开发人员控制台中的网络监视器来查找向该站点发出的XHR请求，并检查其中是否包含所需的数据。这比抓取HTML/JS更有意义。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/55424164

复制

相似问题

问使用Python抓取JavaScript内容
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Python抓取JavaScript内容EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Python抓取JavaScript内容
EN