- 综合排序
- 最热优先
- 最新优先
- 来自专栏趣谈前端
基于Apify+node+reactvue搭建一个有点意思的爬虫平台
任何语言实现的爬虫框架原理往往也大同小异, 接下来笔者将介绍基于nodejs实现的爬虫框架Apify以及用法,并通过一个实际的案例方便大家快速上手爬虫开发. Apify框架介绍和基本使用 apify是一款用于JavaScript的可伸缩的web爬虫库。 我们安装和使用它非常简单, 官网上也有非常多的实例案例可以参考, 具体安装使用步骤如下: 安装 npm install apify --save 复制代码 使用Apify开始第一个案例 const Apify = require('apify'); Apify.main(async () => { const requestQueue = await Apify.openRequestQueue( : 笔者要实现的爬虫主要使用了Apify集成的Puppeteer能力, 如果对Puppeteer不熟悉的可以去官网学习了解, 本文模块会一一列出项目使用的技术框架的文档地址.
2.7K20发布于 2020-05-20 - 来自专栏快乐阿超
Crawlee
JavaScript渲染和屏幕截图 无头和有头支持 零配置生成类人指纹 自动浏览器管理 使用具有相同界面的Playwright和Puppeteer Chrome 、 Firefox 、 Webkit等 Apify 平台上的使用 Crawlee 是开源的，可以在任何地方运行，但由于它是由Apify开发的，因此很容易在 Apify 平台上设置并在云端运行。 访问Apify SDK 网站，了解有关将 Crawlee 部署到 Apify 平台的更多信息。
77910编辑于 2024-12-12 - 来自专栏艺述论专栏
如何写微信小程序的自动化脚本？
链接是：https://github.com/seleniumbase/SeleniumBase JavaScript：Apify-JSSDK 浏览器页面的脚本是js，解析网页最合适的语言是js。 Apify JSSDK正是一个JavaScript / Node.js类库，它可以扩展，可以用于Web抓取和分析，它还可以实现Web自动化作业。 链接是：https://github.com/apify/apify-js 以下示例是使用Apify实现的动态效果，它可以自动打开网页，完成分析并自动关闭，并且这些操作都是拿真实代码实现的。 ?
14.3K23发布于 2021-03-15 - 来自专栏开源服务指南
依据文本定义生成流程图和序列图 | 开源日报 No.306
apify/crawlee-pythonhttps://github.com/apify/crawlee-python Stars: 2.8k License: Apache-2.0 crawlee-python
57610编辑于 2024-07-31 - 来自专栏进击的Coder
介绍一些比较方便好用的爬虫工具和服务
https://mercury.postlight.com/ 框架 Scrapy：https://scrapy.org/ PySpider：https://github.com/binux/pyspider Apify ：https://sdk.apify.com/ 商业服务 Parsehub：https://www.parsehub.com/ Dexi.io：https://dexi.io/ Octparse：https PySpider GitHub：https://github.com/binux/pyspider Apify 它是一个基于 Node.js 开发的爬虫库，由于是 JavaScript 编写，因此它对 另外其可定制化也非常强，支持各种文件格式的导出，并且支持和 Apify Cloud 的对接实现云爬取。 ? Apify 官网：https://sdk.apify.com/ Parsehub ParseHub 是一个基于 Web 的抓取客户端工具，支持 JavaScript 渲染、Ajax 爬取、Cookies
9.5K51发布于 2019-05-06 - 来自专栏用户7850017的专栏
2022OxyConD大会精彩回顾：多视角探究网络抓取技术
图片 Apify首席运营官 Ondra Urban Apify首席运营官Ondra Urban介绍了他的公司并概述了其最新技术团队抓取处理方式的关键特性。
54540编辑于 2022-10-08 40.8K star！让AI帮你读懂整个互联网：Crawl4AI开源爬虫工具深度解析
Apify优势：提供可视化操作界面局限：云服务收费较高3. Octoparse优势：零代码可视化采集局限：闭源商业软件项目地址https://github.com/unclecode/crawl4ai
3K11编辑于 2025-04-25- 来自专栏前端框架
恭喜 Rolldown 获得 JS 开源奖年度突破奖，2025 年 JS 开源奖典礼回顾！
Stricli Crawlee：由 Apify 开发的强大爬虫库，支持 Puppeteer、Playwright 等驱动，专为现代网页抓取任务设计。
31310编辑于 2025-06-16 - 来自专栏人工智能
一个收集 MCP Server 集的仓库
Apify描述：通过 Actors 获取网页、社交媒体、电商等数据。Hugging Face MCP描述：接入 Hugging Face 模型，提供推理服务。
64854编辑于 2025-03-30 - 来自专栏测试开发技术
牛逼！16.2K Star！推荐一款开源的网络爬虫和浏览器自动化库：Crawlee！
GitHub地址：https://github.com/apify/crawlee
1.1K00编辑于 2025-03-06 - 来自专栏开源服务指南
根据图片生成前端代码：人工智能助你释放效能 | 开源日报 No.98
AutoGPTQ 等 下拉菜单快速切换不同模型 LoRA 加载和卸载功能，在线训练新 LoRA 使用 QLoRA 聊天模式精确指令模板，包括 Llama-2-chat、Alpaca、Vicuna 等多种选项 apify
1.7K10编辑于 2023-11-30 如何使用Crawlee？新一代爬虫框架从入门到实战详解
Crawlee作为Apify推出的新一代爬虫框架，正在成为越来越多开发者的选择。那么，如何使用Crawlee构建稳定、可扩展的爬虫系统？本文将从基础概念到实战流程，系统讲清楚Crawlee的使用方法。
57210编辑于 2025-12-30- 来自专栏小徐学爬虫
TypeScript在爬虫开发中的应用
如果项目相对复杂，可以考虑分布式爬取（Apify）。
29610编辑于 2025-07-07 - 来自专栏HelloGitHub
100 个常见错误「GitHub 热点速览 v.22.35」
queue and start the crawl. await crawler.run(['https://crawlee.dev']); GitHub 地址→https://github.com/apify
89330编辑于 2022-09-26 - 来自专栏小徐学爬虫
舆情监控系统爬虫技术解析
六、技术栈选型建议组件推荐方案适用场景爬虫框架Scrapy（分布式扩展）、Apify（无服务器架构）中小规模定向抓取动态渲染Playwright（比Selenium快40%）社交媒体、SPA应用代理服务
77810编辑于 2025-06-04 百闻不如一练：OpenClaw的折腾心得
小助理可以相对轻松地整理出品牌列表，对应的Best Sellers，官网和第三方评论链接：但更进一步地爬虫抓取事实上有相当的门槛，不仅涉及到爬虫工具（Apify），网络代理（Bright Data），理解各种网络结构和
1.3K21编辑于 2026-02-11支持 MCP 的七大 AI 框架
3.获取一个 APIFY_TOKEN[31] 并将其添加到 .env文件中。4.验证 Google 地址 API[32] 的可用性。 pli=1 [31]APIFY_TOKEN:https://console.apify.com/settings/integrations [32]Google 地址 API:https://console.cloud.google.com
27310编辑于 2026-03-13七大MCP 支持的主流 AI 框架大盘点
3.申请并配置 APIFY_TOKEN[33]，同样写入 .env 文件。4.验证 Google Address API[34]（确保地址解析/验证服务可用）。 GOOGLE_MAPS_API_KEY:https://console.cloud.google.com/projectselector2/google/maps-apis/credentials [33]APIFY_TOKEN :https://console.apify.com/settings/integrations [34]Google Address API:https://console.cloud.google.com
49510编辑于 2026-03-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号