首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏超级码力

    🧭 Web Scraper 学习导航

    Web Scraper 也可以爬取这种类型的网页。 相关的教程可见:Web Scraper 控制链接分页、Web Scraper 抓取分页器类型网页 和 Web Scraper 利用 Link 选择器翻页。 Web Scraper 可以 Element click 选择器抓取这种分页网页,相关教程可见:Web Scraper 点击「下一页」按钮翻页。 我们可以利用 Web Scraper 的 Link 选择器来抓取这种组合网页,具体操作可以看教程:Web Scraper 抓取二级网页。 Web Scraper 的优点 轻量:非常的轻量。上手只需要一个 Chrome 浏览器和一个 Web Scraper 插件。

    2.4K42编辑于 2022-02-23
  • 来自专栏超级码力

    web scraper 提问须知

    为了让每次沟通都简单高效,快速定位问题,有关 web scraper 的疑惑请尽量按照下文的格式提问: 1.指出教程中的疑惑点 由于微信号文章发布后就没有办法改文章了,我建议大家去 https://www.cnblogs.com /web-scraper 这个网址看教程,我会持续跟进 web scraper 的更新和教程案例网站的变更,避免出现教程过时的情况。 2.检查版本号 提问前最好先检查一下 web scraper 的版本号。 本文教程只适用于 0.4.1 及以上版本 ,因为我写教程时用的 0.4.1 版本。低于此版本的爬虫插件无法保证教程有效。 4.描述问题 web scraper 爬不到数据,会有很多因素。提问前最好先定位一下问题:是元素无法勾选?还是无法翻页?导出数据失败还是抓取页面异常崩溃?

    62240发布于 2020-07-08
  • 国产小龙虾方案实战:nanobot + 通义千问,钉钉上随时派活

    文档阅读│   ├── web-scraper/SKILL.md    # 网页抓取与摘要│   ├── translator/SKILL.md     # 多语言翻译│   ├── csv-analyzer /SKILL.md   # 数据分析与图表│   ├── code-reviewer/SKILL.md  # 代码审查与 Git│   ├── content-writer/SKILL.md # 文案/ 9 个自定义技能这套方案配置了 9 个自定义 Skills,覆盖日常工作的主要场景:信息检索与文档处理类Skill能力web-scraper抓取网页正文、生成摘要、提取关键信息pdf读取和分析 PDF / 下建个目录,写一个 SKILL.md 描述文件就行。 ,说"分析一下销售趋势" → csv-analyzer 统计数据,生成图表发一份 Word 文档,说"提取里面的表格" → docx-reader 解析文档结构"抓取这个网页的正文内容" → web-scraper

    1.9K40编辑于 2026-03-12
  • 来自专栏超级码力

    简易数据分析 09 | Web Scraper 自动控制抓取数量 & Web Scraper 父子选择器

    【这是简易数据分析系列的第 9 篇文章】 今天我们说说 Web Scraper 的一些小功能:自动控制 Web Scraper 抓取数量和 Web Scraper 的父子选择器。 我们目前有两种方式停止 Web Scraper 的抓取。 1.断网大法 当你觉得数据抓的差不多了,直接把电脑的网络断了。 网络一断浏览器就加载不了数据,Web Scraper 就会误以为数据抓取完了,然后它会自动停止自动保存。 断网大法简单粗暴,虽不优雅,但是有效。缺点就是你得在旁边盯着,关键点手动操作,不是很智能。 其实 Web scraper 提供了对应的解决方案,那就是通过键盘来选择元素,这样就不会触发点击打开新的网页的问题了。 这期介绍了 Web Scraper 的两个使用小技巧,下期我们说说 Web Scraper 如何抓取无限滚动的网页。

    1.7K20发布于 2020-07-09
  • 来自专栏网络安全攻防

    Pentest Skill

    当你出于内网环境中时可以通过mstsc来对目标主机内网服务端口是否开发进行简易探测,探测手法如下:

    35720编辑于 2022-09-07
  • 来自专栏网络安全攻防

    Dump LSASS SKill

    获取Windows用户的凭证信息是渗透过程中至关重要的一步,如果没有杀软,那么只要有权限想怎么读就怎么读,当有杀软时就得用一些特别的技巧,本篇文章将简单介绍几种之前在Twitter上看到的小技巧,仅供大家参考

    1.6K20编辑于 2022-09-07
  • 来自专栏Python大数据分析

    web scraper无代码爬虫工具怎么入门?

    Web Scraper是一款功能丰富的浏览器扩展爬虫工具,有着直观的图形界面,无需编写代码即可自定义数据抓取规则,高效地从网页中提取结构化数据 而且Web Scraper它支持灵活的数据导出选项,广泛应用于电商监控 Web Scraper的安装也很简单,在Chrome应用商店里搜索“Web Scraper”,找到该插件并点击“添加至Chrome”按钮。 安装好Web Scraper后,需要在开发者工具中使用它,按F12键打开开发者模式能找到Web Scraper功能区,在这里可以新建并配置爬虫,你也不需要写任何代码就能抓取数据。 下面讲讲实践案例,使用Web Scraper爬取抖音评论数据。 首先,按F12打开开发者界面,点击Web Scraper按钮,会进入到操作界面。 而且Web Scraper抓取的数据形式有限,适合文本这样简单的数据需求,对于图片、视频就会比较困难。

    55710编辑于 2024-09-25
  • 来自专栏玩转OpenClaw

    从 0 到 1:我如何用 WorkBuddy 打造"全网情绪雷达",为我的MoodWave App喂数据

    三、配置Skill:给Agent装上小红书的"眼睛"WorkBuddy的能力扩展依赖Skill(技能)生态。 我需要两个核心SkillSkill1:xiaohongshu-yq(小红书专属Skill)这个Skill基于MCP(ModelContextProtocol)协议,让AI可以直接调用小红书的搜索、帖子详情 /mcp-call.shcheck_login_status#输出:✅已登录Skill2:web-scraper(通用网页抓取)用于抓取微博、知乎等暂无专用Skill的平台,支持5级级联抓取策略(HTTP cp-r~/.workbuddy/skills-marketplace/skills/web-scraper~/.workbuddy/skills/web-scraper两个Skill就绪,Agent的 附:工作流技术说明平台:WorkBuddy(腾讯OpenClaw生态)核心Skill:xiaohongshu-yq(小红书MCP)+web-scraper数据存储:本地CSV+Markdown报告,后续计划迁移到腾讯云

    1K62编辑于 2026-04-15
  • 来自专栏Java实战博客

    大模型Skill-Cil – 安装Skill – IDE使用

    本页目录 Toggle 安装技能Cli 找技能 推荐的热门Skill Codex强制安装 技能是 AI 智能体可复用的能力。只需一条命令即可安装,让你的智能体获得流程性知识,从而实现能力增强。 frontend-design 选择你的AI IDE,回车、选择Global、选择Yes、 npx skills add https://github.com/anthropics/skills --skill 选择后,后续AI的IDE就会使用此Skill 推荐的热门Skill # 前端设计 npx skills add https://github.com/vercel-labs/agent-skills - -skill web-design-guidelines # 前端设计(这个排名似乎不搞,但是好像挺不错的。) codex --force 还有一个办法就是:你丢给skill的项目链接,让Codex自己安装Skill

    1.3K20编辑于 2026-04-09
  • 来自专栏技术人个人品牌训练营

    Skills 推荐清单

    持续更新中 — 发现好用的 Skill 会随时补充进来,欢迎推荐! 一、 技能管理 这类 Skill 帮助你发现、创建和增强 Agent 本身的能力,是使用 OpenClaw 的起点。 Skill 名称 说明 链接 find-skills 在海量技能库中搜索,快速找到你需要的 Skill https://clawhub.ai/JimLiuxinghai/find-skills skill-creator 创建自己的专属技能,定制个性化工作流 https://clawhub.ai/skills/skill-creator skill-vetter 安全审查工具,安装任何社区 Skill 前先用它扫一遍, https://clawhub.ai/skills/mcporter n8n 通过 n8n API 触发和管理自动化工作流 https://clawhub.ai/skills/n8n Playwright Scraper 模拟真实浏览器,带反爬的网站也能抓 https://clawhub.ai/3coco3/playwright-scraper 十、 智能家居 如果你在 Mac 上跑 OpenClaw,这些原生 Skills

    90511编辑于 2026-03-31
  • web scraper——简单的爬取数据【二】

    web scraper——安装【一】 在上文中我们已经安装好了web scraper现在我们来进行简单的爬取,就来爬取百度的实时热点吧。 http://top.baidu.com/buzz? https://pan.baidu.com/s/1W-8kGDznZZjoQIk1e6ikfQ 提取码:3dj7 爬取步骤 创建站点 打开百度热点,ctrl+shit+i进入检测工具,打开web scraper 然后回到web scraper控制台,查看信息无误后勾选multiple确认无误后,创建element的select 爬取自己想要的信息,点击进入hotList里面,然后继续创建select选择 填写具体的 再次转到web scraper的控制台后,确认无误即可保存 运行脚本,进行采集 默认配置即可,想修改也可以的,我一般直接默认的 点击开始脚本后,会将采集的页面弹出,采集完成右下角会出现提示,采集过程中点击 即可下载 数据内容 到这里使用web scraper进行数据采集就结束了

    89110编辑于 2024-08-16
  • 来自专栏运维有术

    Claude Code Skill 最佳实战:EP01 初识 Skill

    这时候,你需要的就是 Skill。 什么是 Skill Skill 是 Claude Code 的一种扩展机制,本质上是一个包含指令的 Markdown 文件。 一个 Skill 文件长这样: --- name: my-skill description: 这里描述 Skill 的功能和触发时机 --- # Skill 标题 具体的指令内容... 今天介绍的是最基础的 Skill 用法:一个 SKILL.md 文件搞定一切。但 Skill 的能力远不止于此。 下篇预告 下一篇文章,我们会深入 Skill 的进阶用法: 如何在 Skill 中引用外部脚本 如何组织多文件资源(模板、配置、文档) 如何让 Skill 调用 MCP 工具 实战案例:创建一个带模板的周报生成 Skill 敬请期待。

    2.4K21编辑于 2026-01-27
  • 来自专栏AI进修生

    各家都在养“龙虾”, AstronClaw + Playwright 爬虫版,是这么跑的

    爬虫版 Playwright —— Playwright_Scraper_Skill AI Agent 的浏览器能力有两层: 第一层是 浏览器控制能力(Playwright MCP)。 第二层是 网页抓取能力(Playwright Scraper Skill)。 在浏览器能力基础上,增加反爬策略,用来抓取复杂网站。 Playwright 是浏览器自动化库 Playwright MCP 是把它变成 AI 可以调用的工具 Playwright_Scraper_Skill 是基于它写的具体爬虫逻辑 说到爬虫,这里补个题外话 还有一个我觉得挺实用的 skill:Agent Browser。智能体浏览器,它有一个视频录制、可录制操作过程的功能。

    84110编辑于 2026-03-31
  • 来自专栏超级码力

    简易数据分析 11 | Web Scraper 抓取表格数据

    下面我们写个简单的表格 Web Scraper 爬虫。 如果还报错,就试试换成英文名字: 解决报错保存成功后,我们就可以按照 Web Scraper 的爬取套路抓取数据了。 2.为什么我不建议你用 Web Scraper 的 Table Selector? 如果你按照刚刚的教程做下里,就会感觉很顺利,但是查看数据时就会傻眼了。 关于这个问题我调查了半天,应该是 Web Scraper 对中文关键字索引的支持不太友好,所以会抛出一些诡异的 bug,因此我并不建议大家用它的 Table 功能。 3.总结 我们并不建议直接使用 Web Scraper 的 Table Selector,因为对中文支持不太友好,也不太好匹配现代网页。如果有抓取表格的需求,可以用之前的创建父子选择器的方法来做。

    2.1K20发布于 2020-07-09
  • 来自专栏用户6291251的专栏

    零代码爬虫神器 -- Web Scraper 的使用!

    但我今天要介绍的是另外一个神器 -- Web Scraper,它是 Chrome 浏览器的一个扩展插件,安装后你可以直接在F12调试工具里使用它。 1. 安装 Web Scraper 有条件的同学,可以直接在商店里搜索 Web Scraper 安装它 没有条件的同学,可以来这个网站(https://crxdl.com/)下载 crx 文件,再离线安装, Web Scraper 使用的是 CSS 选择器来定位元素,如果你不知道它,也无大碍,在大部分场景上,你可以直接用鼠标点选的方式选中元素, Web Scraper 会自动解析出对应的 CSS 路径。 ,而 web scraper 的 Link 选择器恰好就是做这个事情的。 受限于篇幅,我尽量讲 web scraper 最核心的操作,其他的基础内容只能由大家自行充电学习了。

    2.4K10发布于 2021-12-01
  • Skill到底是什么?从「同事.skill」爆火说起

    大师兄.skill:把毕业的师兄蒸馏成能继续开组会的AI 笑完之后,一个严肃的问题浮出水面:Skill到底是什么?为什么它能承载这么多的期望? 什么是Skill? 一句话定义:Skill是AI Agent的「工作手册」,教它一项具体技能。 一个Skill = 一个文件夹,最少包含一个SKILL.md文件。 Skill通过标准化流程和规范来解决这些问题。 它承载了什么期望? 从「同事.skill」的热度可以看出,人们对Skill的期望已经从「让AI能干活」升级到「让AI能复刻人」。 Skill与Harness:都是规则,层级不同 很多人分不清Skill和Harness。 Skill则是运行在Harness上的「应用程序」。 动手:5分钟写一个自己的Skill 理论讲完了,来点实际的。我们写一个「每日站会助手」的Skill

    2.9K20编辑于 2026-04-14
  • 来自专栏Python大数据分析

    Web Scraper,强大的浏览器爬虫插件!

    Web Scraper的安装也很简单,在Chrome应用商店里搜索“Web Scraper”,找到该插件并点击“添加至Chrome”按钮。 安装好Web Scraper后,需要在开发者工具中使用它,按F12键打开开发者模式能找到Web Scraper功能区,在这里可以新建并配置爬虫,你也不需要写任何代码就能抓取数据。 下面讲讲实践案例,使用Web Scraper爬取抖音评论数据。 首先,按F12打开开发者界面,点击Web Scraper按钮,会进入到操作界面。 使用Web Scraper需要对HTML结构有一定的了解,需要自己一步步去配置,可能对于初学者还有些门槛,适合IT从业者。 而且Web Scraper抓取的数据形式有限,适合文本这样简单的数据需求,对于图片、视频就会比较困难。

    2K10编辑于 2024-09-03
  • 来自专栏技术实操

    Web Scraper实战:轻松构建电影数据库

    Web Scraper就是这样一个实用的工具,让我们能够轻松获取网页中的宝贵数据。一、Web Scraper工具1. 什么是Web Scraper? Web Scraper是一款基于浏览器的数据采集扩展工具,它就像一位不知疲倦的数字图书管理员,能够自动翻阅网页并将指定内容整理归档。2. 环境准备graph LR A[安装Web Scraper扩展] --> B[打开开发者工具] B --> C[切换到Web Scraper面板]2.

    39610编辑于 2025-08-26
  • 来自专栏超级码力

    简易数据分析 07 | Web Scraper 抓取多条内容

    根据 Web Scraper 的特性,想抓取多类数据,首先要抓取包裹多类数据的容器,然后再选择容器里的数据,这样才能正确的抓取。 如果对以下的操作有疑问,可以看 简易数据分析 04 的内容,那篇文章详细图解了如何用 Web Scraper 选择元素的操作 1.点击 Stiemaps,在新的面板里点击 ID 为 top250 的这列数据 删除掉旧的 selector,点击 Add new selector 增加一个新的 selector 3.在新的 selector 内,注意把 Type 类型改为 Element(元素),因为在 Web Scraper Sitemap 分享: 这次的 sitemap 就分享给大家,大家可以导入到 Web Scraper 中进行实验,具体方法可以看我上一篇教程。

    1.9K30发布于 2020-07-09
  • 来自专栏IT探索

    C++ Programming skill

        ii)在COjbectCounter构造函数中让计数器m_iCount+1,析构函数中让计数器m_iCount-1;

    38510发布于 2018-08-02
领券