- 综合排序
- 最热优先
- 最新优先
- 来自专栏二爷记
字体反爬，Python爬虫练习网站闪职网字体反爬练手解析！
字体反爬应该是比较常见的反爬手段了，常见于招聘网站平台，相信很多不少人都遇到过，特征比较明显，而且限制难度愈发增加，比如随机替换字体库。 字体反爬最关键的是确定字体库（前提），找到映射关系（关键），然后直接替换即可！ 在学习实践lideSky字体反爬（第三题好像放弃了）的过程中找到一个替代的练手网站，闪职网，字体反爬比较简单，适合本渣渣这种新手练习学习使用。 特征：关键数字信息网页前端显示和网页源码显示不一致，网页源码显示一定规律的乱码特征 需要说明的是该网站还有无限断点调试反爬，直接在该处永不断点解决！ 为什么说这个字体反爬网站比较简单适合练手： 1.字体文件比较明显，就在网页开头的样式表中，而且字体文件单一，没有字体库，会随着网页刷新更换字体文件； 2.字体文件中字体映射关系一目了然，打开即可看到相应的映射关系
92010编辑于 2024-03-05 - 来自专栏查理不是猹的Python专栏
保姆级反爬教学，JS逆向实现字体反爬
大家好，我是查理~ 网站的反爬措施有很多，例如：js反爬、ip反爬、css反爬、字体反爬、验证码反爬、滑动点击类验证反爬等等，今天我们通过爬取某招聘来实战学习字体反爬。 字体反爬 字体反爬：一种常见的反爬技术，是网页与前端字体文件配合完成的反爬策略，最早使用字体反爬技术的有58同城、汽车之家等等，现在很多主流的网站或APP也使用字体反爬技术为自身的网站或APP增加一种反爬措施 字体反爬原理：通过自定义的字体来替换页面中某些数据，当我们不使用正确的解码方式就无法获取正确的数据内容。 如何解决字体反爬呢？ 好了，字体反爬就简单讲到这里，接下来我们正式爬取某招聘网站。
2.7K50编辑于 2021-12-20 - 来自专栏不止于python
某车之家字体反爬
前几个版本的代码, 虽然都可以解决问题, 但是有点麻烦, 如果是很多个文字, 也不能一个一个手敲上去, 更不能保证字体的顺序不变, 这次使用pillow + ddddocr来彻底解决这个问题 思路和过程在前几篇已经写过了, 有什么不明白的, 先看一下前几篇, 链接放在了最下面, 源码也在最下面 首先获取字体文件unicode_map, 取出字体的ascii值和字形的名称 然后使用pillow 的 ImageFont 和 ImageDraw, 将字体转为图片, 尽量将字放在中间, 切在周围留有空白, 这样可以提高准确率 最后使用ddddocr来识别图片文字, 准确率非常高 将ttf文件字体转为图片如下 , 可以人工对比一下是否正确 最后完善一下代码, 可以保存图片, 验证结果, 如果不存在字体文件会先下载, 然后再识别, 可以完美解决这个字体反爬, 其它网站相关的字体反爬, 也可以使用 完整代码后台回复
1K30编辑于 2022-05-31 - 来自专栏算法与数据之美
字体反爬之实习僧
今天我们就来爬取一下实习僧的岗位招聘数据吧！ 网页分析 我们进入实习僧官网，输入“算法”，即搜寻算法相关岗位，观察发现，该网站也采用了字体反爬，“实习生”的“生”字在源代码中显示为小方框。 ? 只要能将字体的编码在源代码中替换成对应字体，我们就可以解决实习僧的字体反爬问题。 ? ：字体反爬。 首先是获取字体字典，接着将网页源代码中的编码替换成人们可读的字体形式，然后就是分析爬取页面，利用xpath或css或BeautifulSoup等对网页源代码进行解析，提取出想要的关键信息，最后将数据存入 下图是部分爬取结果。 ? ? 本文的全部代码等所需文件已全部上传至后台，回复“实习僧”即可获得。 喜欢就点个赞吧❤
1.6K50发布于 2020-01-17 - 来自专栏算法与数据之美
字体反爬之汽车之家
前几天我们说到这个猫眼的字体反爬，其自定义字体定义的都是数字，而今天我们要尝试破解的是汽车之家的汉字字体反爬，现在就来一探究竟吧！ ? 可以看到其中的“更”字在查看元素的时候显示为小框，可见这就是该网站的一种反爬措施了。 我们先找其自定义字体文件，我们在网页源代码中搜索font-face，就能够在其中有该文件的链接。 ? 字体文件导入之后的效果如下： ? 如果每个页面都是相同的自定义字体文件，那我们可以直接构造映射并完成对字体的反反爬。 只是变换了name而已，那岂不是跟猫眼的数字字体反爬一模一样了吗。 ? 我们利用fontTools，把这两个字体文件给存储为xml来看看这个字体对象是如何定义的吧~我们以“右”这个字为例， ? 通过之前几篇JS解密、app抓包和字体反爬，我们可以看到，在分析网页分析代码的时候需要利用好多种多样的工具来帮助我们完成所要信息的爬取。选对工具，才能事半功倍~ ? ? 喜欢就点个赞吧❤
1.8K20发布于 2020-01-17 - 来自专栏算法与数据之美
字体反爬之猫眼电影
但最后鹿死谁手还尚未可知，我们可以通过爬取猫眼的实时票房数据来一看究竟。 ? 通过观察网页源代码，我们发现，票房的数字变成了. 这个网站采取了字体反爬，这也是一种常见的反爬技术。网站采用了自定义的字体文件，内容能够在浏览器上正常显示，但是爬取的数据就变成了乱码，如同下图的小方框。 ? 采用自定义字体文件是CSS3的新特性，CSS3 @font-face中定义了字体，这个自定义字体文件存放到 web 服务器上，它会在需要时被自动下载到用户的计算机上，以便我们在访问网页时渲染出字体。 我们可以先在本地存放一个base字体文件，这个字体文件中我们通过百度字体编辑器得到了一一对应关系。 font1=TTFont('. # 对象相等则说明对应的数字相同 if obj1==obj2: new_dict[name2]=base_dict[name1] 在解决了字体反爬的问题之后
1K30发布于 2020-01-17 - 来自专栏Python3爬虫100例教程
⛳️ 黄页 字体反爬 实战场景
目录 ⛳️ 黄页 字体反爬 实战场景 ⛳️ 实战编码 ⛳️ 黄页 字体反爬 实战场景 本次采集的目标站点为 https://huangye88.com ，首页截图如下所示。 这里明显看到手机字体与其它字体有所差异，通过开发者工具进行验证之后，确定存在字体反爬。 保存字体文件，得到下述字体矢量图。 结果字体的编码是固定的英文，那这字体反爬的难度就变的极低了。 ⛳️ 实战编码 通过开发者工具可以找到字体文件在网页源码中，所以我们编写一下相关提取代码。 /fonts/519.xml') 得到字体之后，保存的 XML 文档如下所示。 本案例已经结束。
1K20编辑于 2022-08-30 - 来自专栏算法与数据之美
字体反爬之大众点评
今天就来爬一下大众点评吧~ 观察网页 我们首先打开大众点评，进入美食板块，观察每家店的评论所在位置。 ? 接着打开“茶人村”，发现这家店的具体信息显示为小方块，和之前所述的字体反爬网站相同。 ? 找到其所属的字体类型，反爬字体1： font-family: 'PingFangSC-Regular-address' ? 找到其所属的字体类型，反爬字体2： font-family: 'PingFangSC-Regular-review' ? 观察字体文件 用FontCreator打开下载下来的字体文件，发现其包含的字体内容相同，只是编码不同。这里的反爬和之前一篇文章字体反爬之猫眼电影相同，只是包含的字体多了。 ? 一种简单的想法就是遍历这些字体文件，将整个网页源代码的（字体反爬部分）转换成对应的字体。还有一种办法就是选择下载对应的woff文件，只对该部分字体反反爬。
2.2K20发布于 2020-01-17 - 来自专栏Lan小站
抖音字体反爬，爬虫字体反爬策略——每周一个爬虫小教程系列
在B站上看到一个关于抖音字体反爬的视频，看完之后，精神抖擞，不禁感觉，我又行了，于是在模拟器上下载了一个抖音，打开了我尘封已久的抖音号。 可以看见显示的数字是正常的，但是查看源码就是错误的。 既然是字体反爬，那就得去找下字体，双击下载 然后用在线字体编辑器打开看一下。 我们看到这个数字1的Unicode是$E602，是不是和源代码中的差不多呢。 在教程里面说到对于字体反爬，需要用模块将字体转为xml，相当于字典，然后就这样替换吧。 将字体文件转换为xml文件需要用到的模块是fonttoole，这里需要自行安装一下。 我们来搜索一下我们之前的数字1，他的Unicode就是E602，然后可以发现这里和之前在线字体网站上的结果是一样的 然后我们来将XML文件提取出来，并输出一下（XML提取我目前也不会，所以是跟着教程写的 value in a.items(): b[str(hex(key)).replace('0x', '&#x')] = value print(b) 然后就是用代码将num_这些转换为数字，参照这张字体在线编辑器的即可
1.1K30编辑于 2022-07-14 - 来自专栏算法与数据之美
字体反爬之博X网实战
其主要的反爬技术为字体反爬，话不多说，我们直接开始！ ? 我们想要获取的是具体的开奖号码，此号码是通过蓝色的小球表示的，如何获取呢？ 因此，我们的爬取路线可以分两步走，先设法获取该json数据，继而通过某种方式将数据中的编码转换为正常的数字。 字体反爬 上面讲到，根据path我们已经可以获取相应的woff文件，用FontCreator打开看看。 ? 字体文件实时变化，人工的方法只能每爬取一次，根据woff文件做一次转换，来得到想要的数据； 不同时刻字体文件有些出入，比如上图包含很多问号也就是无效的字符，而有些则不包含，比如下图； ? 至此，我们就成功地解决了该网站的字体反爬。关于其他几个经典的字体反爬网站，可以参考专辑里面的文章~ ——END——
1.1K11发布于 2020-06-12 - 来自专栏快学Python
Python爬虫遇到字体反爬？教你搞定！
大家在使用Python爬虫时，经常会遇到各种反爬问题。今天就以猫眼电影为例，看看如何解决其中的 字体反爬 ！ ? 由于对于一部电影来说，它的票房和评分数据是非常重要的，所以网站开发人员对它进行了保护，也就是字体反爬，今天的目标是破解猫眼电影网站的字体反爬。 三、替换规律 通过上面分可知，该网站中使用的字体对应的是stonefont，它是该网站为了反爬设置的自定义字体，它一定存在于style(样式)标签里面: ? 五、小结 通常在2爬取一些网站的信息时，偶尔会碰到这样一种情况：网页浏览显示是正常的，用 Python 爬取下来是乱码，F12用开发者模式查看网页源代码也是乱码。这种一般是网站设置了字体反爬。 字体反爬是一种比较常见的反爬方式，因为很多网站的文字信息是比较重要的，像是前面提到的猫眼电影电影票房评分等数据，非常重要，网站维护者当然会把这种数据进行反爬处理，只要好好分析，还是能够抓取到目标数据。
1.2K10发布于 2021-08-09 - 来自专栏Python研究者
爬虫遇到字体反爬，哭了
今天准备爬取某某点评店铺信息时，遇到了『字体』反爬。 （反爬） 竟然遇到这种情况，那辰哥就带大家如何去解决这类反爬（字体反爬类） 01 网页分析 在开始分析反爬之前，先简单的介绍一下背景（爬取的网页） [703c1917b0f11c589014ffde03b05edb.png .png] [fb8dd327996baf654008f6df615a21ee.png] 这样我们就成功的将字体反爬处理完毕。 04 小结 辰哥在本文中主要讲解了如此处理字体反爬问题，并以某某点评为例去实战演示分析。辰哥在文中处理的数字类型，大家可以尝试去试试中文如何解决。 为了大家方便学习，辰哥已经把本文的完整源码上传，需要的在公众后台回复：字体反爬 不明白的地方可以在下方留言，一起交流。
1.9K20发布于 2021-06-07 - 来自专栏木下学Python
爬虫 | 五八字体反爬
PGTID=0d100000-0000-4e81-5801-e3cfbaae2802&ClickID=120 小编想爬一爬58同城的二手车，了解一下，爬取过程中在二手车的信息详情页，发现交易价的数字是加密过的 字体加密，就会涉及到字体文件，字体文件后缀一般为 woff，ttf，我们在源代码里面搜索，由于太长，分两张图： 可以看到，这就是字体文件的链接内容，我们需要得到字体文件内容。 字体映射 由于我们不经过字体破解，直接爬取源代码得到的字体是： 驋閏.齤 这样的形式，我们就以这个来说明怎么转为正确的数字。 ： 我们看看是否对应上了： 这样我们字体反爬就破解了。 小编爬取的是深圳二手车的数据，爬虫已写好，想要爬虫的小伙伴可以去获取，来看看小编爬取的结果：
98210发布于 2020-03-18 - 来自专栏Python 自动化
反爬篇 | 手把手教你处理 JS 逆向之字体反爬（下）
上一篇文章我们使用 Scrapy + Selenium 爬取了某个电影网站即将上映的影片 休闲时光：最近上映的电影与爬虫世界，带您彻底放松！ 但是该网站针对一些比较敏感的数据（比如：票房、热度、评分等）做了字体反爬 本篇文章将以「 影片热度 」为例，讲解字体反爬的完整处理方案 1、安装依赖 # 依赖 # OCR pip3 install ddddocr ，我们将网页中做了字体反爬的内容替换为正确的数字 # 3、替换源码，将加密内容替换为明文 # . JavaScript 逆向爬虫中的浏览器调试常见技巧 JavaScript 逆向爬虫中的浏览器调试常见技巧（下） 反爬篇 | 手把手教你处理 JS 逆向之图片伪装 反爬篇 | 手把手教你处理 JS 逆向之字体反爬
1.4K70编辑于 2023-08-22 - 来自专栏Netkiller
2019年末逆向复习系列之从猫眼字体反爬分析谈谈字体反爬的前世今生
这篇文章是公众号《云爬虫技术研究笔记》的《2019年末逆向复习系列》的第六篇：《从猫眼字体反爬分析谈谈字体反爬的前世今生》 本次案例的代码都已上传到Review_Reverse上面，后面会持续更新，大家可以 「 背景分析 」 “字体反爬” 我相信大多数从事爬虫工作的工程师都接触过，这其实不是一种常规的反爬手段，它其实是页面和前端字体文件想配合完成的一个反爬策略。 随着爬虫工程师和反爬工程师的不断对抗，字体反爬从一开始的单纯依靠一个写死的字体文件升级成现在最新动态的字体文件，而字体反爬的攻克也有一个开始的解析字体文件做数据映射到现在依靠KNN来做动态映射，算是经历了一个又一个光辉的 阶段一：通过固定的字体文件进行数据替换 反爬方：一开始的时候，字体反爬还没有发展的很成熟，所以大部分网站使用字体反爬的方式是使用固定的字体文件来做数据替换，固定的字体文件就表明每个数据的编码是写死的，不变的 把训练好的结果和官网对比一下，是不是感觉美滋滋，连最新的字体反爬也被我们破解啦！ 「 复习要点 」 重新梳理下字体反爬的整个演变历程 对于最新的字体反爬转化思路，从识别图片到分类算法，提高效率
1.4K30发布于 2019-12-13 - 来自专栏云爬虫技术研究笔记
2019年末逆向复习系列之从猫眼字体反爬分析谈谈字体反爬的前世今生
这篇文章是公众号《云爬虫技术研究笔记》的《2019年末逆向复习系列》的第六篇：《从猫眼字体反爬分析谈谈字体反爬的前世今生》 本次案例的代码都已上传到Review_Reverse上面，后面会持续更新，大家可以 「 背景分析 」 “字体反爬” 我相信大多数从事爬虫工作的工程师都接触过，这其实不是一种常规的反爬手段，它其实是页面和前端字体文件想配合完成的一个反爬策略。 随着爬虫工程师和反爬工程师的不断对抗，字体反爬从一开始的单纯依靠一个写死的字体文件升级成现在最新动态的字体文件，而字体反爬的攻克也有一个开始的解析字体文件做数据映射到现在依靠KNN来做动态映射，算是经历了一个又一个光辉的 阶段一：通过固定的字体文件进行数据替换 反爬方：一开始的时候，字体反爬还没有发展的很成熟，所以大部分网站使用字体反爬的方式是使用固定的字体文件来做数据替换，固定的字体文件就表明每个数据的编码是写死的，不变的 「 复习要点 」 重新梳理下字体反爬的整个演变历程 对于最新的字体反爬转化思路，从识别图片到分类算法，提高效率 ?
1.2K21发布于 2019-12-17 - 来自专栏不止于python
某车之家字体反爬一(单页面)
今天就来记录一下破解汽车之家的字体反爬 主要是自定义字体: @font-face是CSS3中的一个模块，主要是实现将自定义的Web字体嵌入到指定网页中去 完整代码在末尾 02分析页面 首先我们看一下页面显示 , 全都是"" 在查看下源码, 显示的是"" 很明显的字体反爬, 接下来我们就一步步来揭开字体文件的神秘面纱 03查看字体文件 首先将字体文件下载到本地 使用在线工具查看字体文件内容 , 在线查看地址 打开看一下, 有没有很眼熟这个编码, 这不就是上面源码里的编码嘛 04破解字体文件 使用fontTools来处理字体文件 # 安装fonttools pip3 install fonttools 读取字体编码表 # 解析字体库 font = TTFont('ChcCQ1sUz1WATUkcAABj5B4DyuQ43..ttff') # 读取字体编码的列表 uni_list = font.getGlyphOrder file_content = self.download("https:%s" % font_file_name, content=True) # 讲字体文件保存到本地
1K30编辑于 2022-05-31 - 来自专栏不止于python
某车之家字体反爬一(任意页面)
上一篇解决了但页面的字体反爬, 这篇记录下如何解决动态字体文件, 编码不同, 文字顺序不同的情况 源码在最后 02冷静分析下页面 打开一个页面, 发现字体文件地址是动态的, 这个倒是好说, 写个正则, 就可以动态匹配出来 先下载下来一个新页面的字体文件, 做一下对比, 如图 mmp, 发现编码, 字体顺序那那都不一样, 这可就过分了, 心里一万个xxx在奔腾 03头脑风暴ing.gif (与伙伴对话 不着急, 还是要冷静下来, 再想想哪里还有突破点 同一个页面的字体文件地址是动态的, 但是, 里面的字体编码和顺序是不会变的呀 可以使用某一个页面的字体文件做一个标准的字体映射表呀! 先不管了, 先把这60%给弄出来 04提取大部分编码字体映射表 制作标准编码文字映射表(某页字体文件为准) def extract_ttf_file(self, file_name, get_word_map '更', 'uniEC94': '和', 'uniED73': '四', 'uniED6A': '上'} 07补充 如有以上有错误, 恳求大神指出 其余的就和上篇的一致了, 请查看上一篇, 某车之家字体反爬一
68140编辑于 2022-05-31 - 来自专栏python爬虫实战之路
网络字体反爬之起点中文小说
不明白，那就问谷哥和度姐吧，然后我就知道了字体反爬这个概念，涨姿势呀！我明白了一个道理，要想涨姿势，就得多尝试，不然你怎么能知道还有这种姿势呢？ 字体搞定了，那最初我们需要的数据都有了 ? ? 我们最后是通过先访问字体链接，然后解析字数，再进行存储，我本来以为起点的文字字体是每次请求的时候随机生成的，每次都不一样，结果后来发现总共也就生成了五种，这就出现了一个问题，同样的请求不会被访问，也就是当第二次出现这个字体文件的时候 那么本次爬取就结束了，数据有了下次我们再搞可视化，这次主要是想让大家了解一下网络字体反爬，你get到了吗？ ? 这一篇写的可能有些人看不太明白，要说明一下这篇主要是想告诉大家网络字体反爬的概念，所以其他的描述基本一笔带过，因为这个静态网页爬取很简单，也没什么好详细说的。
1.7K31发布于 2018-08-21 - 来自专栏学无止境
Python爬虫实例：爬取猫眼电影——破解字体反爬
字体反爬 字体反爬也就是自定义字体反爬，通过调用自定义的字体文件来渲染网页中的文字，而网页中的文字不再是文字，而是相应的字体编码，通过复制或者简单的采集是无法采集到编码后的文字内容的。 现在貌似不少网站都有采用这种反爬机制，我们通过猫眼的实际情况来解释一下。 下图的是猫眼网页上的显示： ? 检查元素看一下 ? 这是什么鬼，关键信息全是乱码。 熟悉 CSS 的同学会知道，CSS 中有一个 @font-face，它允许网页开发者为其网页指定在线字体。原本是用来消除对用户电脑字体的依赖，现在有了新作用——反爬。 爬虫爬取的时候，下载字体文件，根据网页源码中的编码，在字体文件中找到“字形”，再循环跟 base.woff 文件中的“字形”做比较，“字形”一样那就说明是同一个字了。 下面是完整的代码，抓取的是猫眼2018年电影的第一页，由于主要是演示破解字体反爬，所以没有抓取全部的数据。
1.8K10发布于 2019-01-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号