- 综合排序
- 最热优先
- 最新优先
- 来自专栏该溜子的专栏
【从0做项目】Java搜索引擎（4）——性能优化~烧脑~~~
CountDownLatch(files.size());//计数锁存器 ExecutorService executorService = Executors.newFixedThreadPool(4) 2：索引save执行时机 （1）问题分析 这里我们用了4个线程来并发解析我们html文件，那么问题来了，是否会存在submit把文件都提交完毕了，但是线程池还没解析完这些文档，就进行save索引保存方法了呢 索引结构中新增文档线程安全分析 不能在addDoc方法那里加锁，这里加锁的话，你并发执行又变成串行了 2：buildForward方法内部代码分析 3：builderInverted方法构建倒排索引内部代码分析 4： 不是的，线程数量越多，其实彼此间的锁竞争越激烈，优化的空间很小了，4个线程数量再往上提提升不大了 7：守护线程 （1）现象 我们线程执行完毕了，但是进程还没有退出。
40710编辑于 2025-02-17 - 来自专栏用户6020948的专栏
网站搜索引擎优化，值得关注的4个策略有哪些？
在做网站搜索引擎优化的过程中，对于企业站而言，由于SEO人员都是处于执行层面，甚至即使你有权制定SEO优化方案，偶尔也是草草就上手操作。 当你运营到一定阶段的时候，你却发现：有很多网站搜索引擎优化的策略，可能前后是冲突的，甚至是不全面的。 那么，网站搜索引擎优化，值得关注的 4 个策略有哪些? 2、页面布局 我们知道搜索引擎在抓取页面的时候，是会尝试解读网站页面架构的，并且已经在付诸行动，比如：百度爬虫对CSS与JS的尝试解析。 3、审查旧内容 我们知道搜索引擎算法每天都在调整，这就使得整站页面排名出现偶尔的波动，特别是对于很早之前发布的页面来讲很难得到有效资源的输出。 4、预估网站策略 当我们在做网站搜索引擎优化的时候，总是一些SEO人员，尝试寻找一些看似完美的独门SEO秘籍，而实际上我们需要透过现象看本质，特别是对于一些算法的解读，比如： ①TF-IDF与BM25
75820发布于 2020-03-06 - 来自专栏吉林乌拉
搜索引擎
它们都称之为搜索引擎。虽然听起来比较高大上。但实际上他们就是搜索数据用的。但站在数据方面考虑，实际上数据会分为两种：结构化数据和非结构化数据。 结构化数据：简单来说，就是有固定格式固定长度的的数据。 所以谷歌和百度搜索引擎的基本原理就是：网络机器人或者网络蜘蛛通过扫描网页中的内容，提取出相应的关键词，然后为提取出的关键词建⽴索引，并记录该关键词在文章中位置，当用户搜索时，如果命中该关键词，搜索引擎就根据按照之前的索引进查找 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch也是用Java语言开发的。 那为什么还会出现类似Elasticsearch这样的搜索引擎技术呢？答案就像我上面介绍的那样。搜索引擎并不会将所有的数据全部按照结构化存储，而是按照相应的关键字存储。 所以，正是因为数据库有种种这样的原因，才会出现全文搜索引擎存在的必要。 ---- 下面我们介绍一下全文搜索引擎比较适合的应用场景都有哪些： 搜索数据比较大的非结构化数据。 支持文本数据量达百万级别。
2K11发布于 2020-11-13 - 来自专栏漫流砂
其他搜索引擎
Shodan的介绍可以说是很详细了，对于其他的空间搜索引擎，我就不再详细的去研究了，因为都是差不多的。 Censys 之前对这款搜索引擎的了解并不是很多，曾经在Freebuf上看到过介绍，当然仅仅是介绍而已，可能是因为Censys提供了官方文档（https://censys.io/overview） Censys 好像最后也没有看完这本书就放弃了 之前在培训中也有介绍过GoogleHacking，网络上的文章也是不计其数，我就借着Exploit-DB上的进行一下介绍 我们都知道，Google是一个基于关键字搜索的内容型的搜索引擎 ，返回的是网站的内容 首先我们明确一下基本规则吧 1. +- + 表示包含 - 表示不包含 2. "" 同时含有两个或以上字符 3. intitle 在标题中包含 4. intext 在文章内容中包含 ---- 对于搜索引擎，我只是对于Shodan详细介绍了，其他几个并没有进行深入探讨，甚至没有进行深入介绍，大概就是因为Shodan做的确实很好吧！
1.6K20发布于 2020-08-19 - 来自专栏Web_xy
AI搜索引擎
，当时也有过猜想，会不会用于搜索引擎，而且也安装过chatgpt谷歌拓展插件，感觉还可以~），但转念一想，也正常，因为我们所处的时代发展速度不同以往了。 通过与 ChatGPT 发明者 OpenAI 合作，微软给自己的搜索引擎加入了先进的 AI 对话模型，以支持全新版本的必应（Bing）和 Edge。 更重要的是我们将重新创造搜索引擎，会有很多美好的事发生，这是一个重要时刻，」微软CEO纳德拉表示。 我本来也想试试，但是现在公测版还未发行，且内测版被各大头条垄断，只能先看看谍照了hh ---- 基于AI的搜索引擎 新模式的搜索引擎 ---- 我们能看到，新必应搜索的其中一种模式将传统搜索结果与 因为人们正在使用搜索引擎来做它最初没有设计的功能。搜索引擎非常适合查找网站，但对于更复杂的问题或任务来说，它往往不够用。
1.9K20编辑于 2023-02-23 - 来自专栏JetpropelledSnake
搜索引擎语法
0x00 前言 搜索引擎语法是一个本该经常使用但是却一直被我忽略工具。它可以在很大程度上满足一些特殊需求，比如：渗透时查找网站后台或者上传文件页面等。 目前主要常用的搜索引擎主要baidu、google、bing，每个搜索引擎的语法有细微的差别，但是很多地都非常类似，由于google在国内经常无法访问（比如我现在用了Chromebook，在家里面整笔记时候还没弄好 0x01 常用搜索引擎语法 1.site 把搜索范围规定在特定的站点中 。但是有时候你需要找一些特殊的文档，特别是针对于专业性比较强的网站合理使用site可以让你取得事半功倍的效果。 inurl 可以查询网站具体页面的收录情况 举例： # inurl:hao123.com 4. 中括号、双引号或书名号 可精确匹配,缩小搜索范围。
1.9K100发布于 2018-05-03 - 来自专栏网络信息安全
搜索引擎 Hacking
利用Google搜索我们想要的信息，需要配合谷歌搜索引擎的一些语法： 基本语法 逻辑与：and 逻辑或： or 逻辑非： - 完整匹配："关键词" 通配符：* ?
98710编辑于 2024-03-12 - 来自专栏Java经验之谈
深入拆解搜索引擎实现原理一：初识 搜索引擎
'搜索引擎'对于很多大厂来说已经不是什么新鲜技术了， 百度、淘宝等大型网站的搜索功能通常使用'搜索引擎'技术实现。 '搜索引擎'到底做了什么？ 它和普通的数据库搜索有什么区别？ 什么情况下才需要使用'搜索引擎'？ 带着这些疑问，我们开始【对'搜索引擎'的探索】 '搜索'的本质其实是对'数据'的处理，所以我们先从'数据'讲起 数据类型 以搜索的角度划分，数据分为两种：结构化数据、非结构化数据（全文数据 这种将非结构化数据拆分、结构化，建立索引并对索引进行搜索的搜索方式就叫做全文检索，即'搜索引擎'的设计思想。 以上就是本篇的内容，通过今天的内容我们了解了'搜索引擎'到底做了什么、它和普通的数据库搜索有什么区别、什么情况下才需要使用'搜索引擎'。
1.4K10发布于 2021-09-10 - 来自专栏凌中的锋雨-博客
Algolia搜索引擎
（而且也很多人跟我说过，一直咕咕咕罢了QAQ） 搭建的时候呢我试过两个插件，一个是“本地搜索”，而另外一个就是我现在用的“Algolia”搜索引擎。 搭建 搭建成品图 image.png 介绍 本篇目说的是 Algolia 搜索引擎的搭建。 hexo clean && hexo g -d && hexo algolia 此代码，清除缓存，上传，上传搜索引擎直接一步到位啦~ 好了，完了。给我点个赞呗（点锤子）
1.9K41编辑于 2022-03-16 - 来自专栏后端技术漫谈
【搜索引擎】Elasticsearch入门
引擎一般指的是搜索引擎，现在用得比较多的就是Elasticsearch。 这篇文章主要是对Elasticsearch一个简单的入门，没有高深的知识和使用。 还是以上图为例，上图出现了4次“算法”这个词，我们能不能根据这次词为它找他对应的目录？ 比如现在我集群里边有4个节点，我现在有一个Index，想将这个Index在4个节点上存储，那我们可以设置为4个分片。这4个分片的数据合起来就是Index的数据 ? 为什么要分片？
93430发布于 2020-02-19 - 来自专栏IT技术精选文摘
搜索引擎架构概述
需求 架构为应付需求而产生，对搜索引擎来讲，它主要的需求来自两个方面： 效果(effectiveness)：搜索的结果质量如何. 来自爬虫抓取或者信息源的文档集合，格式很多，比如html、xml、PDF、doc、ppt等，而我们更喜欢纯文本的格式以高效和有效处理. 4.文档数据库 (Document Data Store) 必须有一个能存储文档及其元数据的地方 3.词干提取 (parser) 同义词或英文中的派生词处理. 4.链接分析（link analysis） 链接是网页内容的重要组成部分.大名鼎鼎的Google就是靠PageRank这种链接分析技术起家. 所以 链接分析对搜索结果意义重大. 5.信息提取 (information extraction) 考虑这样一句话，”搜索引擎是一个技术成熟但实现成本高的应用“，其中“搜索引擎”显然比“搜”、“索”、“ 4.分布索引 (Index Distrubition) 通常搜索引擎处理的文档集合非常大 ，那么就必须考虑索引的分布式问题。
2.2K101发布于 2018-01-30 - 来自专栏字根中文校对软件
搜索引擎的未来
现在用msn的 highlightviewer更方便 看下面的图片 : 搜索 机器人 小叮咚 “微软的搜索引擎很快就可以做得和Google一样好，我对此深信不疑，”他说，“问题是，谁关心呢？” 然而，搜索引擎已发展得太快，以致于历史不可能重演。Google取得的巨大经济效益令人瞠目，更别提它的500亿股票市值了。 Gartner市场调查总监艾伦•维纳(Allen Weiner)表示，搜索引擎扮演的传统角色是为网页汇总出一个泛泛的索引，然后应用数学公式，设法使各网页按照相关性排列，但这只是一个起点而已。 相反，他们专门研究显示形式，从其它搜索引擎中获得搜索结果，然后以一种更易接受的形式呈现给用户。 如果你想比较各个搜索引擎如何处理同一种查询，并想了解它们生成的搜索结果经常重叠的程度有多小，请登陆 http://clusty.com/
2.2K30发布于 2019-02-14 - 来自专栏Felix的技术分享
《自制搜索引擎》笔记
第1章 搜索引擎是如何工作的 搜索引擎的基础是应用于信息检索、数据库等领域的信息技术。 例如，虽然下面的文档也同样 包含了 search 和 engine，但却与搜索引擎(search engine)无关。 I search for a gas station because my car’s engine doesn’t start. 1-4 制作中文文档的倒排索引 分割中文句子的两种方法 对全文搜索引擎这段文本分割将得到不同的结果 第2章 准备全文搜索引擎的检索样本 2-1 全文搜索引擎wiser 2-2 安装wiser 2-3 运行wiser 先来看下使用说明： $ ./wiser usage: . 第4章 开始检索吧 4-1 检索处理的大致流程 ① 将查询分割为词元（如果使用的是 bi-gram， 那么就会分割出“自制”“制搜”“搜索”“索引”“引擎”5 个词元）。
3.3K30发布于 2018-07-02 - 来自专栏公爵书房
搜索引擎使用技巧
搜索引擎相信大家经常在使用，但是有时候想搜某个信息时却搜出来一大堆不相关的（百度：你们都在看我干什么？）。 技巧4：指定文件格式 方式：filetype:文件格式 关键词 示例： filetype:avi 你懂的 常见文件格式有doc、pdf、ppt等 技巧5：指定在标题搜索 方式：intitle:关键词
1.4K40编辑于 2022-09-28 - 来自专栏西里网CSDN博客
拦截搜索引擎爬虫
拦截搜索引擎爬虫 如何设置动态Token头进行防爬虫？ 如何设置HTTP响应头进行防爬虫？ 列举的这些HTTP响应头中，哪些最有效？ 如何设置防爬虫 防爬虫策略构 哪些HTTP响应头可以用于防爬虫？ 拦截搜索引擎爬虫操作示例 通过robots.txt文件 User-agent: * Disallow: /private/ Disallow: /temp/ Disallow: /admin/ User-agent
46810编辑于 2025-07-10 - 来自专栏石璞东 | haha
移动支付&&搜索引擎
搜索引擎,大家都很常用吧,相信小可爱的你一定每天都会用到它,像是国内的百度,搜狗,360,还有国外的Google,像是Google和百度这种称作”全文搜索引擎”,他们有自己的”Spider”和网页数据库 来,三言两语的说下最简单的搜索引擎的实现原理:对于全文搜索引擎,他们有一种程序,谷歌叫爬虫,百度叫Spider,这种程序是用来干什么的呢,就是为了获取web上所有的信息,然后在自己的网页数据库上通过某种技术做一种备份 想要在搜索引擎中使自己的网站获取更高的权值,在不通过竞价的方式下,必须先了解搜索引擎的工作原理,知己知彼,对吧: 对托管服务器的要求 网站代码的要求(尽可能使用title,keywords等搜索引擎喜欢的标签 ) 域名(.com是王道) 网站文件目录(尽可能放在根目录) 布局简单(搜索引擎更喜欢div+css布局的网页) 静态页面(搜索引擎更细化,无需调用数据库,速度更快) 网站的更新频率 网站的时间啊等等 所有链接都在这呢 蒋昌建老师的节目 https://k.sina.com.cn/article_1288369910_4ccaf6f601900fidp.html 二维码 https://cloud.tencent.com
3K31发布于 2020-04-21 - 来自专栏Web前后端、全栈出发
Elasticearch 搜索引擎（1
Elasticearch 搜索引擎 简介： Elasticsearch是一个基于Lucene的搜索服务器。 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。 为了进一步加深理解，再看看熟悉的搜索引擎。 没有搜索引擎时，我们只能直接输入一个网址，然后获取网站内容，这时我们的行为是地址 >找> 内容。此谓「正向索引」。 log4j2.properties 日志文件设置，注意日志级别的配置。 但这种结果对于搜索引擎并不好，结果多细致，但不能连贯，很难查询到准确的数据！
90210编辑于 2024-08-06 - 来自专栏鸿的学习笔记
读会搜索引擎
搜索引擎一般由索引管理器，索引检索器，索引构建器，文档管理器组成。 索引管理器，顾名思义是管理带有索引结构的数据，负责对索引的访问。那么索引是怎么管理的呢？
70610发布于 2018-08-06 - 来自专栏公众号-测试驿栈
Google 搜索引擎语法
Google Hack原理很简单，就是利用搜索引擎强大的搜索能力，来查找一些存在漏洞的网站。要利用Google来查找网站的漏洞自然要学会Google这个搜索引擎的语法了。 翻译可直接写成fy 图2-2 翻译 音乐 C.天气查询：输入 changsha tq(如图2-3) 注：天气可直接写成tq 图2-3 拼音查看长沙天气 D.股票查询：输入 中国石化 gp(如图2-4) 注：股票可直接写成gp 图2-4 查看中国石化股票 E.邮政编码和区号查询：输入 qh 长沙(如图2-5) 注：区号可直接写成qh 图2-5 查看长沙区号 F.手机查询归属地查询：输入 13875876817 hl=en 英文黑客专用信息和资料搜索地址 http://www.mytianwang.cn/ 国内FTP文件搜索引擎 下面开始讲解我们的Google berkeley， 比如我们要快照北京大学，那么输入北京大学(pku.edu.cn)的网址就可以了 附：谷歌镜像站（限制了流量，慎用） http://forstudyonly.2345.ga/ 再附：全世界搜索引擎大集合
3.5K30发布于 2018-08-31 - 来自专栏米扑专栏
搜索引擎的原理
一、 搜索引擎蜘蛛 搜索引擎蜘蛛（spider），可简称为蜘蛛，本意为搜索引擎机器人（robot），称为蜘蛛的原因是将互联网比喻成蜘蛛网，将机器人比喻成了在网上爬行的蜘蛛，是搜索引擎自动抓取网页的程序 搜索引擎蜘蛛的作用：通过这些搜索引擎蜘蛛的爬行会自动将网页添加到搜索引擎的数据库当中，搜索引擎蜘蛛会自动判断网页的质量，根据既定的程序判断是否抓取。 搜索引擎蜘蛛的名称：以下为目前国内知名度比较高的搜索引擎的名字，还有很多的搜索引擎蜘蛛但是由于知名度不高，我就不一一列举了。 4、排序算法 所有的影响排序的算法，应该是放一个表里，然后分固定算法，就是网站本身的因素，还有变动算法，就是用户输入的词语或因为时间季节等不同而变化的因 素。固定算法就放一个表里，对每个网站算出总分。 参考推荐： 搜索引擎 搜索引擎蜘蛛 透视搜索引擎原理
1.8K30发布于 2019-02-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号