随着Web的普及和发展,互联网己成为一个并放性的全球性资源,其集中了海量的以网页文本形式存储的信息,改变了人们的工作、学习、娱乐等方式。近年来随着Web2.0、移动互联网的兴起,网页作为信息的载体,以爆炸性的速度增长,目前已有上亿个网站,数十亿个用户,并且这个数量在不断的增长。互联网的兴起加快了人们的生活节奏,越来越多的人们在互联网里搜索信息,在如此海量的信息里精确获取用户所要查找的信息越来越难,这个时候,搜索引擎就诞生了。
搜索引擎是指计算机程序按照指定的策略从网络中抓取HTML等网页信息,然后将信息抽取、去重、分词、存储,然后按照一定的方式做排序,之后再创建索引,为广大用户提供检索服务的程序,当用户在搜索界面搜索信息时,该程序对搜索结果进行一些处理后,然后从数据库中返回信息,并按照一定的算法,按照用户查询相似性显示出来。网络爬虫模块是搜索引擎里最重要,也是最基础的模块,它根据规定的算法规则,以某个初始URL开始抓取HTML文档、音乐、视频等网页信息,它是与搜索引擎其他部分紧密相连的自动化抓取部分。随着互联网的发展,特别是移动互联网的高速发展,依靠传统的通用搜索引擎,用户很难发现特定主题有价值的信息了,此时人们研究了一种只面向特定主题的搜索引擎,其被称为垂直搜索引擎。
通用搜索引擎广泛被接触,平常说到的搜索引擎,如百度、Google之类的指的就是通用搜索引擎。与垂直搜索引擎相比,通用搜索引擎包含的资源更多、范围更广,主要原因是没有经过主题判断,只是尽可能的抓取更多的HTML页.面,其优点是用户可以通过通用搜索引擎查询到各种主题以及形形色色的资源。但是从其采集原理来看,这是有许多缺点的,虽然通用搜索引擎收录的资源范围广,但是它会消耗更多的系统资源和网络带宽,同时相关度网页出现的概率低、死链接较多,通用搜索抓取网页一般都是信急出来后几天到几周,甚至可能不会收录一些网页,所以其也不能及时展现信息,即信息时效性低,缺点本文就不一一叙述了,为了解决这种问题,人们发现面向单一主题的垂直搜索引擎可以很好的解决这个问题。通用搜索引擎存在一些问题,比如资源浪费,面向特定主题的相关度较低、死链多、重复率高等,为了解决这个问题,垂直搜索引擎慢慢的走向人们的视线,垂直搜索引擎一般都是针对特定主题的,比如博客,购物等等,技术特点与通用搜索引擎相比,差别不是太大,但是其更专注于某一主题,并且对此主题的资源应该包括更广,应该将其看成通用搜索引擎特定主题的细分,所以与通用搜索引擎比起来,其面向特定主题,更专、更精、更深。
金城在线专注网站、软件、APP、微信公众平台、小程序、抖音、头条等开发推广，如果您有这方面的需求或者不同的观点，欢迎联系交流。
