书书小说网

手机浏览器扫描二维码访问

第314章 Y搜出海6143（第1页）

这是实时爬取的数据吗？怎么可能？

柚子科技怎么可能有这么大的数据中心和带宽？

别说只是拿了10亿迈元投资的柚子科技，就算是目前现金流已经基本回正的大米，想要投一个搜索引擎，也是天方夜谭般的事情！

“实时抓取？柚子科技的带宽和服务器够吗？”

雷君完全想不通，柚子科技这个Y搜，是怎么实现的。

搜索引擎发展到了今天，无论是罗伯特李的超链技术和古狗基层的pagerank技术，本质都是通过网络爬虫从一个或多个著名网站开始，不断地通过各种网页链接爬取网页并读取网页内容。

抓取到的网页内容并不是直接用于搜索，而是被分析、提取出页面中的关键信息，如文本内容、标题、关键词、链接等后，存储在搜索引擎的索引库中。

这个索引库就像是一本互联网内容的目录，帮助搜索引擎在用户发起查询时迅速找到相关的页面。

罗伯特李的超链技术和pagerank不同的是，罗伯特李解决的是爬取的方式问题，而pagerank解决的是为网页赋权的问题。

具有相同内容的两个网页，来自白屋的网页和来自非洲一个小孩的个人网页，权重显然是不同的。

古狗的pagerank通关算法，将这些网页进行赋权，算出哪些网页更有价值，那么这些网页就更容易被搜到。

这两种技术，也是当今搜索引擎最底层的技术，几乎所有搜索引擎都是建立在这两种技术之上的。

但这就带来一个问题。

带宽和无比庞大的数据库问题。

带宽决定了搜索引擎的爬取速度和用户体验速度，而数据库决定了搜索结果的准确性和丰富性。

每秒钟互联网上都会有无数新的网页诞生，爬下来的链接数据库存在哪里？需要多大的服务器空间？

虽然只是存储连接和内容索引，但整个互联网网页量太大了，仅仅只是这一小部分，就不是哪个小企业能够承受的。

古狗每年光是花在服务器新增、更新、维护上的钱就多达七十亿迈元，而且这笔钱每年都在增加。

古狗和千寻都是在互联网蛮荒时代就已经进入这个领域的创业者，在一开始，不需要投入太多的服务器资源，就能够把互联网上所有的网页链接全都爬一遍。

但现在可不是，经过十几年的发展，互联网已经变成了一个庞然巨物，互联网用户已经超过34亿人，占全球人口的45%。

如果去掉学龄前尚未真正注册互联网账户的幼儿和对互联网完全没有认知的高龄老人，占比可能已经超过了65%。

现在互联网上的数据量之大，可想而知。

古狗和千寻这种搜索引擎巨头，是随着互联网一步步成长起来的，他们的营收增速比互联网的增长还要快，自然能够不停地加大投入，来增设新的服务器，响应用户需求。

这也是这个行业为什么没有新入局者的原因。

这完全是一个积累型的行业，护城河非常深，根本不是一般公司能跨越的。

想要凭借搜索体验、内容丰富度、搜索精准度等产品力指标推翻古狗或千寻的统治，唯一的办法就是某个巨头或大佬，不计回报的投入数百亿迈元，爬取整个互联网的内容，通过精妙的算法，才能做出一个和千寻或古狗在产品力上能掰手腕的搜索引擎出来。

这也只是能掰掰手腕，是否能真的超过千寻和古狗，还不好说。

也正因为如此，基于成本方面的考量，搜索引擎不会为每个网页设定统一的爬取频率。

爬虫会根据网页的重要性、更新频率、网站的爬取策略来动态调整抓取频率。

重要的网页，比如各个新闻网站和搜索引擎自己的新闻中心，可能几分钟就会重新爬取一次，而不常更新的页面可能几天、几周甚至几个月才被重新抓取一次。

但刚刚雷君和周授兹所看到的Y搜，针对于一些普遍认为不应当被频繁抓取的网页，也进行了抓取不说，抓到的结果，还是几分钟之前的。

例如，其中有一篇写于大嘴的自媒体文章，发表于5分钟之前。

这种自媒体一般来说搜索引擎抓取的频率会非常低，除非类似在头条里面搜头条号这种垂直类型的搜索能搜出来，否则用千寻或古狗都是搜不出来的。

就像这个网页就是如此，因为抓取频率的问题，这篇文章用千寻和古狗都搜不出来。

但Y搜就是给搜出来了，而且这篇文章的质量还不低。