书书小说网

手机浏览器扫描二维码访问

第314章 Y搜出海6143（第2页）

难道说正好赶上Y搜爬这个链接了？

那未免也太巧了吧？

“Y搜不算完全的实时搜索，它和传统的搜索引擎技术实际是两个方向。”

方豫把烟在烟灰缸里掐灭。

他烟瘾不重，选在室外和雷君还有周授兹见面，就是因为雷君是个老烟枪，一天两包，新镐室内全面禁烟，这种带室外区的咖啡厅谈事情对烟民比较有利。

“Y搜所用的搜索技术和传统搜索技术完全不同，传统的搜索技术是下载链接后对链接赋权索引建立数据库。”

“而Y搜，是通过大模型分析学习目前互联网上十七亿个网页的数据连接，针对于哪些链接的质量可能更高进行概率性的判定，依据这种概率，给出搜索结果。”

“因此，Y搜并不需要特别多的服务器来存储这些网页具体数据，只是这些链接的索引都被大模型‘学习’了而已。

我们只需要储存链接就可以了。”

（注1）

“当用户进行搜索的时候，大模型会自动依据用户的意图或自己的判断，给出其认为符合用户需求的链接。”

“至于说爬取频率的问题，其实这并没有这么难，根据internetlivestats实时数据，互联网目前有13亿网页，其中百分之五十都是空链接或失效链接。”

“去掉这些，只有六亿多，六亿的链接中，又有接近四个亿网页是‘非活跃网站’。”

“橘子的算法是依据‘数据标记’进行判断，已经爬取的‘数据标记’并未改变的情况下并不会重复爬取，在‘数据标记’被改变后，橘子大模型才会主动爬取更新的网页，确保自身的数据处于最新，同时再新建一个‘数据标记’。”

“这种技术的好处在于，我们不需要像千寻和古狗一样，建立那么多那么大的数据中心。”

“一个占地两万平米的单层数据中心，应该就足够满足全大周用户的搜索需求，投入可能只相当于古狗的百分之一不到，目前Y搜使用的是阿狸云。”

“当然，如果还要开发其他业务的话，比如目前的千寻和古狗的网盘、百科、文库、地图、邮件等功能，还是需要很大的数据中心来做支撑。”

“另外这个技术还有一个好处就是非常便于审核和过滤，在审核过滤规则确定的情况下，Y搜可以更为精准的过滤需要审核的信息，避免误伤。”

“AI时代，未被污染的数据太重要了，但现在大周互联网上的周文数据污染情况过于严重，训练大模型的效果很差。”

“这其中相当一部分是由于审核误伤所导致的，造成周文数据可训练度差，因此在Y搜的算法之下，可以精准识别需要过滤的搜索结果，降低97。98%的数据误伤。”

“这一条虽然短时间内看不出来什么，但时间长了，对整个大周的互联网数据资源都有相当大的好处。”

“带宽和千寻目前的带宽需求相差不大，毕竟数据的传输和返回都是需要带宽的，但这部分成本对于搜索引擎来说，占比本身就不大。”

“这种技术最大的难点在于，大多数网页的变化是难以精确预估的，且需要一个可靠的爬取策略来保持数据的时效性，并且保障链接和生成索引之间的准确性。”

“但好在，在这方面我们取得了一些突破，当然，具体的算法涉及机密，就不和二位介绍了。”

“正因为各方面的成本都节省了，即使Y搜不上市，我也能维持这个搜索引擎的正常运营。”

雷君看着方豫的手机屏幕，就像在看外星人：“你的意思是，Y搜是一个伪装成搜索引擎的大模型？”

短短几个月时间，AI就把搜索引擎行业颠覆了？

这是什么样的进化速度！

？

有可能做到吗？

如果是真的，那下一个即将被颠覆的行业又是哪一个？

雷君突然感觉有些庆幸，还好自己的小米选择的是硬件创业，能成为AI的载体。

如果当初选择进入什么移动互联网软件创新领域，现在估计已经开始担心的睡不着觉了吧？

方豫立刻纠正雷君的说法：“不，只能算是融合了AI功能的搜索引擎。”

过犹不及，把AI融合进搜索引擎是一回事，但搜索引擎本身就是AI大模型是另一回事。