书书小说网

手机浏览器扫描二维码访问

第275章 红彤彤的前程第二更（第1页）

尽管信心满满，但能够这么顺利的就取得橘子大模型的源代码，还是让Madeline喜出望外。

千寻的安全部门手里有大量的0day漏洞（被黑客发现的，开发者和用户不知道的漏洞），他们所制作的木马就是利用了linux系统中的几个0day漏洞来远程执行代码并获取权限。

千寻根本没有等太久，那个加密包第二天就被柚子科技解密调用了，里面果然是橘子大模型内测后的修复版本。

吴恩德离开后，接替他工作的傅远生虽然满嘴军令状，但心里其实还是忐忑的。

他是内行，虽然此前没有接触过橘子大模型这种类型的神经网络，但BP、LSTM、CNN、RNN、DNN、Seq2Seq等模型还是玩的很熟的。

无论什么神经网络，本质上都没有删除数据这么一说，只能重新训练。

深度学习并不是把数据资料存在某些地方供神经网络调用，而是让神经网络“学习”

这些内容，学习后的东西会导致“神经突触”

的变化，而大模型的“神经突触”

，就是所谓的“参数”

。

这些参数的数值变化和相互的连接，就像人类学习的时候神经突触的连接一样，意味着大模型真正“掌握”

了训练的知识。

比如一个参数13B（130亿）的大模型，存在一块硬盘上，可能大小有20个G。

让它接受2个T的数据训练后，可能它的大小还是20个G。

大小没有什么变化，但这2个T的资料它却已经完全掌握了。

但既然是模仿人类神经形成的人工智能模型，其实也存在了人类智能的某些问题。

比如说“遗忘”

的问题，就是明明学了，过一阵时间之后却发现AI把学过的东西忘了。

AI过度训练后，可能会出现对新数据“想当然”

的现象。

就像人类面对新生事物时，明明什么都不明白，却用过往经验进行解释，这在AI领域中叫“过度拟合”

。

一堂课老师讲了半本书，前三页你还能听明白，到后面就是听天书，对于AI来说，就是“信息过载。”

人类接触到的信息是片面的情况下，就会导致认知偏差，AI的数据如果集中存在某一种意识形态的内容，同样会导致认知偏差。

林林总总。

更有甚者，原本是个好模型，别人训练都没事，你来训练，要么无法收敛得到结果（可以理解为学不会），要么灾难性遗忘，要么梯度爆炸或消失。

在架构和参数没有太大改动的情况下，能不能训练出可用的大模型，甚至是一门玄学。

AI的训练与调优充满了复杂性和不可预测性。

有时候，一个微小的参数调整或数据处理步骤的变化，就能导致训练结果的巨大差异。

就算傅远生严格按照科学的方法调整超参数，精心选择数据集，并使用最先进的硬件设备，但他仍旧没有足够的信心在短短的一两周时间内，把橘子大模型重新训练一遍去除柚子科技的所有痕迹。