还是压缩
现在大家有一个共识
那就是智能即压缩
那么神经网络是终极的压缩么？
接着上篇
感觉明显不是
因为人的算法更加简洁
甚至可以写成一个简单的函数
比如direction=-w*x
x是目标的水平坐标，原点是图像中心。
而神经网络有很多的weights
因为weights太多，也就无法解释
人类设计或者发现的数学公式，物理定律，化学方程是最终极的压缩
也许有一天机器学习也能发现这些公式
因为有更精简的压缩，所以人可以学的更快
更重要的是，这种压缩是通用可以被分享，传播和即插即用的
而神经网络的weights不是
你不能把神经网络的一小部分weights揪出来放到另一个模型里面//暂且不体transfer learning
另外一个关键是token的提取
圣经里面神造的人做的第一件有灵性的事情是给各种事物起名字
有了名字，也就有了语言
有了语言，真正的智能就开始了
这也是人与动物最大的区别所在
神经网络目前仍然是动物智能阶段
是system 1
也就是通过大量数据学到一个下意识反应
即便是chatgpt
本质上是token输入到token输出
非常依赖海量的数据和信息
无法做到自主的学习，推理，提炼知识，定义token
语言本身也是一种压缩
箴言是生活智慧的压缩
chatgpt目前还达不到agi
也许我们仍然需要新的范式
当有一天，这个新范式能够自己设计语言，自己命名，自己提炼规则，自己用语言来浓缩知识，那么也许就真的到达AGI了。
也许那时人真的就有危险了。
总结（压缩）一下，为什么现在离agi还很遥远？因为压缩还不够。