学习和压缩
昨天晚上读到一篇文章
直接压缩一切！OpenAI首席科学家Ilya Sutskever这么看无监督学习
比较震撼
以前其实也看到过深度学习和压缩关系的文章
但是这篇文章提出的框架和理论更加泛化
后面有几个例子很有意思
比如预测下一个pixel
知识，也许本质上是一种压缩
而学习，则是从原始数据上提炼知识
如果没有知识和学习的能力，人脑根本无法处理海量的数据
人也无法进行预测和泛化
无监督学习是一个很有意思的主题
以前学过clustering, pca, svd, dimension reduction
也学过信号处理，学过压缩
也有人试图拿pca做压缩
但是压缩算法和无监督学习仍然是两个不同的世界
流行的压缩算法比如fft, wavelet跟流行的无监督学习基本上还是八杆子打不着
压缩属于更加工业化的领域，
无监督学习的应用场景更加学术化一些
压缩也基本上跟学习很难扯上关系
而随着transformer的发明，人们似乎又找到了这两者的联系
甚至是直接使用了压缩领域的词汇，比如encoder, decoder
大家慢慢把学习应用到压缩领域，也把压缩应用到学习领域
技术再度进步
那么我的工作领域是否也可以应用上呢？
回头brainstorm一下
理论上来说应该是可以的
任何跟数据处理，预测有关的都可以应用上