英伟达 Jim Fan:复刻 NLP 的成功路,用通用模型开启具身智能的 GPT-3 时刻
https://youtu.be/yMGGpMyW_vw?si=_py77Rh1ODJOZO2E
现实和虚拟融为一体
这个idea很powerful
虽然说transfer learning的idea很早就有
但是build一个通用模型,能够直接在现实世界中使用,这还是相当不容易
有太多的实际问题需要解决
不过一旦这条路打通
那么前途将不可限量
未来机器人去火星殖民的难度将大大降低
炒菜做饭打扫屋子收拾院子送外卖都可以由机器人完成
技术核心是把LLM foundation model这一套搬到机器人领域
这个问题的最大难度也许就是训练数据
不像文本,互联网上已经有了原始高精的大量数据。机器人领域的数据获取难度和成本都太高。一旦虚拟世界和现实世界align问题解决,数据获取的问题也就能得到解决。
而NVIDIA在这方面也许是最有优势的。