这篇文章本来是打算叫作“收敛的技术”的，但是它所要讲述的规律，实在是有点艺术成分在里面，所以干脆就叫现在的标题了，其实文章也就是要论证一件事：收敛的技术是艺术。

技术的收敛和不收敛是一种感受，可以从很早的时候谈起。做 World Guidance 之前，我也做过用物体姿态预测来辅助机器人操纵的工作 Motion Before Action, 这期间有一年多的跨度，你会发现大家在此期间做了很多事情，比如，用flow, depth预测；视频latent预测；dino, sam, v-jepa特征预测来帮助机器人做操纵.

从学理上讲，没有人能证实，高维的dino,sam预测是否是机器人低维动作预测的充分必要条件，很明显的，dino的特征维度甚至超过了原视频，有很多特征我想是与操纵关联很小的，这也导致了过拟合，记忆场景在这一类模型中非常明显，这说明这些很高维的表征预测是不必要条件。类似的事情发生在视频和深度上。而pose预测，解决不了柔性体任务，flow预测没有足够的6d信息，这也说明了它们不是充分条件…

这是从理论上来讲，本文的重点是讲艺术上的事情。之所以大家这么乐意去用深度，flow去做预测来帮助机器人操纵，或者用更好的编码器的特征来做，除了水论文以外，是相信，这些对机器人有用，你怎么能不相信深度对机器人有用呢？怎么能不相信未来的dino, v-jepa特征对机器人有用呢，这是都是天然可以作为story的呀？

但问题恰恰出在这儿，因为这些人为可以搭建的特征，人为可以说出来的语义，不仅仅带来了我们所说的，因为你是口头可表述的语义，很可能不是解决具体任务的必要条件，还带来了一件事情，那就是，我如果有了v-jepa3, v-jepa4，是不是又要去换一个模型？或者我发现了深度以外还有更好的信息呢？比如我觉得纯深度预测太冗余了，画个检测框再做深度预测呢？

人类用直觉的方式，去手工的指定为了解决具体任务的辅助目标，就是不收敛的艺术。

我们已经论证了不收敛是因为，这些条件既不充分，也不必要，人类的直觉是发散的，有了更好的编码器，有了更新的可以口头表述的语义，大家就又可以在这上面去做文章了，而没有回归具体任务的本质。

难道我们没有为此吃过亏吗？二十年前，为了完成一个分类任务，我们想，那边缘特征有用吧？为此可以设计好多的卷积核。线条的普遍方向得有用吧？我们再设计许多卷积核。更底层的一些去雨算法之类的任务，我们设计的手工函数就更多了。这是发散的技术，技术最终是怎样收敛的呢？我想大家都有目共睹了：技术收敛到直接就是用分类目标做训练后，没有人再可以口头表述Resnet的每一层特征最后是什么意思了，是不是有一层是边缘特征呢？没有人知道，就像你现在也不知道VLM的每一层是做什么一样。这是收敛的艺术，人为指定模型该做什么，受限于人类的直觉和口头能表达的semantics，也因此而难以收敛 （你至今不会知道是否得有几百种人工创造卷积核加起来才有Resnet的效果），不如让模型以具体任务为直接目标，在数据里自己去学。

我们还在吃亏，我会大胆地做一个预言，一个注定失败的不收敛的技术：

我们现在有很多生成任务，大家相信是用vlm来拓展训练完成的，所以会为了这个任务扩充一些特殊vocab进vlm里面，机器人动作，3d的资产，2d图像和各种资产；都这么干，它的不收敛性就在于，如果我们相信agi的实现最后会是一个统一模型，那么为了每个下游任务还要再拓展一份词表实在是“子子孙孙无穷匮也”，这也是一部分现在的这些方案在一些任务上被coding取代的原因，因为后者不用扩充，在一个既定的词表内就可以通用地解决很多事。我们可以拭目以待，词表扩充以训练基模解决下游任务的范式将在未来一年内成为历史的眼泪。

现在我还知道一些未来会满足收敛的艺术的技术，但是剩下的页面太小了，我写不下。