【浮世汇697】我们每个人都在无尽地逃跑

【1】@顾良逢

【2】木遥

展开讲讲一些关于大语言模型的理解的问题在哪里。

这些评论通常归结为这句话：大语言模型「只不过是把语料中的统计相关性复现出来而已。」但这句话是错的，其错误程度就像是在 AlphaGo 出现的时候说「AlphaGo 只不过是在背诵它见过的棋谱而已」一样。

很多人对大语言模型（或者更一般地说，大神经网络）的理解还停留在两三年前。而过去两年里重要的两个研究方向（并不只有这两个，但它们对下面要说的事最关键）显示出它终于开始初步跳出贝叶斯的陷阱，展现出了一点通用智能的模样。这两者一是思维链条（chain of thought, CoT），二是自发性地结构涌现（英文文献里一般就直接简称为 emergence）。

如果你看过《思考快与慢》这本书，你可能知道传统的大神经网络是标准的快思考模式。输入一个样本，网络直接输出一个答案，没有推理过程，本质上是直觉。人们长期以来对神经网络的诟病也在于此：人之所以区别于动物，是因为人除了直觉之外还会慢思考，也就是逐步推理型的思考。长期以来人们认为神经网络无法实现这样的思考。

但 CoT 恰恰是一个试图复现慢思考模式的工程上的尝试：我也许不能直接教神经网络做推理，但我可以硬性规定它一步一步输出推理环节。打个比方，就像是你的中学老师告诉你「直接写出答案是不给分的，你必须写出过程」。逼着神经网络写出思考过程也许并不等于真的在慢思考，但没关系，既然它输出了整个思维链条的文字版本，那实质上的结果是一样的。（其实人类的学习和这差别也不大，「真正会思考」和「显得像是在思考」这两者的区别有时候只是哲学上的。Fake it till you make it.

一个典型的例子是 Amazon 最近的一篇论文 Multimodal Chain-of-Thought Reasoning in Language Models。你给 AI 的数据是一幅图片，上面画着饼干和薯条，然后问 AI：这两者的共同点在哪里？A：都是软的。B：都是咸的。

AI 并不被训练直接选择 B（这种训练是没有意义的，也无法推广）。AI 被训练的是输出下面这样一段文字：「看看这两样东西。对每个东西，判断它有哪些特性。薯条是咸的，饼干是咸的。软的东西你捏它的时候会变形。薯条是软的，但饼干不是。两个东西的共同特性是咸的。所以选 B。」

因为这是一大段文字，AI 并不会一次性说完。它可以每说一个词就「回过头去看一眼」图案（在比喻意义上），然后把图案的信息和自己已经说出来的部分整合，再预测下一个词是什么。每一次具体的预测仍然是快思考，但逐个词说下来的结果，就是它正确地模拟了慢思考。

Amazon 这个模型的结果在许多测试集上的得分都超过了人类平均水平，你很容易看出来，这种训练下说 AI 只是记住了语料文字的相关性是不公平的。它不可能只是肤浅地死记硬背「什么词后面大概率跟着什么词」。

于是就要说到上面提到的第二件事：emergence。

这是过去两年来人们最大的发现之一。只要神经网络的复杂性和训练样本的多样性超过一定规模，就会有抽象的推理结构在神经网络里突然自发涌现出来。这个过程像所有的复杂性系统一样是非线性的。去年十月份 Google 的一篇论文 Emergent Abilities of Large Language Models 对这个现象做了很好的综述。简单地说：量变导致质变。

（另一方面，由于涌现是非线性的，这也使得要预测它的发展极为困难。如果今天的模型暂时还不能解决某一类任务，你无法估计模型要再扩张多少才能涌现出新的能力去解决这些任务。可能永远不行，可能下一个阈值会超出硬件的能力极限，可能你需要的全新的网络架构。所有这些问题都无法用简单的外推来回答。这种非线性也是人工智能波浪形发展的根源：你会在好几年里觉得一事无成（比如前几年大量声音说大模型已死），接着忽然迎来一个剧烈爆发的增长，然后可能又进入下一个等待期。

但重点在于，今天的大语言模型已经在很多方向上确定无疑地迈过了某个重要的阈值。这使得整个关于模型能力的认知都需要迅速重估。最典型的就是 in-context learning：今天你可以给 AI 看几个例子，然后它就在这些例子的基础上举一反三，针对没见过的样本做出正确的推理，并且这个过程中【不需要】重新训练模型权重。——人们暂时还不知道能冲破多少此前一直卡着的瓶颈，但这个飞跃本身已经打开了一片新天地。

人类自己的进化史上语言的诞生被认为是个重要的节点，这意味着大脑的复杂程度决定性地超越了此前的近亲，然后语言又反过来给大脑的发育带来巨大的压力，迫使它走上了一条所有其他动物都没走过的演化道路。

今天很可能是 AI 演化史上的类似时刻。

【3】「我们每个人都在无尽地逃跑」

【4】在大富翁桌游中，只要大家都不购买任何地产，每位玩家就都能变得更富有，且都不用承担任何损失。—— /u/thedailyscramble

【5】老照片bot

奥地利和德国出土的一些青铜奶瓶，约公元前1200年至800年，这些造型可爱的奶瓶里还有一些残留物的痕迹，经过科学家鉴定有牛奶，山羊奶和绵羊奶。奶瓶都是在6岁以下的婴儿或者儿童的墓中被发现的，这些夭折孩子的父母们希望孩子在另一个世界也能吃得饱饱，做一个香甜的梦。

【6】1979年的上海，骑着凤凰牌自行车的男子

【7】Economist：全球公司正在着眼于中国制造的替代者

1987年，松下对中国下了一场冒险的赌注。当时，这家电子巨头的母国日本是全球制造业强国，中国经济并不比加拿大大。因此，当该公司进入一家中国合资企业，为其在北京的电视机生产阴极射线管时，人们扬起了眉毛。不久，来自日本和其他地方的其他消费电子产品巨头也堆积到中国，以利用其丰富而廉价的劳动力。三十五年过去了，中国是数万亿美元的消费电子行业的关键。2021年，其电子产品和零部件出口额为1吨，全球总额为3.3吨。如今，避开中国需要“果敢”的公司。

然而，在商业和政治压力下，外国公司越来越鼓起勇气，如果不完全离开中国，那么至少要超越中国寻求增长。中国劳动力不再那么便宜：2013年至2022年间，制造业工资翻了一番，平均每小时8.27美元（见图表1）。更重要的是，中美技术脱钩的加深正在迫使高科技产品制造商，尤其是涉及先进半导体的制造商，重新考虑对中国的依赖。

研究公司Teikoku Databank的数据显示，2020年至2022年间，在华运营的日本公司数量从13600家左右降至12700家。1月29日，据报道，索尼计划将在日本和西方销售的相机生产从中国转移到泰国。韩国企业三星自2013年达到峰值以来，已将中国员工数量削减了三分之二以上。据报道，美国计算机制造商戴尔计划在2024年前停止使用中国制造的芯片。

戴尔、三星、索尼及其同行面临的问题是：该在哪里生产？没有一个国家能提供中国庞大的制造业基础。然而，将亚洲各地的经济体拼凑在一起，是一个令人生畏的选择。它从日本北部的北海道呈月牙形延伸，经过韩国、台湾、菲律宾、印度尼西亚、新加坡、马来西亚、泰国、越南、柬埔寨和孟加拉国，一直延伸到印度西北部的古吉拉特邦。它的成员拥有独特的优势，从日本的高技能和雄厚的财力到印度的低工资。从理论上讲，这是一个有用的分工机会，一些国家制造复杂的部件，另一些国家将它们组装成成品。它能否在实践中奏效，是对新生的地缘政治秩序的一大考验。

这个被称为“Altasia”的替代亚洲供应链在重量上与中国不相上下，甚至更好（见图2）。其14亿的劳动年龄人口甚至超过了中国的9.5亿。Altasia有1.55亿年龄在25岁至54岁之间的受过高等教育的人，而中国只有1.45亿人。与老龄化的中国相比，Altasia的人口数量有望扩大。在Altasia的许多地区，工资远低于中国：印度、马来西亚、菲律宾、泰国和越南的制造业时薪低于3美元，约为中国工人现在需求的三分之一。该地区已经是出口大户：在截至2022年9月的12个月里，其成员国向美国出售了价值6340亿美元的商品，超过了中国的6140亿美元。

阿尔塔西亚也变得更加经济一体化。除了印度、孟加拉国和台湾之外，所有这些国家都签署了区域全面经济伙伴关系协定（rcep，其中也包括中国），这是有益的。通过协调该地区各种现有贸易协议的原产地规则，该协议创造了一个中间产品的单一市场。这反过来又缓解了对贯穿几个国家的复杂供应链的监管障碍。大多数阿尔泰国家都是印度太平洋经济框架的成员，这是一项新的美国倡议。文莱、日本、马来西亚、新加坡和越南属于《跨太平洋伙伴关系全面与进步协定》（cptpp），该协定还包括加拿大、智利、墨西哥和秘鲁。

由于日本公司几十年来一直在东南亚建立供应链，因此，阿尔泰经济的模式已经存在。最近，日本富有的阿尔泰邻国韩国也效仿了它。2020年，韩国公司在文莱、柬埔寨、印度尼西亚、老挝、马来西亚、菲律宾、新加坡、泰国和越南的直接投资总额达到960亿美元，与不稳定的缅甸一起组成了东南亚国家联盟，孟加拉国的直接投资额略高于韩国在中国的投资额。就在十年前，韩国公司在中国的投资存量几乎是阿尔塔西亚的两倍。三星是越南最大的外国投资者。去年，韩国汽车制造商现代在印度尼西亚开设了第一家东盟工厂，生产电动汽车。

现在，越来越多的非Altasia公司盯上了该地区，通常是通过他们的台湾代工制造商。台湾的富士康、Pegatron和纬创（Wistron）等公司为苹果组装电子产品，它们正在大举投资印度工厂。预计到2025年，印度iPhone的份额将从去年的20%左右上升到四分之一。两所台湾大学与印度塔塔集团（Tata）合作，为印度工人提供电子课程。塔塔集团在高科技制造领域有着雄心勃勃的计划。谷歌正在将其最新Pixel智能手机的外包生产从中国转移到越南。

更复杂的制造业，尤其是地缘政治问题重重的半导体，也正在转移到阿尔泰地区。马来西亚已经出口了全球约10%的芯片，超过了美国。东盟国家占全球集成电路出口的四分之一以上，很容易超过中国的18%。这一领先优势正在增长。美国“无晶圆厂”芯片制造商高通公司（Qualcomm）于2020年在越南开设了第一个研发中心，该公司销售微处理器设计供他人制造。2020年至2022年间，高通从越南芯片工厂获得的收入增加了两倍，其中许多工厂属于三星等全球巨头。本月早些时候，胡志明市地方政府宣布，正在寻求英特尔33亿美元的投资。

历史上，中国的巨大优势是其庞大的单一市场，与良好的基础设施紧密结合，在那里，无需供应商、工人和资本跨越国界，就可以增加价值。因此，为了让Altasia真正与中国竞争，其供应链需要变得更加整合和高效。尽管rcep在某种程度上推动了阿尔塔西亚内部商业的发展，但货物流动面临着比中国国内更多的障碍。其成员国将需要发挥其相对优势。

目前，连接它们的基础设施充其量是破旧的。苛刻的法规和国家野心很容易破坏替代供应链。Altasia较贫穷的国家不一定热衷于逻辑分工，这将使它们在电子供应链中更为卑微的部分发挥更大的作用。放弃所有中国制造的零部件几乎是不可能的。美国电动自行车初创企业Thamlev于2022年将生产从中国转移到马来西亚，以避免25%的美国关税，但仍需要进口中国零部件。结果，它的电动自行车花了一个月的时间才到达美国骑手手中。

在Altasia和发达国家的大型消费市场，进一步融合的前景并不明朗。印度的14亿人口可能决定着Altasia的未来，印度似乎并不急于加入rcep。尽管印度与它的Altasia邻国签署了美国的印太框架，但它选择了退出该倡议的贸易条款。这些都缺乏吸引力：美国处于保护主义情绪中，既没有提供关税削减，也没有更好地进入其广阔的市场。一位东盟决策者将该协议比作一个在中间缺乏实质内容的油炸圈饼。

Altasia肯定不会很快取代中国，更不用说一夜之间了。例如，今年1月，松下宣布大幅扩张其中国业务。但随着时间的推移，中国对外国制造商的吸引力可能会降低。中国劳动力并没有变得更便宜。美国可能还意识到，在实践中减少对中国的依赖需要与友好国家建立更紧密的联系，包括加入cptpp，cptpp的前身在2017年美国退出后崩溃。而作为中国的一个新兴替代品，Altasia是无与伦比的。

链接：https://weibo.com/1952460384/Mut4Wdmhw

【8】@翟德芳

【9】AI想出来的「龙樱」

来源：