50封往来邮件揭秘OpenAI的缘起、发展与矛盾
智能超参数
马斯克 针对OpenAI的起诉升级，增加了新的原告和被告。随着起诉文件的更新，马斯克、萨姆·奥特曼之间大量电子邮件已作为法庭诉讼程序的一部分被公布，一个名为LessWrong的在线论坛和社区把大约50封邮件按照时间线进行了整理。
当地时间11月14日，特斯拉 CEO 埃隆·马斯克 (Elon Musk) 针对OpenAI 的起诉升级，增加了新的原告和被告。
随着起诉文件的更新，马斯克、萨姆·奥特曼 (Sam Altman)、伊利亚·苏茨克弗 (Ilya Sutskever) 和格雷格·布罗克曼 (Greg Brockman) 之间的大量电子邮件已作为法庭诉讼程序的一部分被公布。
一个名为LessWrong的在线论坛和社区把大约50封邮件按照时间线进行了整理，从这些邮件的时间从2015 年5月25日到2019年3月11日。
这些邮件肯定不是OpenAI发展过程中的全部，但是从这些公开的内容中可以看到OpenAI的缘起、发展与矛盾，以及不同阶段不同创始人、核心人员的不同观点。
以下是公开的邮件内容：
原文地址：
萨姆·奥特曼致伊隆·马斯克 - 2015 年 5 月 25 日
一直在思考是否有可能阻止人类发展人工智能。
我认为答案几乎肯定是否定的。
如果无论如何都要实现这个目标，那么最好由谷歌以外的其他人先来做。
有没有想过 YC 启动人工智能曼哈顿计划是否是个好主意？我的感觉是，我们可以让前 50 名中的许多人参与其中，我们可以将其构建为通过某种非营利组织属于世界的技术，但如果成功，从事该技术的人将获得与初创公司类似的报酬。显然，我们会遵守/积极支持所有法规。
萨姆
伊隆·马斯克致萨姆·奥特曼 – 2015 年 5 月 25 日
可能值得谈谈
萨姆·奥特曼致伊隆·马斯克 - 2015 年 6 月 24 日
任务是创建第一个通用人工智能，并将其用于个人赋能——即未来看起来最安全的分布式版本。更一般地说，安全应该是首要要求。
我认为我们最好从 7-10 人开始，然后计划从那里开始扩大。我们在 Mountain View 有一栋不错的额外建筑，他们可以享用。
我认为，对于治理结构，我们应该从 5 个人开始，我建议你、比尔·盖茨、皮埃尔·奥米迪亚、达斯汀·莫斯科维茨和我。该技术将归基金会所有，并用于“造福世界”，如果不清楚如何应用，我们 5 个人将做出决定。研究人员将获得可观的财务收益，但这与他们所构建的东西无关，这应该可以消除一些冲突（我们将向他们支付有竞争力的薪水，并给他们 YC 股权作为收益）。我们会持续讨论哪些工作应该开源，哪些不应该开源。在某个时候，我们会找一个人来管理团队，但他/她可能不应该加入治理委员会。
除了管理之外，你还会以其他方式参与吗？我认为这对让工作朝着正确的方向发展非常有帮助，可以让最优秀的人才参与其中。理想情况下，你会每月或每隔一段时间过来和他们谈谈进展情况。我们一般把以某种有限方式参与 YC 的人称为“兼职合伙人”（例如，我们就是这样称呼 Peter Thiel 的，尽管目前他参与度很高），但我们可以随便叫他们。即使你不能真正花时间在上面，但可以公开支持，这可能仍然对招聘非常有帮助。
我认为，制定监管信函的正确计划是等待这件事开始实施，然后我就可以发布它，并附上这样的信息：“既然我们正在这样做，我一直在思考世界需要什么样的约束才能确保安全。”我很高兴你也成为签名者。我还怀疑，在它发布后，会有更多人愿意支持它。
萨姆
伊隆·马斯克致萨姆·奥特曼 - 2015 年 6 月 24 日
全部同意
格雷格·布罗克曼致伊隆·马斯克（抄送：萨姆·奥特曼）- 2015 年 11 月 22 日
嘿，Elon，
之前聊天很愉快。
正如我在电话中提到的，这是博客文章的最新早期草稿：（Sam、Ilya 和我正在考虑新名字；希望得到您的任何意见。）
显然，还有很多其他细节需要更改，但我很好奇您对这种信息传递方式有何看法。我不想手下留情，如果感觉合适，我很乐意传播更强烈的信息。我认为最重要的是我们的信息能够吸引研究界（或者至少吸引我们想要雇用的那部分人）。我希望我们能以中立的团体身份进入该领域，寻求广泛合作，并将对话转向人类胜利，而不是任何特定的团体或公司。（我认为这是让我们成为领先研究机构的最佳方式。）
我附上了我们一直在使用的录用通知模板，薪资为17.5万美元。以下是我发给别人的电子邮件模板：
附件是您的 YCR 正式录取通知书！请签名并注明日期。接下来还会有两份文件：
另外还有一封信，向您提供您出席的每个 YC 批次的 0.25%（作为担任 YC 顾问的补偿）。
随意雇佣、保密信息、发明转让和仲裁协议
（由于这是我们提供的第一批官方优惠，因此请原谅途中的任何坎坷，如果发现任何奇怪之处，请告诉我！）
我们计划提供以下福利：
健康、牙科和视力保险
无限假期，建议每年四周
带薪育儿假
当你展示 YC AI 工作或被 YC AI 邀请参加会议时，可获得付费出席资格
我们也很乐意提供签证支持。当您准备好讨论签证相关问题时，我很乐意让您与 YC 的 Kirsty 联系。
如果您有任何问题，请告诉我 — 我随时可以与您聊天！期待合作 :)。
– gbd
伊隆·马斯克致萨姆·奥特曼 – 2015 年 12 月 8 日
正确写出开篇摘要部分非常重要。这将是每个人都会读到的内容，也是媒体最常引用的内容。这份新闻稿的全部目的是吸引顶尖人才。不确定格雷格是否完全明白这一点。
---- OpenAI 是一家非营利性人工智能研究公司，其目标是以最有可能造福全人类的方式推进数字智能，且不受产生财务回报义务的束缚。
我们公司的根本理念是将人工智能技术作为所有人类个体意志的延伸，尽可能广泛地传播，在自由精神的指导下，确保数字智能的力量不会过度集中，并朝着人类总体所期望的未来发展。
这个项目的成果尚不确定，而且薪酬也比其他公司提供的低，但我们相信目标和结构是正确的。我们希望这对该领域的佼佼者来说是最重要的。
萨姆·奥特曼致伊隆·马斯克 - 2015 年 12 月 8 日
这怎么样？
__
OpenAI 是一家非营利性人工智能研究公司，其目标是以最有可能造福全人类的方式推进数字智能，且不受产生财务回报义务的束缚。
由于我们没有任何财务义务，我们可以专注于最大限度地发挥人类的积极影响，并尽可能广泛地传播人工智能技术。我们认为人工智能应该是个人意志的延伸，本着自由的精神，不应集中在少数人的手中。
这个项目的成果尚不确定，而且薪酬也比其他公司提供的低，但我们相信目标和结构是正确的。我们希望这对该领域的佼佼者来说是最重要的。
萨姆·奥特曼致伊隆·马斯克 - 2015 年 12 月 11 日
刚刚得到消息……
明天，deepmind 将向 openAI 中的每个人提供大量反报价，试图消灭它。
你对我主动给每个人每年增加 10-20 万的薪酬有什么异议吗？我认为他们都是为了这里的使命而努力，但这对每个人来说都是一个很好的信号，我们会随着时间的推移照顾他们。
听起来 DeepMind 正计划为此发动战争，他们实际上一直在 NIPS 上逼迫人们。
伊隆·马斯克致萨姆·奥特曼 - 2015 年 12 月 11 日
伊利亚 (Ilya) 是否已经坚定地表示同意了呢？
如果有人有任何疑问，我也很乐意亲自打电话给他们。我已经告诉艾玛，这是我每天 24 小时的首要任务。
萨姆·奥特曼致伊隆·马斯克 - 2015 年 12 月 11 日
是的，承诺了，承诺了。只是做出了承诺。
伊隆·马斯克致萨姆·奥特曼 - 2015 年 12 月 11 日
惊人的
萨姆·奥特曼致伊隆·马斯克 - 2015 年 12 月 11 日
每个人都感觉很好，说着“接受 DeepMind 的提议吧，可惜他们没有‘做正确的事’”这样的话
太平洋标准时间下午 1:30 发布新闻
伊隆·马斯克致：Ilya Sutskever、Pamela Vagata、Vicki Cheung、Diederik Kingma、Andrej Karpathy、John D. Schulman、Trevor Blackwell、Greg Brockman（抄送：Sam Altman）- 2015 年 12 月 11 日
祝贺你有一个美好的开始！
你们所熟知的组织在人数和武器上都远远落后于我们，但我们有优势，这对我们来说很重要。我喜欢这种胜算。
我们最重要的考虑是招募最优秀的人才。任何公司的产出都是公司内部人员的矢量和。如果我们能够随着时间的推移吸引最有才华的人，并且我们的方向正确，那么 OpenAI 就会获胜。
为此，请认真考虑谁应该加入。如果我能在招聘或其他方面提供帮助，我愿意为您效劳。我建议密切关注那些尚未完成研究生甚至本科教育但显然才华横溢的人。最好在他们取得突破之前就让他们加入。
期待共同合作，
伊隆
格雷格·布罗克曼致伊隆·马斯克（抄送：萨姆·奥特曼）- 2016 年 2 月 21 日
大家好，
我们目前正在进行公司成立后的第一轮全职工作。显然，做好这些工作非常重要，因为影响是长期的。我还不太愿意自己做决定，希望得到任何指导。
以下是我们目前正在做的事情：
创始团队：27.5 万美元薪水 + 25bps 的 YC 股票
- 还可以选择永久转换为 12.5 万美元年度奖金或等值的 YC 或 SpaceX 股票。我不知道是否有人接受了我们的提议。
新报价：年薪 17.5 万美元 + 年薪 12.5 万美元 || 等值 YC 或 SpaceX 股票。奖金取决于绩效评估，您可能获得 0% 或远高于 100% 的奖金。
特殊情况：gdb + Ilya + Trevor
该计划是保持基本不变的工资，并使用奖金倍数作为奖励表现出色的人的方式。
一些说明：
- 我们对股票变现前的 8 年使用 20% 的年化折扣，12.5 万美元的奖金相当于 YC 的 12 个基点。因此最终价值更像是 75 万美元。这个数字听起来更令人印象深刻，尽管显然很难准确估值。
- 创始团队最初每人获得 17.5 万美元的薪酬。实验室成立后的第二天，我们主动将每个人的薪水提高了 10 万美元，告诉他们，一旦实验室取得成功，我们将为他们提供经济支持，并要求他们承诺忽略所有反要约，相信我们会为他们提供资金。
- 我们目前正在采访 Brain 的 Ian Goodfellow，他是我们所没有的领域中两位顶尖科学家之一（另一位是 DeepMind 的忠实拥护者 Alex Graves）。他是 Brain 中最好的人，所以 Google 会争取他。我们将他纳入创始团队的报价中。
一些薪资数据点：
- DeepMind 为约翰提供了每年 25 万美元的全额薪酬，他认为自己可以轻松地将薪酬谈至 30 万美元。
- FAIR 口头向 Wojciech 提供约 125 万美元/年薪（但没有具体信件）
- Andrew Tulloch 在 FB 的年薪为 80 万美元。（很多是可兑现的股票。）
- Ian Goodfellow 目前在 Google 的年薪为 16.5 万美元现金 + 60 万美元股票。
- 苹果有点绝望，向人们提供 55 万美元现金（可能加上股票）。我认为没有哪个好人会答应。
我心中有两个具体的候选人：
- 安德鲁几乎要说“是”了。但他对大幅减薪感到担忧。
- Ian 表示他主要不关心钱，但湾区物价昂贵 / 他想确保自己能买得起房子。我不知道如果 Google 开始向 Ilya 透露他们给出的数字，会发生什么。
我的直接问题是：
1. 我预计安德鲁会尝试谈判。我们是否应该坚持他的提议，并告诉他只有当他足够兴奋接受这种减薪时才加入（并且其他人留下了更多）？
2. 伊恩将于周三接受面试并（我确信）收到录用通知。我们应该将他的录用通知视为最终决定，还是愿意根据 Google 的录用通知做出调整？
3. 根据 1 + 2 的答案，我想知道这种固定策略是否合理。如果我们保留它，我觉得我们必须真正说服人们接受奖金乘数。也许一个选择是使用签约奖金作为杠杆来让人们签约？
4. 非常次要，但我们的实习生薪酬也低于市场水平：每月 9000 美元。（FB 提供 9000 美元 + 免费住房，谷歌提供全包 11000 美元/月。）薪酬对实习生来说远不如对全职员工重要，因为经验是首要的。但我认为我们可能已经失去了一位对此持怀疑态度的候选人。考虑到每小时的薪酬比全职员工低得多，我们是否应该考虑增加薪酬？
我很乐意随时聊聊此事。
– gbd
伊隆·马斯克致格雷格·布罗克曼（抄送：萨姆·奥特曼）- 2016 年 2 月 22 日
我们需要尽一切努力来获得顶尖人才。让我们更上一层楼。如果在某个时候我们需要重新审视现有员工的薪酬，那也没关系。
要么我们能找到世界上最优秀的人才，要么我们就会被 Deepmind 打败。
无论需要做什么，只要能培养出顶尖人才，我都愿意。
Deepmind 让我精神压力极大。如果他们赢了，那对他们一心一意统治世界的理念来说将是一个坏消息。他们显然正在取得重大进展，而且他们应该取得进展，因为那里的人才水平很高。
格雷格·布罗克曼致伊隆·马斯克（抄送：萨姆·奥特曼）- 2016 年 2 月 22 日
– gbd
Greg Brockman致 Elon Musk，（抄送：Sam Teller）- 2016 年 3 月 21 日
嗨，Elon，
我接受了 Wired 杂志关于 OpenAI 文章的采访，事实核查人员向我发送了一些问题。我想与您就两个问题进行同步，以确保它们听起来合理/与您所说的一致：
OpenAI 是否正在放弃其全部研究成果？
无论何时，我们都会采取最有可能造福世界的行动。从短期来看，我们认为最好的方法是放弃我们的研究成果。但从长远来看，这可能不是最好的方法：例如，最好不要立即分享一项潜在的危险技术。在任何情况下，我们都会放弃我们所有研究成果，并希望这些成果归于全世界，而不是任何一家机构。
OpenAI 是否认为，让尽可能多的人拥有最复杂的人工智能是人类防止过于聪明的人工智能落入私人手中、以某种方式向世界发动攻击以达到恶意目的的最好机会？
我们相信，利用人工智能来扩展个人意志是确保人工智能保持有益的最有希望的途径。这很有吸引力，因为如果有许多具有大致相同能力的代理，它们就可以控制任何一个坏人。但我不会声称我们拥有所有的答案：相反，我们正在建立一个既能寻找这些答案，又能采取最佳行动的组织，无论答案是什么。
谢谢！
– gbd
伊隆·马斯克致格雷格·布罗克曼（抄送：萨姆·特勒） - 2016 年 3 月 21 日
听起来不错
萨姆·特勒致伊隆·马斯克——2016 年 4 月 27 日
[亚历克斯·汤普森转发给伊隆·马斯克的消息]
嗨，萨姆，
希望您今天过得愉快，很抱歉打断您问另一个问题。Maureen 想看看马斯克先生对扎克伯格先生自采访以来的一些公开评论有何反应。特别是，他将马斯克先生称为“歇斯底里的人”，因为他对人工智能感到恐惧，并教训那些“散布恐慌”的人人工智能的危险。我在下面提供了扎克伯格先生评论的更多细节。
最近在德国被问及马斯克的担忧时，扎克伯格称其为“歇斯底里”，并称赞了人工智能的突破，其中包括一个系统，他声称该系统可以通过手机对皮肤病变进行癌症诊断，准确度堪比“最好的皮肤科医生”。
他说：“除非我们真的把事情搞砸了，否则机器永远都是服从的，而不是“超人”。
“我认为我们可以开发人工智能，让它为我们工作并帮助我们……有些人散布恐慌，说人工智能会带来巨大的危险，但在我看来，这种说法过于牵强，而且比起由于疾病蔓延、暴力等原因造成的灾难，这种可能性要小得多。”或者正如他在四月份的 Facebook 开发者大会上表达的理念：“选择希望而不是恐惧。”
——
亚历克斯·汤普森
《纽约时报》
伊隆·马斯克致萨姆·特勒 - 2016 年 4 月 27 日
历史清楚地表明，强大的技术是一把双刃剑。人工智能可以说是所有技术中最强大的，但如果你认为它只有一把剑，那就太愚蠢了。
微软的人工智能聊天机器人最近的例子表明，人工智能可以迅速产生极其负面的影响。明智的做法是谨慎对待人工智能的出现，确保其权力得到广泛分配，而不是由任何一家公司或个人控制。
这就是我们创建 OpenAI 的原因。
Sam Altman致 Elon Musk，（抄送：Sam Teller）- 2016 年 9 月 16 日
以下是微软的条款。6000万美元的计算费用为1000万美元，以及我们对他们在云中部署的内容的意见。如果您有任何反馈，请告诉我。
萨姆
Microsoft/OpenAI 条款
伊隆·马斯克致萨姆·奥特曼（抄送：萨姆·特勒）- 2016 年 9 月 16 日
这实际上让我感到恶心。这太糟糕了，这正是我对他们的期望。
CNTK v2、Azure Batch 和 HD-Insight 的评估、推广和使用： OpenAI 将评估 CNTK v2、Azure Batch 和 HD-Insight 的研究成果，并就 Microsoft 如何改进这些产品提供反馈。OpenAI 将与 Microsoft 合作，向其研究和开发者生态系统推广这些产品，并将 Microsoft Azure 作为其首选的公共云提供商。OpenAI 将自行决定采用这些产品，只要这对其研究有意义
假设我们愿意让微软将空闲的计算时间捐赠给 OpenAI，并让大家知道这一点，但我们不想签订任何合同或同意“宣传”。他们可以随时关闭我们的服务，我们也可以随时离开。
Sam Altman致 Elon Musk，（抄送：Sam Teller）- 2016 年 9 月 16 日
我读完该部分后也有同样的反应，他们已经同意放弃。
我们最初只是希望捐赠太空周期，但团队希望更确定是否有可用容量。但我会与微软合作，确保没有任何附加条件
伊隆·马斯克致萨姆·奥特曼（抄送：萨姆·特勒）- 2016 年 9 月 16 日
我们应该低调行事。无论如何都不确定。没有合同。
Sam Altman致 Elon Musk，（抄送：Sam Teller）- 2016 年 9 月 16 日
好的，看看我能从这个方向得到多少钱。
萨姆·特勒致伊隆·马斯克——2016 年 9 月 20 日
微软现在愿意以 5000 万美元的价格签订该协议，并“由 OpenAI 自行决定采取诚意行动”，并拥有随时终止合同的完全权利。无需宣传。不附加任何条件。看起来不像是微软蹩脚的营销棋子。可以继续吗？
伊隆·马斯克致萨姆·特勒 – 2016 年 9 月 21 日
如果他们不在主动消息传递中使用这个功能，我没意见。如果看起来不像微软的营销婊子，那么价值将远远超过 5000 万美元。
伊利亚·苏茨克韦尔致伊隆·马斯克、格雷格·布罗克曼 - 2017 年 7 月 20 日
- 机械手现在可以在模拟中解决魔方：
实体机器人将于九月做同样的事情
- 1v1 机器人不再可利用
它不再能被“非常规”策略打败
有望在一个月内击败所有人类
- 运动竞技机器人：
- 发布了一个可以同时从各个角度欺骗相机的对抗样本：
- DeepMind 直接使用了我们的一种算法来产生他们的跑酷结果：
DeepMind 的成果：
DeepMind 的技术论文明确指出他们直接使用了我们的算法
- 接下来：
设计营利结构
与 Cerebras 协商合并条款
对 Cerebras 进行更多尽职调查
Shivon Zilis致埃隆·马斯克（抄送：Sam Teller）- 2017 年 8 月 28 日
伊隆，
正如我提到的，Greg 要求在本周末讨论一些事情。Ilya 最终加入了，他们几乎分享了他们仍在思考的所有事情。这是那次随机谈话的提炼……归结为 7 个未解答的问题，下面是他们的评论。请注意，我并不提倡任何这些，只是组织和分享我听到的信息。
1. 短期控制结构？
- 是否要求绝对控制？他们想知道，如果其他人（不仅仅是他们三个人，也许是更广泛的董事会）对方向意见不一，那么是否存在某种创造性的否决条款？
2. 控制和过渡的持续时间？
-*不可协商*的条款似乎是一项铁定的协议，即如果创建了 AGI，则不会让任何一个人拥有绝对控制权。满足这一条件意味着，无论他们三人发生什么，都可以保证在 2-3 年的初始阶段后分配对公司的权力。
3. 花费的时间？
-Elon 想花多少时间在这上面？他实际上能花多少时间在这上面？时间范围是多长？是每周一小时，还是十小时，还是介于两者之间？
4. 花费的时间该如何处理？
-他们真的不知道他喜欢在其他公司如何度过时间，也不知道他想如何花时间在这件事上。Greg 和 Ilya 相信他们可以很好地构建 SW/ML 方面。他们对硬件方面没有信心。他们似乎希望 Elon 能花一些时间在这方面，因为这是他们的弱点，但他们确实希望他在他感兴趣的所有领域都能得到帮助。
5. 花费的时间与控制量的比例？
-他们喜欢时间少/控制少，喜欢时间多/控制多，不喜欢时间少/控制多。他们担心如果花费的时间太少，就没有足够的时间讨论相关背景信息，从而做出正确的决定。
6. 股权分割？
-Greg仍然本能地坚持平等分配。我个人不同意他的这种本能，他要求并愿意听取其他可以用来重新调整他的心理模型的东西。
-Greg指出，Ilya通过在 Google 上展示自己的赚钱潜力，在某种程度上已经做出了数百万美元的贡献。
-他们担心的一个问题是拟议的员工数量太少。
7. 资本化策略？
-他们的本能是一开始就筹集超过 1 亿美元的资金。他们认为，仅他们所需的数据中心就需要这么多资金，因此他们更愿意筹集更多资金。
要点：
不确定这些是否可行，但仅从听取他们抛出的所有数据点来看，以下内容可以满足他们当前的棘手问题：
-每周花费 5-10 小时，几乎完全掌控，或者花费更少的时间，更少的控制。
- 针对极端情况（不仅仅是 Greg / Sam / Ilya）具有创造性的短期覆盖。
-无论 Greg / Sam / Ilya 的命运如何，一份严格的 2-3 年少数股权控制协议。
- 初始融资 2 亿至 10 亿美元。
-Greg 和 Ilya 的股份最终比 Elon 的股份高出 1/10，但差别并不大（这仍然是最模糊的）。
-增加员工队伍。
Elon Musk致 Shivon Zilis，（抄送：Sam Teller）- 2017 年 8 月 28 日
这太烦人了。请鼓励他们去创业。我受够了。
Ilya Sutskever致 Elon Musk、Sam Altman（抄送：Greg Brockman、Sam Teller、Shivon Zilis）- 2017 年 9 月 20 日
埃隆、萨姆、
这个过程是我和格雷格参与过的最高风险对话，如果项目成功，它将成为世界上最高的风险对话。对我们所有人来说，这也是一次非常私人的对话。
昨天，当我们在考虑根据非招揽协议做出最终承诺时，我们意识到我们犯了一个错误。我们有几个重要的担忧，但我们还没有向你们提出。我们没有提出这些担忧，因为我们害怕：我们害怕损害我们的关系，害怕你们看不起我们，或者失去你们这个合作伙伴。
我们的担忧有可能无法解决。我们真心希望情况不会如此，但我们知道，如果我们现在不讨论这些问题，我们肯定会失败。我们希望我们能够解决这些问题，并继续共同努力。
马斯克：
我们真的想和你们一起工作。我们相信，如果我们联手，我们完成任务的成功率就会最大。我们的优势最大。这是毫无疑问的。我们非常渴望和你们一起工作，我们很乐意放弃股权、个人控制权，让自己容易被解雇——无论需要付出什么代价来和你们一起工作。
但我们意识到，我们在思考控制对世界的影响时过于粗心。由于这看起来过于傲慢，我们并没有认真考虑成功的影响。
当前的结构为您提供了一条道路，最终您将单方面绝对控制 AGI。您表示您不想控制最终的 AGI，但在这次谈判中，您向我们表明绝对控制对您来说非常重要。
举个例子，你说你需要成为新公司的首席执行官，这样每个人都会知道你才是负责人，尽管你也说过你讨厌担任首席执行官并且宁愿不担任首席执行官。
因此，我们担心，随着公司真正朝着 AGI 迈进，你会选择保留对公司的绝对控制权，尽管你目前的意图并非如此。我们不同意你的说法，即我们离开的能力是我们最大的力量，因为一旦公司真正走上 AGI 的轨道，公司将比任何个人都重要得多。
OpenAI 的目标是让未来更美好，避免 AGI 独裁。你担心 Demis 会创造一个 AGI 独裁。我们也是。因此，创建一个你可以选择成为独裁者的结构是一个坏主意，尤其是考虑到我们可以创建其他一些可以避免这种可能性的结构。
我们还有一些较小的担忧，但我们认为在这里提一下是有用的：
如果我们决定收购 Cerebras，我强烈认为这将通过特斯拉来完成。但如果我们也可以在 OpenAI 内部完成，为什么要这样做呢？具体来说，令人担忧的是，特斯拉有责任为股东实现股东回报最大化，这与 OpenAI 的使命不一致。因此，总体结果可能对 OpenAI 来说并不是最佳的。
我们认为，非营利组织 OpenAI 之所以成功，是因为你和 Sam 都参与其中。Sam 真正起到了平衡你们的作用，这非常有成效。至少到目前为止，Greg 和我都不太能平衡你们。我们觉得，即使是这次谈判也证明了这一点，我们准备将长期 AGI 控制问题掩盖起来，而 Sam 则坚持自己的立场。
萨姆：
当 Greg 和我陷入困境时，你总能给出深刻而正确的答案。你一直在非常深入和彻底地思考如何解决这个问题。Greg 和我了解技术执行，但我们不知道结构决策在未来一个月、一年或五年内会如何发挥作用。
但在整个过程中，我们不能完全信任您的判断，因为我们不了解您的成本函数。
我们不明白为什么 CEO 头衔对你如此重要。你陈述的理由已经改变，很难真正理解是什么在推动它。
AGI 真的是你的主要动机吗？它与你的政治目标有何关联？你的思维过程随着时间的推移发生了怎样的变化？
格雷格和伊利亚：
在这次谈判中，我们也犯了不少错误，下面我们将列出其中一些（Elon 和 Sam，我相信你们还有很多要补充的……）：
在这次谈判中，我们意识到，我们让 2-3 年后的经济回报来主导我们的决策。这就是我们没有强行控制的原因——我们认为我们的股权已经足够好了，所以为什么要担心呢？但这种态度是错误的，就像人工智能专家的态度一样，他们不认为人工智能安全是一个问题，因为他们并不真的相信他们会建立 AGI。
我们在谈判中没有说出全部真相。我们有自己的借口，但这损害了谈判进程，我们可能会因此失去 Sam 和 Elon。
我们已经承担了足够多的负担，我们认为开会讨论这个问题非常重要。如果我们不这样做，我们的合作就不会成功。我们四个人今天能开会吗？如果我们都说实话，解决问题，我们创建的公司将更有可能承受它将经历的强大力量。
- 格雷格和伊利亚
伊隆·马斯克致伊利亚·苏茨克韦尔 (抄送：萨姆·奥特曼；格雷格·布罗克曼；萨姆·特勒；希冯·齐利斯) - 2017 年 9 月 20 日 (下午 2:17)
伙计们，我受够了。这是最后一根稻草。要么自己做点什么，要么继续将 OpenAI 作为非营利组织。除非你下定决心留下来，否则我将不再资助 OpenAI，否则我就是个傻瓜，基本上是在为你提供免费资金来创建一家初创公司。讨论结束了
伊隆·马斯克致伊利亚·苏茨克韦尔、萨姆·奥特曼（抄送：格雷格·布罗克曼、萨姆·特勒、希冯·齐利斯） - 2017 年 9 月 20 日（下午 3:08）
需要明确的是，这并不是要求接受之前讨论内容的最后通牒。这些内容不再存在。
Sam Altman致 Elon Musk、Ilya Sutskever（抄送：Greg Brockman、Sam Teller、Shivon Zilis）- 2017 年 9 月 21 日
版权声明：
作者：lichengxin
链接：https://www.techfm.club/p/169530.html
来源：TechFM
文章版权归作者所有，未经允许请勿转载。
THE END
二维码
共有 0 条评论