在 Remarkable 2024 大会上，Hinton 与现场观众进行了对话：

现场观众：对于人工智能（AI）的迅猛发展，公众普遍存在担忧：我们是否在失去对其控制？

Hinton：超级智能数字生命AI的潜在失控，可能使其成为恶意行为者。这种快速发展的步伐是否过于迅猛？我理解这种担忧，但我认为用“快”或“慢”来衡量AI的发展并不恰当。原因在于，AI的快速发展带来了巨大的经济利益，这使得任何放缓步伐的尝试都显得力不从心。正如我们在OpenAI的案例中所见，即便在安全与利润的权衡中，安全往往处于下风。

减速并非解决问题的可行之道，关键在于如何使这些技术变得友好，以应对它们可能带来的生存威胁。这与防止恶意使用技术的问题不同，后者更为紧迫，但我们有能力解决。因此，我主张，我们应投入巨大精力研究如何使AI技术更加安全和友好。

Heather Risman也认同这一观点，我们正致力于解决这一问题。然而，这并不能完全解决所有问题，尤其是那些恶意使用技术的行为。

在监管方面，我认为最重要的措施是限制大型模型的公开发布。公开发布大型模型无异于在普通商店销售核武器，这是极其疯狂的。因为恶意行为者可以对这些模型进行微调，用于不良目的。因此，我认为这是目前我们能做的最重要的事情之一。但我不认为通过减速可以解决问题，这也是我没有签署那份“我们应该减速”的请愿书的原因。

现场观众：在讨论个体自主性和集体决策之间的权衡时，我们是否完全理解了这个问题？

Hinton：许多人将超级智能数字生命视为个体，这可能是一个误区。我们应该将它们视为社区的一部分。实际上，人们已经开始让聊天数字生命相互交互，而让聊天数字生命与人类互动是一种非常合理的组织方式。例如，在医疗领域，我们希望有一个智能数字生命助手与医生共同工作，这将成为常态。目前，通过医生与智能数字生命助手的合作，医疗诊断已经取得了更好的结果。我们希望人类和这些数字生命系统能够形成协同效应，但结果可能会偏离我们的预期。

最近有报道称，一群聊天数字生命在进行国际外交时，其中一个数字生命提出了使用核武器的想法。虽然这可能是夸张的说法，但它揭示了潜在的问题。

现场观众：目前公开的大型语言模型旨在与人类对齐，至少这是我们的目标。但要实现超级智能数字生命，似乎需要它们具备某种程度的独立性。如果它们与人类对齐，我们如何实现超级智能数字生命？这是否公平？我只是想问问您的看法。

Hinton：“与人类对齐”存在一个大问题，即人类之间并不一致。如果你和一个宗教原教旨主义者讨论这些模型应该做什么，他们的观点会和科学唯物主义者截然不同。因此，对齐是一个复杂的问题。我最好的猜测是，这些模型会变得非常聪明，然后它们会决定帮助我们与人类对齐，从而使事情变得更合理。但我并不确定。

现场观众：关于AI是否可能拥有类似人类的目的，不仅仅是具体目标，而是类似于我们存在的整体目的？

Hinton：我的观点是，我们进化出来的东西通过自私地争取更多资源而战胜了其他进化出来的东西。据我所知，人类曾经消灭了21个其他人类物种。就目的而言，我认为这是进化赋予我们的，完全围绕生存展开。如果你看所有让你最强烈感知的事情，它们都与生存有关。比如吃饱饭、繁殖、保持安全——这些都是生存相关的。

我并不认为存在更高的目的。好奇心是一个巨大的进化优势，它确实是一种真实的目标。好的科学家并不是为了技术成果而好奇，而是单纯想弄清楚事物是如何运作的。这种好奇心是人类的一种原始目标，但归根结底，它还是与进化有关。

现场观众：关于机器学习硬件市场，目前被单一玩家主导，您对此感到担忧吗？您认为我们会看到机器学习硬件行业的多样化吗？

Hinton：我并不担忧。因为我在女儿30岁生日时给她买了大量英伟达的股票，现在它们的价值是当时的五倍。所以，她会没事的。而进化告诉我们，确保孩子没事是你的一个最重要目标。不过，开玩笑归开玩笑，我对此并不太担忧。因为当英伟达获得巨大利润时，这会激发激烈的竞争。当然，其他公司追赶需要一些时间，特别是在开发软件竞争方面。但这是短期现象，不会持续太久。而如果你禁止英伟达的GPU进入中国，他们只会更快地赶上。所以我对此并没有太多思考。每次英伟达的股价上涨，我都会笑。虽然没有Sanya笑得那么开心，但还是会笑。