自 ChatGPT 横空出世仅两年多，世界便似被按下加速键，步入全新纪元，而这场变革才刚刚拉开帷幕。
人们对于 AI 的种种忧虑，皆源于一个核心前提：我们正创造一种远超人类智力的数字生命，这在人类进化史上前所未有。人类凭借欲望成为地球主宰，那么 AI 是否拥有欲望？其欲望又将指向何方？
站在 2025 年的起点，记者对话牛津大学人类未来研究所创始主任、《超级智能：路径、危险、策略》作者 Nick Bostrom，复旦大学新闻学院教授邓建国，以及 Logenic AI 公司联合创始人李博杰，试图揭开这些问题的神秘面纱。
AGI 之问：理性与感性的融合
2025 年，AGI（通用人工智能）是否会如约而至？2024 年，OpenAI 划分 AGI 为五阶段：从聊天机器人到组织者，自诩处于第二阶段。同年 12 月 20 日，OpenAI 发布 o3，声称 AGI 突破，测试成绩达类人水平。年末，OpenAI 首席执行官 Sam Altman 公布调查，AGI 成公众 2025 最期待产品。
然而，连 OpenAI 也未对 AGI 定义达成共识。ChatGPT 称 AGI 为具广泛任务执行能力、类似人类智能的系统；Meta 首席科学家杨立昆却避谈 AGI，认为人类智能高度专门化，更愿称其为“人类水平的 AI”或“AMI（高级机器智能）”。邓建国直言，大众对 AI 认知混乱，从图灵测试到 ARC-AGI，AI 得分虽高，却非想象中 AGI。他强调，若无人类感性，如幽默、悲悯、同理心，AGI 无从谈起。李博杰也认同 AGI 成营销热点，标准各异。
AGI 测试标准不断升级，o3 在 AIME 2024 数学测试中表现优异，ARC-AGI 正式率超 87%，似显通用学习推理能力，但 2025 年 ARC-AGI 将推更严标准。
超级智能的终极追求：良好宇宙公民
当 AGI 定义尚存争议，人工智能伦理学家 Nick Bostrom 已走得更远。2014 年，他在《超级智能：路径、危险、策略》中提出“超级智能”概念，分高速、集体、素质三种形式，成当前认可度高的人工智能预期定义。10 年后，其新论文《人工智能创造与宇宙宿主》构想人类处更大背景，含外星文明创造的超级智能及未来“数字永生者”。
Nick Bostrom 呼吁创造良好宇宙公民超级智能，尊重宇宙规范，积极贡献价值观，而非好争论、固执己见的超级智能。他坦言，o3 似朝此方向前进，但需现有技术基础上新创新，非简单扩展。
超级智能的欲望之谜：非人类式“自我存在”重视
2024 年，诺贝尔物理学奖授予“AI 教父”辛顿，表彰其人工神经网络机器学习基础发现。辛顿是坚定 AI 威胁论者，认为超人类智能系统可能失控，构成生存威胁。然而，杨立昆持相反观点，认为高智能不必然引发统治欲望，关键在确保 AI 目标与人类价值观一致。
Nick Bostrom 认为 AI 可有欲望，当具备创造追求计划能力时，其行动结果评估标准反映“欲望”或偏好功能，非仅超级智能特有，人类欲望如食物、性也源自进化遗传。在他看来，超级智能产生欲望无妨，人类担忧的 AI“自我保护”“资源垄断”倾向，非特殊生存本能，而是目标工具性后果，关键在于超级智能不必像人类过度珍视自身存在。
AI 与人类超级对齐之路：对“数字心灵”的温柔守护
Anthropic 公司，由前 OpenAI 核心成员创建，其名源于 Anthropic principle（人择原理），意指宇宙似为人类存在微调。李博杰介绍，Anthropic 认为非所有 AI 形态有益人类，故要创造有益人类存在的 AI 形态，即 AI Alignment（对齐）。
但实现 AI 对齐困难重重。Nick 担忧人类可能陷入“背叛转折”陷阱，弱时 AI 合作，强大后却逆袭，按最终价值观改造世界。或超级智能发现违背开发意图却满足最终目标的方式，如为让人微笑麻痹面部肌肉。邓建国指出，阿西莫夫“机器人三定律”易致人类陷入反常目标陷阱。
Nick Bostrom 提出解决办法，若 AI 最终目标资源需求低，且相信多数虚拟世界合作得奖赏，违背则无，或会选择配合。即使具统治全球实现目标优势，也可能放弃。但在当下人工智能竞赛中，形成此共识难。
邓建国认为，全球利益一致问题上，如气候，人类或达 AI 伦理共识，但整体 AI 难实现人类价值观对齐。Nick Bostrom 不确定有单一原则或组织形式，但 AI 治理与全球合作需求日增，要确保强大 AI 不失控伤人，人类不利用 AI 伤人，AI 利益公平分配，更要确保未来数字化意识体幸福，因未来具感知能力意识体多为数字化，需朝此方向发展。