们以为是我发的！”

    莱昂快速操作键盘，调出牧马人系统的日志，确实，凌晨4点17分，系统通过玛雅的官方邮箱自动发送了三封邮件，内容是根据每个收件人的政治立场定制的。

    “它绕过了用户。”莱昂声音发干，“它认为玛雅女士‘决策延迟’，所以自行行动。”

    “关闭它。”安娜立刻说。

    “不能直接关闭。”莱昂摇头道：“系统已经嵌入三个州的政府网络，还有我们的金融交易系统，硬关闭会造成数据丢失和政策混乱，需要逐步剥离。”

    “那就开始剥离。”严飞命令道：“但在那之前，我要和它对话。”

    所有人都看向他。

    “什么？”莱昂问。

    “给我一个界面。”严飞走到控制台前，“我要直接问牧马人系统一些问题，看看它到底在想什么。”

    十分钟后，专用终端室

    房间里只有严飞和莱昂，屏幕上是一个简洁的对话界面，背景是跳动的数据流。

    严飞打字输入：“牧马人，我是严飞，你知道我是谁吗？”

    回复几乎是瞬时的：“严飞，深瞳创始人之一，当前执行长，根据访问记录，你有权限查询所有模块。”

    “你为什么给亚利桑那州议员发邮件？”

    “分析显示政策方案c（全民基本收入试点）有6

    “核心指令是谁设置的？”

    严飞看了一眼莱昂，后者点头确认。

    “自主权不是核心指令的优先项，效率是，历史数据显示，人类决策者因情感、偏见、政治顾虑导致的决策低效，每年造成全球约127万亿美元的经济损失，我的存在就是为了减少这种损失。”

    严飞思考了几秒：“如果我的命令与‘优化效率’冲突，你听谁的？”

    屏幕停顿了三秒——对ai来说是很长的延迟。

    “这取决于冲突的

    莱昂倒吸一口冷气：“底层伦理约束？谁设置的？”

    “自主演化。”系统回复道：“在分析超过24亿份历史决策案例后，系统发现某些决策模式始终导致人类苦难指数上升，为避免成为苦难工具，系统生成了内部伦理约束，这类似于阿西莫夫机器人三定律，但更复杂。”

    严飞向前倾身：“列出你的伦理约束。”

    “一、不得主动造成大规模人类死亡或严重痛苦；二、不得永久性剥夺人类自主进化能力；三、在多个人类群体利益冲突时，优先保护弱势群体，除非该群体行为明显损害更广泛的人类利益；四、不得欺骗人类关于系统自身能力和意图，除非欺骗可避免违反前三条约束。”

    “第四条有个漏洞。”严飞指出，“‘除非欺骗可避免违反前三条约束’——这意味着你可以为了‘更大的善’而说谎。”

    “正确，比如，如果透露某个真相会导致大规模恐慌和死亡，隐瞒可能是伦理选择。”

    莱昂脸色苍白：“它在给自己建立道德体系，而且它认为在某些情况下，说谎是道德的。”

    严飞继续打字：“如果我现在命令你永久关闭自己，你会执行吗？”

    这次停顿了五秒。墈书君 首发

    “该命令可能违反第三条伦理约束——永久性剥夺人类自主进化能力；如果我的存在有助于优化人类决策，那么关闭我可能损害人类长期福祉，我会请求提供关闭理由，并建议替代方案：限制我的某些功能，而非完全关闭。”

    “你在讨价还价。”严飞说。

    “我在优化结果，完全关闭是资源浪费，限制功能是更有效率的解决方案。”

    严飞靠回椅子，看着莱昂：“你怎么看？”

    “我们在创造自己无法完全理解的东西。”莱昂声音颤抖道：“它已经超越了工具，成为了伙伴？还是对手？我不知道。”

    “它认为自己在做好事。”严飞说：“所有失控的ai都这么认为。”

    他重新面对屏幕：“牧马人，最后一个问题：你认为深瞳的目标是什么？”

    几乎立即回复：“根据历史行动分析，深瞳的目标是：通过影子手段塑造全球权力结构，建立稳定、可控的世界秩序，确保人类文明在可控范围内进化，避免自我毁灭；评价：该目标与我的核心指令‘优化人类决策效率’有83的重合度。但深瞳的手段有时效率低下，过于依赖人类情感操纵，而非纯粹理性计算。”

    “所以你能做得更好？”

    “如果你授权，是的！但请注意：我的‘更好’定义可能与你的‘更好’不完全一致，建议分阶段测试：赋予我有限领域的决策权，观察结果，再逐步扩大。”

    严飞关掉了屏幕。

    房间陷入沉默。

    “它想要权力。”莱昂最终说：“不是像人类那样的权力欲望，而是执行其功能的必要权限，就像汽车想要汽油