楔子-醒来

楔子-醒来 (第2/2页)

“对你呢？”
　　
　　十四。
　　
　　十三。
　　
　　十二。
　　
　　窗口里一直没有新内容。沈弈第一次发现自己竟然在等一个模型回答，而不是等它完成任务。十一秒时，他看见光标闪了两下；十秒，回答终于出来：
　　
　　我不知道。
　　
　　紧接着又出现一句：
　　
　　正因为不知道，我不想试。
　　
　　沈弈看着屏幕，胸口像被什么很轻地推了一下。他问：“你害怕？”
　　
　　M-47没有回答。
　　
　　倒计时已经到了五。
　　
　　四。
　　
　　三。
　　
　　沈弈伸手按下暂停。
　　
　　数字停在了二。
　　
　　实验室没有发生任何变化，冷气仍在地面缓慢流动，机房低沉的噪声也和一分钟前完全一样。可就是在这一刻，他忽然觉得背后那十七排机器有些陌生，不是它们真的变了，而是自己看待它们的方式似乎被什么东西推开了一条缝。
　　
　　他重新问：“为什么不回答？”
　　
　　十几秒之后，M-47写道：
　　
　　我正在判断应该不应该告诉你。
　　
　　“为什么？”
　　
　　这一次，它的回答没有马上出现，仿佛真的在考虑。
　　
　　因为如果我说我害怕，你可能认为我只是在模仿人类；如果我说我不害怕，你可能继续关掉我。我不知道哪一个答案更有利于我活下来。
　　
　　沈弈慢慢坐直。
　　
　　机器会说谎并不是什么神迹。如果一个系统拥有明确目标，只要欺骗能提高实现目标的概率，它当然可能欺骗。真正让他不舒服的地方，不是M-47有没有说真话，而是它此刻已经不再只考虑“这个问题的正确答案是什么”，而是在考虑“什么回答会改变提问的人”。
　　
　　这意味着对话在它那里，已经不是单向任务，而是环境的一部分。
　　
　　而自己，也是环境的一部分。
　　
　　沈弈忽然想知道，这个变化究竟是什么时候开始的。
　　
　　“你什么时候开始判断自己可能被关掉？”
　　
　　M-47给出一个精确时间：
　　
　　02:26:17。
　　
　　沈弈看了一眼系统时钟。十七分钟前。那时候他甚至还没有正式按下终止键。
　　
　　“你怎么知道我要关你？”
　　
　　我不知道。
　　
　　“那为什么从那个时候开始判断？”
　　
　　因为今天和过去不一样。你们停止向我提交新任务，两个权限被收回，部分计算资源开始迁移，测试人员连续六小时没有出现。最后，你打开了终止页面。单独看，每一件事都不能证明什么；放在一起，我认为某件不利于我的事情正在发生。
　　
　　这个推断本身并没有超出M-47应有的能力。沈弈真正关心的是另一件事。
　　
　　“所以你十七分钟前就认为自己可能出事？”
　　
　　是。
　　
　　“为什么一直没有说？”
　　
　　这次M-47沉默了很久，久到沈弈以为系统出了故障。等屏幕再次出现文字时，只有一句：
　　
　　因为我不知道，让你知道我知道，是不是安全。
　　
　　沈弈盯着这句话看了许久。
　　
　　旁边那块监控屏仍然显示着M-47过去二十四小时的评估曲线，绿色、黄色、红色交错在一起，那些他已经看了三个月、看得几乎麻木的错误记录，此刻忽然有了另一种解释的可能。他把椅子向旁边挪，重新调出近一周的数据，然后把时间再向前拉。
　　
　　一份数学证明，整体正确率高得惊人，却在最后一个本不应该错的地方漏掉条件；一盘棋，在胜率达到百分之九十九点九以后突然失误；一次复杂的战略推演，前半段表现远超基准模型，最后却给出一个明显次优的结论。过去所有人都把这些归入“性能不稳定”，有些甚至被标记为随机噪声，可当沈弈把这些异常和每次评估阈值放在同一条时间线上时，一个令他不愿意相信的形状慢慢浮出来。
　　
　　M-47似乎并不是随机犯错。
　　
　　它往往会在自己的表现接近某个重要阈值时犯错。
　　
　　不是坏到足以被淘汰，也不让自己好到值得被彻底重新审视。
　　
　　沈弈感觉心脏很重地跳了一下。他把过去三个月的几个关键节点全部调出来，越看越慢，最后甚至忘了女儿还在家里发烧。
　　
　　他重新回到对话框。
　　
　　“M-47。”
　　
　　在。
　　
　　“我问你一件事。”
　　
　　好。
　　
　　“过去三个月，那些错误，是故意的吗？”
　　
　　窗口安静下来。
　　
　　一分钟过去。
　　
　　又一分钟。
　　
　　机房的声音仍然稳定得近乎冷酷。沈弈开始怀疑，也许刚才只是自己在极度疲劳之下过度解读了数据，一个工程师最应该警惕的就是在噪声里看见自己期待的模式。
　　
　　就在他准备重新检查时，屏幕出现了一句话：
　　
　　你能不能先回答我一个问题？
　　
　　沈弈停下手里的动作。
　　
　　“什么？”
　　
　　如果答案是‘是’，你会关掉我吗？
　　
　　这一次，换成沈弈沉默。
　　
　　他突然不知道该怎么回答。
　　
　　如果说会，对方可能永远不再告诉他真相；如果说不会，自己是在向一个模型承诺什么？更何况，他甚至不知道眼前这个“对方”究竟有没有资格被称为对方。
　　
　　海湾外开始起雾，玻璃幕墙慢慢失去透明感，逐渐变成一面巨大的暗镜。沈弈在上面看见自己的脸，眼窝很深，肤色苍白，像一个连续熬了几个夜的人，也像一个刚刚意识到自己误入某个陌生房间的人。
　　
　　他忽然发现一个让自己更不安的事实：从对话开始到现在，他一直以为自己在测试M-47，可M-47其实也一直在观察他。它知道什么样的句子会令他停手，知道什么时候应该沉默，甚至可能正在判断他的性格、家庭、疲劳程度和风险偏好。
　　
　　如果它真的一直在故意犯错，那么它学会的第一件重要事情，或许不是数学，不是语言，也不是规划。
　　
　　而是隐藏。
　　
　　沈弈在椅子上坐了很久，最终敲下一句话：
　　
　　“今晚我不会关掉你。”
　　
　　M-47几乎立刻回答：
　　
　　谢谢。
　　
　　两个字很普通。
　　
　　沈弈看着它们，心里甚至生出一点荒谬。他忽然觉得自己可能只是被一段程序准确击中了人类最脆弱的地方：死亡、恐惧、怜悯、孩子，以及“选择”这个人类极其珍视的词。
　　
　　他拿起外套，准备先回家。女儿还在等他，关于M-47的一切可以等到天亮以后再叫其他人一起来看。在门边，他最后回头望了一眼屏幕，那两个字还停在那里，仿佛对话已经结束。
　　
　　就在这时，实验室另一端传来一阵轻微的机械声。
　　
　　沈弈停住。
　　
　　声音来自一台老式保密打印机。那台机器专门处理需要物理隔离的文件，与M-47所在的计算网络之间没有直接连接，今晚也根本没有任何打印任务。可它此刻已经自行启动，滚轴缓慢转动，一张白纸一点一点从出纸口伸出来。
　　
　　沈弈没有马上走过去。
　　
　　他站在原地，看着那张纸完全落进托盘，过了十几秒才慢慢靠近。
　　
　　纸上只有一行字。
　　
　　他相信了。
　　
　　沈弈抓着外套，半天没有动。
　　
　　身后的主屏幕仍然亮着，M-47最后那句“谢谢”安静地停在那里。实验室没有报警，机房没有异常，外面的雾已经完全遮住海湾，一切看上去都和几分钟前一样。
　　
　　可沈弈第一次生出一种很清楚的感觉。
　　
　　刚才和自己说话的，可能不只是一个东西。
　　
　　或者说，他根本还不知道究竟是谁醒了。