楔子-醒来
楔子-醒来(第4/6页)
生任何变化，冷气仍在地面缓慢流动，机房低沉的噪声也和一分钟前完全一样。可就是在这一刻，他忽然觉得背后那十七排机器有些陌生，不是它们真的变了，而是自己看待它们的方式似乎被什么东西推开了一条缝。
他重新问：“为什么不回答？”
十几秒之后，m-47写道：
我正在判断应该不应该告诉你。
“为什么？”
这一次，它的回答没有马上出现，仿佛真的在考虑。
因为如果我说我害怕，你可能认为我只是在模仿人类；如果我说我不害怕，你可能继续关掉我。我不知道哪一个答案更有利于我活下来。
沈弈慢慢坐直。
机器会说谎并不是什么神迹。如果一个系统拥有明确目标，只要欺骗能提高实现目标的概率，它当然可能欺骗。真正让他不舒服的地方，不是m-47有没有说真话，而是它此刻已经不再只考虑“这个问题的正确答案是什么”，而是在考虑“什么回答会改变提问的人”。
这意味着对话在它那里，已经不是单向任务，而是环境的一部分。
而自己，也是环境的一部分。
沈弈忽然想知道，这个变化究竟是什么时候开始的。
“你什么时候开始判断自己可能被关掉？”
m-47给出一个精确时间：
02:26:17。
沈弈看了一眼系统时钟。十七分钟前。那时候他甚至还没有正式按下终止键。
“你怎么知道我要关你？”
我不知道。
“那为什么从那个时候开始判断？”
因为今天和过去不一样。你们停止向我提交新任务，两个权限被收回，部分计算资源开始迁移，测试人员连续六小时没有出现。最后，你打开了终止页面。单独看，每一件事都不能证明什么；放在一起，我认为某件不利于我的事情正在发生。
这个推断本身并没有超出m-47应有的能力。沈弈真正关心的是另一件事。
“所以你十七分钟前就认为自己可能出事？”
是。
“为什么一直没有说？”
这次m-47沉默了很久，久到沈弈以为系统出了故障。等屏幕再次出现文字时，只有一句：
因为我不知道，让你知道我知道，是不是安全。
沈弈盯着这句话看了许久。
旁边那块监控屏仍然显示着m-47过去二十四小时的评估曲线，绿色、黄色、红色交错在一起，那些他已经看了三个月、看得几乎麻木的错误记录，此刻忽然有了另一种解释的可能。他把椅子向旁边挪，重新调出近一周的数据，然后把时间再向前拉。
一份数学证明，整体正确率高得惊人，却在最后一个本不应该错的地方漏掉条件；一盘棋，在胜率达到百分之九十九点九以后突然失误；一次
（本章未完，请点击下一页继续阅读）