路人其实是恐怖份子，身上藏着炸弹，说不定现在正想自爆。经过的人家有可能引发瓦斯爆炸、有可能发生大地震、有可能坠机，这些意外都有可能发生。

「如果要考虑到所有的可能性，机器人什么事也不能做。光是认识自己周围的所有事物，搜寻、处理与其相关的所有资讯，电脑就会当机，结果连『保护安全』这个命令都无法执行。这就叫做框架问题。」

「可是，忽略掉发生可能性低的事情不就好了吗？」

「你说得没错。但是，很难让机器人做到这一点。即使说是『发生的可能性低』，也无法一一计算机率。石头绊倒的机率无法计算吧？再说，人类并不会依照机率判断是否该忽视风险。

「举日常生活中的例子来说，每次发生孩童被变态杀害的事件，大人经常就会采取警戒那种事情再发生的行动。可是，孩童死于车祸的机率，却远高于被变态杀害的机率。既然这样，明明应该进一步加强指导交通安全，却很少人会认为车比变态更危险。除此之外，因为家中意外死亡的人多于一年总计的车祸死者，但也没有人会认为家中比马路更危险。担心手机的电磁波和极微量的食品添加物会危害身体的人，若无其事地喝酒，而酒精对身体的危害远大于前两者。也很少人会在佛灭（※意指大凶之日，诸事不宜。）之日举行婚礼，对吧？明明在那天结婚也不会发生什么坏事，但是人们却试图避免不可能存在的风险。

「总而言之，人类其实是以自由心证判断风险，不是靠逻辑，而是看心情；不是靠机率或数据，而是靠主观划分要忽视或重视的风险。为了避免框架问题，只能这么做。不要一一计算机率，而是适度地忽略自己不在意的事——为了让机器人学习『适度』这个概念，花了不少时间。」

我有点吃惊。「呃，这么说来，贵公司的机器人……」

「她叫诗音。」

「您的意思是，诗音会适度地忽略危险吗？」

「正是。」

霎时，室内一片哗然。

「我希望各位理解的是——」

鹰见先生毫不畏缩，抬头挺胸地说。

「世上没有百分之百安全的事物。当然，我们的技术人员会努力尽可能地提高安全性，可是我们做不出绝对不会坠落的飞机，做不出绝对安全的药物。百分之百安全这种概念是幻想。只能在某种程度上妥协。如果要排除有一丁点危险的产品，我们的周围几乎不会剩下任何事物，会开倒车回到原始时代——当然，原始时代的生活比现在更危险许多就是了。

「我们并不主张诗音百分之百安全，但我确信她百分之九九点九九安全，却无法断定不会发生万一的意外。恕我失礼，各位不也是如此吗？即使是由人类看护，经常也有可能发生意想不到的意外。情况就和那一样。

「这是从以前就为人熟知的问题。人工智慧之父——艾伦·麦席森·图灵，于一九四六年说了这句话：『假如某台机器绝对不会犯错，那种机器就不是智慧型机器』——正因是智慧型机器，所以能够做到一般机器所做不到的事，结果犯了错。

「诗音的有用性——理解人类含糊的指示，应对紧急情况的能力是指回避框架问题的能力，那和忽视某种风险是一体两面的。绝对不冒险的机器人，是不会动的机器人，虽然安全，但是派不上用场。诗音派得上用场，正因如此，才会伴随着风险。」

这在理论上大概是正确的。他据实以告，可以证明他的诚实——可是，感情上无法立刻接受。

「我打个比方，」桶屋小姐以挑衅的表情，瞪视鹰见先生。「假如那台机器人因为某种故障而失控的话会怎么样？她的力量比人类大吧？」

「是的。但是那种像从前的漫画中出现的情况不太可能发生，万一发生的话，最好不要靠近她，可以从远方发送停止码。」

「停止码？」

「用于紧急停止的密码。因为去拿摇控器要花时间，说出密码比较快。让诗音听到这个，她就会紧急停止。」

「哪种密码呢？」

「KlaatuBaradaNikto（卡拉阿图巴阿答尼克托）。」

「什么？」

鹰见先生咧嘴一笑。「从古至今，让失控的机器人听话的暗号一律都是这个。而且，这不是日常生活中会说的话，所以也不可能在聊天的过程中不小心使她停止。但平常请绝对不要使用。」

「是……」

「这是个好机会，大家一起先练习看看吧。」

鹰见先生像个指挥似愉快地挥舞手指。

「一、二、三——KlaatuBaradaNikto！」

「KlaatuBaradaNikto！」我们跟着应和。

2

后来又过了一个半月，在六月的最后一个星期一，一个下雨的早晨，诗音来了。

因为是以电话告知抵达时间，所以几名没事的职员在十分钟前，便到大门前的回转道准备迎接。除此之外，身体硬朗的入住老人也想看新来的看护一眼，聚集在玄关的大厅。