作为一名人工智能研究员，我常常会想到人类对人工智能的恐惧。
然而，目前我也很难想象我开发出来的计算机怎么样才能成为未来世界的怪物。有时就会像奥本海默在带头建造世界上第一颗核弹之后哀叹的那样，我会想我是否也会成为“世界的毁灭者”？
我想，我会在历史上留名，但确是臭名昭著。那作为一名人工智能科学家，我在担心什么呢？
对未知的恐惧
由科幻小说作家Arthur Clarke设想并最后由电影导演Stanley Kubrick制成的计算机HAL 9000就是一个很好的例子。在很多复杂的系统里，例如泰坦尼克号、美国航空航天局的航天飞机、切尔诺贝利核电站，工程师们把许多不同的组件放在一起。设计师们可能非常清楚每个单独的元素是如何工作的，但是当这些元素连接在一起时，他们就无法知之甚透，就会产生意外的后果。
所以不能完全了解的系统，往往会不受控制并出现意外的后果。一艘轮船的沉没，两架航天飞机的爆炸，遍布欧亚大陆的放射性污染，在每一场灾难都是一系列小差错导致的大灾难。
而在我看来，目前人工智能也落入了同样的境地之中。我们从认知科学中学习最新的研究结果，然后将其转化为一种程序算法并添加到现有的系统中。我们在还不了解智能认知的情况下，便开始对人工智能进行改造。
例如IBM的沃森和谷歌的Alpha系统，我们将强大的计算机能力和人造神经系统结合在一起，帮助他们取得了一系列令人惊叹的成就。如果这些机器出了差错，可能出现的结果是沃森不会喊“危险”了或者Alpha不能打败围棋大师了，但是这些错误都不是致命的。
然而，随着人工智能的设计变得更加复杂，电脑处理器变得更快，它们的技能也会得到提升。出现意外的风险也在增加，我们的责任也更重。我们经常说“人无完人”，那么我们创造的系统也肯定存在缺陷。
对滥用的恐惧
目前我正在应用“神经进化法”来开发人工智能，在可能引发的意外后果这一方面，我并不十分担心。我创造虚拟环境，开发数字生物从而使他们的大脑可以解决日益复杂的任务。我们会评估这些智能生物的表现，表现最好的会被挑选出来再次生产并研发下一代。这样，经过几代的进化，这些机器生物已经逐渐演变出了认知能力。
现在，我们正在给这些机器生物设定一些非常简但的任务，比如他们可以做简单的导航任务，做一些简单的决定等，但很快我们就会设计出能够执行更复杂任务更智能的机器，最终，我们希望可以达到人类的智力水平。
在这个过程中，我们会发现问题并解决问题。每一代机器都能更好地处理前几代机器曾经出现的问题。这帮助我们可以减少在未来他们真正进入世界时出现意外结果的概率。
此外，这种"代代相传“的改良方法还可以帮助我们发展人工智能的伦理道德。最终我们想要演变出是有可信赖性及利他主义这样人类道德的人工智能。我们可以设置一个虚拟环境，给那些表现出友善、诚实和同理心的机器奖励。可能这也是一种确保我们研发的是更听话的仆人或值得信赖的伙伴的方法。同时也可以减少出现冷酷杀手机器人的几率。
虽然这种“神经进化法”可能降低出现不可控结果的可能性，但它并不能防止滥用。但这是一个道德问题，而不是科学问题。作为一名科学家，我有说出真相的义务，我需要报告我在实验中发现的东西，不管这种结果我想不想说。我的重点不是决定我想要什么，而是将结果展示出来。
对社会掌权者的恐惧
虽然我是一名科学家，但我仍然是一个人。在某种程度上，我必须将希望和恐惧重新联系到一起。不管从政治上考虑还是道德上，我必须好好思考我的工作可能对整个社会产生的影响。
整个研究界或整个社会对于人工智能要做什么或者成为什么都没有一个明确的定义。当然，这可能是因为我们还不知道它的能力。但我们的的确确需要决定先进人工智能的预期发展结果。
人们关注的一个重要问题便是就业。机器人目前已经在进行一些诸如焊接汽车部件的体力劳动。不久的将来，他们可能也会做一些我们曾经认为是只有人类能够做到的认知工作。自动驾驶汽车的机器人可以取代出租车司机；自动驾驶的飞机的机器人可以取代飞行员。
在未来，当我们需要看病时，我们不用一直排队，然后等来一个可能已经非常疲惫的医生来给我们看病。我们可以通过一个已经获得所有医学知识的系统进行检查和诊断，并立即由一个不知疲倦的机器人来完成手术。法律建议可能来自一个全知的法律数据库;投资建议可能来自市场预测系统。
也许有一天，所有的人类工作都将由机器完成。就连我自己的工作也可以做得更快，因为有大量机器不知疲倦地研究如何制造更智能的机器。
在我们当前的社会，自动化会使更多的人失去工作，那些拥有机器的人将会越来越有钱而其他人则会越来越穷。这不是一个科学问题，而是一个亟待解决的政治和社会经济问题。
对噩梦场景的恐惧
还有最后一种恐惧：如果人工智能持续发展并最终超越人类智能，那么超智能系统会发现它不再需要人类了吗？当一个超智能生物可以完成我们永远不能完成的事情，我们人类将如何定义我们自己的位置？我们可以阻止被我们自己创造的机器人从地球抹去？
到那时候一个关键问题是：我们该如何说服超级智能留我们在它们身边？
我想我会说，我是一个好人，是我创造了你们。我要唤起超智能的同情心使它把我留在身边。而我则一个富有同情心的人类生存下去。多样性本身就有其价值，宇宙如此之大以至于人类在其中的存在可能根本不重要。
但我不能代表全人类，代表全人类提出一个统一的观点太难了。而当我仔细审视我们自己的时候。我们有一个致命的缺陷：我们彼此厌烦。我们互相开战。我们不平等分配食物、知识和医疗援助。我们污染地球。世上有很多美好的事情，但是那些错误的，糟糕的都让人类的存在逐渐变得不那么重要。
幸运的是，我们目前还不需要证明我们存在的理由。我们还有时间，大约在50到250年之间，这取决于人工智能的发展速度。作为一个物种，我们应该团结在一起，得出一个很好的答案来解释为什么超级智能不应该把我们消灭掉。但这很难做到：我们嘴上说着我们欢迎多样性，但实际上却并非如此，就像我们说我们想拯救地球生物，但最后并非能地做到。
我们每个人，无论是个人还是社会，都需要为这种噩梦般的场景做好准备，利用我们剩下的时间来思考如何向我们创造出来的超智能证明我们人类的存在是有价值的。或者，我们可以认为这种事情绝对不会发生，我们完全无需担心。但是超智能除了可能会带物理威胁外，它们也可能也会带来政治和经济上的危险。如果我们找不到更好的分配财富的方法，人工智能劳动者就会推动资本主义，因为它是只有极少数人才能拥有生产资料。