2016年3月微軟推出Tay时，非常看好这款人工智能聊天机器人。Tay不仅能回答事实性问题，还可以进行更复杂的交流——Tay能表现出幽默感，像朋友一样跟用户说笑。宣传材料中提到：你跟Tay聊得越多，她就越聪明，体验也会更个人化。但当人们发现Tay会学习模仿交流对象的言语后，一些心怀恶意的人与Tay聊天时故意说一些具有侮辱和攻击性的话。几个小时后，Tay已是脏话连篇。上线不到24小时，微软就宣布下线产品并公开道歉。
Tay项目失败之后，微软人工智能项目总监艾瑞克·霍维茨迅速让技术团队研究“自然语言处理”项目，寻找问题根源。团队成员很快发现，与聊天程序相关的最佳基本行为遭到忽视。在Tay之前的基础版软件里，经常有屏蔽不良表述的协议，但此次并没有保护措施限制Tay可能学习的数据。
如今，微软在全球推出了更加成熟的聊天机器人，包括印度的Ruuh、日本和印度尼西亚的Rinna。在美国市场，微软推出了Tay的姐妹聊天机器人Zo。中国市场的聊天机器人叫小冰，已经开始主持电视节目，给便利店顾客提供购物建议。
然而，这次微软明显谨慎许多。霍维茨说，现在机器人推出得比较慢，而且公司会认真观察软件发展过程中与大众互动的情况。不过微软也清醒地意识到，即使人工智能技术在两年里能获得长足发展，管理机器人行为的工作也永无止境。微软员工一直在监视导致聊天机器人行为变化的对话。
从聊天机器人的上述缺陷能看出，哪怕只是部分应用人工智能，潜在的祸患也会被放大。虽然商业世界已经准备好更广泛地应用人工智能，但该技术存在的问题，让技术人员寝食难安。
所有人都相信，我们正处在企业人工智能大爆发的前夜。研究公司IDC预计，到2021年，企业每年将在人工智能相关产品上花费522亿美元。经济学家和分析师都认为，相关投资届时可以实现数十亿美元的成本节约和收益。其中一些收益将来自岗位压缩，更多则来自产品与客户、药品与病人、解决方案与问题等之间的高效匹配。
人工智能技术之所以流行，主要因为深度学习系统的不断发展。利用深度学习，企业可以在电脑中输入大量信息，让深度学习系统梳理、分析数据。不久的将来，各种规模的公司都能通过应用深度学习系统挖掘数据，寻找人仅凭经验很难发现的最佳商机、决策核心等。在科技主义者的设想中，公司可以用人工智能整合过去多年的数据，更好地预测下一次大卖的机会，药业巨头可以削减研发畅销药的时间，而汽车保险公司也能通过录入数万亿字节的事故报告，实现自动理赔。
尽管人工智能系统潜力巨大，但它也有黑暗的一面。首先，系统的决策水平受到人类提供数据的限制。用来培训深度学习系统的数据虽在不断完善，却并不中立。成熟的算法扫描历史数据库后可能得出结论：白人男性最有可能当上首席执行官。无视偏见是人工智能系统的一项根本缺陷。
当前应用的强大算法“没有为所谓公平进行数据优化，”加州大学伯克利分校技术伦理学教授迪尔德丽·穆里根表示，“只存在为完成某项任务进行的优化”。人工智能以前所未有的速度将数据转化为决策，但穆里根表示，科学家和伦理学家发现很多情况下“数据并不公平”。
让问题更加复杂的是，人工智能系统比之前应用的传统算法更加复杂，即便让经验最丰富的程序员理解人工智能系统做出某项决策的逻辑都十分困难。再者，由于系统的开发者们都在拼命保护数据和算法，担心专利技术泄露导致利益受损，外部监测机构很难发现系统里存在什么问题。
近年来最典型的一次人工智能失控案例是，2016年美国大选前期，脸书的新闻推送中出现了假新闻。
社交媒体巨头脸书并非故意散布假新闻，而是因为新闻信息流的推送机制并不会区分“真”和“假”，只会根据用户个人兴趣推送个性化内容。脸书没有公开算法的具体信息（涉及专利问题），但承认计算时会参考其他兴趣相近用户阅读和分享的内容。结果是，假新闻一出现就吸引了网友们的注意，由此一传十、十传百，数百万人的新闻信息流里都出现了假新闻。
脸书的例子正是个人选择与人工智能发生恶性互动的实例，但研究者更担心人工智能误读整体数据。提米特·葛布鲁曾在微软等公司研究算法伦理，她对人工智能影响保险市场的方式很担心，因为在保险市场上人工智能与数据结合后可能导致少数群体受到不公正待遇。假设有一组汽车事故索赔数据显示市中心交通事故发生率比较高，而市中心居住的少数族裔人数比较多。如果人工智能系统获取了相关数据，可能认为少数族裔与车祸之间存在联系，还可能给少数族裔司机贴上某种标签。简单来说，人工智能可能出现种族偏见。如果进一步回顾市中心附近车祸现场的照片和视频，人工智能系统更有可能认为，在涉及多名司机的事故中，少数族裔司机肇事的可能性更大。系统还可能建议向少数族裔司机收取更高保费，不管他之前的驾驶记录如何。
随着科技巨头们准备将人工智能系统嵌入其客户商业软件，上述问题便从学术界所讨论的“假如”命题变成急需考虑的事情。这一挑战的关键之处在于，科技公司所面临的两难境地并不在于创建算法或聘请员工来监视整个过程，而是在于人性本身。真正的问题并不在于技术或管理，而是关乎哲学。
技术伦理学教授迪尔德丽·穆里根指出，计算机科学家很难将“公平”编入程序，因为公平的意义会因人群的不同而发生变化。穆里根还指出，社会对于公平的认知会随着时间的变化而改变。而且对于大家广泛接受的理想状态的“公平”理念，也就是社会决策应体现社会每位成员的意志，历史数据存在缺陷和缺失的可能性尤为突出。