week8-Conversational-AI-in-Industry-and-Interview

Conversational AI in Industry

智变中的美团客服

客服系统的演变历史

第一阶段是语音呼叫中心,这种客服系统纯靠人工服务,且支持语音电话,效率低成本高。

第二阶段进化到了网页在线客服,这种客服系统基于网页会话,服务形式支持文本和语音,同时还利于对流量数据进行挖掘。

第三阶段是SaaS客服系统,这种客服系统支持多渠道接入,有了丰富的辅助功能和知识库管理。

如今客服系统进化到了智能客服,它最大的特点就是人机协同,许多简单问题都可以由机器自主解决,这个系统可以自主学习不断进化。回顾客服系统的演变历史可以发现,智能化是客服系统的一个演变趋势。

对话系统的分类

对话系统主要包括四类:问答型对话、任务型对话、闲聊型对话、图谱型对话。在问答型对话中,我们使用QABot机器人完成简单任务,这种对话通常是与上下文无关的单轮对话。在任务型对话中,TaskBot机器人完成特定场景下的复杂任务。另外还有ChatBot闲聊型机器人,这种对话通常不以解决实际问题为目的,我们的客服系统也有用到这种机器人。最后是图谱型机器人KBQA,这种机器人可能更多地用在金融、医疗等领域。

智能客服机器人的智能水平

分为四个档次:简单检索机器人、语义识别机器人、场景导向机器人、智慧机器人。简单检索机器人只支持特定类型的检索,只要说法稍微一变可能就不能正确识别,匹配性较差。语义识别机器人基于知识库,可以更智能地理解所检索的问题。场景导向机器人根据不同场景量身定制机器人,机器人的聪明程度与场景有关。智慧机器人是智能程度最高的机器人,甚至可以达到拟人的程度。现在来看,大多数机器人还只是停留在第二个阶段,能达到第三个阶段的还是少数。

智变之路

原来的客服系统系统中客户将请求传送到客服服务器,然后客服操作平台就会分配相应的人工客服处理相应的客户请求,客服操作平台只具备简单的知识管理功能。这种客服系统最大的问题就是效率低,需要的人力成本高。对于这样的客服系统来说,实际上需要的人工客服数目和订单数目是成正比的。美团现在的业务正处于飞速的发展过程中,现在就有近万名客服人员,如果不对客服系统进行改进,可以想象未来这个队伍还会扩充很多倍。基于原来客服系统的这些缺点,我们对这个架构进行了改进,增添了会话管理服务,后面连接着QABot、TakBot、ChatBot等机器人以及人工服务,有一个专门的知识管理平台来支撑QABot、TakBot、ChatBot,AI训练师对知识管理平台设计离线学习和自动训练的算法。除此之外我们还设计了话术提醒、舆情监控、转接提示等模块来辅助人工客服。

要做好一个AI系统必须满足这样的条件:要有大量业务专家、要有强大算法团队、要有大规模GPU计算引擎、要有海量场景数据,这些条件在美团都是满足的,这无疑给了我们使智能客服系统落地的信心。

语义识别流程

语义识别的流程模拟了人解决问题的思路。人类在解决一个问题的时候会首先考虑以前有没有类似的问题,对应于语义识别中我们也首先采用搜索检索的方法。在找寻相似问题的过程中,人类通常会考虑:“我们要找的到底是哪些问题呢?”,对应于语义识别中,这是一个对问题进行候选筛选的过程。当人类发现一些问题明显和意图无关,通常要把他们去掉,对应于语义识别中,这就是要进行意图识别从而筛选问题。面临最后挑选出的几个问题,人类通常要对其进行优先级排序,对应于语义识别中,这就是Rank的过程。最后人类可能还会对结果进行检查:“问的确实是这个问题嘛?”,这就是语义识别中的语义完整性检查。这整个过程中运用了各种各样的模型来达成语义识别的目的。

基于深度模型的识别—DSSM

DSSM模型是一个双塔模型,它在句子embedding上效果很好,因此我们也借鉴了这一模型。我们把标准问与拓展问语义相同的句子对作为正例,把标准问与拓展问语义不同的句子对作为反例,训练了DSSM模型。模型训练后,对于任给的一个问题,可以得到它的embedding结果,和其他标准问embedding结果相对比就可以算出相似度。比如拓展问“我的外卖怎么还没到”可以计算出一个Sentence Vector,而标准问“配送超时催单”和“餐品有质量问题”分别有一个Sentence Vector,通过计算可得,“我的外卖怎么还没到”和“配送超时催单”的相似度为0.98,我的外卖怎么还没到”和“餐品有质量问题”的相似度是0.62,所以可以把“我的外卖怎么还没到”的语义识别为“配送超时催单”

基于深度学习的识别—Seq2Seq

Seq2seq模型本身是一个生成模型,但是我们把它用来计算句子之间的相似度,我们把它encoder和attention的结果和不同的候选做loss计算,把loss作为一种度量结果,Loss越小代表输入和候选越接近。以上两个深度模型是我们尝试过的深度模型中效果最好的两个

总结

智能化是客服系统发展的趋势,是解决有限的客服资源与不断增长的海量用户服务请求矛盾的唯一选择。实践证明,智能化客服确实可以大量消除人的重复劳动,业务专家也可以从繁杂中解脱出来,可以有更多的时间进行方案优化。最重要的一点,智能化客服系统不是一个纯人的系统,也不是一个纯算法的系统,也不是一个静态的系统,它需要人机协同,自主学习不断进化。

对话机器人在瓜子的实践

背景

目前对话机器人很火,是有多方面原因的:第一,图灵在定义智能时就将对话机器人作为人工智能的一个标志;第二,深度学习技术越来越成熟,对话机器人在工业界已经达到一定水平;第三,对话机器人由于有智能客服的积累,有很多公司在做这方面的东西。上面是一个智能客服设计图,左边是接入渠道,登录进来,会提供一些客服产品,如机器人客服、人工在线客服、云呼叫中心,以及用户依据产品做一些自助服务。聊天过程中用户会将其数据留下来(反馈数据、对话数据、人工客服数据),利用这些数据就可以做分析,如客服数据可以做质检,用户数据可以做营销工作,与CRM接入打通。

数字化就是将用户和企业交互的数据都记录下来,将数据结构化,做成算法可用的数据叫数据化,有了数据化就可以用建模等一系列智能化手段做一些智能化提升。在线化做后可以做到整个沟通可追踪、提供可优化、差异化的服务以及精细化运营,最终推动企业在线化。

什么是对话机器人

对话机器人的经典流程

技术选型

对话机器人开始是基于关键词,然后就是模板技术,目前很多公司还在使用,优点是质量可控、准确率高,其缺点就是泛化能力比较弱。随着功能不断迭代,模板很大程度依赖于人工,不能自主提升自己的泛化能力。然后有了基于搜索的对话机器人,有很强的业务适应能力,其缺点就是准确率低。最近几年深度学习火起来后,利用深度学习替换原来的模型进行意图识别,意图识别相对传统方法准确率提升很大,但是缺点就是对数据质量要求较高。

维护问题到模板以及模板到回答的映射关系,人工需要做很多审核以及一些校对的工作。而搜索方案,将query经过预处理打散成terms,进入搜索系统,如果按照原始结果会得到一个排序“泉州到厦门过户问题,泉州到厦门远吗,泉州到厦门怎么坐车,泉州到福州过户问题,泉州到厦门过户问题”,最后得出结果与查询一致,将最相近的query回答返回。而解决排序不正确的方法就是需要海量数据。

多轮是一个更偏工程的过程。里面更多的算法是在做槽位解析,需要做好三件事,第一个就是填槽,如果对话过程中槽位未补全,在下轮对话过程中引导用户补全槽位信息。再者就是场景管理,需要维护海量用户的聊天信息。第三点就是可配置,多轮最后面都是一个业务问题,开发一个可配置的界面,让运营自行配置其需要的对话。多轮的逻辑是在知识库里配置的,DM是和业务无关的,只需要按配置的解析结果执行即可。

按照上面设计还是会出现风险,常见的五个风险有:任何算法的选择都只是满足当前的需求,数据是历史数据,算法是当前反馈,业务演化过程不可知; 模型互搏,各种模型都要去做A/BTest确定哪种好那种坏,之前更多的判断是从原理上判断;意图爆炸,目前知识库是基于意图回答一对一关系,业务相对收敛,但是未来发展速度可能导致意图不可收敛; 主观标准的反复,很多过程都由人工参与,每个人评判标准不一;模型更新滞后于业务发展,技术发展较快。解决方案就是永远保持主动,提前应对。

系统架构:前端有一个对话框和消息服务器,类似于IM基本架构,消息服务器会将消息路由到对话管理模块(中控)。用户聊天文本会在中控识别意图和槽位,通过意图在知识库中获取对应的话术。知识库有一个控制台,与外部交互的界面,对话管理也会访问后端云服务,比如通过ip地址获取其属于哪个城市,除此外还有语义理解、CRM服务等。

可以利用数据做商业智能,覆盖售前、售中、售后所有场景,用户沟通可追踪可优化,精准营销,从客服转化为专家顾问,实现用户服务在线化和企业在线化,最终实现整个企业的智能化。

------ 本文结束------
Donate comment here.

欢迎关注我的其它发布渠道