V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hai
V2EX  ›  程序员

有么有对智能对话系统也就是聊天机器人感兴趣的同学啊?我想写个关于这个的书

  •  1
     
  •   hai · 2020-04-03 07:47:07 +08:00 · 2634 次点击
    这是一个创建于 1730 天前的主题,其中的信息可能已经有所发展或是发生改变。

    RT 。在聊天机器人这个领域做了些年了。想把自己的经验总结总结写下,不知道有么有同学感兴趣~

    第 1 条附言  ·  2020-04-04 09:25:43 +08:00
    WeChat ID: haiyfu
    30 条回复    2020-04-07 11:41:34 +08:00
    play78
        1
    play78  
       2020-04-03 09:06:33 +08:00
    有点兴趣。我用开源的 AIML 做了一个简单的对话机器人。
    xiaofan2
        2
    xiaofan2  
       2020-04-03 09:12:49 +08:00
    其实你可以先出个教程,这样就可以看到大概有多少人感兴趣了
    sited
        3
    sited  
       2020-04-03 09:40:51 +08:00
    我很感兴趣啊,我买了几本书,但上来都是贴代码,这个领域实在需要一本好书。PS:需要小助理么? python, java, js, c, go 都可以写。
    TimePPT
        4
    TimePPT  
       2020-04-03 10:13:41 +08:00 via Android
    从业表示支持支持!
    XCG0000
        5
    XCG0000  
       2020-04-03 10:22:33 +08:00
    有博客吗?
    bxb100
        6
    bxb100  
       2020-04-03 10:25:29 +08:00
    有兴趣
    有一说一, 要是文档的话我就没兴趣了
    hai
        7
    hai  
    OP
       2020-04-03 11:09:08 +08:00
    昨天写了个开头,既然要写肯定是直接面向落地和实操的。大家可以帮忙看看,风格可能和目前市面上这类书纯讲概念或者模型的不一样。

    1 起源
    出现背景,是为了解决什么问题,为了解决这个问题曾做了什么尝试,尝试的效果是什么样的,这个问题目前的现状是什么样的。
    这个问题目前大家的解决程度是什么样的。

    随着深度学习的迅猛发展,目前在语音识别,自然语言理解等领域的技术能力有了较大的提高。智能对话系统也已经被广泛运用在互联网行业的很多方面,例如金融领域的智能营销和催收,电商领域的智能客服,智能快递电话通知,还有和大家很早就开始接触的 siri,小爱同学等等。

    那么这些领域大规模运用智能机器人的原因是什么?大体上来说,有三种类型的诉求,一种是把智能对话作为一种辅助技术手段,大幅提升电销和客户这些人员密集行业的客户交互效率,如果是通过机器人外呼更是能够大幅降低客户的筛选成本。另一种是作为一种创新形式的用户交互式信息获取,重点是一种信息获取方式的创新,就像搜索引擎是大家现在网络获取信息的主要方式,那么对于一些场景来说,例如智能音箱,通过对话方式的交互来实现智能家居也是一种比较好的创新。最后一种是朝着类人这个方向,让对话机器人不仅可以帮助完成一些简单的任务,更希望可以识别人的情绪,并基于此给出拟人化的回复,最终成为大家的助手,朋友。

    到底什么是智能对话系统呢?
    一个完整的对话系统以用户的语音或者文本作为输入,自动结合用户的状态信息以及场景业务知识,运用机器学习和深度学习模型实现对用户输入的理解和意图判定,根据业务知识和数据,进行对应系统状态流转和行为触发,然后组装或生成用户回复,返回给用户。把用户和系统的一次交互定义为一轮,根据和用户的沟通轮次,可以分为单轮 QA 和多轮对话。

    另外,对话系统如果从解决问题的范围来说,可以分为任务型和闲聊型。
    任务型对话,主要目标是为了提供了特定场景下用户对于信息自助交互式获取,目前常见于电商,电销,导航等场景。闲聊型的定位则比较宽泛,既能满足用户特定场景的交互,更重要的是提供了不限范围的沟通,比如既能查天气,又能撒娇卖萌,甚至还能安慰伤心的人,这里面有大家耳熟能详的手机助手如,cortana,siri,小冰等多用于智能音箱等产品和场景。

    目前对于对话系统的运用,简单来说有两种形式,一种是由客户发起的纯文本交互类机器人,常见于电商客服场景,政务问答,理财 QA 等,另外一种系统发起的是结合了电话拨打的智能外呼机器人。

    对于纯文本的机器人来说,通常来说是由用户发起对话的,其核心需要解决的是用户的高频问题的单轮 QA 以及少量的多轮场景的引导。如在电商场景下,就数据层面来说,用户在实际场景中表达出来的需求或者说是意图规模较大,用户的描述方式差异也差异较大,但是整体意图的数据规模分布呈现明显的不均等,呈现比较典型的长尾分布。因此对于这种场景下的对话系统来说,难点主要集中在数据层面,比较典型的有以下两个层面,
    1 如何降低数据使用成本,模型能力的不同行业快速迁移
    2 如何解决尾部用户意图的构建和识别
    这类系统的核心关注点在于能否精准识别客户意图,如果想做到较好的客户满意度,大体上按重要性有以下几个方面需要注意,
    1 完善的领域知识库
    2 结合领域知识的对话过程抽象
    3 用户意图数据归纳,形成建模数据集
    4 技术架构设计和落地,数据反馈机制
    5 用户效果评估和监控

    对于外呼类机器人来说,一般都是由系统主动发起的,对话的目的性比较强,主要是通过和客户沟通来判定是不是目标客户,从而决定进一步跟进策略。比较典型的场景如信用卡营销推广,整个对话过程的设计以及用户的意图识别只需要考虑用户的回复是否是目标意图,通过对话能否完成对用户需求的判定,以及基本的操作引导即可。这类场景下,通常来说冷启动的情况比较多,整个系统链路较长,对话系统作为其中的核心环节,不仅要考虑模型的效果,更要从整个业务效果的角度来思考最终的优化方向。
    其核心难点在于小样本的意图识别,以及语音转文本的领域模型构建。但从整体来说,侧重点和上面的用户发起的有所不同,要点如下:
    1 业务目标确定和分析
    2 结合原始业务数据,确定机器人定位
    3 话术设计
    4 技术方案设计和落地
    5 效果反馈和评估

    对于对话系统来说,不管是基于文本的还是外呼形式的,除了业务层面的差异外,在对话系统设计本身来说,还是有比较大的共性,所用的对话系统方案设计大体是可以通用的。通常一个智能对话系统的核心包含实体识别,意图分类,对话状态管理,技能管理,回复生成这几个模块。

    本书接下来主线是以一个简单文本形式的对话系统开始,将各个点逐步深入填上,最终实现从任务型到闲聊型,从规则到深度学习,强化学习这样一系列,构建几个个比较完整的对话系统出来。
    hai
        8
    hai  
    OP
       2020-04-03 11:11:01 +08:00
    @play78 AIML 这个玩玩还是比较有意思的
    hai
        9
    hai  
    OP
       2020-04-03 11:14:26 +08:00
    @XCG0000 博客暂时还没,正在想怎么弄比较好,这玩意写起来得费些心思
    guonaihong
        10
    guonaihong  
       2020-04-03 11:15:15 +08:00
    对 freeswitch 感兴趣。
    hai
        11
    hai  
    OP
       2020-04-03 11:15:54 +08:00
    @sited 哈哈,可以可以,我记下啦,需要帮助了找你
    shikimoon
        12
    shikimoon  
       2020-04-03 11:16:54 +08:00
    相关从业人员,目前智能对话系统大部分都是任务型对话,pipeline 也是常见的 nlu+dst+dp+nlg,也有 end2end 来做的不过可控性较差。对话系统可以说是 nlp 的瑰宝了,几乎会用到每一个 task
    nightwitch
        13
    nightwitch  
       2020-04-03 11:18:59 +08:00
    现在写书都是现在网上出博客,在网上出视频,名气上来了,干货出来了,才会有人去买。像陈硕的《 Linux 多线程服务端编程》,基本是陈硕的博客札记。 贸然出书的话,很容易扑街
    shikimoon
        14
    shikimoon  
       2020-04-03 11:19:17 +08:00
    好奇楼主的从业经历?最近在面试也跟国内其他同行聊了下,就对话这块很多公司都还处于起步探索阶段,给我印象比较深的是百度,在对话这块确实积累了不少技术,相关业务也是探讨的非常细节,很明显是深耕多年的
    hai
        15
    hai  
    OP
       2020-04-03 11:19:27 +08:00
    @guonaihong 哈哈,这个没接触过,企业级的话目前像容联,阿里云这些渠道成本还可以的。不过这个我之前也想自己玩的,后来没搞了
    hai
        16
    hai  
    OP
       2020-04-03 11:21:52 +08:00
    @bxb100 肯定不是文档啦
    hai
        17
    hai  
    OP
       2020-04-03 11:22:23 +08:00
    @TimePPT 哈哈!大家感兴趣就好
    hai
        18
    hai  
    OP
       2020-04-03 11:29:25 +08:00
    @shikimoon 哈哈,我的经历比较杂,做过算法工程,然后智能外呼,电商智能客服。都是作为项目负责落地业务,所以在有些经验,写书的目的其实一个是想系统化梳理下自己在这方面的认识,另外也是想让感兴趣的同学能够有个参照。我个人水平行业说不上顶尖吧,但是至少是第一手有比较好落地价值的经历。其实这个领域吧,模型作为一环重要也不重要。
    hai
        19
    hai  
    OP
       2020-04-03 11:33:03 +08:00
    @nightwitch 嗯,有这个担心,所以来问问有没有人感兴趣,毕竟有人看,写了才有价值
    shikimoon
        20
    shikimoon  
       2020-04-03 11:35:53 +08:00
    @hai 友商啊,我们也是做电商客服系统的
    hai
        21
    hai  
    OP
       2020-04-03 11:36:43 +08:00
    @xiaofan2 也可以
    hai
        22
    hai  
    OP
       2020-04-03 11:37:41 +08:00
    @shikimoon 哈哈!圈子好小
    viewer003
        23
    viewer003  
       2020-04-03 11:50:42 +08:00
    需要,正在负责我司客服系统的接入和使用升级,正想了解这块的知识。PS:我们没有自研,接的第三方。
    iConnect
        24
    iConnect  
       2020-04-03 11:52:38 +08:00
    楼主这个题材有兴趣,没看到你的联系方式,方便加个微信吗? base64:
    aHR0cHM6Ly9ub3RlcGFkLnB3L3NoYXJlL21nYXZmbzhy
    schina
        25
    schina  
       2020-04-03 14:28:01 +08:00
    楼主建个微信群吧。
    shangyes
        26
    shangyes  
       2020-04-03 23:49:51 +08:00
    25L+1 建个微信群吧,萌新想学习
    hai
        27
    hai  
    OP
       2020-04-04 09:25:14 +08:00
    WeChat ID: haiyfu
    hai
        28
    hai  
    OP
       2020-04-04 09:28:08 +08:00
    @iConnect 你这个回复是个网站啊?你是来搞点击的么?
    hai
        29
    hai  
    OP
       2020-04-04 09:28:29 +08:00
    @shangyes
    @schina
    WeChat ID: haiyfu
    schina
        30
    schina  
       2020-04-07 11:41:34 +08:00
    @hai 已加好友,求通过
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2803 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 13:11 · PVG 21:11 · LAX 05:11 · JFK 08:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.