week5-Further NLU and Dialogue State Tracking

发表于 2021-02-07 更新于 2021-04-18 分类于 NLP ，任务型对话阅读次数： Valine：
本文字数： 6.2k 阅读时长 ≈ 6 分钟

Further NLU and Dialogue State Tracking

Hugging Face’s Transformer

Attention 以及 Self-Attention

1、Attention

阅读全文 »

week4-自然语言理解NLU

发表于 2021-02-02 更新于 2021-04-18 分类于 NLP ，任务型对话阅读次数： Valine：
本文字数： 8.4k 阅读时长 ≈ 8 分钟

关于CrossWOZ数据集

第一个大规模的中文跨域“人机交互”任务导向的数据集。

CrossWOZ包含 6K 个对话，102K 个句子，涉及 5 个领域（景点、酒店、餐馆、地铁、出租）。

将对话分成五种类型：单领域 S，多领域 M，多领域加交通 M+T，跨领域 CM，跨领域加交通 CM+T。交通代表了地铁和出租领域，M 和 CM 的区别是有没有跨领域的约束。

阅读全文 »

week3-RASA源码和定制化你的对话机器人

发表于 2021-01-11 更新于 2021-04-18 分类于 NLP ，任务型对话阅读次数： Valine：
本文字数： 26k 阅读时长 ≈ 23 分钟

一、Setting up RASA Source Code

### Step-1、Python Environment Setup
Python环境配置、创建新的虚拟环境以及pip的安装方法，详见Week2笔记

### Step-2、Building from Source
### 这里介绍源码的安装方法

### Step-3、安装poetry
curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python
# 关于poetry，截至目前pypi并未托管potery的whl文件，如果上述指令执行缓慢，或者由于网络原因不能下载；
# 可下载poetry.py和poetry源码，执行以下命令行安装；
python get-poetry.py --file poetry-1.1.4-win32.tar.gz

### Step-4、下载rasa源码
git clone https://github.com/RasaHQ/rasa.git
cd rasa

### Step-5、安装
poetry install

### 总结下安装过程：
### poetry install对网络的要求很高，如果中途网络断开，再次执行poetry install会直接报错，这里尚不清楚为何重复执行后不会像pip那样重新请求网络资源安装，而是会直接出错。迫不得已，手动pip安装了poetry.lock文件要求的包版本，再执行poetry install至成功安装，非常耗时，前前后后折腾约2小时。


### STEP-6:特别地，若有需要安装RASA的附加依赖，如：
# Dependencies for spaCy
pip3 install rasa[spacy]
python3 -m spacy download en_core_web_md
python3 -m spacy link en_core_web_md en

# Dependencies for MITIE
pip3 install git+https://github.com/mit-nlp/MITIE.git
pip3 install rasa[mitie]    # pip list可以查看到已安装好了mitie包

二、Optimize NLU

2.0 如何增强RASA NLU - Lifestyle

阅读全文 »

week2-使用RASA制作你的第一个对话机器人

发表于 2021-01-04 更新于 2021-04-18 分类于 NLP ，任务型对话阅读次数： Valine：
本文字数： 8.1k 阅读时长 ≈ 7 分钟

RASA学习分享

一、Rasa Installation

Environment：Windows 10 64Bit

Step 1: Create virtual environmnent

阅读全文 »

week1-对话系统导论

发表于 2020-12-25 更新于 2021-04-18 分类于 NLP ，任务型对话阅读次数： Valine：
本文字数： 7.6k 阅读时长 ≈ 7 分钟

对话系统导论学习分享

一、对话系统的分类

1、模块化对话系统，即分模块串行处理对话任务，每个模块负责特定的任务，并将结果传递给下一个模块。在具体的实现上，可以针对任一模块采用基于规则的人工设计方式，或者基于数据驱动的模型方式。

2、端到端的对话系统，由输入直接到输出的端到端对话系统，忽略中间过程，采用数据驱动的模型实现。

阅读全文 »

Spark集群的搭建

发表于 2020-11-21 更新于 2020-11-27 分类于 Spark 阅读次数： Valine：
本文字数： 7.5k 阅读时长 ≈ 7 分钟

JDK安装与配置

1、将JDK包解压至/usr/local目录下

1	sudo tar -zxvf jdk-8u271-linux-x64.tar.gz -C /usr/local/

2、配置环境变量，在/etc/profile或者用户的.bash_profile文件，在文件末尾处添加路径变量如下：

阅读全文 »

Spark笔记-实时数据流计算引擎Flink和Spark剖析

发表于 2020-11-19 阅读次数： Valine：
本文字数： 34 阅读时长 ≈ 1 分钟

Reference：

1、实时数据流计算引擎Flink和Spark剖析

Spark笔记-SparkStreaming整合Kafka指南

发表于 2020-11-19 阅读次数： Valine：
本文字数： 35 阅读时长 ≈ 1 分钟

Reference：

1、Spark Streaming整合Kafka指南

数据库逻辑设计三范式

发表于 2020-10-30 更新于 2021-04-12 分类于 SQL 阅读次数： Valine：
本文字数： 1.1k 阅读时长 ≈ 1 分钟

一、第一范式

1NF是对属性的原子性，要求属性具有原子性，不可再分解；

表：字段1、字段2(字段2.1、字段2.2)、字段3 ……

如学生（学号，姓名，性别，出生年月日），如果认为最后一列还可以再分成（出生年，出生月，出生日），它就不是一范式了，否则就是；

阅读全文 »

Spark笔记-玩转SparkSQL

发表于 2020-10-20 更新于 2020-10-22 分类于 Spark 阅读次数： Valine：
本文字数： 5.3k 阅读时长 ≈ 5 分钟

DataFrames

Generate

创建一个RDD对象stringRDD，然后通过spark.read.json将stringRDD转换为DataFrame。

stringJSONRDD = sc.parallelize((""" 
  { "id": "123",
    "name": "Katie",
    "age": 19,
    "eyeColor": "brown"
  }""",
   """{
    "id": "234",
    "name": "Michael",
    "age": 22,
    "eyeColor": "green"
  }""", 
  """{
    "id": "345",
    "name": "Simone",
    "age": 23,
    "eyeColor": "blue"
  }""")
)

阅读全文 »