Skip to content

Commit

Permalink
Merge pull request #122 from Tangjiafeng/master
Browse files Browse the repository at this point in the history
update doc
  • Loading branch information
Tangjiafeng authored Jun 29, 2022
2 parents 521cdb5 + 669650e commit 7d069fb
Show file tree
Hide file tree
Showing 6 changed files with 68 additions and 27 deletions.
15 changes: 5 additions & 10 deletions docs/zh_CN/ch1/升级指南.md
Original file line number Diff line number Diff line change
@@ -1,19 +1,14 @@
# 升级指南
请直接使用 0.8.0 以上版本

## 0.5.0 升级 0.6.0
下载0.6.0版本代码,并解压。
## 0.8.0 升级 0.9.0
下载0.9.0版本代码,并解压。

执行以下数据库脚本:
```
mysql -u {USERNAME} -p {PASSWORD} -h {IP} --default-character-set=utf8
source conf/database/update/update_0.5.0-0.6.0.sql
source conf/database/update/update_0.8.0-0.9.0.sql
```

## 0.6.0 升级 0.7.0
下载0.6.0版本代码,并解压。

执行以下数据库脚本:
```
mysql -u {USERNAME} -p {PASSWORD} -h {IP} --default-character-set=utf8
source conf/database/update/update_0.6.0-0.7.0.sql
```

32 changes: 23 additions & 9 deletions docs/zh_CN/ch1/快速搭建手册——HA版.md
Original file line number Diff line number Diff line change
@@ -1,12 +1,12 @@
# 快速搭建手册

## 一、基础软件安装
Gradle (4.9)
MySQL (5.5+)
Gradle (4.6)
MySQL (5.5.x)
JDK (1.8.0_141)
Zookeeper (3.4.9)
Linkis(0.9.x或1.x), 必装Spark引擎。[如何安装Linkis](https://github.com/WeBankFinTech/Linkis)
DataSphereStudio (1.x) 可选. 如果你想使用工作流,必装DataSphereStudio [如何安装DataSphereStudio?](https://github.com/WeBankFinTech/DataSphereStudio)
DataSphereStudio (1.x) 可选. 如果你想使用工作流,必装DataSphereStudio[如何安装DataSphereStudio?](https://github.com/WeBankFinTech/DataSphereStudio)

## 二、安装包下载
[下载](https://github.com/WeBankFinTech/Qualitis/releases)
Expand Down Expand Up @@ -41,17 +41,31 @@ vim conf/application-dev.yml
修改以下配置:
```
## 数据库配置
spring.datasource.username=
spring.datasource.password=
spring.datasource.url=
server:
port:
## 数据库配置,和以上一致
task.persistence.username=
task.persistence.password=
task.persistence.address=
spring:
datasource:
username:
password:
url:
## 任务数据库配置,和以上一致
task:
persistent:
type: jdbc
username:
password:
address:
## zk配置
zk.address=
## 前端主页信息
front_end:
home_page: http://IP:PORT/#/dashboard
domain_name: http://IP:PORT
```
并打开HA开关
```
Expand Down
2 changes: 1 addition & 1 deletion docs/zh_CN/ch1/快速搭建手册——单机版.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ Gradle (4.6)
MySQL (5.5.x)
JDK (1.8.0_141)
Linkis(0.9.x或1.x), 必装Spark引擎。[如何安装Linkis](https://github.com/WeBankFinTech/Linkis)
DataSphereStudio (1.0.1, 1.1.0) 可选. 如果你想使用工作流,必装DataSphereStudio [如何安装DataSphereStudio?](https://github.com/WeBankFinTech/DataSphereStudio)
DataSphereStudio (1.0.1, 1.1.0) 可选. 如果你想使用工作流,必装DataSphereStudio[如何安装DataSphereStudio?](https://github.com/WeBankFinTech/DataSphereStudio)

## 二、安装包下载
[下载](https://github.com/WeBankFinTech/Qualitis/releases)
Expand Down
2 changes: 1 addition & 1 deletion docs/zh_CN/ch1/接入Linkis文档.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,7 +15,7 @@ QUALITIS-AUTH=*
### 修改用户默认提交队列
1. 在DataSphere Studio中登录Qualitis同名的用户名

2. 进入Linkis管理台 -> 设置 -> yarn队列名中,并设置一个可用的yarn队列;在0.9.1版本中,可在Qualitis-引擎管理直接进行配置
2. 进入Linkis管理台 -> 设置 -> yarn队列名中,并设置一个可用的yarn队列;

### 加入MySQL驱动包
```
Expand Down
41 changes: 36 additions & 5 deletions docs/zh_CN/ch1/接入工作流指南.md
Original file line number Diff line number Diff line change
Expand Up @@ -32,16 +32,18 @@ DataSphereStudio接入外部系统原理可看文章:[第三方系统接入DSS

**1. Qualitis Appconn编译**

由于 Qualitis Appconn 源码由 Qualitis 仓库维护,所以需要将根目录下的 appconn 下的源码复制到 DataSphereStudio 根目录的dss-appconn\appconns\dss-qualitis-appconn作为子模块引入
由于 Qualitis Appconn 源码由 Qualitis 仓库维护,所以需要到根目录下的 appconn

执行编译命令:
```
# 本机安装 Maven-3.6.3 以上
mvn clean install
```

在 out 下的 qualitis 文件夹保存为qualitis.zip,在下述步骤中使用。

**2. DataSphereStudio服务端修改**

我们采用自动化安装脚本进行数据库的 appconn init。

```
Expand All @@ -57,9 +59,38 @@ sh /DSS_INSTALL_PATH/bin/appconn-install.sh

上述交互式脚本的本质,是执行了 qualitis.zip 解压后的 qualitis/db/init.sql,该脚本在 appconn 源码的 resource 目录下。

重启dss服务,完成插件的更新。

**3. DataSphereStudio 1.0.1 appconn 升级**
部分用户在 DataSphereStudio 1.0.1 版本已经内嵌的 Qualitis Appconn,要想升级为 DataSphereStudio 1.1.0,将上一步的 appconn init 替换为下述升级操作:

```
TODO: 升级脚本
```
部分用户在 DataSphereStudio 1.0.1 版本已经内嵌的 Qualitis Appconn,要想升级为 DataSphereStudio 1.1.0,首先将上述 qualitis.zip 放到指定目录,将上一步的 appconn init 替换为下述升级操作:

3-1. 在 dss 数据库中,首先执行 dss 表结构 [升级脚本](https://github.com/WeDataSphere/DataSphereStudio/blob/dev-1.1.4/db/version_update/from_v101_to_v110.sql)

3-2. 将 qualitis 的首页地址 “http://IP:PORT/#/dashboard” 分为 “http://IP:PORT/”,“#/dashboard” 两部分,更新到 dss_appconn_instance 的 url,homepage_uri 两个字段中


**4.Qualitis AppConn 插件的工作原理**

本小节是安装的延伸,是对QualitisAppConn工作原理的简单讲解。

4-1.使用QualitisAppConn的微服务

DSS中有以下的微服务会通过QualitisAppConn与Qualitis进行交互,完成指定的功能。

| 微服务名 | 使用AppConn完成的功能 | 备注 |
|-----------------|----------------|----------------------------------------|
| dss-framework-project-server | 使用qualitis-appconn完成工程以及组织的统一 | 必须 |
| dss-workflow-server | 使用第三级规范完成节点的创建、编辑和导入导出等| 必须 |
| appconn-engine | 使用第三级规范,完成qualitis节点的执行 | 必须 |

4-2. Qualitis集成进入dss需要在以下数据库表中设置相应的内容

| 表名 | 表作用 | 备注 |
|-----------------|----------------|----------------------------------------|
| dss_menu | 菜单表,存储对外展示的内容,如图标、名称等 | 必须 |
| dss_onestop_menu_application | menu和application的关联表,用于联合查找 | 必须 |
| dss_appconn | appconn的基本信息,用于加载appconn | 必须 |
| dss_appconn_instance | qualitis实例的信息,包括qualitis自身的url信息 | 必须 |
| dss_workflow_node | Qualitis作为工作流节点需要插入的信息 | 如果想使用数据质量检测,则必须 |

3 changes: 2 additions & 1 deletion docs/zh_CN/ch1/架构设计文档.md
Original file line number Diff line number Diff line change
Expand Up @@ -8,7 +8,8 @@
提出了一个基于大数据平台的数据质量管理服务Qualitis,提供统一的流程来定义和检测数据集的质量并及时报告问题。

#### 1.3 术语表
|术语 |含义|

|术语 |含义 |
|--|--|
|项目(project)| 一系列规则的集合,决定告警人和告警级别,是任务调度的单位之一。|
|规则(rule)| 数据源的数据质量模型的定义,决定是否告警,是任务调度的基础单位。|
Expand Down

0 comments on commit 7d069fb

Please sign in to comment.