M³多模数据平台安装部署手册(tui版本).md 13 KB
M³多模数据平台安装部署手册(tui版本)
内部资料，注意保管
面向对象多模态AI数据平台V1.0 系统安装部署手册 V1.5.2
唯简科技（北京）有限公司
目录
- 前言 1.1 编写目的 1.2 用户对象
- 综述 2.1 概述 2.2 产品介绍 2.3 产品组件 2.4 系统要求
- 系统部署 3.1 安装步骤 3.2 系统登录 3.3 删除已安装系统 3.4 更新组件
- 服务状态
- 服务日志
- 修改数据平台访问端口
- 数据导入导出工具 7.1 导入mql文件 7.2 导出mql文件
- namespace导出导入
- 性能优化配置策略说明
1. 前言
1.1 编写目的
本文档主要介绍唯简科技面向对象多模态AI数据平台的具体实施方法。通过阅读本文档，用户可以自行安装部署该产品。
1.2 用户对象
本文档主要面向系统实施人员，包括：
- 实施人员：公司内部实施部门或甲方实施人员；
- 测试人员：公司内部测试部门或甲方测试人员。
2. 综述
2.1 概述
本文档的编写目的是描述北京唯简科技科技有限公司（简称：唯简科技）面向对象多模态AI数据平台的安装部署介绍，帮助开发、测试、管理各环节角色了解、搭建产品测试环境和生产环境。
2.2 产品介绍
唯简科技面向对象多模态AI数据平台主要由多模图数据存储引擎、统一数据治理、统一作业调度和企业小应用开发与发布框架四部分组成。
唯简科技面向对象多模态AI数据平台具有如下特点：
- 支持结构化表数据、图数据、时序数据、文档数据、向量数据的统一存储；
- 支持面向对象的建模；
- 集群化部署，解决单点问题；
- 支持AI接口的快速封装；
- 提升采集处理能力并扩展国产设备支持。
2.3 产品组件
| 功能 | 组件名称 | 说明 |
|---|---|---|
| 分布式存储组件 | cassandra | 数据存储组件，可以根据需求进行横向扩展提高入库速度和存储容量，支持集群部署 |
| 分布式配置组件 | etcd | 配置服务，支持集群部署 |
| 分布式消息队列组件 | nats | 消息队列，支持集群部署 |
| 分布式数据管理组件 | odbserver | 数据管理组件，支持集群部署 |
| 分布式数据处理组件 | parser | 规则数据流式处理组件，支持横向扩展提高数据处理能力，支持集群部署 |
| 分布式作业调度组件 | sched | 定时任务进行平台数据处理，支持集群部署 |
| 分布式数据接入组件 | toe | 集成接入第三方数据采集 |
| 分布式Web服务组件 | web | web容器组件，支持横向扩展提高并发访问能力，支持集群部署 |
2.4 系统要求
2.4.1 操作系统要求
面向对象多模态AI数据平台支持Linux系统，企业级部署建议操作系统为RedHat、Centos7以上版本，或者Suse10以上版本。对信创操作系统支持为麒麟V10操作系统。
2.4.2 服务器配置要求
| 配置 | CPU | 内存 | 硬盘 |
|---|---|---|---|
| 推荐配置 | 8 Core * 2.0GHz以上 | 32G以上 | 100G以上，根据需求增加 |
| 最小配置 | 4 Core * 2.0GHz以上 | 16G以上 | 100G以上，根据需求增加 |
| 测试配置 | 2 Core * 2.0GHz以上 | 8G以上 | 100G以上，根据需求增加 |
注：支持使用虚拟机，存储必须使用San存储或本地存储。
2.4.3 基础软件要求
| 软件 | 版本 |
|---|---|
| git | 操作系统相应版本，用于自动化脚本和文档的版本管理 |
| python | 2.7，用于底层数据访问和维护 |
| 编译工具链 | build-essential, gcc, g++, cmake, make |
| 数学库 | libopenblas-dev, liblapack-dev |
| 主机名设置 | 要求执行hostname输出主机名为真实主机名，而非localhost |
2.4.4 端口开通要求
| 模块名称 | 内部端口 | 服务端口 |
|---|---|---|
| cassandra | 9160/7000/7001 | 9042 |
| etcd | 2380 | 2379 |
| nats | 4244 | 4222/8222 |
| odbserver | 11009 | 11001 |
| parser | - | - |
| sched | - | - |
| web | - | 8080/8443 |
| toe | - | - |
2.4.5 NTP要求
唯简科技面向对象多模态AI数据平台各服务组件都是分布式集群部署，各节点以统一、同步的标准时间用于记录各种数据的产生时序，如：文件创建和访问时间、数据库处理时间等。所以，网络时间同步协议(NTP)是系统安装部署的基础要求。
注：如现场无法提供NTP服务地址，可通过指定集群内某节点为NTP服务器。
3. 系统部署
3.1 安装步骤
3.1.1 上传安装程序
此处使用root用户。
bash
# 创建临时目录，并上传介质到该目录
$ cd /opt
$ mkdir soft
3.1.2 解压介质
此处使用root用户。
bash
$ unzip matrix_install_Vx.xx.zip
$ cd matrix_install_Vx.xx
3.1.3 获得加密用户密码，用于修改配置文件使用
此处使用root用户。
bash
$ ./mxtui
注：执行的时候，确认mxtui有执行权限。
./media/image1.png
控制键说明：
| 控制按键 | 功能 |
|---|---|
| Enter | 选择/执行 |
| Esc | 返回上一级 |
| F6 | 切换输出窗口 |
| Tab 或者 下方向键 | 下一个输入项 |
| Shift+Tab 或者 上方向键 | 上一个输入项 |
| 左右方向键 | 切换下拉选项 |
| 空格键 | 复选框选择 或 取消 |
3.1.4 选择 Install Configuration 按回车
3.1.5 选择 Add install node 按回车
依次将安装节点信息填写后，选择 Save 后，按回车。
3.1.6 选择 Modify install node 或 Delete install node 修改和删除节点
3.1.7 选择 Install system 启动安装程序
3.1.8 启动基础组件
选择 Start/Stop Maintenance：
选择 Start component：
选择 All hosts：
选择 foundation、nats、etcd、odbserver：
查看基础组件启动情况：
选择 Start/Stop Maintenance -> Status component
3.1.9 平台进行初始化
选择 Install Configuration -> Init system
点击 Execute 按钮
3.1.10 启动其它服务
参考 3.1.8 描述，启动其他组件（parser、sched、toe、watchcat）。
3.1.11 启动向量库服务
bash
# 使用集群命令启动（root用户）
# ./mxtool cluster exec '/opt/matrix/web/bleve-explorer/bleve-explorer.sh start' --host <主机名>
See the /opt/soft/mxtool.log file for debug information.
# 注意：/opt 根据设定安装路径进行修改
# 单独机器启动脚本命令（matrix用户）
$ su - matrix
$ /opt/matrix/web/bleve-explorer/bleve-explorer.sh start
# 注意：/opt 根据设定安装路径进行修改
3.2 系统登录
3.2.1 默认租户登录
系统的默认租户名称为 unio。打开浏览器，在url地址栏输入登录地址 http://ip:8080/unio。username默认为 admin，password默认为 admin。
考虑到兼容性及效果，建议使用Chrome内核浏览器（80版本以上）。
3.3 删除已安装系统
bash
# 使用集群命令启动（root用户）
# ./mxtool cluster remove
See the /opt/soft/mxtool.log file for debug information.
3.4 更新组件
bash
# 使用（root用户）
# 上传组件到服务器/tmp下
# 更新web组件
# ./mxtool cluster update --source /tmp/web --dest $MATRIXHOME/web --concurrent --force web
# 更新odbserver组件
# ./mxtool cluster update --source /tmp/odbserver --dest $MATRIXHOME/odbserver --concurrent --force odbserver
See the /opt/soft/mxtool.log file for debug information.
4. 服务状态
在安装目录的 sbin 下执行：
bash
$ ./matrix.sh status # 查看启动状态
cassandra running 6775 matrix
etcd running 7016 matrix
nats running 7051 matrix
odbserver running 3165 matrix
parser stopped 2125 matrix
sched stopped 1205 matrix
web stopped 1795 matrix
toe stopped 3195 matrix
5. 服务日志
bash
# ssh matrix@ipaddress -p port
# cassandra运行日志
$ cd $MATRIXROOT/cassandra/log
cat debug.log
cat system.log
# etcd运行日志
$ cd $MATRIXROOT/var/logs/etcd
$ cat log.log # 消息日志
$ cat out.log # 错误日志
# nats运行日志
$ cd $MATRIXROOT/var/logs/nats
$ cat log.log # 消息日志
$ cat out.log # 错误日志
# parser运行日志
$ cd $MATRIXROOT/var/logs/parser
$ cat log.log # 消息日志
$ cat out.log # 错误日志
# toe运行日志
$ cd $MATRIXROOT/var/logs/toe
$ cat log.log # 消息日志
$ cat out.log # 错误日志
# odbserver运行日志
$ cd $MATRIXROOT/var/logs/odbserver
$ cat log.log # 消息日志
$ cat out.log # 错误日志
# sched运行日志
$ cd $MATRIXROOT/var/logs/sched
$ cat log.log # 消息日志
$ cat out.log # 错误日志
# web运行日志
$ cd $MATRIXROOT/var/logs/web
$ cat log.log # 消息日志
$ cat out.log # 错误日志
# bleve运行日志
$ cd $MATRIXROOT/var/logs/bleve
$ cat out.log # 错误日志
6. 修改数据平台访问端口
- 登录平台
- 点击 "配置管理"
- 点击左侧树
matrix -- etc -- web - <主机名> - app.ini修改按钮
将 HTTP_PORT、MASTER_PORT 修改为需要的端口（1000以上）
- 重启web组件
7. namespace导出导入工具
导出功能使用方法：
./mxtui
注：keyspace对应库的keyspace
http host对应http://webserver ip:port
company对应租户名称
username对应用户名
password对应密码
export class对应要导出的namespace根类
Recursive 循环向下（子类）
Matrix Root 安装软件的目录
复制界面文字内容，windows按alt键鼠标选择复制，苹果电脑按option键鼠标选择复制
导入功能使用方法：
注：keyspace对应库的keyspace
http host对应http://webserver ip:port
company对应租户名称
username对应用户名
password对应密码
ZIP File对应要导出zip文件路径
Concurrency 导入时并发数（建议4-10，根据服务器性能做调整）
Matrix Root 安装软件的目录
复制界面文字内容，windows按alt键鼠标选择复制，苹果电脑按option键鼠标选择复制
8. 性能优化配置策略说明
1) CPU 16核及以上，内存 >= 64G 且 < 128G
修改文件：$MATRIXROOT/cassandra/conf/cassandra.yaml
concurrent_writes修改为 128
file_cache_size_in_mb修改为 4096
修改文件：$MATRIXROOT/cassandra/conf/jvm-servers.options
-Xms改为 22G-Xmx改为 22G
2) CPU 16核及以上，内存 >= 128G
修改文件：$MATRIXROOT/cassandra/conf/cassandra.yaml
concurrent_writes修改为 356file_cache_size_in_mb修改为 8192
修改文件：$MATRIXROOT/cassandra/conf/jvm-servers.options
-Xms改为 44G-Xmx改为 44G
注：修改以上配置后，需要重启 cassandra 组件（参考 3.1 章）