ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 其他分享> 文章详细

大规模并行处理MPP的手动搭建

2022-08-31 02:00:29  阅读：232  来源： 互联网

标签：并行处理 PORT INST ini MPP dm8 DW MAL 搭建


MPP集群的搭建

1.端口规划

服务器

ip

实例名

PORT_NUM

MAL_PORT

MAL_DR_PORT

GROUP

主1

192.168.48.129

GRP1_MPP_EP01

5236

5337

5253

GRP1

备1

192.168.48.131

GRP1_MPP_EP11

5237

5338

5254

GRP1

主2

192.168.48.131

GRP2_MPP_EP02

5236

5337

5253

GRP2

备2

192.168.48.129

GRP2_MPP_EP22

5237

5338

5254

GRP2

2.初始化实例

本例中采取机器交叉的方式配置两个备数据库

注意：初始化完之后都需要正常的启停一次。

192.168.48.129节点初始化库至目录 /dm8/data/：

GRP1主库：./dminit path=/dm8/data db_name=EP01 instance_name=GRP1_MPP_EP01
GRP2备库：./dminit path=/dm8/data db_name=EP22 instance_name=GRP2_MPP_EP22

 

192.168.48.131节点初始化库至目录/dm8/data/：
GRP2主库：./dminit path=/dm8/data db_name=EP02 instance_name=GRP2_MPP_EP02
GRP1备库：./dminit path=/dm8/data db_name=EP11 instance_name=GRP1_MPP_EP11

 

3.备份还原

脱机备份：./dmrman CTLSTMT="BACKUP DATABASE '/dm8/data/EP01/dm.ini' FULL TO BACKUP_FILE1 BACKUPSET '/dm8/back/EP01'"

拷贝备份文件到备库所在机器

scp -r /dm8/back/EP01/ dmdba@192.168.48.131:/dm8/back/

执行脱机数据库还原与恢复

./dmrman ctlstmt="RESTORE DATABASE '/dm8/data/EP11/dm.ini' FROM BACKUPSET '/dm8/back/EP01'"

 

./dmrman ctlstmt="RECOVER DATABASE '/dm8/data/EP11/dm.ini' FROM BACKUPSET '/dm8/back/EP01'"

 

./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/EP11/dm.ini' UPDATE DB_MAGIC"

 

EP22同EP11。

 

4.配置主库

配置 dm.ini

INSTANCE_NAME = GRP1_MPP_EP01

PORT_NUM = 5236

DW_INACTIVE_INTERVAL = 60

ALTER_MODE_STATUS = 0

ENABLE_OFFLINE_TS = 2

MAL_INI = 1 ARCH_INI = 1

MPP_INI = 1

RLOG_SEND_APPLY_MON = 64

 

配置 dmmal.ini

MAL_CHECK_INTERVAL = 5

MAL_CONN_FAIL_INTERVAL = 5

 

[MAL_INST1]

MAL_INST_NAME = GRP1_MPP_EP01

MAL_HOST = 192.168.48.129

MAL_PORT = 5337

MAL_INST_HOST = 192.168.48.129

MAL_INST_PORT = 5236

MAL_DW_PORT = 5253

MAL_INST_DW_PORT = 5243

 

[MAL_INST2]

MAL_INST_NAME = GRP2_MPP_EP02

MAL_HOST = 192.168.48.131

MAL_PORT = 5337

MAL_INST_HOST = 192.168.48.131

MAL_INST_PORT = 5236

MAL_DW_PORT = 5253

MAL_INST_DW_PORT = 5243

 

[MAL_INST3]

MAL_INST_NAME = GRP1_MPP_EP11

MAL_HOST = 192.168.48.131

MAL_PORT = 5338

MAL_INST_HOST = 192.168.48.131

MAL_INST_PORT = 5237

MAL_DW_PORT = 5254

MAL_INST_DW_PORT = 5248

 

[MAL_INST4]

MAL_INST_NAME = GRP2_MPP_EP22

MAL_HOST = 192.168.48.129

MAL_PORT = 5338

MAL_INST_HOST = 192.168.48.129

MAL_INST_PORT = 5237

MAL_DW_PORT = 5254

MAL_INST_DW_PORT = 5248

 

配置 dmarch.ini

[ARCHIVE_REALTIME1]

ARCH_TYPE = REALTIME

ARCH_DEST = GRP1_MPP_EP11

[ARCHIVE_LOCAL1]

ARCH_TYPE = LOCAL

ARCH_DEST = /dm8/data/EP01/arch

ARCH_FILE_SIZE = 128

ARCH_SPACE_LIMIT = 0

 

配置 dmmpp.ctl

dmmpp.ctl 是二进制文件，由 dmmpp.ini 文本通过 dmctlcvt 工具转换而来。

 

[service_name1]

mpp_seq_no = 0

mpp_inst_name = GRP1_MPP_EP01

[service_name2]

mpp_seq_no = 1

mpp_inst_name = GRP2_MPP_EP02

转换命令如下：

./dmctlcvt TYPE=2 SRC=/dm8/data/EP01/dmmpp.ini DEST=/dm8/data/EP01/dmmpp.ctl

 

 

启动主库

以 Mount 方式启动主库。
./dmserver /dm8/data/EP01/dm.ini mount

设置 OGUID、修改数据库模式

启动命令行工具 disql，使用 MPP 类型为 LOCAL 方式，登录主库设置 OGUID 值。

 

./disql SYSDBA/SYSDBA@192.168.48.129:5236#"{mpp_type=local}"

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);

SQL>sp_set_oguid(45330);

SQL>alter database primary;

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);

 

 

 

 

5.配置备库

配置dm.ini

INSTANCE_NAME = GRP1_MPP_EP11

PORT_NUM = 5237

DW_INACTIVE_INTERVAL = 60

ALTER_MODE_STATUS = 0

ENABLE_OFFLINE_TS = 2

MAL_INI = 1

ARCH_INI = 1

MPP_INI = 1

RLOG_SEND_APPLY_MON = 64

 

配置 dmmal.ini

直接将实例GRP1_MPP_EP01 配置的dmmal.ini 拷贝到/dm8/data/EP11目录中。

 

配置 dmarch.ini

[ARCHIVE_REALTIME1]

ARCH_TYPE = REALTIME

ARCH_DEST = GRP1_MPP_EP01

[ARCHIVE_LOCAL1]

ARCH_TYPE = LOCAL

ARCH_DEST = /dm8/data/EP11/arch

ARCH_FILE_SIZE = 128

ARCH_SPACE_LIMIT = 0

 

启动备库

以 Mount 方式启动主库。

./dmserver /dm8/data/EP11/dm.ini mount

 

设置 OGUID、修改数据库模式

启动命令行工具 dIsql，使用 MPP 类型为 LOCAL 方式，登录主库设置 OGUID 值。

./disql SYSDBA/SYSDBA@192.168.48.131:5237#"{mpp_type=local}"

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);

SQL>sp_set_oguid(45330);

SQL>alter database STANDBY;

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);

 

 

 

 

6.配置 dmwatcher.ini

一般来说，每个单独的实例都是使用一个单独的守护进程守护。比如前面的实时主备和DM 数据守护与读写分离集群 V4.0读写分离集群的配置。本例中，由于同一台机器上有不同组的两个实例，我们可以只配置一个守护进程，同时守护两个实例。

 

A 机器上配置 dmwatcher.ini，放在EP01下，配置为全局守护类型，使用自动切换模式。

[GRP1]

DW_TYPE = GLOBAL #全局守护类型

DW_MODE = AUTO #自动切换模式

DW_ERROR_TIME = 10 #远程守护进程故障认定时间

INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间

INST_ERROR_TIME = 10 #本地实例故障认定时间

INST_OGUID = 45330 #守护系统唯一 OGUID 值

INST_INI = /dm8/data/EP01/dm.ini #dm.ini 配置文件路径

INST_AUTO_RESTART = 1 #打开实例的自动启动功能

INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动

RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值，默认关闭

RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值，默认关闭

 

[GRP2]

DW_TYPE = GLOBAL #全局守护类型

DW_MODE = AUTO #自动切换模式

DW_ERROR_TIME = 10 #远程守护进程故障认定时间

INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间

INST_ERROR_TIME = 10 #本地实例故障认定时间

INST_OGUID = 45331 #守护系统唯一 OGUID 值

INST_INI = /dm8/data/EP22/dm.ini #dm.ini 配置文件路径

INST_AUTO_RESTART = 1 #打开实例的自动启动功能

INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动

RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值，默认关闭

RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值，默认关闭

 

B 机器上配置 dmwatcher.ini，配置为全局守护类型，使用自动切换模式。

[GRP1]

DW_TYPE = GLOBAL #全局守护类型

DW_MODE = AUTO #自动切换模式

DW_ERROR_TIME = 10 #远程守护进程故障认定时间

INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间

INST_ERROR_TIME = 10 #本地实例故障认定时间

INST_OGUID = 45330 #守护系统唯一 OGUID 值

INST_INI =/dm8/data/EP11/dm.ini #dm.ini 配置文件路径

INST_AUTO_RESTART = 1 #打开实例的自动启动功能

INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动

RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值，默认关闭

RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值，默认关闭

[GRP2]

DW_TYPE = GLOBAL #全局守护类型

DW_MODE = AUTO #自动切换模式

DW_ERROR_TIME = 10 #远程守护进程故障认定时间

INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间

INST_ERROR_TIME = 10 #本地实例故障认定时间

INST_OGUID = 45331 #守护系统唯一 OGUID 值

INST_INI = /dm8/data/EP02/dm.ini #dm.ini 配置文件路径

INST_AUTO_RESTART = 1 #打开实例的自动启动功能

INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动

RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值，默认关闭

RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值，默认关闭

 

7.启动守护进程，自动将实例open

dm01:

cd /dm8/bin

 ./dmwatcher /dm8/data/EP01/dmwatcher.ini

 

dm02:

cd /dm8/bin

./dmwatcher /dm8/data/EP02/dmwatcher.ini

  

  1. 配置监视器

MON_DW_CONFIRM      = 1                     #确认监视器模式

MON_LOG_PATH        =/dm8/dmdbms/log        #监视器日志文件存放路径

MON_LOG_INTERVAL    = 60                    #每隔60s定时记录系统信息到日志文件

MON_LOG_FILE_SIZE   = 32                    #每个日志文件最大32M

MON_LOG_SPACE_LIMIT = 0                     #不限定日志文件总占用空间

 

[GRP1]

MON_INST_OGUID      = 45330               #组GRP1的唯一OGUID值

 

#以下配置为监视器到组GRP1的守护进程的连接信息，以―IP:PORT‖的形式配置

#IP对应dmmal.ini中的 MAL_HOST,PORT对应dmmal.ini中的 MAL_DW_PORT

MON_DW_IP          = 192.168.48.129:5253

MON_DW_IP          = 192.168.48.131:5254

 

[GRP2]

MON_INST_OGUID     = 45331               #组GRP2的唯一OGUID值

 

#以下配置为监视器到组GRP2的守护进程的连接信息，以―IP:PORT‖的形式配置

#IP对应 dmmal.ini 中的MAL_HOST，PORT对应dmmal.ini中的MAL_DW_PORT

MON_DW_IP          = 192.168.48.129:5254

MON_DW_IP          = 192.168.48.131:5253 

 

 

  1. 启动监视器

cd /dm8/bin

./dmmonitor /dm8/data/dmmonitor.ini

 

 

 

达梦社区地址：https://eco.dameng.com

标签：并行处理,PORT,INST,ini,MPP,dm8,DW,MAL,搭建
来源： https://www.cnblogs.com/-dym/p/16641532.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有