您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

MySQL Cluster(MySQL 集群) 初试

2024/10/16 1:34:00发布30次查看
作/译者:叶金荣(email: ),来源:http://imysql.cn mysql cluster 是mysql适合于分布式计算环境的高实用、高冗余版本。它采用了ndb cluster 存储引擎,允许在1个 cluster 中运行多个mysql服务器。在myql 5.0及以上的二进制版本中、以及与最新的linux版本
作/译者:叶金荣(email: ),来源:http://imysql.cn
mysql cluster 是mysql适合于分布式计算环境的高实用、高冗余版本。它采用了ndb cluster 存储引擎,允许在1个 cluster 中运行多个mysql服务器。在myql 5.0及以上的二进制版本中、以及与最新的linux版本兼容的rpm中提供了该存储引擎。(注意,要想获得mysql cluster 的功能,必须安装 mysql-server 和 mysql-max rpm)。
目前能够运行mysql cluster 的操作系统有linux、mac os x和solaris(一些用户通报成功地在freebsd上运行了mysql cluster ,但mysql ab公司尚未正式支持该特性)。
一、mysql cluster概述
mysql cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 cluster 。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。
mysql cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括mysql服务器,ndb cluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。关于 cluster 中这些组件的关系,请参见下图:
所有的这些节点构成一个完成的mysql集群体系。数据保存在“ndb存储服务器”的存储引擎中,表(结构)则保存在“mysql服务器”中。应用程序通 过“mysql服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“ndb存储服务器”。
通过将mysql cluster 引入开放源码世界,mysql为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 cluster 数据管理。
二、mysql cluster 基本概念
“ndb” 是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的特点。
mysql cluster 能够使用多种故障切换和负载平衡选项配置ndb存储引擎,但在 cluster 级别上的存储引擎上做这个最简单。mysql cluster的ndb存储引擎包含完整的数据集,仅取决于 cluster本身内的其他数据。
目前,mysql cluster的 cluster部分可独立于mysql服务器进行配置。在mysql cluster中, cluster的每个部分被视为1个节点。
管理(mgm)节点:这类节点的作用是管理mysql cluster内的其他节点,如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。mgm节点是用命令“ndb_mgmd”启动的。 数据节点:这类节点用于保存 cluster的数据。数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。 sql节点:这是用来访问 cluster数据的节点。对于mysql cluster,客户端节点是使用ndb cluster存储引擎的传统mysql服务器。通常,sql节点是使用命令“mysqld –ndbcluster”启动的,或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。 注释:在很多情况下,术语“节点”用于指计算机,但在讨论mysql cluster时,它表示的是进程。在单台计算机上可以有任意数目的节点,为此,我们采用术语“ cluster主机”。
管理服务器(mgm节点)负责管理 cluster配置文件和 cluster日志。 cluster中的每个节点从管理服务器检索配置数据,并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时,节点将关于这类事件的信息传输 到管理服务器,然后,将这类信息写入 cluster日志。
此外,可以有任意数目的 cluster客户端进程或应用程序。它们分为两种类型:
标准mysql客户端:对于mysql cluster,它们与标准的(非 cluster类)mysql没有区别。换句话讲,能够从用php、perl、c、c++、java、python、ruby等编写的现有mysql应用程序访问mysql cluster。 管理客户端:这类客户端与管理服务器相连,并提供了启动和停止节点、启动和停止消息跟踪(仅调试版本)、显示节点版本和状态、启动和停止备份等的命令。三、开始准备
1、准备服务器
现在,我们计划建立有5个节点的mysql cluster体系,因此需要用到5台机器,分别做如下用途:
节点(用途) ip地址(主机名)
管理节点(mgm) 192.168.0.1(db1)
sql节点1(sql1) 192.168.0.2(db2)
sql节点2(sql2) 192.168.0.3(db3)
数据节点1(ndbd1) 192.168.0.4(db4)
数据节点2(ndbd2) 192.168.0.4(db5)

2、注意事项及其他
每个节点的操作系统都是linux,下面的描述中将使用主机名,不再使用ip地址来表示。由于mysql cluster采用tcp/ip方式连接,并且节点之间的数据传输没有加密,因此这个体系最好只在单独的子网中运行,并且考虑到传输的速率,强烈建议不要 跨越公网使用这个体系。所需的mysql软件请事先在 http://dev.mysql.com/downloads 下载。
实际上整个体系可以在一个单独的实体计算机上运行成功,当然了,必须设定不同的目录以及端口等,只能作为测试时使用。
四、开始安装
1、假定条件
在每个节点计算机上都采用 nobody 用户来运行cluster,因此执行如下命令添加相关用户(如果已经存在则略过,且用root用户执行):
root# /usr/sbin/groupadd nobody
root# /usr/sbin/useradd nobody -g nobody

假设已经下载了mysql可直接使用的二进制安装包,且放在 /tmp 下了。
2、sql节点和存储节点(ndb节点)安装(即4个机器重复执行以下步骤)
root# cd /tmp/
root# tar zxf mysql-max-5.0.24-linux-i686.tar.gz
root# mv mysql-max-5.0.24-linux-i686 /usr/local/mysql/
root# cd /usr/local/mysql/
root# ./configure --prefix=/usr/local/mysql
root# ./scripts/mysql_install_db
root# chown -r nobody:nobody /usr/local/mysql/

3、配置sql节点
root# vi /usr/local/mysql/my.cnf


然后输入如下内容:
[mysqld]
basedir = /usr/local/mysql/
datadir = /usr/local/mysql/data
user = nobody
port = 3306
socket = /tmp/mysql.sock
ndbcluster
ndb-connectstring=db1
[mysql_cluster]
ndb-connectstring=db1

4、配置存储节点(ndb节点)
root# vi /usr/local/mysql/my.cnf


然后输入如下内容:
[mysqld]
ndbcluster
ndb-connectstring=db1
[mysql_cluster]
ndb-connectstring=db1

5、安装管理节点
root# cd /tmp/
root# tar zxf mysql-max-5.0.24-linux-i686.tar.gz
root# mkdir /usr/local/mysql/
root# mkdir /usr/local/mysql/data/
root# cd mysql-max-5.0.24-linux-i686/bin/
root# cp ndb_mgm* /usr/local/mysql/
root# chown -r nobody:nobody /usr/local/mysql

6、配置管理节点
root# vi /usr/local/mysql/config.ini

然后输入如下内容:
[ndbd default]
noofreplicas=1
[tcp default]
portnumber=3306
#设置管理节点服务器
[ndb_mgmd]
hostname=db1
#mgm上保存日志的目录
datadir=/usr/local/mysql/data/
#设置存储节点服务器(ndb节点)
[ndbd]
hostname=db4
datadir=/usr/local/mysql/data/
#第二个ndb节点
[ndbd]
hostname=db5
datadir=/usr/local/mysql/data/
#设置sql节点服务器
[mysqld]
hostname=db2
#第二个sql节点
[mysqld]
hostname=db3

注释: cluster管理节点的默认端口是1186,数据节点的默认端口2202。从mysql 5.0.3开始,该限制已被放宽, cluster能够根据空闲的端口自动地为数据节点分配端口。如果你的版本低于5.0.22,请注意这个细节。
五、启动mysql cluster
较为合理的启动顺序是,首先启动管理节点服务器,然后启动存储节点服务器,最后才启动sql节点服务器:
在管理节点服务器上,执行以下命令启动mgm节点进程:
root# /usr/local/mysql/ndb_mgmd -f /usr/local/mysql/config.ini

必须用参数“-f”或“--config-file”告诉 ndb_mgm 配置文件所在位置,默认是在ndb_mgmd相同目录下。
在每台存储节点服务器上,如果是第一次启动ndbd进程的话,必须先执行以下命令:
root# /usr/local/mysql/bin/ndbd --initial

注意,仅应在首次启动ndbd时,或在备份/恢复数据或配置文件发生变化后重启ndbd时使用“--initial”参数。因为该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件,包括用于恢复的日志文件。
如果不是第一次启动,直接运行如下命令即可:
root# /usr/local/mysql/bin/ndbd

最后,运行以下命令启动sql节点服务器:
root# /usr/local/mysql/bin/mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &

如果一切顺利,也就是启动过程中没有任何错误信息出现,那么就在管理节点服务器上运行如下命令:
root# /usr/local/mysql/ndb_mgm
-- ndb cluster -- management client --
ndb_mgm> show
connected to management server at: localhost:1186
cluster configuration
---------------------
[ndbd(ndb)] 2 node(s)
id=2 @192.168.0.4 (version: 5.0.22, nodegroup: 0, master)
id=3 @192.168.0.5 (version: 5.0.22, nodegroup: 0)
[ndb_mgmd(mgm)] 1 node(s)
id=1 @192.168.0.1 (version: 5.0.22)
[mysqld(sql)] 1 node(s)
id=2 (version: 5.0.22)
id=3 (version: 5.0.22)

具体的输出内容可能会略有不同,这取决于你所使用的mysql版本。
注意:如果你正在使用较早的mysql版本,你或许会看到引用为‘[mysqld(api)]’的sql节点。这是一种早期的用法,现已放弃。
现在,应能在mysql cluster中处理数据库,表和数据。
六、创建数据库表
与没有使用 cluster的mysql相比,在mysql cluster内操作数据的方式没有太大的区别。执行这类操作时应记住两点:
表必须用engine=ndb或engine=ndbcluster选项创建,或用alter table选项更改,以使用ndb cluster存储引擎在 cluster内复制它们。如果使用mysqldump的输出从已有数据库导入表,可在文本编辑器中打开sql脚本,并将该选项添加到任何表创建语句,或 用这类选项之一替换任何已有的engine(或type)选项。 另外还请记住,每个ndb表必须有一个主键。如果在创建表时用户未定义主键,ndb cluster存储引擎将自动生成隐含的主键。(注释:该隐含 键也将占用空间,就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键,出现问题并不罕见)。 下面是一个例子:
在db2上,创建数据表,插入数据:
[db2~]root# mysql -uroot test
[db2~]mysql> create table city(
[db2~]mysql> id mediumint unsigned not null auto_increment primary key,
[db2~]mysql> name varchar(20) not null default ''
[db2~]mysql> ) engine = ndbcluster default charset utf8;
[db2~]mysql> insert into city values(1, 'city1');
[db2~]mysql> insert into city values(2, 'city2');

在db3上,查询数据:
[db3~]root# mysql -uroot test
[db2~]mysql> select * from city;
+-----------+
|id | name |
+-----------+
|1 | city1 |
+-----------+
|2 | city2 |
+-----------+

七、安全关闭
要想关闭 cluster,可在mgm节点所在的机器上,在shell中简单地输入下述命令:
[db1~]root# /usr/local/mysql/ndb_mgm -e shutdown

运行以下命令关闭sql节点的mysqld服务:
[db2~]root# /usr/local/mysql/bin/mysqladmin -uroot shutdown

八、其他
关于mysql cluster更多详细的资料以及备份等请参见mysql手册的“mysql cluster(mysql 集群)”章节。
参考资料:《mysql 5.1 中文手册》
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product