分布式存储ceph之RGW接口

提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；不过，自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件

从上可以看出大多数对象存储的核心资源类型大同小异，如 Amazon S3、OpenStack Swift 与 RadosGw。其中 S3 与 Swift 互不兼容，RadosGw 为了兼容 S3 与 Swift， Ceph 在 RadosGW 集群的基础上提供了 RGW（RadosGateway）数据抽象层和管理层，它可以原生兼容 S3 和 Swift 的 API。

S3和Swift它们可基于http或https完成数据交换，由RadosGW内建的Civetweb提供服务，它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求，再转发至RadosGW进程。

RGW 的功能依赖于对象网关守护进程实现，负责向客户端提供 REST API 接口。出于冗余负载均衡的需求，一个 Ceph 集群上通常不止一个 RadosGW 守护进程。（##可以在多个节点去开启RGW守护进程）

2.创建 RGW 接口

如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作为对象存储（Object Storage）使用，类于阿里云OSS。

2.1 管理节点创建一个 RGW 守护进程

cd /etc/ceph

ceph-deploy rgw create node01

创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

ceph osd pool ls

rgw.root

default.rgw.control #控制器信息

default.rgw.meta #记录元数据

default.rgw.log #日志信息

default.rgw.buckets.index #为 rgw 的 bucket 信息，写入数据后生成

default.rgw.buckets.data #是实际存储的数据信息，写入数据后生成

默认情况下 RGW 监听 7480 号端口

node01节点

netstat -lntp | grep 7480

admin节点

curl node01:7480

2.2 开启 http+https ，更改监听端口

RadosGW 守护进程内部由 Civetweb 实现，通过对 Civetweb 的配置可以完成对 RadosGW 的基本管理。

admin节点

#要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书

1）生成CA证书私钥：

openssl genrsa -out civetweb.key 2048

2）生成CA证书公钥：

openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.9.111"

#3、将生成的证书合并为pem

cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

更改监听端口

Civetweb 默认监听在 7480 端口并提供 http 协议，如果需要修改配置需要在管理节点编辑 ceph.conf 配置文件

vim ceph.conf

添加以下配置

[client.rgw.node01]

rgw_host = node01

rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"

------------------------------------------------------------

●rgw_host：对应的RadosGW名称或者IP 地址

●rgw_frontends：这里配置监听的端口，是否使用https，以及一些常用配置：

•port：如果是https端口，需要在端口后面加一个s。

•ssl_certificate：指定证书的路径。

•num_threads：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大

•request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000

•access_log_file：访问日志路径，默认为空

•error_log_file：错误日志路径，默认为空

------------------------------------------------------------

#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务，再推送配置文件

ceph-deploy --overwrite-conf config push node0{1..3}

scp civetweb.pem node01:/etc/ceph #推送证书文件给node节点

scp civetweb.pem node02:/etc/ceph

scp civetweb.pem node03:/etc/ceph

node01节点

systemctl restart ceph-radosgw.target

netstat -lntp | grep :80

netstat -lntp | grep radosgw

#在客户端访问验证

curl node01:80

curl -k https://node01:443

2.3 创建 RadosGW 账户

在管理节点使用 radosgw-admin 命令创建 RadosGW 账户

radosgw-admin user create --uid="scj" --display-name="rgw test user"

#创建成功后将输出用户的基本信息，其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功，如果忘记用户信息可以使用下面的命令查看

radosgw-admin user info --uid="scj"

2.4 客户端 测试

1）在客户端安装 python3、python3-pIP

yum install -y python3 python3-pIP

python3 -V #查看

Python 3.6.8

pIP3 -V

2）安装 boto 模块，用于测试连接 S3

pIP3 install boto

3）测试访问 S3 接口

#coding:utf-8

#boto s3手册：http://boto.readthedocs.org/en/latest/ref/s3.html

#boto s3快速入门：http://boto.readthedocs.org/en/latest/s3_tut.html

#如果脚本长时间阻塞，请检查集群状态，开启的端口等

import ssl

import boto.s3.connection

from boto.s3.key import Key

#异常抛出

try:

_create_unverified_https_context = ssl._create_unverified_context

except AttributeError:

pass

else:

ssl._create_default_https_context = _create_unverified_https_context

#test用户的keys信息

access_key = "A1HILZD6RHGGC4JV0U9Q"

secret_key = "v0i9JnYIlVFAqfT7uAPVLIshxKuHdKKLwsTJppYy"

#rgw的IP与端口

host = "192.168.9.111"

#如果使用443端口，下述链接应设置is_secure=True

port = 443

#如果使用80端口，下述链接应设置is_secure=False

#port = 80

conn = boto.connect_s3(

aws_access_key_id=access_key,

aws_secret_access_key=secret_key,

host=host,

port=port,

is_secure=True,

validate_certs=False,

calling_format=boto.s3.connection.OrdinaryCallingFormat()

)

##一:创建存储桶

conn.create_bucket(bucket_name=bucket01)

#conn.create_bucket(bucket_name=bucket02)

##二：判断是否存在，不存在返回None

#exists = conn.lookup(bucket01)

#print(exists)

#exists = conn.lookup(bucket02)

#print(exists)

##三：获得一个存储桶

#bucket1 = conn.get_bucket(bucket01)

#bucket2 = conn.get_bucket(bucket02)

##四：查看一个bucket下的内容

#print(list(bucket1.list()))

#print(list(bucket2.list()))

##五：向s3上存储数据，数据来源可以是file、stream、or string

##5.1、上传文件

#bucket1 = conn.get_bucket(bucket01)

## name的值是数据的key

#key = Key(bucket=bucket1, name=myfile)

#key.set_contents_from_filename(rD:\PycharmProjects\ceph\123.txt)

## 读取 s3 中文件的内容，返回 string 即文件 123.txt 的内容

#print(key.get_contents_as_string())

##5.2、上传字符串

##如果之前已经获取过对象，此处不需要重复获取

#bucket2 = conn.get_bucket(bucket02)

#key = Key(bucket=bucket2, name=mystr)

#key.set_contents_from_string(hello world)

#print(key.get_contents_as_string())

##六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key

#bucket1 = conn.get_bucket(bucket01)

#for key in bucket1:

# key.delete()

#bucket1.delete()

##bucket1.get_all_keys()[0].delete() #删除某一个 key

##迭代遍历删除 buckets and keys

#for bucket in conn:

# for key in bucket:

# print(key.name,key.get_contents_as_string())

##—个判断文件夹中是否有文件的方法

#bucket1 = conn.get_bucket(bucket01)

#res = bucket1.get_all_keys()

#if len(res) > 0:

# print(有文件)

#else:

# print(为空)

#注释34-85行

1.测试创建存储桶bucket01

vim test.py

取消35行注释

python3 test.py #执行

vim test.py

35行添加注释

取消39-42注释

python3 test.py

2.获取存储桶中的内容

vim test.py

39-42添加注释

删除45、49注释

python3 test.py

传入存储桶内容

cd /opt

echo zhangsan lisi > scj.txt

vim test.py

添加45、49注释

54、56、57删除注释

key.set_contents_from_filename(r/opt/scj.txt) #57行修改

python3 test.py #执行

vim test.py

删除45、49注释

54、56、57添加注释

python3 test.py

vim test.py

打开56、59行

python3 test.py

3.通过字符串方式上传内容

vim test.py

注释45、49、56、59

打开36行注释

python3 test.py

vim test.py

注释36行注释

打开39-42注释

python3 test.py

vim test.py

注释39-42

63-65 打开注释

修改64、65配置

key = Key(bucket=bucket2, name=tangjun)

key.set_contents_from_string(tangjun like scj)

python3 test.py

vim test.py

注释63-65

打开45、46、49、50

python3 test.py

vim test.py

打开56、59、64、66

python3 test.py

4.删除指定存储桶

vim test.py

34-85都注释

打开69、73

修改

bucket2 = conn.get_bucket(bucket02)

bucket2.get_all_keys()[0].delete() #删除某一个 key

python3 test.py

vim test.py

注释69、73

打开46、50行

python3 test.py

删除整个存储桶

vim test.py

注释46、50

打开69-72行并修改

69 bucket2 = conn.get_bucket(bucket02)

70 for key in bucket2:

71 key.delete()

72 bucket2.delete()

python3 test.py

vim test.py

打开39-42

注释69-72行并修改

python3 test.py

3.OSD 故障模拟与恢复

3.1 模拟 OSD 故障

管理节点

ceph osd tree

模拟8号故障

node3节点

systemctl stop ceph-osd@8.service

systemctl status ceph-osd@8.service

3.2 将坏掉的 osd 踢出集群

用综合步骤，删除配置文件中针对坏掉的 osd 的配置

ceph osd purge osd.8 --yes-i-really-mean-it

3.3 把原来坏掉的 osd 修复后重新加入集群

#在 osd 节点创建 osd，无需指定名，会按序号自动生成

cd /etc/ceph

ceph osd create

#创建账户

ceph-authtool --create-keyring /etc/ceph/ceph.osd.8.keyring --gen-key -n osd.8 --cap mon allow profile osd --cap mgr allow profile osd --cap osd allow *

#导入新的账户秘钥

ceph auth import -i /etc/ceph/ceph.osd.8.keyring

ceph auth list

node3节点

更新对应的 osd 文件夹中的密钥环文件

ceph auth get-or-create osd.8 -o /var/lib/ceph/osd/ceph-8/keyring

admin节点

加入 crushmap

ceph osd crush add osd.8 1.000 host=node03

#加入集群

ceph osd in osd.8

ceph osd tree

node3节点重启

重启 osd 守护进程

systemctl restart ceph-osd@8

admin服务器查看

ceph osd tree #稍等片刻后 osd 状态为 up

分布式存储ceph之RGW接口

1.对象存储概念

2.创建 RGW 接口

2.1 管理节点创建一个 RGW 守护进程

2.2 开启 http+https ，更改监听端口

2.3 创建 RadosGW 账户

2.4 客户端 测试

3.OSD 故障模拟与恢复

3.1 模拟 OSD 故障

3.2 将坏掉的 osd 踢出集群

3.3 把原来坏掉的 osd 修复后重新加入集群

最新文章

热评文章

热门文章

« 2024年11月 »
一	二	三	四	五	六	日
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30