云服务平台对接方案（⑩ OpenStack高可用集群部署方案（train版）—OpenStack对接Ceph存储）

本文目录

• ⑩ OpenStack高可用集群部署方案（train版）—OpenStack对接Ceph存储
• 工业互联网的设备上云解决方案具体怎么实现
• 华为云物联网平台支持的sdk接入方式有哪些
• 云计算平台要如何搭建

⑩ OpenStack高可用集群部署方案（train版）—OpenStack对接Ceph存储

参考Ceph官方安装文档

Openstack环境中，数据存储可分为临时性存储与永久性存储。

临时性存储：主要由本地文件系统提供，并主要用于nova虚拟机的本地系统与临时数据盘，以及存储glance上传的系统镜像；

永久性存储：主要由cinder提供的块存储与swift提供的对象存储构成，以cinder提供的块存储应用最为广泛，块存储通常以云盘的形式挂载到虚拟机中使用。

Openstack中需要进行数据存储的三大项目主要是nova项目（虚拟机镜像文件），glance项目（共用模版镜像）与cinder项目（块存储）。

下图为cinder，glance与nova访问ceph集群的逻辑图：

ceph与openstack集成主要用到ceph的rbd服务，ceph底层为rados存储集群，ceph通过librados库实现对底层rados的访问；

openstack各项目客户端调用librbd，再由librbd调用librados访问底层rados；
实际使用中，nova需要使用libvirtdriver驱动以通过libvirt与qemu调用librbd；cinder与glance可直接调用librbd；

写入ceph集群的数据被条带切分成多个object，object通过hash函数映射到pg（构成pg容器池pool），然后pg通过几圈crush算法近似均匀地映射到物理存储设备osd（osd是基于文件系统的物理存储设备，如xfs，ext4等）。

CEPH PG数量设置与详细介绍

在创建池之前要设置一下每个OSD的最大PG 数量

PG PGP官方计算公式计算器

参数解释：

依据参数使用公式计算新的 PG 的数目:
PG 总数= ((OSD总数*100)/最大副本数)/池数
3x100/3/3=33.33 ;舍入到2的N次幕为32

openstack集群作为ceph的客户端；下面需要再openstack集群上进行ceph客户端的环境配置

在openstack所有控制和计算节点安装ceph Octopus源码包，centos8有默认安装，但是版本一定要跟连接的ceph版本一致

glance-api 服务运行在3个控制节点， 因此三台控制节点都必须安装

cinder-volume 与 nova-compute 服务运行在3个计算（存储）节点； 因此三台计算节点都必须安装

将配置文件和密钥复制到openstack集群各节点

配置文件就是生成的ceph.conf；而密钥是 ceph.client.admin.keyring ，当使用ceph客户端连接至ceph集群时需要使用的密默认密钥，这里我们所有节点都要复制，命令如下

※Glance***隐藏网址***

※Nova 负责虚拟机的生命周期管理，包括创建，删除，重建，开机，关机，重启，快照等，作为openstack的核心，nova负责IaaS中计算重要的职责，其中nova的存储格外重要，默认情况下，nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下，使用本地的存储空间。使用这种方式带来的好处是:简单，易实现，速度快，故障域在一个可控制的范围内。然而，缺点也非常明显：compute出故障，上面的虚拟机down机时间长，没法快速恢复，此外，一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性，将无法使用，对于后期的云平台建设，有明显的缺陷。对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt，因为 librbd 早已原生集成到其中。

※Cinder 为 OpenStack 提供卷服务，支持非常广泛的后端存储类型。对接 Ceph 后，Cinder 创建的 Volume 本质就是 Ceph RBD 的块设备，当 Volume 被虚拟机挂载后，Libvirt 会以 rbd 协议的方式使用这些 Disk 设备。除了 cinder-volume 之后，Cinder 的 Backup 服务也可以对接 Ceph，将备份的 Image 以对象或块设备的形式上传到 Ceph 集群。

使用ceph的rbd接口，需要通过libvirt，所以需要在客户端机器上安装libvirt和qemu，关于ceph和openstack结合的结构如下，同时，在openstack中，需要用到存储的地方有三个:

为 Glance、Nova、Cinder 创建专用的RBD Pools池

需要配置hosts解析文件，这里最开始已经配置完成，如未添加hosts解析需要进行配置

在cephnode01管理节点上操作 ；命名为：volumes，vms，images

记录：删除存储池的操作

在cephnode01管理节点上操作 ；

针对pool设置权限，pool名对应创建的pool

nova-compute与cinder-volume都部署在计算节点 ，不必重复操作,如果计算节点与存储节点分离需要分别推送；

全部计算节点配置；以compute01节点为例；

Glance 为 OpenStack 提供镜像及其元数据注册服务，Glance 支持对接多种后端存储。与 Ceph 完成对接后，Glance 上传的 Image 会作为块设备储存在 Ceph 集群中。新版本的 Glance 也开始支持 enabled_backends 了，可以同时对接多个存储提供商。

写时复制技术(copy-on-write) ：内核只为新生成的子进程创建虚拟空间结构，它们复制于父进程的虚拟空间结构，但是不为这些段分配物理内存，它们共享父进程的物理空间，当父子进程中有更改相应的段的行为发生时，再为子进程相应的段分配物理空间。写时复制技术大大降低了进程对资源的浪费。

全部控制节点进行配置；以controller01节点为例；
只修改涉及glance集成ceph的相关配置

变更配置文件，重启服务

ceph官网介绍 QEMU和块设备

对接 Ceph 之后，通常会以 RAW 格式创建 Glance Image，而不再使用 QCOW2 格式，否则创建虚拟机时需要进行镜像复制，没有利用 Ceph RBD COW 的优秀特性。

总结

将openstack集群中的glance镜像的数据存储到ceph中是一种非常好的解决方案，既能够保障镜像数据的安全性，同时glance和nova在同个存储池中，能够基于copy-on-write(写时复制)的方式快速创建虚拟机，能够在秒级为单位实现vm的创建。

全部计算节点进行配置； 以compute01节点为例；只修改glance集成ceph的相关配置

全部计算节点重启cinder-volume服务；

任意openstack控制节点上查看;

在任意控制节点为cinder的ceph后端存储创建对应的type，在配置多存储后端时可区分类型；

为ceph type设置扩展规格，键值 volume_backend_name ，value值 ceph

任意控制节点上创建一个1GB的卷 ；最后的数字1代表容量为1G

查看创建好的卷

openstack创建一个空白 Volume，Ceph相当于执行了以下指令

从镜像创建 Volume 的时候应用了 Ceph RBD COW Clone 功能，这是通过 glance-api.conf show_image_direct_url = True 来开启。这个配置项的作用是持久化 Image 的 location，此时 Glance RBD Driver 才可以通过 Image location 执行 Clone 操作。并且还会根据指定的 Volume Size 来调整 RBD Image 的 Size。

一直存在的cirros_qcow2镜像为对接ceph之前的镜像，现在已无法使用，所以将之删除

在openstack上从镜像创建一个Volume，Ceph相当于执行了以下指令

任意控制节点操作；

查看快照详细信息

在openstack上对镜像的卷创建快照，Ceph相当于执行了以下指令

如果说快照时一个时间机器，那么备份就是一个异地的时间机器，它具有容灾的含义。所以一般来说 Ceph Pool backup 应该与 Pool images、volumes 以及 vms 处于不同的灾备隔离域。

***隐藏网址***

***隐藏网址***

一般的，备份具有以下类型：

在虚拟磁盘映像的计算节点上使用本地存储有一些缺点：

Nova 为 OpenStack 提供计算服务，对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt ，因为 librbd 早已原生集成到其中。

如果需要从ceph rbd中启动虚拟机，必须将ceph配置为nova的临时后端；
推荐在计算节点的配置文件中启用rbd cache功能；
为了便于故障排查，配置admin socket参数，这样每个使用ceph rbd的虚拟机都有1个socket将有利于虚拟机性能分析与故障解决；
相关配置只涉及全部计算节点ceph.conf文件的字段，以compute163节点为例

全部计算节点配置 ceph.conf文件相关的 字段，以compute01节点为例；

在全部计算节点配置nova后端使用ceph集群的vms池，以compute01节点为例；

在全部计算节点操作;

在全部计算节点操作，以compute01节点为例；
以下给出libvirtd.conf文件的修改处所在的行num

工业互联网的设备上云解决方案具体怎么实现

工业物联网设备上云是依托物联网、大数据、云计算、人工智能等新一代信息技术，将产线的设备变成一个实时数据终端，通过4G、5G等通讯技术，实现数据实时上传下达，实现设备远程控制、数据实时分析决策、智能运维、预测性维护等需求，同时需要支持MES、MOM等系统对接，并通过一系列智能逻辑判断、分析、挖掘、评估、预测、优化、协作等，实现对生产现场实施集成管控。
据我所知机智云的工业物联网设备上云解决方案有非常丰富的实施经验，而且实施快、成本低、轻量化解决客户需求，机智云多次被评为优秀工业互联网解决方案商，߅基于机智云AIoT底层物联网技术，结合制造业实际业务，已形成多个垂直行业设备上云解决方案，并参与制定相关国家标准，在纺织行业已实现规模化推广，高效兼容500款纺织机，已接入几十万台纺织机，并通过对接MES系统，支持B2B交易平台及供应链金融开展产业互联网业务。

华为云物联网平台支持的sdk接入方式有哪些

华为云IoT云服务包括应用管理、设备管理、系统管理等能力，实现统一安全的网络接入、各种终端的灵活适配、海量数据的采集分析，从而实现新价值的创造。
物联网平台：作为连接业务应用和设备的中间层，屏蔽了各种复杂的设备接口，实现设备的快速接入；同时提供强大的开放能力，支撑行业用户快速构建各种物联网业务应用。
设备：可以通过固网、2/3/4G、NB-IoT、Wifi等多种网络接入物联网平台，并使用LWM2M/CoAP、MQTT协议、或ONVIF协议将业务数据上报到平台，平台也可以将控制命令下发给设备。
业务应用：通过调用物联网平台提供的API，实现设备管理、数据上报、命令下发等业务场景。
因此，基于物联网平台去实现一个端到端的物联网解决方案时，需要在设备接入服务进行产品开发、在设备管理服务控制台（商用环境）进行上线和日常管理：

云计算平台要如何搭建

云计算平台也称为云平台。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。 （1）微软技术特性：整合其所用软件及数据服务核心技术：大型应用软件开发技术企业服务：Azure平台开发语言：.NET （2）Google技术特性：储存及运算水平扩充能力核心技术：平行分散技术MapReduce，BigTable，GFS企业服务：Google AppEngine，应用代管服务开发语言：Python，Java （3）IBM技术特性：整合其所有软件及硬件服务核心技术：网格技术，分布式存储，动态负载企业服务：虚拟资源池提供，企业云计算整合方案 （4）Oracle技术特性：软硬件弹性虚拟平台核心技术：Oracle的数据存储技术，Sun开源技术企业服务：EC2上的Oracle数据库，OracleVM，Sun xVM （5）Amazon技术特性：弹性虚拟平台核心技术：虚拟化技术Xen企业服务：EC2、S3，SimpleDB、SQS开发语言： （6）Saleforce技术特性：弹性可定制商务软件核心技术：应用平台整合技术企业服务：Force. com服务开发语言：Java，APEX （7）旺田云服务技术特性：按需求可定制平台化软件核心技术：应用平台整合技术企业服务：netfarmer 服务提供不同行业信息化平台开发语言：Deluge（Data Enriched Language for the Universal Grid Environment） （8）EMC技术特性：信息存储系统及虚拟化技术核心技术：Vmware的虚拟化技术，一流存储技术企业服务：Atoms云存储系统，私有云解决方案 （9）阿里巴巴技术特性：弹性可定制商务软件核心技术：应用平台整合技术企业服务：软件互联平台，云电子商务平台 （10）中国移动技术特性：坚实的网络技术丰富的带宽资源核心技术：底层集群部署技术，资源池虚拟技术，网络相关技术企业服务：BigCloude-大云平台平台架构 首先：显示层，多数据中心云计算架构这层主要是用于以友好的方式展现用户所需的内容，并会利用到下面中间件层提供的多种服务，主要有五种技术：HTML：标准的Web页面技术，2013年前主要以HTML4为主，但是将要推出的HTML5会在很多方面推动Web页面的发展，比如视频来进行编程，所以对开发者非常友好。 其次：中间层　这层是承上启下的，它在下面的基础设施层所提供资源的基础上提供了多种服务，比如缓存服务和REST服务等，而且这些服务即可用于支撑显示层，也可以直接让户调用，并主要有五种技术；REST：通过REST技术，能够非常方便和优雅地将中间件层所支撑的部分服务提供给调用者。多租户：就是能让一个单独的应用实例可以为多个组织服务，而且保持良好的隔离性和安全性，并且通过这种技术，能有效地降低应用的购置和维护成本。并行处理：为了处理海量的数据，需要利用庞大的X86集群进行规模巨大的并行处理，Google的MapReduce是这方面的代表之作。应用服务器：在原有的应用服务器的基础上为云计算做了一定程度的优化，比如用于Google App Engine的Jetty应用服务器。分布式缓存：通过分布式缓存技术，不仅能有效地降低对后台服务器的压力，而且还能加快相应的反应速度，最著名的分布式缓存例子莫过于Memcached。