设为首页 加入收藏

TOP

MySQL是如何做容器测试的?
2018-10-11 16:13:00 】 浏览:159
Tags:MySQL 如何 容器 测试

传统的基础设施管理是一项手动任务,由系统管理员管理静态服务器。现代云平台的自动化能力改变了这种工作方式:基础设施通常被描述为“代码”,基础设施管理系统会对基础设施自动做出变更。因此,基础设施的变得更加动态,周转时间也要短得多。


在MySQL,我们有很多基础设施,我们越来越多地使用容器来代替真实(虚拟)机器。此外,越来越多的核心基础设施运行在Oracle的云基础设施(OCI)上。这要求我们实现多个级别的自动化,并且可以利用基础设施测试来验证我们的服务器(或虚拟机、容器)的状态。基础设施测试还用于验证我们发布的一些工件的状态。


基础设施测试用于测试基础设施的状态:Apache服务器是否在监听80端口?是否正确配置了DNS服务器,这些设置是否正确反映在resolv.conf文件中?要安装的二进制文件是否都已经存在于机器镜像中?


这类测试可以作为bash脚本的一部分,因此通常被用于配置任务,或者在(手动)创建实例后进行手动验证。自动化基础设施测试更进一步,它假设需要对很多基础设施和脚本的正确性做出验证,以及动态的现代云环境有很多东西需要通过手动的方式处理。


基础设施测试工具通常与Ansible、Puppet或Chef等配置工具结合使用。配置工具在机器上安装软件,测试框架则确保它们能够正常运行。然后,任何东西都可以通过代码来表示,并使用工具进行自动化。


我们的重点是测试Docker镜像,对我们来说,这些工作有点偏向底层。由于我们所有的Docker镜像主要是由经过测试并发布的yum软件包层组成,这些层位于非常可靠的OS层之上,我们主要想要验证软件包的版本是否正确,以及这些二进制文件的功能是否正常。在镜像构建期间,可能会发生网络故障,出现软件包安装不完整的情况,我们想要通过自动化测试来捕捉它们。


在评估测试工具时,需要考虑到以下两个方面的问题:


对于以下的工具,我们将关注这两个方面的问题。这个领域最常见的工具包括:


接下来,我们将逐个简要介绍它们。


InSpec基于RSpec(Ruby)测试框架,并借鉴了Serverspec(也是基于RSpec构建,并被广泛采用)的经验。它是Chef生态系统的一部分,用于配置和测试基础设施。它的配置保存在一个ruby文件中。


可以通过resources指定多种配置语言


通过targets(local/ssh/docker)来测试执行


Goss是Serverspec的一个快速而简单的替代品,是使用Go语言开发的一个服务器测试和验证框架。它的配置保存在一个yaml文件中,这个文件可以很方便地从当前系统状态生成。


支持多种配置语言


支持在本地和Docker容器中执行测试(通过dgoss脚本)


Container Structure Test是一个用于验证容器镜像结构的框架。与Goss一样,它也是用Go语言编写,并使用了yaml配置文件。该项目于今年早些时候发布,它的应用范围相对较窄(只支持容器),但它提供了足够的功能来测试镜像。


接下来,我们将演示如何安装所需工具,解释各个配置文件,并在本地运行测试。我们针对最新的MySQL Server容器(latest或8.0标签)运行测试。为了方便起见,我们跳过构建步骤,从公共注册表下载容器并在本地运行测试。在我们的构建管道中,我们首先构建容器,运行测试,在运行成功之后才会推送到公共注册表。可以通过输入以下命令来获取最新版本的mysql-server镜像:


总的来说,我们想测试两个东西:


先决条件


除了可用的Docker环境之外,运行该示例还需要在本地安装InSpec、Goss和Container Structure Test。


InSpec的说明可以在这里找到:https://downloads.chef.io/inspec。在Linux平台上,可以通过运行以下命令安装Goss和Container Structure Test二进制文件:


安装好所有二进制文件并将它们添加到系统路径中,然后就可以通过shell脚本运行测试。


测试配置


为了比较配置和测试执行过程的不同之处,我们提供了用于测试这三个框架的MySQL Server Docker镜像的示例文件:https://github.com/neumayer/mysql-server-image-tests


可以通过以下命令来克隆它:


存储库中包含的配置文件:


让我们来依次查看这些文件,先从InSpec配置文件开始:


InSpec通过profile和control来组织测试用例,其中control是较小的单元,是与给定主题相关的一组测试。第一个control叫“container”,针对宿主机器运行,与运行在localhost上的Docker守护进程通信,验证容器是否正在运行。另外两个control检查容器内的包。这种区别很重要,因为后两个control可以针对localhost、ssh主机或Docker容器运行。在我们的例子中,我们让它们针对容器运行,这样可以带来非常好的可重用性和灵活性。虽然我们在示例中只使用了Docker和包资源,但实际上control可以使用任何现有的InSpec资源。


下面是运行流程:


脚本看起来是这样的:


如果运行成功,InSpec将输出以下内容:


Goss的配置文件如下所示:


除了mysqld文件,我们还要检查所需的软件包是否已安装、公开端口是否正确以及所需的进程是否在运行。Goss将为我们启动容器:


因为设置了GOSS_SLEEP,所以我们的服务器有足够时间完成初始化,其余参数被传给docker run。输出如下:


Container Structure Test的yaml配置片段如下:


此外,我们还要检查公开的端口是否正确,然后直接运行二进制文件(而不是像其他工具那样使用内部包装器)以验证它们是否已就位。


与Goss类似,调用起来很简单,只需要提供镜像名称和配置文件。


Container Structure Test运行速度快,易于调用,只不过只能用于容器。在大多数情况下,它可以确保容器的行为是正确的。


可以在存储库的根目录运行以下脚本来执行上述的测试:


我们已经开始使用InSpec测试所有的Docker镜像。从下一个MySQL版本(8.0.13)开始,基本的InSpec测试将成为MySQL Server、MySQL Cluster和MySQL Router Docker镜像自动发布流程的一部分。我们主要基于以下几点做出这样的决定:


存在的不足:


我们将InSpec作为自动发布管道的一部分,如果测试失败,将不会生成任何工件。我们的QA流程包含很多其他步骤,例如之前对MySQL Docker镜像中的rpm包进行的单独测试。


相关链接:


英文原文:https://mysqlrelease.com/2018/09/container-testing-for-mysql-server/


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇MySQL出现Waiting for table meta.. 下一篇MySQL错误 ERROR 2002 (HY000): C..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目