sysbench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数下的数据库负载情况。关于这个项目的详细介绍请看:https://github.com/akopytov/sysbench 。
它主要包括以下几种方式的测试:
废话不多说,开始。
目前许多仓库里已编译好的二进制sysbench还是0.4.x版本,不过现在主流也还是github上的0.5,可以从 这里下载0.5版本的rpm包直接安装,不过我选择自己编译,因为只有这个办法是通用的。
如果需要测试PostgreSQL、Oracle,则在configure时需要加上 –with-oracle 或者 –with-pgsql 参数
?
注意最后一行,一项测试开始前需要用prepare
来准备好表和数据,run
执行真正的压测,cleanup
用来清除数据和表。实际prepare的表结构:
上面的测试命令代表的是:对mysql进行oltp基准测试,表数量10,每表行数约50w(几乎delete多少就会insert的多少),并且是非事务的只读测试,持续60s,并发线程数12。
需要说明的选项:
注意,针对不同的选项取值就会有不同的子选项。比如oltp-dist-type=special
,就有比如oltp-dist-pct=1
、oltp-dist-res=50
两个子选项,代表有50%的查询落在1%的行(即热点数据)上,另外50%均匀的(sample uniformly)落在另外99%的记录行上。
再比如oltp-test-mode=nontrx
时, 就可以有oltp-nontrx-mode
,可选值有select(默认), update_key, update_nokey, insert, delete,代表非事务式模式下使用的测试sql类型。
以上代表的是一个只读的例子,可以把num-threads
依次递增(16,36,72,128,256,512),或者调整my.cnf参数,比较效果。另外需要注意的是,大部分mysql中间件对事务的处理,默认都是把sql发到主库执行,所以只读测试需要加上oltp-skip-trx=on
来跳过测试中的显式事务。
ps1: 只读测试也可以使用share/tests/db/select.lua
进行,但只是简单的point select。
ps2: 我在用sysbench压的时候,在mysql后端会话里有时看到大量的query cache lock,如果使用的是uniform取样,最好把查询缓存关掉。当然如果是做两组性能对比压测,因为都受这个因素影响,关心也不大。
读写测试还是用oltp.lua,只需把--oltp-read-only
等于off
。
然而oltp-test-mode=nontrx
一直没有跟着我预期的去走,在mysql general log里面看到的sql记录与complex
模式相同。所以上面示例中的--oltp-test-mode=nontrx --oltp-nontrx-mode=select
可以删掉。
update:
sysbench作者 akopytov 对我这个疑问有了回复:https://github.com/akopytov/sysbench/issues/34 ,原来sysbench 0.5版本去掉了这个选项,因为作者正在准备1.0版本,所以也就没有更新0.5版本的doc。网上的博客漫天飞,就没有一个提出来的,也是没谁了。
分析一下oltp.lua脚本内容,可以清楚单个事务各操作的默认比例:select:update_key:update_non_key:delete:insert = 14:1:1:1:1,可通过oltp-point-selects
、oltp-simple-ranges
、oltp-sum-ranges
、oltp-order-ranges
、oltp-distinct-ranges
,oltp-index-updates
、oltp-non-index-updates
这些选项去调整读写权重。
同只读测试一样,在atlas,mycat这类中间件测试中如果不加oltp-skip-trx=on
,那么所有查询都会发往主库,但如果在有写入的情况下使用--oltp-skip-trx=on
跳过BEGIN和COMMIT,会出现问题:
原因也很容易理解,每个线程将选择一个随机的表,不加事务的情况下高并发更新(插入)出现重复key的概率很大,但我们压测不在乎这些数据,所以需要跳过这个错误--mysql-ignore-errors=1062
,这个问题老外有出过打补丁的方案允许--mysql-ignore-duplicates=on
,但作者新加入的忽略错误码这个功能已经取代了它。mysql-ignore-errors
选项是0.5版本加入的,但目前没有文档标明,也是我在github上提的 issue 作者回复的。
这里不得不佩服老外的办事效率和责任心,提个疑惑能立马得到回复,反观国内,比如在atlas,mycat项目里提到问题到现在都没人搭理。。。
如果基准测试的时候,你只想比较两个项目的update(或insert)效率,那可以不使用oltp脚本,而直接改用update_index.lua
:
此时像oltp-read-only=off
许多参数都失效了。需要说明的是这里 (非)索引更新,不是where条件根据索引去查找更新,而是更新索引列上的值。
我们一般关注的用于绘图的指标主要有:
sysbench还可以对文件系统IO测试,CPU性能测试,以及内存分配与传输速度测试,这里就不介绍了。
总结起来sysbench的缺点就是,模拟的表结构太简单,不像tpcc-mysql那样完整的事务系统。但对于性能压测对比还是很有用的,因为sysbench使用的环境参数限制是一样的。
?