设为首页 加入收藏

TOP

1.4T的mysql表删除-雪藤六-51CTO博客
2019-05-23 15:03:54 】 浏览:27
Tags:1.4T mysql 删除 -51CTO 博客

mysql生产库上有张表,原本是每月迁移删除,由于上级数据补全统计的需求,一直延迟迁移了将近一年,表文件增到的1.4T,迁移删除历史数据后,表文件占1.4T空间,数据及索引文件大小800G,表内剩余空间600G。服务器磁盘总量2.2T,占比已达到87%,所以考虑释放大表的表空间,减小磁盘占比。

????因为表文件太大,服务器剩余磁盘空间不足,所以alter table engine时,需要新建临时表,磁盘会崩,不予考虑。


参考别的文章后确定采用如下执行方案:


0. 备份表数据。

1. rename table xx to xx_1;

2. create table xx like xx_1;(这一步是考虑动态变更时,生产上有新数据写入,如果新表需要保留部分数据,就先写入数据,后采用重命名的方法,另外:需要注意原来的用户是否有新表操作权限)



3. os 层建立硬链接(linux层面文件会变成两个硬链接指向同一个文件块,总磁盘占比布标。如果用软连接会导致第四步执行时是删除实际文件,导致IO暴增,服务报警甚至崩溃)?

4. drop table xx;(在第三步的基础上,删除原来的表文件,实际是删除原来的文件名(硬链接))

5. os 层循环truncate数据文件。


这里再稍作解释:

1.有个InnoDB表prod_table,先把表重新命名,防止还有应用在使用表

rename table prod_table to example_table;

2.只创建表结构,不含数据

create table prod_table like example_table;

3.对100G的ibd数据文件做个硬链接

#sudo ls ?-lh /data/mysql/testdb

-rw-rw---- 1 mysql mysql 8.4K Oct 28 13:26 example_table.frm

-rw-rw---- 1 mysql mysql 100G Oct 28 13:26 example_table.ibd

#sudo ln /data/mysql/testdb/example_table.ibd /data/mysql/testdb/example_table.ibd.hdlk

#sudo ls ?-lh /data/mysql/testdb

-rw-rw---- 1 mysql mysql 8.4K Oct 28 13:26 example_table.frm

-rw-rw---- 2 mysql mysql 100G Oct 28 13:26 example_table.ibd

-rw-rw---- 2 mysql mysql 100G Oct 28 13:26 example_table.ibd.hdlk


4.干掉大表,这个过程会比较快,因为有硬链接文件

DROP TABLE example_table;

#sudo ls ?-lh /data/mysql/testdb

-rw-rw---- 1 mysql mysql 100G Oct 28 13:26 example_table.ibd.hdlk

5.使用truncate命令收缩文件,从100G开始,每次缩减1G,停2秒,继续,直到文件只剩1G,最后使用rm命令删除剩余的部分(实际生产中这个每次减少的值,取决于分给mysql的内存)

#for i in `seq 100 -1 1 `; do sleep 2; sudo truncate -s ${i}G /data/mysql/testdb/example_table.ibd.hdlk; done

#?${i}G是指将原来的文件大小缩小到${i}G,如果这个值赋值错了,IO压力也会暴增

#sudo rm -rf /data/mysql/testdb/example_table.ibd.hdlk;





编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇字段设计规范-梁十八的博客-51CTO.. 下一篇优化评论分页查询-梁十八的博客-5..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }