设为首页 加入收藏

TOP

MySQL备份工具mydumper备份(四)
2015-11-10 12:16:40 来源: 作者: 【 】 浏览:1
Tags:MySQL 备份工具 mydumper 备份
? ? ? ? os.makedirs(dir)



? ? ? ? ? ? dir += "/%s%s" % (businessName, backup_date)
? ? ? ? ? ? # 业务目录: dir , 备份目录: dir/name+备份日期
? ? ? ? ? ? strcmd? = cmd % (host, port, zip, dir)



? ? ? ? ? ? th = threading.Thread(target = mydumper, args =(strcmd, dir, businessName, host, port, is_errRetryBackup, int(isMaster)))
? ? ? ? ? ? thread_pool.append(th)



? ? if (thread_pool):
? ? ? ? for t in thread_pool:
? ? ? ? ? ? t.daemon = True
? ? ? ? ? ? t.start()
? ? ? ? for t in thread_pool:
? ? ? ? ? ? t.join()



def mydumper(sCmd, backupDir, businessName, host, port, is_Retry, isMaster):
? ? master_host = ""; backup_host = host; name = businessName; port = port; backup_type = 1; file = "";
? ? start_time = ""; stop_time = ""; returncode = 0; file_size = 0; slave_statement = ""; std_err = "";



? ? start_time = time.strftime("%Y%m%d%H%M%S")



? ? # 清除可能遗留的备份
? ? if (os.path.exists(backupDir)):
? ? ? ? shutil.rmtree(backupDir)



? ? # 执行备份
? ? returncode, std_err = execute(sCmd)



? ? stop_time = time.strftime("%Y%m%d%H%M%S")



? ? if (returncode == 0):
? ? ? ? # 备份 std_err 返回不为空也视为出错。
? ? ? ? if (std_err.strip() != ""):
? ? ? ? ? ? returncode = 123456
? ? ? ? else:
? ? ? ? ? ? # 获取 change master to 信息,再次校验备份是否有效
? ? ? ? ? ? returncode, std_err, master_host, slave_statement = statement(backupDir, backup_host, isMaster)



? ? ? ? ? ? if (returncode == 0):
? ? ? ? ? ? ? ? file = backupDir



? ? if (returncode != 0):
? ? ? ? # 异常备份标记为: 日期 + _ERR
? ? ? ? errDir = backupDir + "_ERR"
? ? ? ? os.rename(backupDir, errDir)
? ? ? ? file = errDir



? ? # 获取备份大小
? ? file_size = getDirsize(file)



? ? if (len(std_err) > 255):
? ? ? ? std_err = std_err[:250] + "..."



? ? my_args? = [idc, master_host, backup_host, name, port, backup_type, file, start_time, stop_time, returncode, file_size, slave_statement, std_err]



? ? # 写入数据库
? ? call_proc(my_args)



? ? # 备份失败是否需要重备? 重备允许一次.
? ? if (is_Retry == True and returncode != 0):
? ? ? ? time.sleep(retry_sleep)



? ? ? ? oldfile = sCmd.split('-o')[1]
? ? ? ? pos = oldfile.rfind("/") + 1



? ? ? ? # 获取备份全路径, 备份文件标记为重备 字样
? ? ? ? retry_file = oldfile[:pos] + "ReBackup-" + oldfile[pos:]



? ? ? ? retryCmd = sCmd.replace(oldfile,? retry_file)



? ? ? ? # 重备开始
? ? ? ? mydumper(retryCmd, retry_file.strip(), name, host, port, False, isMaster)



def getDirsize(path):
? ? # 获取备份文件夹大小
? ? size = 0L
? ? for root, dirs, files in os.walk(path):
? ? ? ? size += sum([getsize(join(root, name)) for name in files])
? ? return (size)



def statement(path, backup_host, isMaster):
? ? '''
? ? 功能: 从 metadata 读取change master to 信息
? ? 1. 备份过程: 会先生成: metadata.partial, 完成后metadata.partial会重名为: metadata 并写入备份完成时间
? ? 2. metadata 分3段:
? ? ? (1) Started dump: 备份开始时间.
? ? ? (2) master 的log-file 和 log-pos 信息 (必有); slave 的host、log-file 和 log-pos 信息 (备机是slave 才有)
? ? ? (3) Finished dump: 备份结束时间
? ? 3. 返回错码, master_host 和 change master to 信息
? ? '''
? ? path += "/metadata"; sMetadata = ""; master_host = ""; er_code = 654321; er_info = "%s not exists !!!" % (path)



? ? if (os.path.exists(path)):
? ? ? ? if (isMaster != 1):
? ? ? ? ? ? # 备机是 slave
? ? ? ? ? ? num = 3
? ? ? ? ? ? sFinds = "SLAVE STATUS"
? ? ? ? else:
? ? ? ? ? ? num = 2
? ? ? ? ? ? sFinds = "MASTER STATUS"



? ? ? ? f = open(path, 'r')
? ? ? ? rows = f.readlines(); i = 100; lst =[]
? ? ? ? for s in rows:
? ? ? ? ? ? if (s.find(sFinds) > 0):
? ? ? ? ? ? ? ? i = 1; continue



? ? ? ? ? ? if (i <= num):
? ? ? ? ? ? ? ? lst.append(s.split(':')[1].strip())
? ? ? ? ? ? ? ? i += 1



? ? ? ? if (isMaster == 1):
? ? ? ? ? ? # 备机是 master
? ? ? ? ? ? master_host = backup_host
? ? ? ? ? ? log_file, log_pos = lst;
? ? ? ? else:
? ? ? ? ? ? # 备机是 slave
? ? ? ? ? ? master_host, log_file, log_pos = lst;



? ? ? ? er_code = 0
? ? ? ? er_info = ""
? ? ? ? sMetadata = "CHANGE MASTER TO MASTER_HOST='%s',MASTER_LOG_FILE='%s',MASTER_LOG_POS=%s,MASTER_USER='re

首页 上一页 1 2 3 4 下一页 尾页 4/4/4
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇如果使用得当,MySQL也可以化身No.. 下一篇Linux下实现MySQL数据库每天自动..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容: