1.MongoDB数据归档的意义
和其他类型的数据库一样,归档对MongoDB同样重要。通过归档,可以保持集合中合适的数据量,对数据库的性能是一种保障,也就是大家常说的数据冷热分离。
同时,归档对数据库的管理也带来了很大方便性,例如日常的备份、灾难恢复等。
在此,不再展开叙述了。
2.集合数据归档流程图
3.归档实现代码
# # The file is used by cron to Archive the data of NeedArchiveColName_Archive collection,the collection is part of NeedArchiveDBColName DB. # The file is writed by DBA Carson Xu.If you find any error, please connect with me,thanks. # The version is defined V.001 # Version ModifyTime ModifyBy Desc # Ver001 2019-02-22 14:20 Carson Xu Create the Scripts File # # #!/bin/bash ######mongodb可执行文件所在文档路径,此例为4.04 ,同时支持3.4.4 command_linebin="/QQMSG/mongo_db/mongobin404/bin/mongo" command_linebinT="/QQMSG/mongo_db/mongobin404/bin/mongo" ######存放导出过渡文件的文档路径和文件名字,ColA可用你的集合名字替代 targetpath='/data/mongodb_back/ArchiveDB_端口号' bakcollectionname=NeedArchiveColName_$(date "+%Y%m%d%H%M") ###### 登入账号信息 username="账号" password="账号密码" #######start 设置备份集合的开始日期和结束日期 ##### ParamBakStartDate=$(date -d '-46 days' "+%Y-%m-%d") echo "备份NeedArchiveColName时间参数中的开始时间为:" $ParamBakStartDate ParamBakEndDate=$(date -d '-45 days' "+%Y-%m-%d") echo "备份NeedArchiveColName时间参数中的结束时间为:" $ParamBakEndDate ParamBakStartTimeS="$(date -d $ParamBakStartDate +%s)" ParamBakEndTimeS="$(date -d $ParamBakEndDate +%s)" echo "备份集合的时间转换为UTC时间秒数为:" $ParamBakStartTimeS 和 $ParamBakEndTimeS ParamBakStartTimeMS=$[$ParamBakStartTimeS * 1000+8*60*60*1000] ParamBakEndTimeMS=$[$ParamBakEndTimeS * 1000+8*60*60*1000] echo "备份集合的时间转换为UTC时间毫秒数为:" $ParamBakStartTimeMS 和 $ParamBakEndTimeMS #######end ###### ######## start 连接源Server DB ,检查此次集合备份的文档数 command_line="${command_linebin} localhost:端口号/NeedArchiveDBColName -u$username -p$password" export docQty=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_line --quiet) echo "备份前集合NeedArchiveColName的文档数据为:" $docQty ###### End ##### ###### Start 定义每次备份归档的最大阈值,防止意外情况的发生,例如:参数输入错误### if [ $docQty -gt 2000000 ];then echo "MongoDB-Archive-Exception:NeedArchiveDBColName库NeedArchiveColName集合指定时间段内的文档数过大,超过定义的安全阈值 2000000,归档终止,请检查!" exit fi ####### end ###### ######## start 连接目标Server DB ,检查target DB 上是否已经存在此时间内的文档 command_lineT="${command_linebinT} 归档实例IP:归档实例端口/归档数据库Name -u$username -p$password" export docQtyT=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_lineT --quiet) echo "备份目标BKDB集合NeedArchiveColName备份归档前的文档数据为:" $docQtyT if [ $docQtyT -gt 0 ];then echo "MongoDB-Archive-Exception:NeedArchiveDBColName库NeedArchiveColName集合检查发现指定时间段内目标数据库目标集合存在异常文档数,归档终止,请检查!" exit fi ####### end ###### ####### start mongoexport 指定集合指定时间段内的文档,输出到指定路径下;并执行检查命令是否正常执行#### start() { echo "NeedArchiveDBColName库NeedArchiveColName