因为发现爬虫爬取出来的数据如果按照表结构划分后存储，不仅麻烦而且非常大的冗余

干脆试试用这样的非关系数据库来试试存储效果如何。

这里我不打算用redis 进行比较，因为他是内存数据库，他擅长的领域应该是缓存和少量数据的统计归类

（做这个的还有另外一大家伙memcache），redis 以后相配合 其他应用提高效率的。

这里相比较的主要是mongodb和mysql 的性能差，就特定指的是这样复杂的关系网络的应用环境下！！

apt-cache depends #(package 了解使用依赖)
apt-cache rdepends #(package 了解某个具体的依赖?#当是查看该包被哪些包依赖吧...)
sudo apt-get build-dep #(package 安装相关的编译环境)
apt-get source #(package 下载该包的源代码)
sudo apt-get clean && sudo apt-get autoclean # 清理下载文件的存档 && 只清理过时的包
sudo apt-get check #检查是否有损坏的依赖

补充，如果安装package突然中断的错误，

sudo rm /var/lib/dpkg/updates/*

主要原因应该是/var/lib/dpkg/updates 文件夹里面的资料有错误，使得更新软件的程序出现错误，所以得把它们完全删除，

通过sudo apt-get update这个指令会重新建立这些资料，使用sudo apt-get upgrade更新你的电脑里面已安装的软件的明细，根据软件的明细更新软件到最新版。

sudo apt-get update #更新源
sudo apt-get upgrade #更新已安装的包，不同于sudo apt-get dist-upgrade # 这个是升级系统

dpkg和apt-get意外毁损

那么还要先做：

sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock

再做上面的更新

先安装mongodb：

参考mongodb 官网安装文档：http://docs.mongodb.org/manual/tutorial/install-mongodb-on-ubuntu/

这个上面有如何卸载老版本的方法和用apt-get 的方式安装的方法：

我这里强烈建议大家按照apt的方法安装！！！！

我这里强烈建议大家按照apt的方法安装！！！！

我这里强烈建议大家按照apt的方法安装！！！！

不要学我，惨痛的教训。。。直接按照mongodb官网的apt教程安装就好！！！！

我没有选择apt 的方法，因为自己新手，apt的方法会把文件都拆分到各个系统文件夹里去，我搞不清楚

而且我只想用自己设定的自己用户使用mongodb 不要用root

所以我还是按照 解压包的方式安装

我把包下载下来以后，发现尽然没有conf 文件。全是编译好的程序文件

1
curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.5.tgz
2
tar -zxvf mongodb-linux-x86_64-3.0.5.tgz
3
mkdir -p mongodb-3.0.5/
cp -R -n mongodb-linux-x86_64-3.0.5/ ~/mongodb-3.0.5/
4
export PATH= /bin:$PATH

Running

1
mkdir -p /data/db
2
确定你要有读写权限

3
启动
mongod --dbpath

sudo chmod -R 777 /home/luis/mongodb-3.0.5/data/db/

接下来就是一些辅助的工作了

修改最大连接数：

修改/etc/security/limits.conf 配置文件。
使用命令：sudo gedit /etc/security/limits.conf
在文件中增加
* soft nofile 3000
* hard nofile 20000
root soft nofile 3000
root hard nofile 20000
* 表示该配置对所有用户均有效,root用户要特别加两行。
硬限制通常是根据系统硬件资源状况(主要是系统内存)计算出来的系统最多可同时打开的文件数量，软限制是在这个基础上进一步的限制。因此软限制数目要低于硬限制。
nofile表示 max number of open files
重新启动计算机，然后再用ulimit -a 命令查看：
open files (-n) 3000
已经生效了。现在再启动mongodb server，问题解决

要重启才生效

然后设置开机启动

在/etc/init.d/目录下新建脚本文件mongodb

?

#!/bin/sh  
   
### BEGIN INIT INFO  
# Provides:     mongodb  
# Required-Start:  
# Required-Stop:  
# Default-Start:        2 3 4 5  
# Default-Stop:         0 1 6  
# Short-Description: mongodb  
# Description: mongo db server  
### END INIT INFO  
   
. /lib/lsb/init-functions  
   
PROGRAM=/home/luis/mongodb-3.0.5/bin/mongod
MONGOPID=`ps -ef | grep 'mongod' | grep -v grep | awk '{print $2}'`  
   
test -x $PROGRAM || exit 0  
   
case "$1" in  
  start) 
     ulimit -n 3000  
     log_begin_msg "Starting MongoDB server"   
     $PROGRAM --fork --quiet -journal -maxConns=2400 -rest --dbpath /home/luis/mongodb-3.0.5/data/db --logpath /home/luis/mongodb-3.0.5/data/db/journal/mongodb.log
     log_end_msg 0  
     ;;  
  stop)  
     log_begin_msg "Stopping MongoDB server"   
     if [ ! -z "$MONGOPID" ]; then   
        kill -15 $MONGOPID  
     fi  
     log_end_msg 0  
     ;;  
  status)  
     ;;  
  *)  
     log_success_msg "Usage: /etc/init.d/mongodb {start|stop|status}"   
     exit 1  
esac  
   
exit 0

?

你也可以通过update-rc.d -f mongodb remove 删除
重新启动，通过ps -def | grep mongod 可以查看到自启动的服务进程，然后可以通过下面的命令关闭/启动服务
sudo service mongodb stop
sudo service mongodb start