海量简单数据不想用SQL？试试高效的嵌入式数据库BerkeleyDBJE吧！ - 数据库编程

如果你有海量的数据，这些数据相对比较简单，且没有复杂的关系，关键的是你不想用像MySQL和SQLServer那样的数据库，你只想在程序中处理这些数据，那么，Berkeley DB也许是一个非常好的选择！

Berkeley DB（BDB）是一个高效的嵌入式数据库编程库，C语言、C++、Java、Perl、Python、Tcl以及其他很多语言都有其对应的API。Berkeley DB可以保存任意类型的键/值对（Key/Value Pair），而且可以为一个键保存多个数据。Berkeley DB支持让数千的并发线程同时操作数据库，支持最大256TB的数据，广泛用于各种操作系统，其中包括大多数类Unix操作系统、Windows操作系统以及实时操作系统。

Berkeley DB在06年被 Oracle 收购了，现在我们在 Oracle 网站上会看到： BerkeleyDB、BerkeleyDB XML 和 BerkeleyDB JAVA Edition 这个三个东东。简单的说最开始 BerkeleyDB 是只有 C 语言版本的，但是 JAVA 也可以使用，只不过需要通过 JNI 调用，效率可能有点影响。后来出了 JAVA Edition ，用纯 JAVA 实现了一遍，也就是我们看到的 BerkeleyDB JAVA Edition (简称 JE )。

JE是一个通用的事务保护的，100％纯 Java（JE不作任何JNI调用）编写的嵌入式数据库。因此，它为Java开发人员提供了安全高效的对任意数据的存储和管理。

JE 适合于管理海量的，简单的数据。其中的记录都以简单的键值对保存，即 key/value对。由于它操作简单，效率较高，因此受到了广泛的好评。

JE官网：http://www.oracle.com/technetwork/database/database-technologies/berkeleydb/overview/index. html

一些特性：

1. 大型数据库的支持：它支持从1到数百万级的数据量，数据库的大小限制基本上受限于你的硬件支持。
2. 多线程，多进程支持：JE读写操作都可以是多线程，使用记录级锁定为线程应用程序提供高并发性。此外，JE使用死锁超时检测的机制来确保不会有两个线程无限期的死锁。JE允许多个进程访问同一个DB，但在这种情况下， Berkeley 只允许一个线程进行写操作，读操作随意。
3. 事务：原子性，可恢复，隔离性。
4. 内存Cache：为了减少IO操作提高性能，将数据暂存在内存里面。
5. 索引。

简单读写操作：

Database.put()：向数据库写入数据，如果不支持重复记录，则会覆盖更新key对应的已有记录
Database.putNoOverwrite():向数据库写入数据，但是如果key已经存在，不会覆盖已有数据（即使数据库支持重复key）

Database.putNoDupData():向数据库写入数据（该方法仅用于支持重复key的数据库），如果key和value对应的记录已经存在，那么操作结果是：OperationStatus.KEYEXIST

Database.get() ：检索key对应的记录，如果没有找到，操作结果返回：OperationStatus.NOTFOUND
Database.getSearchBoth() ：根据key和value 检索数据库记录，如果没有找到，操作结果返回：OperationStatus.NOTFOUND

一个简单的例子：

package berkeley.demo;

import java.io.File;

import com.sleepycat.je.Database;
import com.sleepycat.je.DatabaseConfig;
import com.sleepycat.je.DatabaseEntry;
import com.sleepycat.je.Environment;
import com.sleepycat.je.EnvironmentConfig;
import com.sleepycat.je.LockMode;
import com.sleepycat.je.OperationStatus;

public class SimpleDemo {

	/**
	 * @param envHomePath
	 */
	public static void testSimpleData(String envHomePath, String databaseName) {

		Environment mydbEnv = null;
		Database myDatabase = null;

		System.out.println(" ---- > EnvironmentConfig init");
		// 创建一个EnvironmentConfig配置对象
		EnvironmentConfig envCfg = new EnvironmentConfig();
		// 如果设置了true则表示当数据库环境不存在时候重新创建一个数据库环境，默认为false.
		envCfg.setAllowCreate(true);
		// 设置数据库缓存大小
		envCfg.setCacheSize(1024 * 1024 * 20);
		// 事务支持,如果为true，则表示当前环境支持事务处理，默认为false，不支持事务处理。
		envCfg.setTransactional(true);
		try {
			System.out.println(" ---- > Environment init");
			mydbEnv = new Environment(new File(envHomePath), envCfg);

			System.out.println(" ---- > DatabaseConfig init");
			DatabaseConfig dbCfg = new DatabaseConfig();
			// 如果数据库不存在则创建一个
			dbCfg.setAllowCreate(true);
			// 如果设置为true,则支持事务处理，默认是false，不支持事务
			dbCfg.setTransactional(true);

			System.out.println(" ---- > open Database: " + databaseName);
			myDatabase = mydbEnv.openDatabase(null, databaseName, dbCfg);

			System.out.println(" ---- > test CRUD ");

			//生成键/值，并put存入
			String key = "myfirstdata";
			String value = "Hello Berkeley";
			DatabaseEntry keyEntry = new DatabaseEntry(key.getBytes("utf-8"));
			DatabaseEntry valEntry = new DatabaseEntry(value

海量简单数据不想用SQL？试试高效的嵌入式数据库BerkeleyDBJE吧！(一)

一些特性：

简单读写操作：

一个简单的例子：