区块链数据的持久化

1. KV 数据库

虽然我们已经创建了一条非常简单的区块链，但是当程序关闭后，内存中的区块数据却没有保存下来。这使得我们无法重复使用一个区块链，也无法与其他人分享，我们需要将它存储在硬盘中。我们接下来的任务就是实现一个极小的KV数据库，用来保存区块链数据。像比特币 bitcoin 使用了 leveldb 数据库，也有些 golang 开发的区块链采用了 BoltDB，它们都属于单机 KV 数据库。

KV 数据库，也就是 key/value 数据库，这种数据库没有关系型数据库系统 RDMBS（比如MySQL，Oracle，PostgreSQL等）的表（table）、行（row）、列（column）等概念。数据均以键/值（key/value）的方式进行存储，类似 Go 语言中的 Map 数据结构，只不过Map是存放在内存中，而KV数据库是存放在硬盘文件中。我们实现的简易 KV 数据库，也引入了类似表（实际上一般称为桶）的概念，将一组类似的 KV 键值数据进行分组。要想获得一个 value，你需要知道对应的 table 和 key。这有点像二维的map[string][string]结构，第一维是表(table），第二维是 Key。其实我们的kv数据库确实就是按照二维的 map 实现的，我们实现 KV 数据库就是解决二维 Map 如何存储到硬盘文件中。

2. 数据编解码 encoding/gob

为了让某个数据结构能够在网络上传输或者保存到文件里，我们必须对这个数据结构进行编码，同时要保证编码的数据能够被解码，还原为原始的数据结构。当然，已经有许多可用的编码方式了：JSON，XML，Google 的 protocol buffers 等等。在 golang 中，我们又多了一种，这就是由 encoding/gob 包提供的编解码方式。 gob 是 Golang 包自带的一个数据结构序列化的编码/解码工具。 编码使用 Encoder，解码使用 Decoder。在关闭数据库的时候，我们使用 Encoder 对 map 数据结构进行编码，保存到文件中；在打开数据库的时候，再使用 Decoder 将序列化的数据转换成 map 数据结构。

关于 encoding/gob 的使用大家可自行揣摩，encoding 包下的 xml、json 用于网络数据交换、rpc 等场景，使用比较频繁，大家可以多练习一下。

encoding/gob的使用比较简单，比如编码：

//创建一个字节缓冲区buffer，作为参数初始化一个新的编码器encoder，
//然后就可以对数据机构struct进行编码Encode(struct)，返回二进制字节流[]byte
buffer := new(bytes.Buffer)
encoder := gob.NewEncoder(buffer)
encoder.Encode(Database.data)

我们要实现的数据库，保存数据到文件的时候需要用到encoding/gob编码，从文件读取数据的时候需要用到encoding/gob解码。

3. 实现数据库Database

Database 实现了一个简单的kv数据库。

type Database struct {
	data map[string]map[string][]byte
}

比如：我要在人员表User中存放一些人的信息，比如有张三、李四和王五，那么可以这样存放数据：

map["User"]["张三"] = 张三的信息，比如姓名+年龄+性别等  
map["User"]["李四"] = 李四的信息，比如姓名+年龄+性别等
map["User"]["王五"] = 王五的信息，比如姓名+年龄+性别等

我们把一个人的数据信息，比如姓名、年龄和性别等合成为一个value，存放到Map中，通过表名Table和键Key就能找到。

Database的操作也非常简单，只有两个操作方法Get和Set，分别用于读取数据和存放数据。

从Database中读取数据：

//从表table的记录里读取主键为key的记录的值
func (Database *Database) Get(table, key string) []byte {
	if row, ok := Database.data[table]; ok {
		if val, ok := row[key]; ok {
			return val
		}
	}

	//如果键值不存在，返回空数据
	return []byte{}
}

向Database中存放数据：

//向表table添加一条记录，主键为key, 值为val
func (Database *Database) Set(table, key string, val []byte) {
	Database.data[table] = map[string][]byte{key: val}
}

为了简化数据库的创建过程，提供了数据库的创建函数:

func NewDatabase() *Database {
	Database := new(Database)
	Database.open()
	return Database
}

数据库使用完毕后，关闭数据库。这个过程中，需要将内存中的Database.data这个二维map转为二进制数据，写入硬盘文件中。

func (Database *Database) Close() {

	//将Database.data数据序列化为二进制数据，等待写入数据库文件
	buffer := new(bytes.Buffer)
	encoder := gob.NewEncoder(buffer)
	err := encoder.Encode(Database.data)
	if err != nil {
		log.Panic(err)
	}

	//创建数据库文件，如果文件已经存在，那么直接覆盖掉
	f, err := os.Create(DATABASE_FILE)
	if err != nil {
		log.Panic(err)
	}
	defer f.Close()

	//将序列化数据写入文件
	_, err = f.Write(buffer.Bytes())
	if err != nil {
		log.Panic(err)
	}

	//并调用同步，把数据从缓冲区立即写盘
	f.Sync()
}

这样，我们的数据库就可以开始工作了。

4. 用 Database 读取和存放区块 Block

实现KV Database的主要目标就是存放区块数据。我们的Database只能保存[]byte数据，为了能够将Block结构存入数据库，就需要先对Block结构进行编码，因此我们为Block增加序列化方法Serialize：

//区块序列化，也就是将区块结构的内部数据转换为可以存储的字节流的格式
func (block *Block) Serialize() []byte {
	buffer := new(bytes.Buffer)
	encoder := gob.NewEncoder(buffer)
	err := encoder.Encode(block)
	if err != nil {
		log.Panic(err)
	}

	return buff.Bytes()
}

同样的，为了能够读取数据库中已被序列化的数据，就需要对数据进行解码，还原为Block结构，因此我们为Block增加了反序列化方法Deserialize：

//区块反序列化，也就是将字节流转换为含有内部数据的区块结构，这个过程跟Serialize正好相反
func Deserialize(bytesBlock []byte) (*Block) {
	decoder := gob.NewDecoder(bytes.NewReader(bytesBlock))
	var block Block
	err := decoder.Decode(&block)
	if err != nil {
		log.Panic(err)
	}

	return &block
}

5. 改造BlockChain

前面我们讨论过，区块链从技术角度来讲，就是一个链表结构，最初我们为了简单起见，把区块链定义为了一个切片：

type BlockChain struct {
	Blocks []*Block
}

现在我们将利用KV Database来实现链表结构，因为BlockChain的定义修改为：

type BlockChain struct {
	DB *Database
}

首先，我们在数据库中，为每一个区块Block建立一个键值对，其中Key存放该区块Block的hash值，Value存放区块Block数据;

其次，我们单独存放最后一个区块的hash值，建立一个键值对，其中Key为固定名称“last”，Value存放最后一个区块的hash值。

遍历区块链的顺序是由后向前，流程如下：

先取出最后一个区块的Hash值，通过Hash值就能够从数据库中取得它存放在数据库中的Value，Value经过解码后还原为Block结构;

再从Block中取得前一个区块的哈希值HashPrevBlock，继而从数据库获得前一个区块；

重复这个过程，直至创世纪区块，我们就能得到区块链上所有区块的数据。

为了遍历区块链，实现以上的流程，我们专门定义了一个迭代子结构BlockchainIterator：

type BlockchainIterator struct {
	//当前区块的hash
	hashCurrent []byte

	//区块链数据库
	DB *Database
}

迭代子BlockchainIterator只要一个方法Next：

func (it *BlockchainIterator) Next() *Block {
	if it.hashCurrent == nil {
		//已经没有前一区块，到此结束
		return nil
	}

	//取出当前遍历到的区块
	val := it.DB.Get(TABLE_BLOCKS, string(it.hashCurrent))
	block := Deserialize(val)
	it.hashCurrent = block.HashPrevBlock

	return block
}

遍历区块链的代码如下：

	iterator := blockchain.Iterator()
	for {
		block := iterator.Next()
		if block == nil {
			break
		}
	}

6. 运行区块链

让我们看看MiniBC能否正常工作：

func main() {

	//新建一条区块链，如果区块链数据库中已经有了数据，将会读取数据库加载进来
	//如果尚未创建数据库，或者数据库为空，那么会自动生成一个创世纪区块
	bc := NewBlockChain()
	defer bc.DB.Close()

	//如果区块链中只有1个创世纪区块，我们就再添加3个区块。
	if bc.Iterator().GetCount() == 1 {
		bc.AddBlock("Mini block 01")
		bc.AddBlock("Mini block 02")
		bc.AddBlock("Mini block 03")
	}

	//区块链中应该有4个区块：1个创世纪区块，还有3个添加的区块
	iterator := bc.Iterator()
	for {
		block := iterator.Next()
		if block == nil {
			break
		}
		fmt.Println("前一区块哈希值：", BytesToHex(block.HashPrevBlock))
		fmt.Println("当前区块内容为：", string(block.Data))
		fmt.Println("当前区块哈希值：", BytesToHex(block.GetHash()))
		fmt.Println("=============================================")
	}
}

运行后输出：

前一区块哈希值： 3a57d1664c26d4d1cedd5ccb430143dd620f93f5f198ec39f1c3492461cb4eb7
当前区块内容为： Mini block 03
当前区块哈希值： d8472bf7b9004fa9959404e1e769ffebab2fc94f5a47fb58212d85f7530cb7af
=============================================
前一区块哈希值： 9fb890edd668a65f484dab2756797f15a58ba5bf64a3b6d0a1360b6aba530214
当前区块内容为： Mini block 02
当前区块哈希值： 3a57d1664c26d4d1cedd5ccb430143dd620f93f5f198ec39f1c3492461cb4eb7
=============================================
前一区块哈希值： 462442c457bed5f8d04a24bc4b95e84cee8026e0338a0a2ea5b92e06a2243ef0
当前区块内容为： Mini block 01
当前区块哈希值： 9fb890edd668a65f484dab2756797f15a58ba5bf64a3b6d0a1360b6aba530214
=============================================
前一区块哈希值： 
当前区块内容为： Genesis Block
当前区块哈希值： 462442c457bed5f8d04a24bc4b95e84cee8026e0338a0a2ea5b92e06a2243ef0
=============================================

好像运行的还不错。

7. 我们实现的和将要实现的目标

我们已经构建了一个非常简单的区块链，还实现了一个简易的KV数据库，区块链数据已经可以保存到数据库。下一节，我们的目标是构建一个可人机交互的区块链以及区块链浏览器。

源码地址：https://github.com/wangshizebin/minibc。

工作目标：区块链浏览器是用户通过浏览器的方式查看区块链的所有信息。我们本节的目标就是实现这一功能。我们不仅提供查看功能，还提供了了管理功能。在真实的区块链项目中，一般会提供多种交互方式，比如提供客户端命令行方式、 websocket 方式等等，最终由区块链server提供统一的rpc服务。我们目前先实现浏览器方式，以后会逐步扩充。