设为首页 - 加入收藏 ASP站长网(Aspzz.Cn)- 科技、建站、经验、云计算、5G、大数据,站长网!
热搜: 数据 创业者 手机
当前位置: 首页 > 教程 > 正文

10gen工程师:MongoDB数据文件内部结构

发布时间:2017-01-08 10:30 所属栏目:61 来源:NoSQLfan
导读:有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。每个数据库都有自己独立的文件。如果你开启了directoryperdb选项,那你每个库的文件会单独放在一个文件夹里。数据库文件在内部会被切分成单

  【技术】有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。

  每一个数据库都有自己独立的文件。如果你开启了directoryperdb选项,那你每个库的文件会单独放在一个文件夹里。

  数据库文件在内部会被切分成单个的块,每个块只保存一个名字空间的数据。在MongoDB中,名字空间用于区分不同的存储类别。比如每个collection有一个独立的名字空间,每个索引也有自己的名字空间。

  在一个块中,会保存多条记录,每条记录是BSON格式的,记录与记录之间通过双向链表进行连接。

  索引数据也存在数据文件中,不过索引是被组织成B-Tree结构,而不是双向链表。

  对每个数据库,有一个命名空间文件,用于保存每个名字空间对应的元数据。我们通过查询这些元数据来找到对应的名字空间的存储块位置。

  如果你开启了jorunaling日志,那么还会有一些文件存储着你所有的操作记录。

  下面图片摘自10gen工程师Mathias Stearn在MongoSV2011大会上的发言稿,手绘的数据文件结构。

  每个数据库有相应的数据文件和命名空间文件

  

  数据文件从16MB开始,新的数据文件比上一个文件大一倍,最大为2GB

  

  文件使用MMAP进行内存映射,会将所有数据文件映射到内存中,但是只是虚拟内存,只有访问到这块数据时才会交换到物理内存。

  

  

  MongoDB的数据文件映射到内存表中的位置

  10gen工程师解答MongoDB数据文件结构

  

  使用32位机器的话,内存地址最大可以标识4GB内存

  

  

  但是在32位机器上,4GB内存会有1GB被内核战胜,大约0.5GB会用于mongod进程的stack空间,只剩下大约2.5GB可用于映射数据文件。

  

  

  

(编辑:ASP站长网)

网友评论
推荐文章
    热点阅读