MongoDB 索引的最佳实践

(图1)

前言

大部分开发者都知道加索引会快。但实际过程中，我们常碰到一些疑问&困难：

我们查询的字段会各种case都有，是不是各个涉及查询的字段都要加索引？
复合索引和单字段怎么选择，都加还是每一个的单个字段就好了？
加索引有没有副作用？
索引都加了，但还是不够快？怎么办？

本文尝试去解释索引的基本知识&解答上述的疑问。

一、索引究竟是什么东西？

大部分开发者接触索引，大概知道索引类似书的目录，你要找到想要的内容，通过目录找到限定的关键字，进而找到对应的章节的pageno，再找到具体的内容。
在数据结构里面，最简单的索引实现类似hashmap，通过关键字key，映射到具体的位置，找到具体的内容。但除了hash的方式，还有多种的方式实现索引。

（一）索引的多种实现方式以及特色

hash / b-tree / b+-tree redis HSET / MongoDB&PostgreSQL / MySQL

hashmap

(图2)

一图见b-tree & b+-tree 差别：

(图3)

b+-tree 叶子存数据，非叶子存索引，不存数据，叶子间有link
b-tree 非叶子可存数据

算法查找复杂度上来说：

hash 接近O(1)
b-tree O(1)~ O(Log(n))更快的平均查找时间，不稳定的查询时间
b+ tree O(Log(n)) 连续数据，查询的稳定性

至于为何MongoDB 的实现选择b-tree 而非 b+-tree ？
网上多篇文章有阐述，非本文重点。

（二）数据&索引的存储

(图4) index尽量存储在内存，data 其次。
注意只保留必要的index，内存尽量用在刀刃上。
如果index memory 都接近占满memory，那么就很容易读到disk，速度就下来了。

（三）知道索引的实现&存储原理后的思考

insert/update/delete 会触发rebalance tree，所以，增删改数据，索引会触发修改，性能会有损耗，索引不是越多越好。既然如此，选哪些字段作为索引呢？当查询用到这些条件，怎么办？
拿一个最简单的hashmap来讲，为什么复杂度不是O(1)，而是所谓接近 O(1)。因为有key 冲突/重复，DB 去找的时候，key 冲突的数据一大堆的话，还是得轮着继续找。b-tree 看键(key)的选择也是如此。
因此一个大部分开发经常犯的错就是对没有区分度的key建索引。例如：很多就只有集中类别的 type/status 的 documents count 达几十万以上的collection，通常这种索引没什么帮助。

二、复合索引

（一）复合索引不是越多越好

如果不想多建多余的索引，开发的同事在复合 & 单个字段选择上有时候挺纠结的。根据典型碰到的场景，来做几个实验：
这里创建了个loans collection。简化只有100条数据。这个是借贷的表有 _id, userId, status(借贷状态), amount(金额).

db.loans.count()100

db.loans.find({ "userId" : "59e022d33f239800129c61c7", "status" : "repayed", }).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "cashLoan.loans",
"indexFilterSet" : false,
"parsedQuery" : {
 "$and" : [
   {
     "status" : {
       "$eq" : "repayed"
     }
   },
   {
     "userId" : {
       "$eq" : "59e022d33f239800129c61c7"
     }
   }
 ]
},
"queryHash" : "15D5A9A1",
"planCacheKey" : "15D5A9A1",
"winningPlan" : {
 "stage" : "COLLSCAN",
 "filter" : {
   "$and" : [
     {
       "status" : {
         "$eq" : "repayed"
       }
     },
     {
       "userId" : {
         "$eq" : "59e022d33f239800129c61c7"
       }
     }
   ]
 },
 "direction" : "forward"
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "RMBAP",
"port" : 27017,
"version" : "4.1.11",
"gitVersion" : "1b8a9f5dc5c3314042b55e7415a2a25045b32a94"
},
"ok" : 1
}