`
风雪涟漪
  • 浏览: 495648 次
  • 性别: Icon_minigender_1
  • 来自: 大连->北京
博客专栏
952ab666-b589-3ca9-8be6-3772bb8d36d4
搜索引擎基础(Search...
浏览量:8725
Ae468720-c1b2-3218-bad0-65e2f3d5477e
SEO策略
浏览量:17575
社区版块
存档分类
最新评论

MongoDB 关于索引的建议

阅读更多

MongoDB 关于索引的建议

我们收到了很多关于索引的问题。这一部分解答了其中的一小部分。有几点要记住。

第一,MongoDB索引和MySQL索引非常相似并且对于MySQL的索引优化有很多也适用于MongoDB。 

第二,更重要的是,这些索引的建议对你的应用提高也是有限的。

对于应用的最佳索引策略应该基于很多的重要因素。包含了你期望查询的类型,

数据读取与写入的比率,甚至于你服务器的空闲内存。意思就是,

需要对线上的产品做很多的测试剖析工作,才能调整出最佳的索引策略。

没有什么好的方法可以替代实际经验的。

注意: 如果你是个新手,建议阅读 read this introductory article first.


索引策略

下面有些索引的基本法则

创建的索引要匹配查询。

如果你仅仅要查询单个字段。索引这个字段即可。如

db.posts.find({ slug : 'state-of-mongodb-2010' })

这个例子中,唯一索引是最佳的

db.posts.ensureIndex({ slug: 1 }, {unique: true});

然而,一般都查询多个键并且排序结果。这种情况,组合索引是最佳的,例子如下

db.comments.find({ tags : 'mongodb'}).sort({ created_at : -1 });

创建的索引如下

db.comments.ensureIndex({tags : 1, created_at : -1});

要注意的是如果我们按照升序排序created_at。索引效率就低下了。

每个查询一个索引。

有的时候查询多个键,需要多个索引。在MongoDB中,这么做没问题。

如果你有个查询要匹配多个键,并且你想更有效地使用索引,请使用组合索引。

要确定所有的索引都在RAM中。

Shell中提供了一个查看索引大小的命令,如下:

db.comments.totalIndexSize();
65443

如果你的查询有点迟缓,你应该查看下索引是否都存入到RAM中了。

一个实例,如果你运行在4GB的RAM机器并且有3GB的索引,那么索引可能并不能全存在RAM中。

你需要添加RAM以及/或者校验实际的索引使用量。

要小心单键索引的低选择性。

假使你有个字段叫做'status',就有两个值new和processed。

如果在status上创建索引那么这就是个低选择性的索引。

意味着,查询中没有什么优势并且还占大量的空间。

一个更好一点的策略,当然依赖具体查询需求,可以创建组合索引包括这个低选择性的字段。

举例来说,你可以创建一个组合索引在status和created_at字段上。

另一个选择,当然也依赖你的需求,可以分离collection, 一个状态一个。

当然这些建议一定要进行测试,选择最优的方案。

使用explain.
MongoDB提供了一个explain命令,
用来查看查询的过程并且可以查看是否使用缩影。explain可以在驱动中使用,也可以在SHELL中使用:
db.comments.find({ tags : 'mongodb'}).sort({ created_at : -1 }).explain();
返回了很多有用的信息。包含了检索的条数,消耗的毫秒数,优化器尝试的索引以及最终所使用的索引。

如果你从来没有使用过explain,请开始使用吧。

理解explain的 输出.

explain输出主要有三个字段:

  • cursor: 游标不是 BasicCursor就是 BtreeCursor. 第二种意味着使用了索引。
  • nscanned: 扫描document的行数。
  • n: 查询返回的行数。你希望n的值和nsanned值接近。要避免做collection的扫描,
  • 也就是访问所有的document。
  • millis: 查询完成的毫秒数。这个对于比较索引和非索引性能非常有用。
要关注应用读/写( read/write) 比率

这个很重要,因为,添加索引意味着添加,更新,删除操作变慢。

如果你的应用是偏向于读取,使用索引是非常好的事情。

但是如果你的应用偏向于写,那么创建索引就要小心了。增加索引都很影响写入的性能。

一般来说, 不要随便添加索引。索引应该按照你的查询来添加。

添加索引的理由总是很多的, 以及要进行大量的测试选择合适的索引策略。

索引特性

组合索引有许多特性要记住。

下面的例子都假想在 a, b, c上创建组合索引。因此创建索引语句如下

db.foo.ensureIndex({a: 1, b: 1, c: 1})

 

1. 排序的列一定要在索引的最后。

好的:

  • find(a=1).sort(a)
  • find(a=1).sort(b)
  • find(a=1, b=2).sort(c)

不好的:

  • find(a=1).sort(c)
  • 即使c是索引的最后一列,a列是所使用的最后一列,因此你只能通过a或者b列进行排序。
2,3 ,4在1.6+已经不适用了。推荐使用1.6+以上版本。

5. MongoDB's $ne 或者$nin 操作在索因伤是无效的。
  • 当要排除很少的documents。最好的方法就是在MongoDB查询出结果,在服务端进行排除。



分享到:
评论
1 楼 biaoming 2014-07-17  
牛。。学习了。。

相关推荐

    MongoDB中创建索引需要注意的事项

    在 《MongoDB 那些坑》中提到,在前台直接运行建立索引命令的话,将造成整个数据库阻塞,因此索引建议使用 background 的方式建立。但是这也会带来一定的问题,在 2.6 版本之前,在 secondary server 中即使使用 ...

    MongoDB期末考试测试题

    它提供了一系列测试题,涵盖了MongoDB的基本概念、数据建模、查询语言、索引优化等方面的内容。通过阅读测试题并解答其中的问题,同学们可以加深对MongoDB的理解,夯实知识基础,并为期末考试做好准备。 其他说明:...

    MongoDB性能篇之创建索引,组合索引,唯一索引,删除索引和explain执行计划

    MongoDB 提供了多样性的索引支持,索引信息被保存在system.indexes 中,且默认总是为_id创建索引,它的索引使用基本和MySQL 等关系型数据库一样。其实可以这样说说,索引是凌驾于数据存储系统之上的另一层系统,所以...

    mongodb处理中文索引与查找字符串详解

    参考文献 首先自打3.2版本之后,就开始支持中文索引了,...然后,对于要支持索引的表需要建议text index,如何建立参考这里: https://docs.mongodb.com/manual/core/index-text/ 在建好索引text之后,如果检索参考: ...

    网络爬虫+MongoDB库

    MongoDB数据库:它是一种NoSQL...阅读建议: 此资源以开发简化版 MongoDB 学习其原理和内核,不仅是代码编写实现也更注重内容上的需求分析和方案设计,所以在学习的过程要结合这些内容一起来实践,并调试对应的代码。

    mongodb-compass-community-1.14.6-win32-x64

    MongoDB compass 是官方推出的可视化管理工具,compass 与 Cloud Manager 功能互补,Cloud Manager 偏向于部署、运维、监控,而 compass 则偏向于数据管理、查询优化等...索引自动分析及优化建议 explain 的结果可视化

    redis与mongodb的区别总结

    MongoDB更类似MySQL,支持字段索引、游标操作,其优势在于查询功能比较强大,擅长查询JSON数据,能存储海量数据,但是不支持事务。 Mysql在大数据量时效率显著下降,MongoDB更多时候作为关系数据库的一种替代。 ...

    mongodb-university:Mongod DB大学课程

    MongoDB大学这个资料库...表现推荐架构经验法则优化索引基准多键索引数据类型顺序数据类型树路由查询限制并跳过限制并跳过合并散布和聚集排序排序与合并批量并行写入批量写入顺序建议的架构地理建筑 汇总框架过滤器可视

    mongo-lock:使用MongoDB进行分布式锁定

    MongoDB中的分布式锁 该软件包提供了一个Go客户端,用于...建议使用以下索引来帮助某些查询的性能: db.locks.createIndex( { "exclusive.LockId": 1 } ) db.locks.createIndex( { "exclusive.ExpiresAt": 1 } ) db.

    MongoDB的PHP驱动方法与技巧

    在mongodb 2.6版本前,在建立索引时的通病。所有的在前台或后台创建索引,在secondary端将在前台创建。 在PHP驱动程序的1.5.3版本会有所改进,在创建索引时,允许验证到second节点验证。 减少is_master_interval值 ...

    meteor-ensure:流星包来监控索引并确保它们以半健全的方式创建

    流星确保 Meteor 包来监控索引并确保它们以半健全的方式创建。 安装 使用包 克隆github 链接到您的流星应用程序包目录 ... 名为 MeteorEnsure 的 mongodb 集合用于存储它找到的建议索引。 您可以忽

    blockstack-search-indexer:搜索索引器以查找Blockstack名称和配置文件

    为此,它支持两种模式-第一种是将索引信息直接放置在mongodb实例中,第二种是将索引转储到两个JSON文件中( blockchain_data.json和profile_data.json ) blockchain_data.json文件是与blockstack-core / api的期望...

    react-material-blog-server:完全原始的基于原生Node.js和MongoDB的博客文章

    React Material Blog服务器 完全原创,独立完成的的纳入。 特点: Material Design风格,自适应于不同设备的浏览器 可编辑和展示文章标题,摘要,Markdown...请注意组件库的api尚需中断,建议不要安装超过当前package.

    steamer:用于导入,搜索和管理公共密码泄露数据

    在这一点上,建议导入不需要索引即可导入的更简单的违规之一。 go run ./importers/adobe.go 现在我们需要为MongoDB创建相关的索引: 在mongo控制台中,将索引创建为: 成员ID:散列违反:1 电子邮件:1 利亚姆:1 ...

    用100多行python代码写一个数据库

    MongoDB的固定集合很好的满足了这个需求,但是MongoDB占内存比较大,有点儿火穿蚊子,小题大做的感觉。 WawaDB的思路是每写入1000条日志,在一个索引文件里记录下当前的时间和日志文件的偏移量。 然后按时间询日志...

    cookieindex:该应用程序可创建和存储与mongostore的快速会话

    基于Cookie的MongoDB会话存储该应用程序可创建和存储与mongostore的快速会话该应用程序的路由为: 索引(新游戏)>开始> Newgame>加载>游戏索引(加载游戏)>加载>游戏要运行此应用程序,请安装node.js,通过npm的...

    轻量级JAVA实时业务风控系统框架.zip

    背景 当前互联网企业存在很多业务风险,有些风险(比如薅羊毛)虽然没有sql注入漏洞利用来的直接,但是一直被羊毛党、刷单党...建议在mongodb聚合的维度上建立索引,这样可以使用内存计算,速度较快。 redis性能优于mo

    网络架构师148讲视频课程

    │ 第112节:MongoDB的索引一.avi │ 第113节:MongoDB的索引二.avi │ 第114节:Capped集合和GridFS.avi │ 第115节:MongoDB的副本集一.avi │ 第116节:MongoDB的副本集二.avi │ 第117节:副本集的基本原理.avi ...

    masspec-glue:从 code.google.compmasspec-glue 自动导出

    将结构化目录中具有唯一名称的文件索引到平面命名空间中。 部署 依赖于 Node.js、npm 和 MongoDB。 安装:要安装 masspec_glue,只需从任何目录执行sudo npm install -g git+...

    DAAR_4_BookFinder:搜索引擎免费书籍

    关于 介绍 图书搜索器是一个搜索引擎,可以帮助您快速找到免费图书并向您推荐相似的图书。 特征 从在线图书馆(gutenberg.org或其他来源)索引书籍。 通过关键字搜索书籍。 通过正则表达式搜索书籍。 搜索结果...

Global site tag (gtag.js) - Google Analytics