监控一切能监控的，记录一切能记录的！
公司网站的系统日志、bash日志已经通过rsyslog实时、统一记录处理，web访问日志还是零散存放。为了结局这个问题，准备启用fluentd+mongodb+……处理，现在开始逐步做一些准备工作。
简介mongodb是一个高性能,开源,无模式的文档型数据库,它在许多场景下可用于替代传统的关系型数据库或键/值存储模式。
一个mongod服务可以有建立多个数据库，每个数据库可以有多张表，这里的表名叫collection，每个collection可以存放多个文档（document），每个文档都以bson（binary json）的形式存放于硬盘中，因此可以存储比较复杂的数据类型。
它是以单文档为单位存储的，你可以任意给一个或一批文档新增或删除字段，而不会对其它文档造成影响，这就是所谓的schema-free，这也是文档型数据库最主要的优点。
跟一般的key-value数据库不一样的是，它的value中存储了结构信息，所以你又可以像关系型数据库那样对某些域进行读写、统计等操作。
mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。
mongo还可以解决海量数据的查询效率，根据官方文档，当数据量达到50gb以上数据时，mongo数据库访问速度是mysql10 倍以上。
mongodb是用c++开发,提供了以下功能：
面向集合的存储：适合存储对象及json形式的数据。动态查询：mongo支持丰富的查询表达式。查询指令使用json形式的 标记，可轻易查询文档中内嵌的对象及数组。完整的索引支持：包括文档内嵌对象及数组。mongo的查询优化 器会分析查询表达式，并生成一个高效的查询计划。查询监视：mongo包含一个监视工具 用于分析数据库操作的性能。复制及自动故障转移：mongo数据库支持服务器之间的数据复制，支持主-从模式及服务 器之间的相互复制。复制的主要目标是提供冗余及自 动故障转移。高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）。自动分片以支持云级别的伸缩性（处于早期alpha阶段）：自动分片功能支持水平的数据库集群 ，可动态添加额外的机器。mongodb的主要目标是在键/值存储方式（提供了高性能和高度伸缩性）以及传统的rdbms系统 （丰富的功能）架起一座桥梁，集两者的优势于一 身。
根据官方网站的描述，mongodb适合用于以下场景：
网站数据：mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。缓存：由于性能很高，mongo也适合作为信息基础设施的缓存层。在系统重启之后，由mongo搭建的持久化缓存层可以避免下层的数据源过载。大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。高伸缩性的场景：mongo非常适合由数十或数百台服务器组成的数据库。mongo的路线图中已经包含对mapreduce引擎的内置支持。用于对象及json数据的存储：mongo的bson数据格式非常适合文档化格式的存储及查询。mongodb的使用也会有一些限制，例如它不适合：
高度事务性的系统：例如银行或会计系统。传统的关系型数据库目前还是更适用于需要大量原子性复杂事务的应用 程序。传统的商业智能应用：针对特定问题的bi数据库会对产生高度优化的查询方式。对于此类应用，数据仓库可能是更合适的选择。需要sql的问题其他：
bson
bson是binary json 的简称，是一个json文档对象的二进制编码格式。bson同json一样支持往其它文档对象和数组中再插入文档对象和数组，同时扩展了json的数据类型。如：bson有date类型和bindate类型。
bson被比作二进制的交换格式，如同protocol buffers，但bson比它更“schema-less”，非常好的灵活性但空间占用稍微大一点。
bson有以下三个特点：
轻量级 跨平台 效率高
命名空间
mongodb存储bson对象到collections,这一系列的数据库名和collection名被称为一个命名空间。如同：java.util.list;用来管理数据库中的数据。
索引
mongodb可以对某个字段建立索引，可以建立组合索引、唯一索引，也可以删除索引，建立索引就意味着增加空间开销。默认情况下每个表都会有一个唯一索引：_id，如果插入数据时没有指定_id，服务会自动生成一个_id，为了充分利用已有索引，减少空间开销，最好是自己指定一个unique的key为_id，通常用对象的id比较合适，比如商品的id。
mongodb下载：http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz
mongodb安装：tar xvzf mongodb-linux-x86_64-2.4.9.tgzmv mongodb-linux-x86_64-2.4.9 /usr/local/mongodbecho 'path=$path:/usr/local/mongodb/bin/' >> /etc/profilesource /etc/profile
只需要解压到相关目录即可，不需要编译安装
mongodb启动与关闭：在启动mongodb之前，必须新建一个存放mongodb数据和日志的目录
mkdir -pv /data/mongodb/datatouch /data/mongodb/logs
启动mongodb
mongod --dbpath=/data/mongodb/data /data/mongodb/logs --logappend &
查看mongodb的端口是否启动，默认是 27017，在启动服务器时，可以通过—port来指定
netstat -an -t|grep 27017tcp 0 0 0.0.0.0:27017 0.0.0.0:* listen
关闭方法：
killall mongod 或者是 kill [pid]
使用方法：mongomongodb shell version: 1.2.4-url: testconnecting to: testtype help for help> helphelpshow dbs 显示数据库名show collections 显示当前数据库中的集合集show users 显示当前数据库的用户show profile 显示最后系统用时大于1ms的系统概要use 切换到数据库db.help() help on db methodsdb.foo.help() help on collection methodsdb.foo.find() list objects in collection foodb.foo.find( { a : 1 } ) list objects in foo where a == 1it result of the last line evaluated; use to further iterate> show dbs 默认情况下有2数据库adminlocal> use admin 切换到admin数据库switched to db admin> show collections 显示admin数据库下面的集合集system.indexes
新建数据库的方法
新建集合集：
> db.createcollection(user);{ ok : 1 }> show collectionssystem.indexesuser>
插入数据：
> db.user.insert({uid:1,username:falcon.c,age:25});> db.user.insert({uid:2,username:aabc,age:24});
查询数据：
> db.user.find();{ _id : objectid(4b81e74c1f0fd3b9545cba43), uid : 1, username : falcon.c, age : 25 }{ _id : objectid(4b81e74d1f0fd3b9545cba44), uid : 2, username : aabc, age : 24 }
查询uid为1的用户信息
> db.user.find({uid:1});{ _id : objectid(4b81e74c1f0fd3b9545cba43), uid : 1, username : falcon.c, age : 25 }
更新数据
> db.user.update({uid:1},{$set:{age:26}})> db.user.find(); { _id : objectid(4b81e76f1f0fd3b9545cba45), uid : 1, username : falcon.c, age : 26 }{ _id : objectid(4b81e7701f0fd3b9545cba46), uid : 2, username : aabc, age : 24 }> db.user.update({uid:1},{$inc:{age:-1}})> db.user.find(); { _id : objectid(4b81e76f1f0fd3b9545cba45), uid : 1, username : falcon.c, age : 25 }{ _id : objectid(4b81e7701f0fd3b9545cba46), uid : 2, username : aabc, age : 24 }
出 了以上的2种用法，更新的条件还有$unset、$push 、$pushall 、$pop 、$pull 、$pullall
其他启动参数mongod --help** note: when using mongodb 32 bit, you are limited to about 2 gigabytes of data** see http://blog.mongodb.org/post/137788967/32-bit-limitations for moreallowed options:general options:-h [ --help ] show this usage information--version show version information-f [ --config ] arg configuration file specifying additional options--port arg specify port number--bind _ip arg local ip address to bind listener - all local ips bound by default-v [ --verbose ] be more verbose (include multiple times for more verbosity e.g. -vvvvv)--dbpath arg (=/data/db/) directory for datafiles 指定数据存放目录--quiet quieter output 静默模式--logpath arg file to send all output to instead of stdout 指定日志 存放目录--logappend appnd to logpath instead of over-writing 指定日志是以追加还是以覆盖的方式写入日志文件--fork fork server process 以创建子进程 的方式运行--cpu periodically show cpu and iowait utilization 周期性的显示cpu和io的使用情况--noauth run without security 无认证模式运行--auth run with security 认证模式运行--objcheck inspect client data for validity on receipt 检查客户端输入数据的有效性检查--quota enable db quota management 开始数据库配额的管理--quotafiles arg number of files allower per db, requires --quota 规定每个数据库允许的文件数--appsrvpath arg root directory for the babble app server --nocursors diagnostic/debugging option 调试诊断选项--nohints ignore query hints 忽略查询命中率--nohttpinterface disable http interface 关闭http接口，默认是28017--noscripting disable scripting engine 关闭脚本 引擎--noprealloc disable data file preallocation 关闭数据库文件大小预分配--smallfiles use a smaller default file size 使用较小的默认文件大小--nssize arg (=16) .ns file size (in mb) for new databases 新数据库ns文件的默认大小--diaglog arg 0=off 1=w 2=r 3=both 7=w+some reads 提供的方式，是只读，只写，还是读写都行，还是主要写+部分的读模式--sysinfo print some diagnostic system information 打印系统诊断信息--upgrade upgrade db if needed 如果需要就更新数据库--repair run repair on all dbs 修复所有的数据库--notablescan do not allow table scans 不运行表扫描--syncdelay arg (=60) seconds between disk syncs (0 for never) 系统同步刷新磁盘 的时间，默认是60sreplication options:--master master mod e 主复制模式--slave slave mode 从复制模式--source arg when slave: specify master as 当为从时，指定主的地址和端口--only arg when slave: specify a single database to replicate 当为从时，指定需要从主复制的单一库--pairwith arg address of server to pair with--arbiter arg address of arbiter server 仲裁服务器，在主主中和pair中用到--autoresync automatically resync if slave data is stale 自动同步从的数据--oplogsize arg size limit (in mb) for op log 指定操作日志的大小--opidmem arg size limit (in bytes) for in memory storage of op ids指定存储操作日志的内存 大小sharding options:--configsvr declare this is a config db of a cluster 指定shard中的配置服务器--shardsvr declare this is a shard db of a cluster 指定shard服务器
告警登入mongo后出现如下提示
** warning: you are running on a numa machine.** we suggest launching mongod like this to avoid performance problems:** numactl --interleave=all mongod [other options]
此问题是由于numa问题引起的，关于numa请移步这里
官方对此问题的解释：http://www.mongodb.org/display/docs/numa
解决办法：
/proc/sys/vm/zone_reclaim_mode=0启动命令前添加 numactl –interleave=all监控一切能监控的，记录一切能记录的！
公司网站的系统日志、bash日志已经通过rsyslog实时、统一记录处理，web访问日志还是零散存放。为了结局这个问题，准备启用fluentd+mongodb+……处理，现在开始逐步做一些准备工作。
简介mongodb是一个高性能,开源,无模式的文档型数据库,它在许多场景下可用于替代传统的关系型数据库或键/值存储模式。
一个mongod服务可以有建立多个数据库，每个数据库可以有多张表，这里的表名叫collection，每个collection可以存放多个文档（document），每个文档都以bson（binary json）的形式存放于硬盘中，因此可以存储比较复杂的数据类型。
它是以单文档为单位存储的，你可以任意给一个或一批文档新增或删除字段，而不会对其它文档造成影响，这就是所谓的schema-free，这也是文档型数据库最主要的优点。
跟一般的key-value数据库不一样的是，它的value中存储了结构信息，所以你又可以像关系型数据库那样对某些域进行读写、统计等操作。
mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。
mongo还可以解决海量数据的查询效率，根据官方文档，当数据量达到50gb以上数据时，mongo数据库访问速度是mysql10 倍以上。
mongodb是用c++开发,提供了以下功能：
面向集合的存储：适合存储对象及json形式的数据。动态查询：mongo支持丰富的查询表达式。查询指令使用json形式的 标记，可轻易查询文档中内嵌的对象及数组。完整的索引支持：包括文档内嵌对象及数组。mongo的查询优化 器会分析查询表达式，并生成一个高效的查询计划。查询监视：mongo包含一个监视工具 用于分析数据库操作的性能。复制及自动故障转移：mongo数据库支持服务器之间的数据复制，支持主-从模式及服务 器之间的相互复制。复制的主要目标是提供冗余及自 动故障转移。高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）。自动分片以支持云级别的伸缩性（处于早期alpha阶段）：自动分片功能支持水平的数据库集群 ，可动态添加额外的机器。 原文地址：mongodb安装使用简介, 感谢原作者分享。