MongoDB 基本语法–知识框架-概念详解

鳄鱼君

发表文章数:643

Vieu四代商业主题

高扩展、安全、稳定、响应式布局多功能模板。

¥69 现在购买
首页 » Python » MongoDB 基本语法–知识框架-概念详解
摘要:MongoDB 概念解析 不管我们学习什么数据库都应该学习其中的基础概念,在mongodb中基...

这篇文章主要介绍一下MongoDB的基本语法,以及在Windows系统下该如何使用,特别是一些简单的增删改查操作,这些使我们在爬虫的时候需要使用的知识,但是整体的框架还是需要了解一下

MongoDB 基本语法--知识框架-概念详解

MongoDB 基本语法

SQL术语/概念 MongoDB术语/概念 解释/说明
database database 数据库
table collection 数据库表/集合
row document 数据记录行/文档
column field 数据字段/域
index index 索引

MongoDB 数据库操作

一个mongodb中可以建立多个数据库。MongoDB的默认数据库为”db”,该数据库存储在data目录中。 MongoDB的单个实例可以容纳多个独立的数据库,每一个都有自己的集合和权限,不同的数据库也放置在不同的文件中。show dbs命令可以显示所有数据名称,“use”命令可以连接到一个指定的数据库,“db”命令可以显示当前数据库对象或集合的名字.

MongoDB 基本语法--知识框架-概念详解

数据库也通过名字来标识。数据库名可以是满足以下条件的任意UTF-8字符串。

  • 不能是空字符串(””)。
  • 不得含有’ ‘(空格)、.、$、/、\和\0 (空字符)。
  • 应全部小写。
  • 最多64字节。
  • admin: 从权限的角度来看,这是”root”数据库。要是将一个用户添加到这个数据库,这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行,比如列出所有的数据库或者关闭服务器。
  • local: 这个数据永远不会被复制,可以用来存储限于本地单台服务器的任意集合
  • config: 当Mongo用于分片设置时,config数据库在内部使用,用于保存分片的相关信息。

创建用户

mongodb中的key加不加引号是都可以的,在mac下创建A用户之后是不能在继续创建别的用户的,必选要登录,但是在Windows上是可以的。还有一种情况就是,你创建了用户A权限root,用户B权限只读,你直接把A用户干死了,那么B用户就删不掉了,这就玩死了,所以不要这样玩。

use admin   切换到admin数据库中,创建用户必须在这个数据库中
db.createUser({user:'A',pwd:'12345',roles:['root']})   #创建A用户,权限为root
#不能再添加新的用户,必须要登录当前创建的用户
db.auth('A','12345')    #登录创建的A用户
db.createUser({user:'B',pwd:'12345',roles:[{db:'stu',role:'read'}]})  #创建用户B,db为集合名,权限为只读
show users    #显示当前用户
db.dropUser('A')    #删除A用户
 

MongoDB 基本语法--知识框架-概念详解

那么如果你的电脑上装有robot3T的话可以很直观的看到结果,我们在cmd窗口运行命令,你打开robot3T就可以看到相关的数据已经修改了

集合操作

集合存在于数据库中,集合没有固定的结构,这意味着你在对集合可以插入不同格式和类型的数据,但通常情况下我们插入集合的数据都会有一定的关联性。

合法的集合名

  • 集合名不能是空字符串””。
  • 集合名不能含有\0字符(空字符),这个字符表示集合名的结尾。
  • 集合名不能以”system.”开头,这是为系统集合保留的前缀。
  • 用户创建的集合名字不能含有保留字符。有些驱动程序的确支持在集合名里面包含,这是因为某些系统生成的集合中包含该字符。除非你要访问这种系统创建的集合,否则千万不要在名字里出现$。 
use admin
db.stu.insert({name:'zjj'})    #会自动创建集合stu
db.stu.find()  #显示集合中的所有内容
db.createCollection('abc')  #创建集合
show collections   #查看所有的集合(表)
db.abc.drop()   #删除集合
#所有的操作都是在admin数据库中,可以切换其它数据库操作
 

文档(Document)内容操作

文档是一组键值(key-value)对(即 BSON)。MongoDB 的文档不需要设置相同的字段,并且相同的字段不需要相同的数据类型,这与关系型数据库有很大的区别,也是 MongoDB 非常突出的特点。

  1. 文档中的键/值对是有序的。
  2. 文档中的值不仅可以是在双引号里面的字符串,还可以是其他几种数据类型(甚至可以是整个嵌入的文档)。
  3. MongoDB区分类型和大小写。
  4. MongoDB的文档不能有重复的键。
  5. 文档的键是字符串。除了少数例外情况,键可以使用任意UTF-8字符。

文档键命名规范:

  • 键不能含有\0 (空字符)。这个字符用来表示键的结尾。
  • .和$有特别的意义,只有在特定环境下才能使用。
  • 以下划线”_”开头的键是保留的(不是严格要求的)。

增删改查操作

废话不多说,代码练习:

增
db.stu.insert({name:'wff',age:19,gender:'schoolboy'})  #插入一条数据
删
db.stu.remove({name:'zjj'})   #符合条件的都会删除
db.stu.remove({name:'zjj'},{justOne:true})  #删除符合条件的一个
db.stu.remove({})  #删除所有
改
db.stu.update({name:'zjj'},{$set:{age:18}}) #修改name为zjj,然后设置age为18,可以新增属性,也可以修改
db.stu.update({name:'zjj'},{$set:{gender:'schoolboy'}}) #添加zjj gender为schoolboy男生
db.stu.update({name:'wff'},{$set:{gender:'girlstudent'}}) #修改wff为girlstudent女生
db.stu.update({gender:'schoolboy'},{$set:{age:20}},{multi:true})  #修改所有的男生的age为20
db.stu.update({name:'zjj'},{$unset:{gender:''}})  #删除zjj的gender属性
查-基本查询
db.stu.find({gender:'schoolboy'}) 
db.stu.findOne({gender:'schoolboy'}) 
--比较运算
db.stu.find({age:{$gt:18}}) #年龄大于18
db.stu.find({age:{$lt:18}}) #年龄小于18
db.stu.find({age:{$gte:18}}) #年龄大于等于18
db.stu.find({age:{$lte:18}}) #年龄小于等于18
db.stu.find({age:{$ne:18}})  #年龄不等于18
db.stu.find({age:{$gt:18},gender:'schoolboy'}) #查找age大于18并且是男生
--逻辑查询
db.stu.find({$and:[{age:{$gt:18}},{gender:'schoolboy'}]}) #查找age大于18并且是男生  
db.stu.find({$or:[{age:{$gt:18}},{gender:'schoolboy'}]})  #查找age大于18或者是男生
db.stu.find({$and: [{$or:[{age:{$gt:18}},{like:'apple'}]},{gender:'schoolboy'} ] } )  #查找男生的age大于18或者喜欢apple 
--范围运算
db.stu.find({age:{$in:[18,28,22]}})  #查看age为list里面的值,不是区间
db.stu.find({age:{$nin:[18]}}) #查询age不是18的值
--正则表达式
db.stu.find({name:{$regex:'^x'}})  #根据正则查找,name以z开头
db.stu.find({name:/x/})
db.stu.find({name:/X/i}) #忽略大小写查找name以x开头的值
db.stu.find({name:{$regex:'X',$options:'i'}}) #忽略大小写查找name以x开头的
--定义函数
db.stu.find({
$where:function(){
    return this.age>18
}
})    #可以使用函数的方式查找age大于18的值,this相当于zhizhen
 

查询结果显示

db.stu.find.limit(2) #显示前2个
db.stu.find.skip(2) #跳过2个显示
db.stu.find.skip(2).limit(2) #没有先后顺序,都是skip优先
db.stu.find({},{name:1,age:1}) #投影,只显示name和age属性
db.stu.find({name:'zjj'}).count()  #统计name为zjj的数量
db.stu.count({name:'zjj'})
db.stu.find().sort({age:1}) #按照age升序排列
db.stu.find().sort({age:-1}) #按照age降序排列
db.stu.distinct('age')  #去重age
#由于我们刚才插入的没有like属性,内容太少,这里自己在编辑器里面写好复制过去也是可以的
#毕竟那么多括号,稍不注意就少东西了
 

复合查询

符合查询使用管道标准语法aggregate,不知道是什么没关系,我们先清空stu集合,然后插入10条数据,这里由于_id属性太长,所以我们可以修改一下

db.stu.insert({_id:1,name:'wff',age:44,gender:'girlstudent',like:'apple'})
db.stu.insert({_id:2,name:'qyl',age:11,gender:'schoolboy',like:'cat'})
db.stu.insert({_id:3,name:'xm',age:33,gender:'schoolboy',like:'dog'})
db.stu.insert({_id:4,name:'zs',age:22,gender:'girlstudent',like:'apple'})
db.stu.insert({_id:5,name:'wu',age:17,gender:'schoolboy',like:'cat'})
db.stu.insert({_id:6,name:'wb',age:12,gender:'schoolboy',like:'pig'})
db.stu.insert({_id:7,name:'xh',age:10,gender:'girlstudent',like:'cat'})
db.stu.insert({_id:8,name:'xl',age:33,gender:'girlstudent',like:'chicken'})
db.stu.insert({_id:9,name:'zjj',age:18,gender:'schoolboy',like:'chicken'})
db.stu.insert({_id:10,name:'wbd',age:21,gender:'girlstudent',like:'pig'}) 

管道的固定书写方法:

db.stu.aggregate([
    {管道1},
    {管道2},
    ...
])
 

就是跟自来水管一样,加上管道控制显示的内容。

$group分组
男女分组
db.stu.aggregate([{$group:{_id:"$gender"}}]) #通过_id显示分组,必须是_id
男女分组求年龄之和-男的年龄之和-女的年龄之和-$sum
db.stu.aggregate([
{$group:{_id:"$gender",sumage:{$sum:"$age"}}}
])
根据爱好分组,求最大年龄$max
db.stu.aggregate([
{$group:{_id:"$like",maxage:{$max:"$age"}}}
])
根据性别分组-并统计like  -$push
db.stu.aggregate([
{$group:{_id:"$gender",all_like:{$push:"$like"}}}
])
多个管道-按照男女分组,年龄age大于18,求男女各自的平均值 -$avg平均值
db.stu.aggregate([
{$match:{age:{"$gt":18}}},
{$group:{_id:"$gender",avgage:{$avg:"$age"}}}  
])
$proiect 投影 男女分组年龄大于19,显示各自之和和平均值,最后只显示和
db.stu.aggregate([
{$match:{age:{$lt:19}}},
{$group:{_id:"$gender",sumage:{$sum:"$age"},avgage:{$avg:"$age"}}},
{$project:{sumage:true}}
])
 
$sort排序  1升 -1降
db.stu.aggregate([
{$sort:{age:-1}}
])
$skip 跳过
$limit限制  在管道里面两者不能颠倒
db.stu.aggregate([
{$skip:1},
{$limit:2}
])
$unwind拆分list 
$push返回的是个list,可以用$unwind全部拆分
db.stu.aggregate([
{$group:{_id:"$gender",all_name:{$push:"$name"}}},
{$unwind:"$all_name"}
])
按照性别分组,年龄大于18,取出喜欢的宠物,并拆分
db.stu.aggregate([
{$match:{age:{"$gt":18}}},
{$group:{_id:"$gender",all_like:{$push:"$like"}}},
{$unwind:"$all_like"}
])
 

$match==find都是查找,区别在于find不能使用管道

备份数据库

位置就在本地

mongodump -h 127.0.0.1:2701(位置) -d admin(数据库名) -o E:\beifen 

恢复数据库

mongorestore -h 127.0.0.1:27017 -d admin --dir E:\beifen\stu 

导出数据库文件

stu是在admin数据库中
mongoexport -h 127.0.0.1:27017 -d admin -c stu(表名) -o E:\beifen\data.json  
mongoexport -h 127.0.0.1:27017 -d admin -c stu(表名) -o E:\beifen\data.csv --type csv -f name,like 

导入数据库文件

mongoimport -h 127.0.0.1:27017 -d admin -c stu --file E:\beifen\data.json  

备份、恢复、导出、导入操作退出mongodb执行,我因为这个搞了半天,左看右看代码没错啊

大数据存储

假设现在我们生成50万个数据存储到mongodb中去,可以使用js,简单了解:

[js]
for (var a=0;a<500000;a++){
db.stu.insert({_id:a,user:"user_"+a,age:a})
}[/js]

数据很多需要一段时间,现在我们来分别看一下各自插入的时间

db.stu.count() 查看一下数据数量多少
db.stu.find()  #一页20页数据
_id
db.stu.find({_id:444444}).explain('executionStats')
user_
db.stu.find({user:"user_444444"}).explain('executionStats')
age
db.stu.find({age:444444}).explain('executionStats')
 

查看executionStats中的executionTimeMillis就是时间,单位毫秒,具体时间就不在显示了,自己测试,我电脑跑一个小时还没查进去。总之时间太慢,一般来说我们不会修改_id,都是自动生成的,所以我们将来可以设置内容的key为id,提高查询时间

设置user的id,age的id

db.stu.ensureIndex({user:1})
db.stu.ensureIndex({age:1})
查看索引 第一个是主键,第二个是user_1,第三个age_1
db.stu.getIndexes()
删除索引 名字不再是user,age了
db.stu.dropIndex('user_1')
db.stu.dropIndex('age_1') 

设置完索引就可以删掉了,主键是不能删的,也删不掉。整体就先总结这么多,够我们练习爬虫使用了,特别是写的时候注意不要少方括号,不用死记,用的时候查查也行。

未经允许不得转载:作者:鳄鱼君, 转载或复制请以 超链接形式 并注明出处 鳄鱼君
原文地址:《MongoDB 基本语法–知识框架-概念详解》 发布于2019-12-18

分享到:
赞(1) 赏杯咖啡

文章对你有帮助可赏作者一杯咖啡

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.6主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册