算法小生 - 博客园

2022年10月18日

摘要： 1. 文档 ElasticSearch是面向文档的，文档是所有可搜索数据的最小单位文档会被序列化成JSON格式，保存在ES中每个文档都有一个unique ID #查看前10条文档，了解文档格式 POST kibana_sample_data_ecommerce/_search { } 1.1 文阅读全文

posted @ 2022-10-18 21:03 算法小生阅读(40) 评论(0) 推荐(0)

3.ElasticSearch系列之Docker本地部署

摘要：对于之前的部署方式一般用于生产环境，而对于学习而言Docker方式快速部署就好了，本示例在window10环境下进行。 1. Docker使用Elasticsearch 需要对vm.max_map_count进行如下配置 # Windows and macOS with Docker Desktop 阅读全文

posted @ 2022-10-18 21:03 算法小生阅读(73) 评论(0) 推荐(0)

2.ElasticSearch系列之集群权限认证

摘要： 1. 在master节点上创建秘钥库 export ES_PATH_CONF="/home/elasticsearch/config" && /usr/local/elasticsearch-7.6.2/bin/elasticsearch-keystore create 2. 在所有节点中开启ssl 阅读全文

posted @ 2022-10-18 21:02 算法小生阅读(212) 评论(0) 推荐(0)

1.ElasticSearch系列之集群部署

摘要：第一步：安装JDK JDK要求jdk1.8+，不安装也可以，ES自带JDK 第二步：系统配置 2.1 禁用交换区 sudo swapoff -a 2.2 开最大文件数的限制编辑文件 /etc/security/limits.conf把nofile设置为65536 或者执行 echo "* soft 阅读全文

posted @ 2022-10-18 21:02 算法小生阅读(205) 评论(0) 推荐(0)

19.MongoDB系列之批量更新写入Groovy版

摘要： Groovy作为脚本，比Java在数据处理中具有更高的灵活性 // 获取mongo连接略 .... def count = 0 for(Township town : townships) { Document updateBson = new Document() Document update 阅读全文

posted @ 2022-10-18 21:01 算法小生阅读(55) 评论(0) 推荐(0)

18.MongDB系列之批量更新写入Python版

摘要：在实际的工作中，难免批量更新的数量极大，pymongo提供了便捷的客户端供使用假设读者对pandas比较熟悉，下图为事先准备好的dataframe import pandas as pd from pymongo import MongoClient from bson.codec_options 阅读全文

posted @ 2022-10-18 20:59 算法小生阅读(88) 评论(0) 推荐(0)

2022年10月17日

16.MongoDB系列之分片管理

摘要： 1. 查看当前状态 1.1 查看配置信息 mongos> use config // 查看分片 mongos> db.shards.find() { "_id" : "study", "host" : "study/localhost:27018,localhost:27019,localhost: 阅读全文

posted @ 2022-10-17 20:19 算法小生阅读(131) 评论(0) 推荐(0)

17.MongoDB系列之了解应用程序动态

摘要： 1. 查看当前操作 mongos> db.currentOp() { "inprog" : [ { "shard" : "study", "type" : "op", "host" : "2bffe09ec303:27019", "desc" : "ReplBatcher", "active" : 阅读全文

posted @ 2022-10-17 20:19 算法小生阅读(35) 评论(0) 推荐(0)

15. MongoDB系列之选择片键

摘要： 1. 片键类型 1.1 升序片键升序片键通常类似于date或ObjectId--随着时间稳步增长的字段。这种模式通常会使MongoDB更难保持块的平衡，因为所有的块都是由一个分片创建的。 1.2 随机分发的片键随机分发的键可以是用户名,电子邮件地址,UUID,MD5哈希值等由于写操作是随机分阅读全文

posted @ 2022-10-17 20:18 算法小生阅读(63) 评论(0) 推荐(0)

14.MongoDB系列之配置分片

摘要： 1. 启动服务器 1.1 启动配置服务器配置服务器是集群的大脑，保存着关于每个服务器包含哪些数据的所有元数据，因此，必须首先创建配置服务器。由于资源限制，在同一机器上启动三个进程 # mkdir /home/mongo/cs1 # mkdir /home/mongo/cs2 # mkdir /h 阅读全文

posted @ 2022-10-17 20:18 算法小生阅读(122) 评论(0) 推荐(0)

公告