上一页 1 ··· 18 19 20 21 22 23 24 25 26 ··· 49 下一页
摘要: 当我们在Python里面写文件时,我们常用的模式为 w模式,这种模式下,如果文件不存在,就会生成文件;如果文件已经存在,就会直接覆盖。 有时候,如果文件已经存在,直接覆盖文件可能会导致重要数据丢失。你不希望再覆盖文件,那么你可能会这样写代码: import os if os.path.exists( 阅读全文
posted @ 2020-01-16 22:49 阿布_alone 阅读(1427) 评论(0) 推荐(0)
摘要: 当我们使用 Elasticsearch-py 批量插入数据到 ES 的时候,我们常常使用它的 helpers模块里面的bulk函数。其使用方法如下: from elasticsearch import helpers, Elasticsearch es = Elasticsearch(xxx) de 阅读全文
posted @ 2020-01-16 22:39 阿布_alone 阅读(3585) 评论(0) 推荐(0)
摘要: 当我们使用ES批量插入数据的时候,一般会这样写代码: from elasticsearch import Elasticsearch,helpers es =Elasticsearch(hosts=[{'host':'localhost','port':9200}]) def gendata(): 阅读全文
posted @ 2020-01-16 22:36 阿布_alone 阅读(5247) 评论(0) 推荐(1)
摘要: 对图7-1所示的数据集exampledata1,使用聚合操作实现以下功能: (1)不返回_id字段,只返回age和sex字段。 (2)所有age大于28的记录,只返回age和sex。 (3)在$match返回的字段中,添加一个新的字段“hello”,值为“world”。 (4)在$match返回的字 阅读全文
posted @ 2020-01-16 01:26 阿布_alone 阅读(542) 评论(0) 推荐(0)
摘要: 全文搜索属于最常见的需求,开源的 Elasticsearch (以下简称 Elastic)是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。 Elastic 的底层是开源库 Lucene。但是,你没法直接用 Lucene 阅读全文
posted @ 2020-01-16 00:38 阿布_alone 阅读(378) 评论(0) 推荐(0)
摘要: Elasticsearch下载地址: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz 解压elasticsearch-7.1.1-linux-x86_64.tar 阅读全文
posted @ 2020-01-15 00:31 阿布_alone 阅读(2126) 评论(0) 推荐(0)
摘要: 1、使用工具Studio 3T for MongoDB 选择一个数据库中的Collections集合,然后按住 Ctrl+C 复制快捷键会弹出如下帮助框。 点击 Ctrl+V 粘贴快捷键,重命名一下复制的名称即可。 2、使用工具Robo 3T 在Collection中,右键选择复制Collectio 阅读全文
posted @ 2020-01-12 23:50 阿布_alone 阅读(9899) 评论(0) 推荐(1)
摘要: 问题描述 对于一个大型网站,用户访问量尝尝高达数十亿。对于数十亿是一个什么样的概念,我们这里可以简单的计算一下。对于一个用户,单次访问,我们通常会记录下哪些数据呢? 1、用户的id 2、用户访问的时间 3、用户逗留的时间 4、用户执行的操作 5、用户的其余数据(比如IP等等) 我们单单从用户id来说 阅读全文
posted @ 2020-01-12 00:24 阿布_alone 阅读(480) 评论(0) 推荐(0)
摘要: Spark的intersection intersection顾名思义,他是指交叉的。当两个RDD进行intersection后,将保留两者共有的。因此对于RDD1.intersection(RDD2) 和RDD2.intersection(RDD1) 。应该是一致的。 比如对于,List1 = { 阅读全文
posted @ 2020-01-12 00:23 阿布_alone 阅读(1638) 评论(0) 推荐(0)
摘要: spark的combineByKey combineByKey的特点 combineByKey的强大之处,在于提供了三个函数操作来操作一个函数。第一个函数,是对元数据处理,从而获得一个键值对。第二个函数,是对键值键值对进行一对一的操作,即一个键值对对应一个输出,且这里是根据key进行整合。第三个函数 阅读全文
posted @ 2020-01-12 00:21 阿布_alone 阅读(698) 评论(0) 推荐(0)
上一页 1 ··· 18 19 20 21 22 23 24 25 26 ··· 49 下一页
TOP