摘要: 详解MongoDB中的多表关联查询($lookup) 作者:东山絮柳仔 本文转载于:https://www.cnblogs.com/xuliuzai/p/10055535.html 一. 聚合框架 聚合框架是MongoDB的高级查询语言,它允许我们通过转换和合并多个文档中的数据来生成新的单个文档中不 阅读全文
posted @ 2020-07-21 09:51 笙歌散尽,醉挽清风 阅读(1927) 评论(0) 推荐(0)
摘要: 在数据量超大的情形下,任何数据库系统在创建索引时都是一个耗时的大工程。MongoDB也不例外。因此,MongoDB索引的创建有两个选择,一个是前台方式,一个是后台方式。那这两种方式有什么差异呢,在创建索引是是否能观察到索引完成的进度呢。本文将是基于此的描述,同时也描述了索引创建相关的注意事项。 一、 阅读全文
posted @ 2020-07-20 16:59 笙歌散尽,醉挽清风 阅读(1074) 评论(0) 推荐(0)
摘要: ①物理cpu数:主板上实际插入的cpu数量,可以数不重复的 physical id 有几个(physical id) cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l ②cpu核数:单块CPU上面能处理数据的芯片组的数量,如双核、四核等 阅读全文
posted @ 2020-07-14 10:10 笙歌散尽,醉挽清风 阅读(281) 评论(0) 推荐(0)
摘要: 参考文献首先自打3.2版本之后,就开始支持中文索引了,支持的所有的语言参考这里: https://docs.mongodb.com/manual/reference/text-search-languages/ 然后,对于要支持索引的表需要建议text index,如何建立参考这里: https:/ 阅读全文
posted @ 2020-07-13 15:39 笙歌散尽,醉挽清风 阅读(608) 评论(0) 推荐(0)
摘要: 一、简介 Azkaban是在LinkedIn上创建的用于运行Hadoop作业的批处理工作流作业调度程序。Azkaban通过作业依赖性解决订购问题,并提供易于使用的Web用户界面来维护和跟踪您的工作流程。 在3.0版之后,提供了两种模式:独立的“单服务器”模式和分布式多执行器模式。下面介绍两种模式之间 阅读全文
posted @ 2020-07-04 21:10 笙歌散尽,醉挽清风 阅读(593) 评论(0) 推荐(0)
摘要: Airflow 入门及使用 Airflow 入门及使用 什么是 Airflow? Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG(Directed acyclic graph 有向无环图)来管理任务流程的任务 阅读全文
posted @ 2020-06-25 11:33 笙歌散尽,醉挽清风 阅读(1117) 评论(0) 推荐(0)
摘要: Linux系统安装Python3.6.5 1、下载Python3.6.5 wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz 如果报command not found则执行:yum -y install wget命令后再进行下载 阅读全文
posted @ 2020-06-25 00:11 笙歌散尽,醉挽清风 阅读(1753) 评论(0) 推荐(0)
摘要: 由于最近要处理工商数据经常用到各种证件号,以下是对工商所涉及的部分证件号进行了整理: 1、组织机构代码:全国组织机构代码由八位数字(或大写拉丁字母)本体代码和一位数字(或大写拉丁字母)校验码组成 ,如果有-则10位2、统一社会信用代码: 统一社会信用代码就是三证合一或者五证合一码,其中有组织机构代码 阅读全文
posted @ 2020-05-20 11:36 笙歌散尽,醉挽清风 阅读(14741) 评论(0) 推荐(0)
摘要: 以下是本人从oralce抽取数据到Mongol的方法,也没来得及整理,基本使用方法都是复制其他博主的,希望对大家有用。 step1 利用sqluldr2快速导出CSV格式数据 Oracle使用sqluldr2原创乘风晓栈 最后发布于2018-11-01 15:55:01 阅读数 9260 收藏展开分 阅读全文
posted @ 2020-03-23 22:21 笙歌散尽,醉挽清风 阅读(779) 评论(0) 推荐(0)
摘要: Linux启动过程 前言: Linux是一种自由和开放源代码的类UNIX操作系统。该操作系统的内核由林纳斯·托瓦兹在1991年10月5日首次发布。在加上用户空间的应用程序之后,成为Linux操作系统。Linux是自由软件和开放源代码软件发展中最著名的例子。 接触Linux的时间也不算短了,一直都是直 阅读全文
posted @ 2019-10-29 23:23 笙歌散尽,醉挽清风 阅读(89) 评论(0) 推荐(0)