上一页 1 ··· 76 77 78 79 80 81 82 83 84 ··· 87 下一页

airflow

摘要: 基于airflow官方镜像制作自己的镜像,如给镜像安装pymongo FROM 10.60.10.119:5000/common/air_grpc:0.0.2 USER 0 RUN pip install pymongo USER airflow 镜像里都装了啥,可以通过docker history 阅读全文
posted @ 2018-06-17 15:35 我和你并没有不同 阅读(405) 评论(0) 推荐(0)

hadoop 学习笔记

摘要: 参考资料:《Hadoop 权威指南》 1 map处理完后,hadoop框架会将结果安装键进行排序,然后将排好的结果传给reduce 2 需要低延迟的应用不适合HDFS,对于低延迟应用HBase更适合 3 HDFS中的文件只有一个写入者,而且写操作总是在文件的末尾,不支持多个写入者或在文件任意位置修改 阅读全文
posted @ 2018-06-09 11:55 我和你并没有不同 阅读(139) 评论(0) 推荐(0)

Python多线程中阻塞(join)与锁(Lock)的使用误区

摘要: 参考资料:https://blog.csdn.net/cd_xuyue/article/details/52052893 1使用两个循环分别处理start和join函数.即可实现并发. 2 要保证锁对于多个子线程来说是共用的,即不要在Thread的子类内部创建锁. 阅读全文
posted @ 2018-06-07 22:05 我和你并没有不同 阅读(1038) 评论(0) 推荐(0)

H2O 笔记之使用(非基于hadoop)

该文被密码保护。 阅读全文
posted @ 2018-06-06 19:22 我和你并没有不同 阅读(8) 评论(0) 推荐(0)

JRE vs OpenJDK vs Oracle JDK

摘要: JRE vs OpenJDK vs Oracle JDK 在我们继续了解如何安装Java之前,让我们快速地了解JRE、OpenJDK和Oracle JDK之间的不同之处。 JRE(Java Runtime Environment),它是你运行一个基于Java语言应用程序的所正常需要的环境。如果你不是 阅读全文
posted @ 2018-06-06 14:19 我和你并没有不同 阅读(452) 评论(0) 推荐(0)

H2O 笔记之安装

摘要: 参考资料: 了解H2O:http://h2o-release.s3.amazonaws.com/h2o/rel-turchin/9/docs-website/h2o-docs/index.html 安装H2O之前,需要安装jdk: http://docs.h2o.ai/h2o/latest-stab 阅读全文
posted @ 2018-06-06 09:42 我和你并没有不同 阅读(1511) 评论(0) 推荐(0)

HBase 笔记

摘要: 参考资料:HBase权威指南 一行由若干列组成,若干列又构成一个列族一个列族的所有列存储在同一个底层的存储文件里,这个文件叫HFile列族的数量有限制;一个列族里列的数量没限制谓词删除:例如允许用户只保存过去一周HBase中扩展和负载均衡的基本单位是region,一张表初始只有一个region,re 阅读全文
posted @ 2018-05-31 17:15 我和你并没有不同 阅读(205) 评论(0) 推荐(0)

spark Pair RDD 基础操作

摘要: 下面是Pair RDD的API讲解 下面有两段示例代码,注意下面示例代码中返回值的数据类型 阅读全文
posted @ 2018-05-20 17:50 我和你并没有不同 阅读(255) 评论(0) 推荐(0)

spark 基本操作

摘要: 结果如下: 阅读全文
posted @ 2018-05-20 17:10 我和你并没有不同 阅读(399) 评论(0) 推荐(0)

hdfs mapreduce hbase

摘要: 参考资料:http://www.cnblogs.com/sharpxiajun/p/5585613.html 大数据时代的数据量是超大规模的,传统的关系数据库已经很难存储和管理这些数据了,为了存储海量数据,我们有了HDFS,它可以把成千上万台服务器上的硬盘聚集成一块超级大的硬盘,为了让这些数据产生价 阅读全文
posted @ 2018-05-19 22:51 我和你并没有不同 阅读(134) 评论(0) 推荐(0)
上一页 1 ··· 76 77 78 79 80 81 82 83 84 ··· 87 下一页