随笔分类 -  大数据

MapReduce中查看map tasks日志
摘要： 阅读全文
posted @ 2021-07-22 20:09 七彩木兰 阅读(81) 评论(0) 推荐(0)
大数据测试工具
摘要：1、生成测试数据，可考虑TPC-H工具 https://blog.csdn.net/chiketong0577/article/details/100855064 2、大数据平台基准测试，可考虑tpcx-hs工具，详见官网http://www.tpc.org/tpcx-hs/ 阅读全文
posted @ 2021-05-15 10:41 七彩木兰 阅读(294) 评论(0) 推荐(0)
大数据技术Hadoop生态圈
摘要：文件存储：Hadoop HDFS、Tachyon、KFS、Carbon、Parquet离线计算：Hadoop MapReduce、Spark流式、实时计算：Storm、Spark Streaming、S4、Heron、FlinkK-V、NOSQL数据库：HBase、Redis、MongoDB资源管理 阅读全文
posted @ 2020-06-15 16:28 七彩木兰 阅读(224) 评论(0) 推荐(0)
neo4j图数据库使用步骤
摘要：学习教程可参考w3cschool: https://www.w3cschool.cn/neo4j/neo4j_cql_create_node.html 1、连接方式：浏览器访问 http://100.10.10.1:7474/browser/ 2、CREATE命令语法 CREATE (<node-n 阅读全文
posted @ 2020-03-26 21:54 七彩木兰 阅读(771) 评论(0) 推荐(0)
ES安装步骤
摘要：1、准备插件,插件如附件 https://files.cnblogs.com/files/cailingsunny/ElasticSearchHead.zip 2、谷歌浏览器中安装插件 打开开发者模式，将插件直接拖动到页面及可安装插件 3、安装插件后出现如图图标，点击即可连接ES 4、输入连接地址， 阅读全文
posted @ 2020-03-26 21:49 七彩木兰 阅读(555) 评论(0) 推荐(0)
什么叫“上钻”、“下钻”、“切片”
摘要：上钻：自下而上，从当前数据回归到上层数据。下钻：自上而下， 从当前数据继续向下获取下层数据。切片：获取同一层面的数据。 钻取是在数据分析中不可缺少的功能之一，通过改变展现数据维度的层次、变换分析的粒度从而关注数据中更详尽的信息。它包括向上钻取（ roll up ）和向下钻取（ drill down 阅读全文
posted @ 2020-02-25 10:41 七彩木兰 阅读(7980) 评论(0) 推荐(0)