随笔分类 -  大数据

Hadoop Exporter开源项目开发指南
摘要：Hadoop Exporter开源项目 该项目最后一次更新为2018年。其主要就是监控集群中的各个组件的JMX端口。而开源的集群大多数也都是通过JMX开放自己的重要监控数据。例如：HDFS、YARN等。 总体来说，项目是不错的，如果我们自己去逐个组件开发支持Prometheus，会耗用我们大量时间。 阅读全文
posted @ 2021-03-16 00:47 斜杠代码日记 阅读(1679) 评论(1) 推荐(0)
Loki+Grafana轻量级统一日志查询
摘要：Loki介绍 简介 Like Prometheus, but for log. Grafana Loki是Grafana针对日志相关功能开发的组件。说到日志，就不得不提到ELK。这一套下来，成本还是蛮大的。它会引入较多的维护量。 Loki仅索引关于日志的元数据，例如：日志文件的位置、配置等。而日志数 阅读全文
posted @ 2021-03-16 00:46 斜杠代码日记 阅读(7869) 评论(1) 推荐(0)
不懂这些JVM知识，真不敢说是大数据开发！
摘要：今天下班，到家已经9点半了。 每天回来，都会和爸妈、媳妇、孩子温馨一会。 10点15，打开电脑，还有3个小时时间。 给大家分享点大数据开发重要的知识。 大数据开发都要熟悉JVM JVM，相信大家都很熟悉。 这似乎是Java开发工程师的专利。 不过， 很多Java开发也只是停留在书本、理论的层面。 因 阅读全文
posted @ 2021-03-02 01:32 斜杠代码日记 阅读(371) 评论(0) 推荐(0)
ClickHouse/TiDB/HBase/.../你学得完吗?其实每个开发应该都应该去理解这些
摘要：如今的软件开发其实大都是面向数据的开发，近些年，我们看到了数不胜数的各种存储，眼花缭乱。MySQL、Redis、Kafka、HBase、MongoDB、ClickHouse、Elasticsearch、Druid等等，甚至在计算引擎中也会有存储的出现。不禁感叹，组件千变万化！ 是否疲于学习各种技术组 阅读全文
posted @ 2021-02-25 15:18 斜杠代码日记 阅读(2174) 评论(0) 推荐(1)
只会MySQL中间表多对多？不懂这个哪来的勇气做架构？
摘要：说到图计算，很多人会觉得离自己很远。嗯，很多人大概的想法是这样的。 呃...我得把《离散数学》中的图论学一遍。 嗯...得学无向图、有向图、加权图、循环图、二部图、欧拉图、哈密顿图、平面图。 哈...最短路径、关键路径、DFS、BFS、生成树、PageRank、社群算法。 艹...我还是乖乖回去打王 阅读全文
posted @ 2021-02-21 16:13 斜杠代码日记 阅读(846) 评论(0) 推荐(0)
别再人云亦云了！！！你真的搞懂了RDD、DF、DS的区别吗？
摘要：几年前，包括最近，我看了各种书籍、教程、官网。但是真正能够把RDD、DataFrame、DataSet解释得清楚一点的、论据多一点少之又少，甚至有的人号称Spark专家，但在这一块根本说不清楚。还有国内的一些书籍，小猴真的想问一声：Are you OK？书名别再叫精通xxx技术了，请改名为 xxx技 阅读全文
posted @ 2021-02-21 16:09 斜杠代码日记 阅读(8345) 评论(2) 推荐(1)
「Flink」Flink中的时间类型
摘要：Flink中的时间类型和窗口是非常重要概念，是学习Flink必须要掌握的两个知识点。Flink中的时间类型时间类型介绍Flink流式处理中支持不同类型的时间。分为以下几种：处理时间Flink程序执行对应操作的系统时间。所有基于时间的操作（例如：时间窗口）都将使用运行相应operator的系统时间。例如：每个小时的处理时间窗口包括在系统时间范围内所有operator接收到的记录。例如：如果应用程序在... 阅读全文
posted @ 2020-02-05 00:30 斜杠代码日记 阅读(1674) 评论(0) 推荐(0)
Hash存储模型、B-Tree存储模型、LSM存储模型介绍
摘要：每一种数据存储系统，对应有一种存储模型，或者叫存储引擎。我们今天要介绍的是三种比较流行的存储模型，分别是：Hash存储模型B-Tree存储模型LSM存储模型不同存储模型的应用情况1、Hash存储模型redismemcache2、B-Tree存储模型MySQL（以及大多数的关系型数据库）MongoDB3、LSM树存储模型HBaseRocksDB不同存储模型介绍1、Hash存储模型Hash存储模型其实... 阅读全文
posted @ 2020-02-04 20:09 斜杠代码日记 阅读(1034) 评论(0) 推荐(0)
「Spark」Spark SQL Thrift Server运行方式
摘要：Spark SQL可以使用JDBC/ODBC或命令行接口充当分布式查询引擎。这种模式，用户或者应用程序可以直接与Spark SQL交互，以运行SQL查询，无需编写任何代码。Spark SQL提供两种方式来运行SQL：通过运行Thrift Server直接执行Spark SQL命令行运行Thrift Server方式1、先运行Hive metastorenohup hive --service me... 阅读全文
posted @ 2020-02-01 22:30 斜杠代码日记 阅读(1550) 评论(0) 推荐(0)