上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页

2021年7月13日

Antlr4 语法解析器(下)

摘要: Antlr4 的两种AST遍历方式:Visitor方式 和 Listener方式。 Antlr4规则文法: 注释:和Java的注释完全一致,也可参考C的注释,只是增加了JavaDoc类型的注释; 标志符:参考Java或者C的标志符命名规范,针对Lexer 部分的 Token 名的定义,采用全大写字母 阅读全文

posted @ 2021-07-13 19:25 chaplinthink 阅读(2681) 评论(3) 推荐(0)

2021年2月28日

Antlr4 语法解析生成器(上)

摘要: 简介 Spark SQL、Presto --> Antlr4 SQL 解析器 Flink SQL --> Apache Calcite(通过JavaCC 实现) Spark SQL如何进行语法解析: Spark SQL 最终是转换为RDD调用代码, 然后被Spark Core 执行 Antlr4起的 阅读全文

posted @ 2021-02-28 17:40 chaplinthink 阅读(1826) 评论(0) 推荐(0)

2021年1月30日

数据湖-Apache Hudi

摘要: Hudi特性 数据湖处理非结构化数据、日志数据、结构化数据 支持较快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID语义保证,多版本保证 并具有回滚功能 savepoint 用户数据恢复的保存点 支持多种分析引擎 spark、hive、pr 阅读全文

posted @ 2021-01-30 13:12 chaplinthink 阅读(977) 评论(0) 推荐(0)

2020年12月2日

Postman 免登录测试后端接口

摘要: 今天跟测试同学学习了下用Postman免登录测试后端接口,测试同学除了会对我们系统前端测试外,一些后端接口涉及危险操作也会使用Postman 对接口进行测试,这个时候就需要解决一个接口免登录的问题,他们使用的工具就是Postman 和Postman Interceptor。 我这边安装的一个是 Po 阅读全文

posted @ 2020-12-02 17:12 chaplinthink 阅读(2000) 评论(0) 推荐(0)

2020年8月27日

Flink RetractStream示例及UDF函数实现

摘要: 介绍 今天在Flink 1.7.2版本上跑一个Flink SQL 示例 RetractPvUvSQL,报 Exception in thread "main" org.apache.flink.table.api.ValidationException: SQL validation failed. 阅读全文

posted @ 2020-08-27 17:21 chaplinthink 阅读(1249) 评论(2) 推荐(0)

2020年5月8日

[转]在滴滴和头条干了 2 年后端开发,太真实…

摘要: 先简单交代一下背景吧,某不知名985的本硕,17年毕业加入滴滴,今年下半年跳槽到了头条,一直从事后端研发相关的工作。 之前没有实习经历,算是两年半的工作经验吧。这两年半之间完成了一次晋升,换了一家公司,有过开心满足的时光,也有过迷茫挣扎的日子,不过还算顺利地从一只职场小菜鸟转变为了一名资深划水员。 阅读全文

posted @ 2020-05-08 21:44 chaplinthink 阅读(245) 评论(0) 推荐(0)

2020年3月4日

趣头条实时平台架构

摘要: 趣头条实时计算架构经验总结学习 阅读全文

posted @ 2020-03-04 22:42 chaplinthink 阅读(269) 评论(0) 推荐(0)

2020年1月14日

Spark Web UI 监控详解

摘要: Spark集群环境配置 我们有2个节点,每个节点是一个worker,每个worker上启动一个Executor,其中Driver也跑在master上。每个Executor可使用的核数为2,可用的内存为2g,集群中所有Executor最大可用核数为4。 conf/spark defaults.conf 阅读全文

posted @ 2020-01-14 22:25 chaplinthink 阅读(7180) 评论(0) 推荐(0)

2020年1月6日

前端框架Vue入门

摘要: 简介 Vue 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层,不仅易于上手,还便于与第三方库或既有项目整合。另一方面,当与现代化的工具链以及各种支持类库结合使用时,Vue 也完全能够为复杂的单页应用提供驱动。 环境安装 阅读全文

posted @ 2020-01-06 23:18 chaplinthink 阅读(388) 评论(0) 推荐(0)

2019年12月29日

Spark on Yarn详解

摘要: Spark 可以跑在很多集群上,比如跑在local上,跑在Standalone上,跑在Apache Mesos上,跑在Hadoop YARN上等等。不管你Spark跑在什么上面,它的代码都是一样的,区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行 阅读全文

posted @ 2019-12-29 21:35 chaplinthink 阅读(9044) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页

导航