chaplinthink

摘要： Antlr4 的两种AST遍历方式：Visitor方式 和 Listener方式。 Antlr4规则文法: 注释：和Java的注释完全一致，也可参考C的注释，只是增加了JavaDoc类型的注释； 标志符：参考Java或者C的标志符命名规范，针对Lexer 部分的 Token 名的定义，采用全大写字母 阅读全文

摘要： 简介 Spark SQL、Presto --> Antlr4 SQL 解析器 Flink SQL --> Apache Calcite(通过JavaCC 实现) Spark SQL如何进行语法解析: Spark SQL 最终是转换为RDD调用代码, 然后被Spark Core 执行 Antlr4起的 阅读全文

摘要： Hudi特性 数据湖处理非结构化数据、日志数据、结构化数据 支持较快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID语义保证,多版本保证 并具有回滚功能 savepoint 用户数据恢复的保存点 支持多种分析引擎 spark、hive、pr 阅读全文

摘要： 今天跟测试同学学习了下用Postman免登录测试后端接口,测试同学除了会对我们系统前端测试外，一些后端接口涉及危险操作也会使用Postman 对接口进行测试，这个时候就需要解决一个接口免登录的问题，他们使用的工具就是Postman 和Postman Interceptor。 我这边安装的一个是 Po 阅读全文

摘要： 介绍 今天在Flink 1.7.2版本上跑一个Flink SQL 示例 RetractPvUvSQL，报 Exception in thread "main" org.apache.flink.table.api.ValidationException: SQL validation failed. 阅读全文

摘要： 先简单交代一下背景吧，某不知名985的本硕，17年毕业加入滴滴，今年下半年跳槽到了头条，一直从事后端研发相关的工作。 之前没有实习经历，算是两年半的工作经验吧。这两年半之间完成了一次晋升，换了一家公司，有过开心满足的时光，也有过迷茫挣扎的日子，不过还算顺利地从一只职场小菜鸟转变为了一名资深划水员。 阅读全文

摘要： 趣头条实时计算架构经验总结学习 阅读全文

摘要： Spark集群环境配置 我们有2个节点，每个节点是一个worker，每个worker上启动一个Executor，其中Driver也跑在master上。每个Executor可使用的核数为2，可用的内存为2g，集群中所有Executor最大可用核数为4。 conf/spark defaults.conf 阅读全文

摘要： 简介 Vue 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是，Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层，不仅易于上手，还便于与第三方库或既有项目整合。另一方面，当与现代化的工具链以及各种支持类库结合使用时，Vue 也完全能够为复杂的单页应用提供驱动。 环境安装 阅读全文

摘要： Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行 阅读全文