摘要:BroadCast TimeOut 300. org.apache.spark.SparkException: Could not execute broadcast in 300 secs. You can increase the timeout for broadcasts via spark 阅读全文
posted @ 2021-07-22 12:40 yuexiuping 阅读(10) 评论(0) 推荐(0) 编辑
摘要:Read Take a rain check. 改天再约. Black Sheep . 害群之马. That‘s really something. 真了不起. I'm flattered. 过奖了. Don't get me wrong. 不要误会我. Read and Listen Mom ha 阅读全文
posted @ 2021-07-14 23:47 yuexiuping 阅读(6) 评论(0) 推荐(0) 编辑
摘要:Listen and Read: Of course i dont't want a new cardiologist, but Lee's been conducting test for weeks. He should have been able to know what's wrong b 阅读全文
posted @ 2021-07-13 21:57 yuexiuping 阅读(4) 评论(1) 推荐(0) 编辑
摘要:SparkSQL底层执行原理 SparkSql对SQL语句的处理与关系型数据库类似,会有语法或词法的解析、绑定、优化、执行等过程。 SparkSQL会先将SQL语句解析成抽象语法树AST,然后使用规则Rule对Tree进行绑定、优化等处理。其中SparkSQL由Core、Catalyst、Hive、 阅读全文
posted @ 2021-07-04 23:17 yuexiuping 阅读(16) 评论(0) 推荐(0) 编辑
摘要:离线数仓 数仓采集 用户行为数据: 启动数据、页面数据、曝光数据、行为数据、错误数据。 埋点: 日志数据的产生需要通过用户触发埋点事件产生。 代码埋点:通过调用埋点SDK函数,在需要埋点的业务逻辑功能位置调用接口,上报埋点数据。 可视化埋点:需要集成采集SDK,不需要写代码,通过图形化界面的方式选出 阅读全文
posted @ 2021-06-30 22:10 yuexiuping 阅读(10) 评论(0) 推荐(0) 编辑
摘要:Catelog Table Catlog is essentially an HBase table and just like other table but is filled out of the HBase Shell's list command . Hbase: meta Hbase:m 阅读全文
posted @ 2021-06-30 18:47 yuexiuping 阅读(19) 评论(0) 推荐(0) 编辑
摘要:Strapped for cash 手头紧 meaning:don't have much money Example: A lot of companies are strapped for cash. 许多公司的现金流都很紧张。 Pay through the nose for somethin 阅读全文
posted @ 2021-06-21 22:57 yuexiuping 阅读(8) 评论(0) 推荐(0) 编辑
摘要:10.员工薪水中位数 需求:请编写SQL查询来查找每个公司的薪水中位数 结果展示: Id Company Salary 5 A 451 6 A 513 12 B 234 9 B 1154 14 C 2645 建表语句: Create table If Not Exists Employee (Id 阅读全文
posted @ 2021-06-21 22:23 yuexiuping 阅读(10) 评论(0) 推荐(0) 编辑
摘要:MemStore 详解 Store A Store hosts a MemStore and 0 or more StoreFiles (HFiles). A Store corresponds to a column family for a table for a given region. 多 阅读全文
posted @ 2021-06-21 19:18 yuexiuping 阅读(11) 评论(0) 推荐(0) 编辑
摘要:9.用户玩法分析 Activity表:显示了某些游戏的玩家的活动情况。 player_id device_id event_date games_played 1 2 2016-03-01 5 1 2 2016-03-02 6 2 3 2017-06-25 1 3 1 2016-03-01 0 3 阅读全文
posted @ 2021-06-17 22:29 yuexiuping 阅读(8) 评论(0) 推荐(0) 编辑