摘要：| mysql 性能测试 | | |写入tps | 开启并行复制后可以到8000，不开为3000| |读取qps| 单实例 物理机 逐渐查询10000 | top 18:04:27 up 366 days, 41 min, 1 user, load average: 16.53, 11.03, 9. 阅读全文

摘要：Jesse Anderson 曾做过一项研究，一个人工智能团队的合理组织架构，需要 4/5的数据处理工程师。很不幸，很多团队没有认识到这一点。为什么爱上数据处理 学会如何使用MR 从顶层设计数据处理框架 Apache Spark 和 Apache Beam 为什么这么设计 Google T6 级别设 阅读全文

摘要：一 流程详解 spark 最重要的就是shuffle 过程，就是所谓的mr 过程中进行处理map reduce 中的过程 减少shuffle 过程其实就是两个思路。 尽量不改变key，使其在local 完成，减少网络IO 磁盘IO和cpu 开销 减少shuffle 数据规模 ''' 1. 去重后un 阅读全文

摘要：从此以后飞黄腾达 承诺书 ''' 承诺书· 今天的我向未来的我承诺： 我会投入我的时间精力尽心自我提升，我会规划好生活，我会努力学习知识和技巧，兑现今天给自己的承诺，让自己拥有爱和幸福！ 廉政 20190914 ''' 自我缺点 提出限制 性格缺陷 三观差异 生存价值 1.2.1 （1）你的优势是什 阅读全文

摘要：一 流程详解 二 参数调优 三sql调优 阅读全文