摘要：通用电气董事长在2015年表示：“我们相信，每家工业企业都将成为软件企业。”通用电气的目标是，到2020年，跻身软件行业前十强，与微软、甲骨文齐名。 我专门去搜索了一下2021年美国软件企业排名，前十里没有通用电气。这说明把软件做好并不容易。 为了在数字化时代生存，业务领导者需要利用技术重新定义交付 阅读全文

摘要：这一篇是一个总体，是后面几篇的索引，是“总分”模式的“总”。 提高技术水平 在传统行业里，IT被视为成本中心，说白了IT部门就是个只烧钱不盈利的部门。传统行业认为，软件系统找谁来做都是一样的，因此企业会找最便宜的软件供应商。这种想法是非常错误的。 软件系统是企业的战略资产，需要持续演进与业务适配，不 阅读全文

摘要：这本书是全球技术咨询公司ThoughtWorks的三位作者写的，他们面向的读者，可能是企业董事长或者CEO。这本书翻译的文字很晦涩，看起来很吃力。基于以上两点原因，书的前两部分——“面向客户成效，满足客户不断提升的期望”和“数据驱动决策，打造高响应力组织”，我没看懂。接下来的笔记，我将重点记录第三部 阅读全文

摘要：先来看个例子。 准备一个json文件student.json，这不是一个标准的json格式。spark不支持原始的json，只能是一行一条记录。 {"name": "zhangsan", "age":20, "address": "beijing" } {"name": "lisi", "age": 阅读全文

摘要：DataFrame是spark1.3之后引入的分布式集合，DataSet是spark1.6之后引入的分布式集合。在spark2.0之后，DataFrame和DataSet的API统一了，DataFrame是DataSet的子集（ type DataFrame = org.apache.spark.s 阅读全文

摘要：系统架构工作 软件架构概念 软件架构是对于软件实体组织形式的阐述，使用框架的意义是快速完成软件架构设计，而不是取代它。软件架构设计带来的效果是高性能、高可用、可扩展。如果你的程序非常简单，不超过1000行，只有一两个人用，那就没必要做架构设计。 软件架构离不开团队的组织架构，组织架构是软件生命周期的 阅读全文

摘要：技术调研和技术预研不同。技术调研，目的是完成对技术的了解、选型、可行性分析。技术预研，目的是尝试先用一下，看看这个技术适不适合项目。 技术负责人的职责有很多，比如组建团队、了解产品，但更重要的是设计靠谱的技术方案。技术负责人亲自主导或者设计，就能有针对性地去解决问题，将来系统遇到瓶颈，也能更好地优化 阅读全文