mengrennwpu

摘要： 1. 背景 (1) spark的一般开发与运行流程是在本地Idea或Eclipse中写好对应的spark代码，然后打包部署至驱动节点，然后运行spark-submit。然而，当运行时异常，如空指针或数据库连接等出现问题时，又需要再次修改优化代码，然后再打包....有木有可能只需一次部署？ (2) 当 阅读全文

摘要： 1. 任务背景 近日有个项目任务，要求读取压缩在Zip中的百科HTML文件，经分析发现，提供的Zip文件有如下特点(=>指代对应解决方案)： (1) 压缩为分卷文件 => 只需将解压缩在同一目录中的一个分卷zip即可解压缩出整个文件 (2) 压缩文件中又包含不同的两个文件夹，且各包含n个小zip文件 阅读全文

摘要： 1. Graphx概念 针对某些领域，如社交网络、语言建模等，graph-parallel系统可以高效地执行复杂的图形算法，比一般的data-parallel系统更快。 Graphx是将graph-parallel的data-parallel统一到一个系统中。允许用户将数据当成一个图或一个集合RDD 阅读全文

摘要： 1. Es中10亿级别的数据量，如何提高查询效率 (1) 性能优化关键：file system cache a. 不要期待随手挑一个参数，就可以万能的应对所有性能慢的场景 b. es依赖于底层的file system cache，如果给file system cache更多的内存，尽量让内存容纳所有 阅读全文

摘要： 1. 介绍 Spark Streaming是Spark生态系统中一个重要的框架，建立在Spark Core之上，与Spark SQL、GraphX、MLib相并列。 Spark Streaming是Spark Core的扩展应用，具有可扩展性、高吞吐量、可容错性等特点。 可以监控来自Kafka、Fl 阅读全文

摘要： 1. 自定义累加器 自定义累加器需要继承AccumulatorParam，实现addInPlace和zero方法。 例1：实现Long类型的累加器 例2：定义Set[String]，可用于记录错误日志 2. AccumulableCollection使用 阅读全文

摘要： 熟悉了一段时间的Bash编程，因此借此任务操作一把bash编程，主要涉及到Redis单节点与Redis集群的操作 1. 任务背景 近日有个任务需要将历史的Redis(主从节点)中的数据迁移至Redis集群中。相关条件与要求如下： (1) 历史Redis以及新的Redis集群分别部署在北京、合肥、广州 阅读全文

摘要： 1. 拼接 1) 简单的字符串拼接如：PATH=$PATH:$HOME/bin。如果拼接的字符串包含空格或特殊字符，需要使用双引号括起，如： 注意：+=的性能较直接拼接的效率高，测试如下： 2) 重复字符到指定长度 通过拼接在每个循环中拼接多个实例来提高函数速度： 2. 字符处理 没有直接的参数扩展 阅读全文

摘要： shell的方法在相同的进程内执行，与调用它的脚本一致。对于方法来说，脚本中的所有变量均可见，且不需要执行export。方法中可以创建局部变量，且不影响正在调用的脚本。 1. 定义语法 (1) KornShell中的定义格式为：function name <复合命令> (2) Bourne shel 阅读全文

摘要： 1. 变量命名 变量命名只能使用数字、下划线、字母，且仅能以下划线或字母开头。 变量很少使用单个字母，单个字母一般用于循环或读取一次性文件的时候。 例： 变量名最好能望名知意 2. 变量作用域 若脚本a调用脚本b，则a无法得知b中的变量，除非将b中的变量写入环境变量中。 脚本中在变量前使用expor 阅读全文