mengrennwpu

摘要： 1 查询文件系统 (1) 文件元数据：FileStatus，该类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、备份、修改时间、所有者以及版权信息。FileSystem的getFileStatus()方法用于获取文件或目录的FileStatus对象。 例：展示文件状态信息 (2) 列出文件 阅读全文

摘要： 1. 分布式文件系统，即为管理网络中跨多台计算机存储的文件系统。HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。HDFS的构建思路为：一次写入、多次读取是最高效的访问模式。数据集通常由数据源生成或从数据源赋值而来，接着长时间在此数据集上进行各类分析。每次分析都涉及该数据集的大部分数据 阅读全文

摘要： 项目工作中，需要检验ftp服务器中指定文件是否存在，在网上查阅了相关资料，可以通过ftpClient类进行实现。 阅读全文

摘要： 在工作的项目当中，经运营人员的反馈，发现提供服务的指定属性字段的值为空，导致搜索引擎无法正常搜索到正确的结果。 原始的字符串提取程序为： 因此对于"(*)*"之类的字符串，则会提取为相应的空值，所以做了如下优化，提取成对括号中的内容及括号外的内容： 阅读全文

摘要： 基于项目需求，想要实现Post消息推送，故采用HttpClient组件进行实现，相关代码如下(注：程序采用的httpclient和httpcore依赖包的版本为4.2.5)： Ps: 在使用Hadoop集群进行发送POST请求时，遇到"java.lang.NoSuchFieldError: INST 阅读全文

摘要： 项目中涉及到对大批量的数据进行打乱式排序，大概原理如下： 输入源数据：1,1,2,3,3,3,4,4 输出结果： 1,2,3,4,1,3,4,3 实现代码如下，采用递归的思想： 阅读全文

摘要： 工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)： 2. 采用的方法 a. 方法1 原本打算使用如下脚本，进 阅读全文

摘要： 1. Translating Java Classes to Scala Classes Example 1: Example 2: Example 3: Example 4: Example 5: Translating Java imports to Scala imports: Example 阅读全文

摘要： 1. Unified Type System Scala has a unified type system, enclosed by the type Any at the top of the hierarchy and the type Nothing at the bottom of the 阅读全文

摘要： A trait provides code reusability in Scala by encapsulating method and state and then offing possibility of mixing them into classes thus allowing cod 阅读全文