2019年11月16日
Hadoop的fsck命令的使用
摘要： ![](https://img2018.cnblogs.com/blog/1852959/201911/1852959-20191116194250197-55918226.png) 阅读全文
posted @ 2019-11-16 19:43 qingfeng68 阅读(1114) 评论(0) 推荐(0)
Hive SQL中关于反引号的使用
摘要： 当遇到存在以下划线开头的字段的表时，例如“_c1”，如图所示 常规的无引号字段查询会报错，如图所示： 应该使用“`”对字段进行引用，如图所示： 所以在Hive中使用SQL语句时，查询操作最好将字段用“`”引用起来，避免查询以下划线开头字段的时候出现错误。 注意：当将添加了反引号的sql语句放在she 阅读全文
posted @ 2019-11-16 17:30 qingfeng68 阅读(1880) 评论(0) 推荐(0)
2019年11月15日
Scala集合
摘要： 集合概述 1. 元组Tuple 元组：可以存放各种相同或不同类型的数据，对数据没有过多的约束 注 ：元组最大只能有 22 个元素 1.1 元组的创建 1.2 元组的访问 访问元组中的数据，可以采用顺序号（_顺序号），也可以通过索引（productElement）访问。 1.3 元组的遍历 Tuple 阅读全文
posted @ 2019-11-15 23:50 qingfeng68 阅读(154) 评论(0) 推荐(0)
sys.stdout.flush() Python的作用
摘要： https://blog.csdn.net/qq_20603001/article/details/62887099 阅读全文
posted @ 2019-11-15 20:22 qingfeng68 阅读(361) 评论(0) 推荐(0)
Spark-SQL之DataFrame操作大全
摘要： 基本操作 Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的 "DataFrame API" 。 本文中的代码基于Spark 1.6.2的文档实现 。 一、Data 阅读全文
posted @ 2019-11-15 20:21 qingfeng68 阅读(506) 评论(0) 推荐(0)
Python的OptionParser模块
摘要： Python中强大的选项处理模块。 示例 将上面代码保存到文件option1.py(名字随便),添加执行权限并运行: 查看输出结果，稍稍思考就有所的了。 加载模块 要使用 "OptionParser" 模块，需要在Python程序中导入： 生成 "OptionParser" 实例 首先需要生成一个实 阅读全文
posted @ 2019-11-15 20:21 qingfeng68 阅读(1221) 评论(0) 推荐(0)
Python中的self
摘要： 首先，对于python，只有针对类来说的self才有意义，所以python中的self，说的即是python类中的self。 以下我将结合python类的相关概念叙述，必须明确的是，self只能用在python类的方法（即函数）中。 在我看来，python的类有三个相关概念：属性（即变量）、方法（即 阅读全文
posted @ 2019-11-15 20:21 qingfeng68 阅读(196) 评论(0) 推荐(0)
6. Python变量类型
摘要： 1. 变量赋值 Python 中的变量赋值不需要类型声明。 每个变量在内存中创建，都包括变量的标识，名称和数据这些信息。 每个变量在使用前都必须赋值，变量 以后该变量才会 。 执行结果： 2. 多个变量赋值 Python允许你同时为多个变量赋值。例如： 以上实例，创建一个整型对象，值为1，三个变量被 阅读全文
posted @ 2019-11-15 20:20 qingfeng68 阅读(267) 评论(0) 推荐(0)
12. 异常处理
摘要： 异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。 一般情况下，在Python无法正常处理程序时就会发生一个异常。 异常是Python ，表示一个错误。 当Python脚本发生异常时我们需要捕获处理它， 。 python提供了两个非常重要的功能来处理python程序在运行中出现的 阅读全文
posted @ 2019-11-15 20:20 qingfeng68 阅读(117) 评论(0) 推荐(0)
Python中的main方法
摘要： 估计很多人跟我一样初学python看代码的时候先找一下main()方法，从main往下看。但事实上python中是没有你理解中的“main()”方法的。言归正传 if __name__ == "__main__":可以看成是python程序的入口，就像java中的main（）方法，但不完全正确。 事 阅读全文
posted @ 2019-11-15 20:20 qingfeng68 阅读(5807) 评论(0) 推荐(1)