08 2019 档案

spark sql 常用语句
摘要：在spark dataFrame数据结构里面使用sql语句查询数据 （因为是RDD和dataFrame数据是只读的，所以不能做修改，删除操作。） 首先将文本数据转换为DataFrame数据格式 有两种将RDD转换为Dataframe的形式 + 利用反射机制推断RDD模式 + 使用编程方式定义RDD模 阅读全文
posted @ 2019-08-30 15:48 潘峰YiRan 阅读(5224) 评论(0) 推荐(0)
spark，hadoop集群安装注意
摘要：安装步骤严格参看厦门大学数据实验室教程 Spark 2.0分布式集群环境搭建(Python版) 安装Hadoop并搭建好Hadoop集群环境 遇到的问题 1.ubuntu 安装后升级。python是3.6版本的。但是spark不支持3.6版本 伪分布式和分布式都遇到这个问题： 报如下问题 解决办法 阅读全文
posted @ 2019-08-14 10:57 潘峰YiRan 阅读(474) 评论(0) 推荐(0)
TFRecord 使用
摘要：tfrecord生成 tfrecord读取 尺寸不固定矩阵的存储和读取 统计数据条数 阅读全文
posted @ 2019-08-05 14:50 潘峰YiRan 阅读(974) 评论(0) 推荐(0)