• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






江枫1

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理

2016年12月13日

shell 统计某个文件的行数命令
摘要: 语法:wc [选项] 文件… 说明:该命令统计给定文件中的字节数、字数、行数。如果没有给出文件名,则从标准输入读取。wc同时也给出所有指定文件的总统计数。字是由空格字符区分开的最大字符串。 该命令各选项含义如下: - c 统计字节数。 - l 统计行数。 - w 统计字数。 这些选项可以组合使用。 阅读全文
posted @ 2016-12-13 19:47 江枫1 阅读(1419) 评论(0) 推荐(0)
 
Python执行系统命令的方法 os.system(),os.popen(),commands
摘要: os.popen():用python执行shell的命令,并且返回了结果,括号中是写shell命令 Python执行系统命令的方法: https://my.oschina.net/renwofei423/blog/17403 linux命令之ifconfig详细解释:http://xp9802.it 阅读全文
posted @ 2016-12-13 16:24 江枫1 阅读(619) 评论(0) 推荐(0)
 
建分区外表 自动导入数据
摘要: 建表后增加分区,数据自动导入 create external table gid_tag_1114 (a1 string ,b1 string,c1 string ) partitioned by (day int) row format delimited fields terminated by 阅读全文
posted @ 2016-12-13 15:02 江枫1 阅读(319) 评论(0) 推荐(0)
 
spark hive 结合处理 把多行变成多列
摘要: 原数据格式 : gid id score a1 1 90 a1 2 80 a1 3 79 a1 4 80 a2 1 79 a2 3 89 a3 2 45 a3 4 57 a4 3 56 a5 3 89 ...... 要把数据变成: gid id_1 id_2 id_3 id_4 score a1 9 阅读全文
posted @ 2016-12-13 14:49 江枫1 阅读(2066) 评论(0) 推荐(0)