摘要: # 格式化hdfs hadoop namenode -format # 查看hadoop下的文件夹 hadoop fs -ls # 创建hdfs文件夹 hadoop fs -mkdir /user/input # 将本地文件file.txt 复制到新建文件夹,file->hdfs hadoop fs 阅读全文
posted @ 2018-01-09 16:40 Mars.wang 阅读(925) 评论(1) 推荐(0)
摘要: # -*- coding: UTF-8 -*- from PIL import Image import os import sys reload(sys) sys.setdefaultencoding('utf-8') def resize2(im): xsize, ysize = im.size 阅读全文
posted @ 2017-08-25 16:30 Mars.wang 阅读(278) 评论(0) 推荐(0)
摘要: 1.装饰器 装饰器用来实现一种切面功能,即一些函数在调用前都必须实现的功能,比如用户是否登录,用户是否有权限这类需求,都很容易由装饰器来实现。 2.回调函数 回调函数就是一个通过函数指针调用的函数。如果你把函数的指针(地址)作为参数传递给另一个函数,当这个指针被用来调用其所指向的函数时,我们就说这是 阅读全文
posted @ 2017-08-16 10:04 Mars.wang 阅读(8619) 评论(0) 推荐(0)
摘要: 1.字典的合并 dict1={1:[1,11,111],2:[2,22,222]} dict2={3:[3,33,333],4:[4,44,444]} dictMerged2=dict(dict1, **dict2) {1:[1,11,111],2:[2,22,222],3:[3,33,333],4:[4,44,444]} 2.字典的拆分 base = {'A':1, 'B':2, 'C':3... 阅读全文
posted @ 2017-08-10 14:36 Mars.wang 阅读(13054) 评论(0) 推荐(0)
摘要: for file in ./tmp_data/* do echo $file mysql -u'root' -p'wangbin' --default-character-set=utf8 -e"load data local infile '$file' into table yiche.yiche_core fields terminated by ',' lines terminat... 阅读全文
posted @ 2017-07-26 10:20 Mars.wang 阅读(1757) 评论(0) 推荐(0)
摘要: a='a1' b='b1' c='c1' d='d1' e='e1' ARR=($a $b $c $d $e) rd=`date +%N` for i in ${ARR[*]} do { sleep 1;echo 1>>aa && echo "done!""${i}""$RANDOM" }& done wait 阅读全文
posted @ 2017-07-17 09:40 Mars.wang 阅读(255) 评论(0) 推荐(0)
摘要: 输出: 阅读全文
posted @ 2017-05-05 15:57 Mars.wang 阅读(14598) 评论(1) 推荐(0)
摘要: 1.如果一行代码很长,可以用“\”把它分成多行 2.如果有多个很类似的赋值语句,可以简化到一行:x,y,z=1,3,5 3.多个简短的语句也可以放在同一行,比方x=1;y=2;c=3,但不推荐这样做 4.在一些排序算法中,经常出现两个值交互的情况,类似:tmp=x;x=y,y=tmp,在python中其实可以直接这样写;x,y=y,x5.简单的if语句,其实也可以写在同一行,比方:small=x... 阅读全文
posted @ 2017-04-26 17:42 Mars.wang 阅读(210) 评论(0) 推荐(0)
摘要: s.issubset(t) 如果s 是t 的子集,则返回True,否则返回False s.issuperset(t) 如果t 是s 的超集,则返回True,否则返回False s.union(t) 返回一个新集合,该集合是s 和t 的并集 s.intersection(t) 返回一个新集合,该集合是s 和t 的交集 s.difference(t) 返回一个新集合,该集合是s 的成员,但不是t 的... 阅读全文
posted @ 2017-04-26 17:32 Mars.wang 阅读(248) 评论(0) 推荐(0)
摘要: In [70]: test=dict(x=1,y=2,z=3) In [71]: test Out[71]: {'x': 1, 'y': 2, 'z': 3} In [72]: a=['a','b','c'] In [73]: b=[1,2,3] In [74]: zip(a,b) Out[74]: [('a', 1), ('b', 2), ('c', 3)] In [75]: dict(zi... 阅读全文
posted @ 2017-04-26 17:28 Mars.wang 阅读(411) 评论(0) 推荐(0)