Ray_chen

2019年3月3日

摘要： import re s = 'birthday is 1991-11-19' res1 = re.sub('(\d{4})-(\d{2})-(\d{2})',r'\2/\3/\1',s) res2 = re.sub('(?P\d{4})-(?P\d{2})-(?P\d{2})',r'\g/\g/\g',s) print(res1) print(res2) 阅读全文

posted @ 2019-03-03 15:06 Ray_chen 阅读(401) 评论(0) 推荐(0)

判断字符串是否以某字符串开头或结尾

摘要： import os,stat # str.startswith() # 获取当前目录下以.py 或者.sh结尾的文件 l = [name for name in os.listdir('/shells/') if name.endswith(('.sh','py'))] print(l) # 获取文件的权限 for file in l: print(oct(os.stat('/s... 阅读全文

posted @ 2019-03-03 14:35 Ray_chen 阅读(11847) 评论(0) 推荐(0)

拆分多种分隔符的字符串

摘要： map实现 re.split实现阅读全文

posted @ 2019-03-03 12:04 Ray_chen 阅读(165) 评论(0) 推荐(0)

for迭代多个对象

摘要： 1.传统方法 2.zip实现 3. chain实现阅读全文

posted @ 2019-03-03 10:42 Ray_chen 阅读(221) 评论(0) 推荐(0)

迭代读取文件

摘要：常规方法读取大文件时读取速度慢且可能造成内存不足迭代读取迭代器资源会消耗阅读全文

posted @ 2019-03-03 10:28 Ray_chen 阅读(304) 评论(0) 推荐(0)

2019年3月2日

Kafka集群---分布式消息系统

摘要：概念： kafka是一种消息中间件作用：解耦、冗余、提高扩展性、缓冲保证顺序、灵活、削峰填谷异步通信 kafla角色 producer: 生产者，负责发布消息 consumer: 消费者，负责读取处理消息 topic: 消息的类别 Partition: 每个Topic包含一个或多个Parti 阅读全文

posted @ 2019-03-02 13:45 Ray_chen 阅读(540) 评论(0) 推荐(0)

zookeeper集群

摘要：源码安装至/usr/local/zookeeper 配置 /usr/local/zookeeper/conf/zoo.cfg 拷贝安装目录至所有集群主机创建myid文件，id必须与配置文件里主机名对应的server.(id)一致所有集群主机启动服务确认主机状态 [root@nn01 local 阅读全文

posted @ 2019-03-02 11:25 Ray_chen 阅读(249) 评论(0) 推荐(0)

2019年3月1日

hdfs基本使用

摘要：基本命令统计词频增加节点 --启动新系统，禁用selinux firewall --设置SSH免密登陆 --在所有节点修改/etc/hosts,增加新节点的主机信息 --安装java运行环境 --拷贝NameNode的/usr/local/hadoop --修改NameNode的slaves文件阅读全文

posted @ 2019-03-01 17:22 Ray_chen 阅读(2129) 评论(0) 推荐(0)

2019年2月28日

hadoop

摘要： HDFS分布式文件系统环境准备： 1.安装java环境 2.配置/etc/hosts 3.配置ssh信任关系（NameNode) 配置文件 (参考 : https://hadoop.apache.org/docs/r2.7.6/）环境配置文件 /usr/local/hadoop/etc/hado 阅读全文

posted @ 2019-02-28 17:43 Ray_chen 阅读(201) 评论(0) 推荐(0)

删除3天前创建的以log结尾的文件

摘要： 1. 2. 3. 4.删除 N天前指定目录下的文件或目录在/usr/local下建立20个子目录xunlei1-xunlei20，再在这个子目录下分别建255个子目录dir1-dir255，再在255个子目录下创建10000个文件xunlei1.html-xunlei10000.html。 mkd 阅读全文

posted @ 2019-02-28 16:18 Ray_chen 阅读(620) 评论(0) 推荐(0)

公告