2021年3月15日
pyspark union、intersection、subtract、cartesian用法
摘要： union、intersection、subtract、cartesian rdd1 = sc.parallelize([1,2,4,5,2,3]) rdd2 = sc.parallelize([4,6,5,7,8,6]) rdd1.union(rdd2).collect(): 所有rdd1和rdd 阅读全文
posted @ 2021-03-15 23:41 boye169 阅读(503) 评论(0) 推荐(0)
pyspark基本使用
摘要： 【Example】 from pysoark. sql import SparkSession def split_line(line): try: return line.split(b"\t") except:pass def map_partitions(partitions): for li 阅读全文
posted @ 2021-03-15 23:31 boye169 阅读(521) 评论(0) 推荐(0)
2021年3月12日
python map、reduce、filter用法
摘要： map map() 会根据提供的函数对指定序列做映射 map(function, iterable, ...) 参数： function:函数 iterable:一个或多个序列 list(map(lambda x: x ** 2, [1, 2, 3, 4, 5])) #[1, 4, 9, 16, 2 阅读全文
posted @ 2021-03-12 00:03 boye169 阅读(112) 评论(0) 推荐(0)
2021年3月3日
python translate 用法
摘要： 描述 translate() 方法根据参数table给出的表(包含 256 个字符)转换字符串的字符,要过滤掉的字符放到 deletechars 参数中 translate()方法语法： str.translate(table) bytes.translate(table[, delete]) by 阅读全文
posted @ 2021-03-03 22:02 boye169 阅读(480) 评论(0) 推荐(0)
2021年2月24日
linux账号管理和密码过期设置
摘要： 新添加的用户，用户密码过期时间是从/etc/login.defs中PASS_MAX_DAYS提取的，普通系统默认就是99999，而安全操作系统4.0是90。更改此处，只是让新建的用户默认密码过期时间变化，已有用户密码过期时间仍然不变。 chage：密码失效是通过此命令来管理的。 参数意思： -m 密 阅读全文
posted @ 2021-02-24 22:49 boye169 阅读(927) 评论(0) 推荐(0)
JQuery语法
摘要： 常用方法 //显示信息到控制台，用于调试 console.log("hello"); //每隔一秒更新一次每个被选中的元素 $(function() { $("a").prettyDate({ interval: 1000 }); }); // 隐藏当前元素 $(this).hide() //隐藏所 阅读全文
posted @ 2021-02-24 22:27 boye169 阅读(72) 评论(0) 推荐(0)
css
摘要： -moz firefox浏览器私有属性-ms ie浏览器私有属性-webkit safari、chrome私有属性<!--[if IE 7 ]><html class="ie7" lang="zh-cn"><![endif]--> CSS hack 由于不同厂商的流览器或某浏览器的不同版本（如IE6 阅读全文
posted @ 2021-02-24 22:14 boye169 阅读(99) 评论(0) 推荐(0)
docker基本操作
摘要： 安装 CentOs7安装docker】 [查看系统版本] cat /etc/redhat-release [安装docker失败后使用此命令] yum install libdevmapper* -y [安装docker] yum install docker [查看docker安装是否成功] do 阅读全文
posted @ 2021-02-24 22:01 boye169 阅读(273) 评论(0) 推荐(0)
redis安装及基本操作
摘要： 1.下载： http://pypi.python.org/pypi?%3Aaction=search&term=redis&submit=search2.安装：tar xvzf redis-2.10.3.tar.gzcd redis-2.10.3python setup.py install3、测试 阅读全文
posted @ 2021-02-24 21:42 boye169 阅读(133) 评论(0) 推荐(0)
MongoDB安装 基本操作
摘要： MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 下载 https://www.mongodb.com/dow 阅读全文
posted @ 2021-02-24 21:40 boye169 阅读(307) 评论(0) 推荐(0)