个人博客转至：tybai.com

摘要： pandas的dataframe转spark的dataframe spark的dataframe转pandas的dataframe 由于 的方式是单机版的，即 的方式是单机版的，所以参考 "breeze_lsw" 改成分布式版本： 阅读全文

摘要： 需要将代码转换为 使其显示好看一些，可以在这里进行装换： "https://tohtml.com/" "http://hilite.me/" 阅读全文

摘要： 需要调用命令行来执行某些命令，主要是用 实时获取结果和捕获错误，发现subprocess的很多坑。 普通获取结果方式，其需要命令完全执行才能返回结果： 客 实时获取结果： 想要获取报错机制，使用 "check_output" 捕捉报错和使用 "check_call" 捕捉报错，及时在 "Popen" 阅读全文

摘要： centos7开放端口和防火墙设置。 查看防火墙状态： 如果显示： 打开防火墙服务： 永久开放 协议下的 端口： 重启防火墙： 重新加载防火墙： 查看当前开放的端口和协议： 显示为： 启动端口服务，方便让 下 过来： 停止防火墙服务： 永久停止防火墙，开机不会启动： 阅读全文

摘要： 如果需要设置两台机器的端口，请查看博文 "centos7开放端口和防火墙设置" 需要实现两台机器的信息交互，使用 进行调度。其中服务端为： 客户端为： 启动过后如下所示： 客户端发送： 服务端接收： 阅读全文

摘要： python获取set cookies 阅读全文

摘要： 查看机器 的信息： 持续更新查看： 其他方式如下： 阅读全文

摘要： pandas的apply操作类似于Scala的udf一样方便，假设存在如下 ： 需要把 中， 与 一一对应，需要将 大于0.5的 取出来作为新的一列，如果小于0.5则不取出来： 得到结果为： PS：如果没有 将会出现错误： 阅读全文

摘要： 将 利用 列合并为一行，类似于 的`GROUP_CONCAT dataframe` 想要变成如下形式： 利用 去实现就好， 里面可以用 实现，可以看这个 "Spark中SQL列合并为一行" ，而这里没有 只能用另外一种方式实现： 得到结果为： 而还有另外一种方式，但是可能会输出少了那么几列： 阅读全文

摘要： python读取了一个list是字符串形式的'[11.23,23.34]'，想转换成list类型： 方式一： 得到结果为： 方式二： 得到结果为： 阅读全文

摘要： python中使用了pandas的一些操作，特此记录下来： 生成DataFrame 得到结果为： 按照逗号分隔并拼接 得到结果为： 筛选符合条件的行 得到结果为： 筛选不符合条件的行 import pandas as pd data = pd.DataFrame({ 'v_id': ["v_1", 阅读全文

摘要： python中使用了numpy的一些操作，特此记录下来： 生成矩阵，替换值 得到结果为： where查找 得到结果为： 增加一行或一列 得到结果为： 按行合并，按列合并 得到结果为： 删除行、列 得到结果为： ndarray转dataframe 得到结果为： 阅读全文

摘要： 在python中，需要将整数均分成N等分。python divide integers N equal parts sum 拆分整数 def split_integer(m, n): assert n 0 quotient = int(m / n) remainder = m % n if rema 阅读全文

摘要： 安装需要如下东西： java "jdk 8u181 windows x64.exe" spark "spark 2.1.3 bin hadoop2.7" hadoop(版本要与spark的一致，这里都是hadoop2.7) "hadoop 2.7.7" Anaconda(这个是为了预防python出 阅读全文

摘要： 对于 数组的操作，有插入和删除，下面介绍各个函数的功能： 插入 插入的函数有 、`insert extend` append 是在数组的末尾插入一个元素 ，如下代码为在数组 的末尾插入元素 ： insert 是在 位置插入 一个元素，如下代码为在数组第 个位置插入元素 ： extend 是在末尾插入 阅读全文