呓语i - 博客园

2020年5月6日

摘要：问题描述在执行 spark shell master yarn 报错，发现以下错误信息出现原因在新安装的集群上，hdfs的/user/目录下面并没有当前用户的目录和相关权限的目录解决方法使用hdfs用户，创建该用户的相关权限的目录阅读全文

posted @ 2020-05-06 22:45 呓语i 阅读(571) 评论(0) 推荐(0)

大数据 Spark 安装

摘要：下载相关软件包解压修改配置信息 spark env.sh slaves 启动启动 spark shell 启动集群启动时可能出现的问题: java.lang.ClassNotFoundException: parquet.hadoop.ParquetOutputCommitter 使用 ma 阅读全文

posted @ 2020-05-06 22:44 呓语i 阅读(179) 评论(0) 推荐(0)

python 对象克隆

摘要： : 返回x的浅层复制 : 返回x的深层复制一个浅层复制会构造一个新的复合对象，然后（在可能的范围内）将原对象中找到的引用插入其中。一个深层复制会构造一个新的复合对象，然后递归地将原始对象中所找到的对象的副本插入。深度复制操作通常存在两个问题, 而浅层复制操作并不存在这些问题：阅读全文

posted @ 2020-05-06 00:00 呓语i 阅读(898) 评论(0) 推荐(0)

2020年5月5日

python shell 执行

摘要： os.system system方法会创建子进程运行外部程序，方法只返回外部程序的运行结果。这个方法比较适用于外部程序没有输出结果的情况。 os.popen 当需要得到外部程序的输出结果时，本方法非常有用。比如使用urllib调用Web API时，需要对得到的数据进行处理。os.popen(cmd) 阅读全文

posted @ 2020-05-05 23:59 呓语i 阅读(170) 评论(0) 推荐(0)

python bottle学习

摘要： 1. 安装 2. 示例程序请求路由动态路由 :int 只匹配（有符号）数字，并将值转换为整数。浮标类似于：int，但用于十进制数。路径以非贪婪的方式匹配所有字符，包括斜线字符，并且可以用于匹配多个路径段。 :re 允许您在配置字段中指定自定义正则表达式。不修改匹配的值。实现自己的过滤器阅读全文

posted @ 2020-05-05 23:58 呓语i 阅读(577) 评论(0) 推荐(0)

NLP gensim 相似度计算

摘要： ```python from collections import defaultdict from gensim import corpora import jieba from gensim import similarities import re class Similarity: def docs(self, datas): # 构建主搜索索引 docs = [] for doc in 阅读全文

posted @ 2020-05-05 23:56 呓语i 阅读(233) 评论(0) 推荐(0)

linux shell expect 自动交互脚本

摘要：交互式脚本启用选项 ||| | | | | c|执行脚本前先执行的命令，可多次使用。| | d|debug模式，可以在运行时输出一些诊断信息，与在脚本开始处使用exp_internal 1相似。| | D|启用交换调式器,可设一整数参数。| | f|从文件读取命令，仅用于使用 !时。如果文件名为" 阅读全文

posted @ 2020-05-05 23:55 呓语i 阅读(1141) 评论(0) 推荐(0)

2020年5月3日

docker 安装镜像

摘要： docker 阿里云安装 1. 安装必要的一些系统工具 2. 添加软件源信息 3. 更新并安装Docker CE 4. 开启Docker服务 5. 设置服务开机启动 6. 加速 7. 将当前用户添加到docker组 mysql 1. 下载镜像 2. 修改配置文件 3. 创建文件夹作为数据存储的路径阅读全文

posted @ 2020-05-03 23:52 呓语i 阅读(131) 评论(0) 推荐(0)

数据库 MySQL 数据导入导出

摘要：数据导入导出数据导出在日常维护工作当中经常会需要对数据进行导出操作，而mysqldump是导出数据过程中使用非常频繁的一个工具；它自带的功能参数非常多，文章中会列举出一些常用的操作，在文章末尾会将所有的参数详细说明列出来。语法：默认不带参数的导出，导出文本内容大概如下：。 1.导出所有数据阅读全文

posted @ 2020-05-03 23:51 呓语i 阅读(223) 评论(0) 推荐(0)

爬虫 puppeteer

摘要： github 安装 npm i puppeteer --registry=https://registry.npm.taobao.org # 不下载驱动 npm i puppeteer-core --registry=https://registry.npm.taobao.org 手动查看下载地址阅读全文

posted @ 2020-05-03 23:50 呓语i 阅读(689) 评论(0) 推荐(0)

呓语

公告