12 2019 档案
摘要：用Python写代码的时候，在想看的地方写个print xx 就能在控制台上显示打印信息，这样子就能知道它是什么了，但是当我需要看大量的地方或者在一个文件中查看的时候，这时候print就不大方便了，所以Python引入了logging模块来记录我想要的信息。print也可以输入日志，logging相
阅读全文
摘要：在python中获取当前路径使用os.getcwd()并不总是有效的，不是得到的真实绝对路径。运行的时候有时取得的路径是当前脚本路径，有时却不是，相同的代码，在win的pycharm下运行得到的路径，与在linux中执行python test.py后得到的路径是不同的。 查阅了一些资料才发现，os.
阅读全文
摘要：我们知道，Linux 中标准的输入设备默认指的是键盘，标准的输出设备默认指的是显示器。而本节所要介绍的输入、输出重定向，完全可以从字面意思去理解，也就是： 输入重定向：指的是重新指定设备来代替键盘作为新的输入设备； 输出重定向：指的是重新指定设备来代替显示器作为新的输出设备。 通常是用文件或命令的执
阅读全文
摘要：作为linux中最为常用的三大文本（awk，sed，grep）处理工具之一，掌握好其用法是很有必要的。首先谈一下grep命令的常用格式为：grep [选项] "模式" [文件] grep家族总共有三个：grep，egrep，fgrep。 常用选项： -E ：开启扩展（Extend）的正则表达式。 -
阅读全文
摘要：Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。 1．命令格式： wc [选项] [文件1] [文件2] ... 2．命令功能： 统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如
阅读全文
摘要：在用VMware克隆一台虚拟机后，理论上ip地址是被克隆机器的ip（被克隆机已经配置好了静态ip），但是打开了新虚拟机后，但是xshell连接不上 使用 ip add命令显示的信息没有ip地址信息，无法连接，如图 在 进入目录 ect/sysconfig/network-scripts 后显示的文件
阅读全文
摘要：CentoOS关于用户的操作 1 系统环境 //系统环境 # cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) # uname -r 3.10.0-862.el7.x86_64 //SELinux 设置 # setenforce
阅读全文
摘要：在安装mysql的时候修改了 /etc/my.cnf 配置文件中的datadir的默认路径后，导致使用systemctl start mysqld.service命令启动不了： # 安装后启动mysql服务 [root@localhost mysql]# systemctl start mysqld
阅读全文
摘要：安装mysql的时候执行命令： [root@localhost yum.repos.d]# yum install mysql-community-server 已加载插件：fastestmirror base | 3.6 kB 00:00:00 extras | 2.9 kB 00:00:00 h
阅读全文
摘要：用于监控linux系统使用情况的shell 参考：https://www.cnblogs.com/yepei/p/7216945.html #!/bin/bash #统一写下接收监控邮件的邮箱 mail_account="xx@xx.com" #监控系统负载与CPU、内存、硬盘、登录用户数，超出警戒
阅读全文
摘要：1. 简介 之所以能用到这个命令，是由于很多 linux 命令不支持用管道传递参数，例如 find /sbin -perm +700 | ls -l 这个命令是错误的 find /sbin -perm +700 |xargs ls -l 这样才是正确的 通常Linux命令可以用|首尾相连，上一个命令
阅读全文
摘要：Linux中find常见用法示例 find path -option [ -print ] [ -exec -ok command ] {} \; find命令的参数； path: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。-print： find命令将匹配的文件输
阅读全文
摘要：问题：scrapy爬虫在win本地和在linux的非root用户下都能够使用scrapy crawl crawlername，并且能够成功爬取，但是在linux中，使用crongtab -e 添加定时任务后，总是会在日志中报错：/home/apps/start_ratespider.sh:行5: s
阅读全文
摘要：Cron是Unix系统的一个配置定期任务的工具，用于定期或者以一定的时间间隔执行一些命令或者脚本；可执行的任务范围可以是每天夜里自动备份用户的home文件夹，也可以每个小时记录CPU的信息日志。 crontab（cron table）命令用于编辑执行中的定期任务列表，并且操作是基于每个用户的，每一个
阅读全文
摘要：1、使用root账户创建用户 # 创建用户lzq，默认无密码 [root@localhost ~]# useradd lzq # 为用户lzq创建密码，密码少于8个字符需要输入两次 [root@localhost ~]# passwd lzq 更改用户 lzq 的密码 。 新的 密码： 无效的密码：
阅读全文
摘要：#-*- encoding: utf-8 -*- ''' @describe: 读取mysql数据库的工具类 ''' import sys sys.path.append("/home/hadoop/crawler") from configs import config import MySQLd
阅读全文
摘要：1.python处理Excel的几种方法： 方法一：利用pandas、方法二、xlrd和xlwt两个模块分别用来读Excel和写Excel，只支持.xls和.xlsx格式，xlutils模块可以同时读写一个已存在的Excel文件，依赖于xlrd和xlwt方法三、openpyxl（可读写excel表）
阅读全文
摘要：1 软件准备 安装环境：系统是CentOS7，64位，安装过程中的所有软件需适应这个系统。本文是使用root用户安装。 使用linux命令可查看自己的操作系统： 注意：如果在虚拟机上安装CentOS7,使用了最小安装，在启动CM的时候可能可能会报pstree找不到的错误。 1 [root@maste
阅读全文
摘要：crontab命令说明如下：crontab命令被用来提交和管理用户的需要周期性执行的任务，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。 # -e：编
阅读全文
摘要：根据key值遍历 1 >>> a 2 {'a': '1', 'b': '2', 'c': '3'} 3 >>> for key in a: 4 print(key+':'+a[key]) 5 6 a:1 7 b:2 8 c:3 9 >>> for key in a.keys(): 10 print(
阅读全文
摘要：1. mysql, oracle ,sqlserver各自的默认端口号 sqlserver默认端口号为：1433 URL:"jdbc:microsoft:sqlserver://localhost:1433;DatabaseName=dbname" DRIVERNAME:"com.microsoft
阅读全文
摘要：一。 数组要比列表效率高很多 numpy高效的处理数据，提供数组的支持，python默认没有数组。pandas、scipy、matplotlib都依赖numpy。 pandas主要用于数据挖掘，探索，分析 matplotlib用于作图，可视化 scipy进行数值计算，如：积分，傅里叶变换，微积分 s
阅读全文
摘要：聚类指的是把集合，分组成多个类，每个类中的对象都是彼此相似的。K-means是聚类中最常用的方法之一，它是基于点与点距离的相似度来计算最佳类别归属。 在使用该方法前，要注意（1）对数据异常值的处理；（2）对数据标准化处理（x-min(x))/(max(x)-min(x)）；（3）每一个类别的数量要大
阅读全文
摘要：1.随机选择 选择初始质心，我们可以用最基本的随机方法，但是这种方法会导致一个局部最优解问题。即，将一个比较大的簇分裂，同时将两个较小的簇进行合并。 由于K-Means算法具有不稳定性，初始质心选择不同，结果也不同。所以解决局部最优的方法，其一可以多次运行算法，选择具有最小SSE值的那组作为最终解。
阅读全文
摘要：tar 这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。 -c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件 下面的参数是根据需要在压缩或解压档案时可选的。 -z：有gzip属性的-j：有bz2属性的-Z：有com
阅读全文
摘要：Introduction 介绍 A Foolish Consistency is the Hobgoblin of Little Minds 尽信书则不如无书 Code lay-out 代码布局 Indentation 缩进 Tabs or Spaces 制表符还是空格 Maximum Line L
阅读全文
摘要：参考一篇大佬的博文：https://www.cnblogs.com/zlslch/p/8318942.html 问题：将scrapy 1.8 程序在win本地运行成功，但是在linux运行报以下错误： 2019-12-10 17:12:14 [twisted] CRITICAL: Traceback
阅读全文
摘要：https://chromedriver.storage.googleapis.com/index.html 各版本各平台浏览器驱动下载地址（官网） https://npm.taobao.org/mirrors/chromedriver/ 各版本各平台浏览器驱动下载地址（阿里镜像） https://
阅读全文
摘要：Linux刚安装好的时候，默认是火狐浏览器并且版本比较低，我的系统是CentOS，火狐版本号很低，用yum安装的话版本也不是最新，只要从官方网站下载最新版安装就可以了，方法如下：首先去火狐主页，中文是http://www.firefox.com.cn/，点击"免费下载" 先来查看fire是否安装以及
阅读全文
摘要：1 主要步骤 配置网络 修改主机名 关闭防火墙 关闭SELinux 安装jdk 增加hadoop用户 配置ssh信任 配置hadoop 集群部署规划 5台服务器， 一个主节点：nn1.hadoop， master （HA） 一个从节点：nn2.hadoop，slave 三个工作节点： s1.hado
阅读全文
摘要：1 安装虚拟机 1.1 下载虚拟机 请自行去网上下载VMware12 破解版。 服务器上已经有VMware12 虚拟机软件，可以去服务器上down。 1.2 安装虚拟机 步骤略。 参考： http://jingyan.baidu.com/article/2d5afd69c45ba685a2e28ee
阅读全文
浙公网安备 33010602011771号