摘要: 一、安装要求 安装JDK yum -y install jdk(或手动安装) 设置namenode节点到datanode节点的免密码登陆 a. 本地免密码登录 # ssh localhost #检测能否在本机上实现免密码登陆 # ssh-keygen -t dsa -P '' -f ~/.ssh/i 阅读全文
posted @ 2017-02-27 10:08 zhangjpn 阅读(12199) 评论(0) 推荐(0) 编辑
摘要: 环境:在VMware Workstation虚拟环境下进行Linux网络配置。 一、进行网络配置的四种方法: 1.临时命令行修改 2.利用setup命令永久修改 3.直接修改配置文件 4.通过GUI修改 下面总结的是通过修改配置文件进行网络配置的方式。 二、修改网络配置文件进行网络配置 1.修改网络 阅读全文
posted @ 2017-02-22 21:40 zhangjpn 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 通过命令行执行sql脚本文件的方法: cmd命令行下: C:\users\test_dir>"C:\Program Files\MySQL\MySQL Server 5.7\bin\mysql" -uroot -ppassword -Ddatabase < D:\file_dir\file.sql 阅读全文
posted @ 2017-01-14 00:19 zhangjpn 阅读(4960) 评论(0) 推荐(0) 编辑
摘要: 本文记录win7系统下使用python3.5安装Scrapy爬虫框架。 Scrapy框架目前的官方文档说明是还不支持windows的python3环境的,但是网友反映以及实际测试均可以使用,下面就进行简单的说明。 首先在这里不得不推荐安装Anaconda科学计算环境,这是一个对python进行管理的 阅读全文
posted @ 2017-01-12 12:59 zhangjpn 阅读(1118) 评论(0) 推荐(1) 编辑
摘要: window7 64位系统,MySQL5.7 问题:在使用shell进行数据表更新操作的过程,输入以下查询语句: 1 UPDATE bank_detail_train_cp SET Time=FROM_UNIXTIME(CAST(`TimeStamp` AS UNSIGNED)-4500000000 阅读全文
posted @ 2017-01-08 23:12 zhangjpn 阅读(11291) 评论(0) 推荐(0) 编辑
摘要: 问题出现在CAST(value AS USIGNED)将字符串转换成数值的过程中,出现这个问题的原因是value对应的数值在BIGINT UNSIGNED 的范围内。可能的情况是value的值太大,超出上限,太小超出下限0。 对于出现浮点数的情况下只能使用CAST(value AS SIGNED), 阅读全文
posted @ 2017-01-08 21:21 zhangjpn 阅读(3968) 评论(0) 推荐(0) 编辑
摘要: MySQL的语句一共分为11步,如下图所标注的那样,最先执行的总是FROM操作,最后执行的是LIMIT操作。其中每一个操作都会产生一张虚拟的表,这个虚拟的表作为一个处理的输入,只是这些虚拟的表对用户来说是透明的,但是只有最后一个虚拟的表才会被作为结果返回。如果没有在语句中指定某一个子句,那么将会跳过 阅读全文
posted @ 2016-12-30 14:44 zhangjpn 阅读(389) 评论(0) 推荐(0) 编辑
摘要: mysql中用命令行复制表结构的方法主要有一下几种: 1.只复制表结构到新表 或 注意上面两种方式,前一种方式是不会复制时的主键类型和自增方式是不会复制过去的,而后一种方式是把旧表的所有字段类型都复制到新表。 2.复制表结构及数据到新表 3.复制旧表的数据到新表(假设两个表结构一样) 4.复制旧表的 阅读全文
posted @ 2016-12-29 09:26 zhangjpn 阅读(65968) 评论(0) 推荐(4) 编辑
摘要: 参考网上的方法,总结了产出重复记录的方法,欢迎交流。 参考:http://www.cnblogs.com/nzbbody/p/4470638.html 方法1:创建一个新表临时储存数据 假设我们有一个存在多个字段的表,表中有部分数据的若干字段重复,此时我们可以使用DISTINCT这个关键字对表数据进 阅读全文
posted @ 2016-12-28 19:55 zhangjpn 阅读(835) 评论(0) 推荐(0) 编辑
摘要: 问题 将DataFrame数据保存到mysql中时,出现错误提示: BLOB/TEXT column used in key specification without a key length 原因 出问题的原因是DataFrame对象索引的数据类型是TEXT/BLOB或其从属的类型,当将其作为m 阅读全文
posted @ 2016-12-05 14:23 zhangjpn 阅读(37704) 评论(0) 推荐(3) 编辑