java向excel写数据
摘要：
package pymongo1; import java.io.File;import java.io.IOException;import java.io.OutputStream; import jxl.Workbook;import jxl.write.Label;import jxl.wr 阅读全文
posted @ 2016-09-14 16:00 猫儿爹 阅读(1846) 评论(0) 推荐(0)
java操作mongodb
摘要：
package pymongo1; import com.mongodb.BasicDBObject;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.DBCursor;import com.mongod 阅读全文
posted @ 2016-09-14 15:58 猫儿爹 阅读(137) 评论(0) 推荐(0)
python操作mongodb
摘要：
import pymongoimport csvimport osimport datetimeclass device1(): def conn(self): global connetion connetion=pymongo.MongoClient('10.10.5.199',27017) d 阅读全文
posted @ 2016-09-14 15:52 猫儿爹 阅读(267) 评论(0) 推荐(0)
python实现进程的并发
摘要：
__author__ = 'luozt' import telnetlib import multiprocessing import random def telnet(ip,hostname): tn = telnetlib.Telnet(ip) print("begin telnet "+str(hostname)+"...") tn.read_until("Us... 阅读全文
posted @ 2016-09-14 15:51 猫儿爹 阅读(430) 评论(0) 推荐(0)
使用python实现两个文件夹里文件的对比（包含内容的对比）
摘要：
#-*-coding:utf-8-*- # # 目录对比工具(包含子目录 )，并列出# 1、A比B多了哪些文件 # 2、B比A多了哪些文件 # 3、二者相同的文件:文件大小相同 VS 文件大小不同 (Size相同文件不打印:与Size不同文件显示未排序)# import os, time,diffl 阅读全文
posted @ 2016-09-14 15:50 猫儿爹 阅读(21604) 评论(1) 推荐(2)
mapreduce-实现多表关联
摘要：
//map package hadoop3; import java.io.IOException; import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop. 阅读全文
posted @ 2016-09-14 15:45 猫儿爹 阅读(2811) 评论(0) 推荐(0)
mapreduce-实现单表关联
摘要：
//map类 package hadoop3; import java.io.IOException; import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop 阅读全文
posted @ 2016-09-14 15:42 猫儿爹 阅读(804) 评论(0) 推荐(0)
kali_linux学习笔记
摘要：
kali linux ssh登陆： 一、配置SSH参数 修改sshd_config文件，命令为： vi /etc/ssh/sshd_config 将#PasswordAuthentication no的注释去掉，并且将NO修改为YES //kali中默认是yes 将PermitRootLogin w 阅读全文
posted @ 2016-09-14 15:36 猫儿爹 阅读(1102) 评论(0) 推荐(0)
docker学习笔记
摘要：
yum install libdevmapper* -y 217 yum install http://ftp.riken.jp/Linux/fedora/epel/6/i386/epel-release-6-8.noarch.rpm centos7.0##yum install libdevmap 阅读全文
posted @ 2016-09-14 15:34 猫儿爹 阅读(137) 评论(0) 推荐(0)
spark-shell学习笔记
摘要：
1. val lines=sc.textFile("hdfs://") ==加载进来成为RDD Resilient distributed dataset 弹性数据集 val errors=lines.filter(_.startsWith("ERROR")) ##transformation va 阅读全文
posted @ 2016-09-14 15:29 猫儿爹 阅读(701) 评论(0) 推荐(0)
scala 学习笔记
摘要：
val x:T val x:T=e 声明一个常量var x:T var x:T=e 声明一个变量 def abc(x:T):T=edef adder(m:T,n:T)=m+n 数值类型：整型值：Int Long Short Byte浮点型：Double，Float布尔值：Boolean(true/f 阅读全文
posted @ 2016-09-14 15:29 猫儿爹 阅读(234) 评论(0) 推荐(0)
hadoop-hive学习笔记
摘要：
create table hive_1(id string,name string ,gender string)row format delimited fields terminated by ','stored as TEXTFILE; load data local inpath '/luo 阅读全文
posted @ 2016-09-14 15:27 猫儿爹 阅读(245) 评论(0) 推荐(0)
hadoop-pig学习笔记
摘要：
A1 = LOAD '/luo/lzttxt01.txt' AS (col1:chararray,col2:int,col3:int,col4:int,col5:double,col6:double);B1 = GROUP A1 BY (col2,col3,col4);C1 = FOREACH B1 阅读全文
posted @ 2016-09-14 15:27 猫儿爹 阅读(220) 评论(0) 推荐(0)
hadoop-hbase学习笔记
摘要：
create "t",{NAME=>"t_id"},{NAME=>"t_vl"} describe "t" disable "t" alter "t",{NAME=>"t_info",VERSIONS=>3} put "t","1001","t_vl:age","25" //1001是rowkey 阅读全文
posted @ 2016-09-14 15:26 猫儿爹 阅读(227) 评论(0) 推荐(0)
hadoop-sqoop学习笔记
摘要：
导入 sqoop import --connect jdbc:mysql://20.12.20.165:3306/luo0907 --username root --password 12345 --table aa01 --fields-terminated-by '\t' -m 1 --hive 阅读全文
posted @ 2016-09-14 15:25 猫儿爹 阅读(167) 评论(0) 推荐(0)
eclipse Git & maven 安装
摘要：
系统变量：MAVEN_HOME = D:\Server\maven 用户变量：path = %MAVEN_HOME%\bin 配置完成后，打开cmd，在里面敲 mvn -version 即为安装成功。 3．将eclipse的安装包解压后放在具体位置。然后在eclipse的根目录创建一个workspa 阅读全文
posted @ 2016-09-14 15:21 猫儿爹 阅读(320) 评论(0) 推荐(0)
限制mongodb内存占用过高方法
摘要：
1.mongodb必须是以服务的方式启动的。即能用service mongodb start的方式启动 资源限制用这个命令systemctl set-property <servicename> <field>=<value> CentOS7 内存的设置方法为： systemctl set-prop 阅读全文
posted @ 2016-09-14 15:19 猫儿爹 阅读(34419) 评论(1) 推荐(2)
使用mongoperf评估磁盘随机IO性能
摘要：
用法举例： # 先创建10GB的测试文件 9GB... testing... ... # IO跑满后，得出ops和吞吐量 new thread, total running : 16 read:1 write:1 7670 ops/sec 29 MB/sec # 可以使用iostat观察磁盘io状态 阅读全文
posted @ 2016-09-14 15:19 猫儿爹 阅读(307) 评论(0) 推荐(0)
rabbitmq集群安装
摘要：
以rabbitmq集群有两个node为例，关闭两台机器的防火墙 1.如果你此时还未安装rabbitmq 那么可以在装第一个RM时只勾选rabbitmq，然后在安装时在弹出的cookie值填写为“aaaaa”（这个值可以随便填） 然后在另外一个pc安装rabbitmq时的cookie值也填写为“aaa 阅读全文
posted @ 2016-09-14 15:18 猫儿爹 阅读(395) 评论(0) 推荐(0)
Perfmon - Windows 自带系统监控工具
摘要：
一、 简述 可以用于监视CPU使用率、内存使用率、硬盘读写速度、网络速度等。 Perfmon提供了图表化的系统性能实时监视器、性能日志和警报管理，系统的性能日志可定义为二进制文件、文本文件、SQLSERVER表记录等方式，可以很方便地使用第三方工具进行性能分析。 perfmon.exe 文件位于C: 阅读全文
posted @ 2016-09-14 15:17 猫儿爹 阅读(32825) 评论(0) 推荐(0)
mongodb所在目录空间不足解决方法
摘要：
1.原理是将目录/home/aa软连接到/usr/lib/下，以后从/usr/lib下读取的内容其实都是放在/home/aa下。 建议不要大范围动/usr下的内容，咋着也是属于系统目录，可能会对已装软件产生影响。 不要做rm –rf操作！建议用mv 注意：请将mongod1这个目录的所有者修改为mo 阅读全文
posted @ 2016-09-14 15:16 猫儿爹 阅读(670) 评论(0) 推荐(0)
mongodb数据处理工具
摘要：
最近大家需要对mongodb和postgres数据库操作比较频繁，给大家推荐一个数据处理工具Kettle，希望对你能有所帮助 ① 将mongodb数据库中的表进行处理然后导出来生成csv，txt,excel格式，同样也能将表导入到其他mongodb数据库中 ② 如果你用csv或是excel构造了自己 阅读全文
posted @ 2016-09-14 15:16 猫儿爹 阅读(431) 评论(0) 推荐(0)
mongodb备份与还原
摘要：
mongodb单机： 备份所有的库： mongodump --host 10.10.7.33:27019 --gzip --out /home/mongodb/0415_bf 备份指定的库： mongodump --host 10.10.10.251:21100 -d dbname --gzip - 阅读全文
posted @ 2016-09-14 15:15 猫儿爹 阅读(864) 评论(0) 推荐(0)
mongodb 修改openfiles方法
摘要：
# vi /etc/security/limits.conf 在file中加上以下内容：（注意红色的为添加的） #ftp hard nproc 0#@student - maxlogins 4* soft nofile 64000* hard nofile 64000* soft nproc 640 阅读全文
posted @ 2016-09-14 15:14 猫儿爹 阅读(781) 评论(0) 推荐(0)
mongodb启用Profiling定位问题
摘要：
建议使用方法三，最简单且容易查看 一：如果mongodb已经运行了很长时间，此时查看mongod.log很大，没法打开查看相应信息 #ps -ef|grep mongod 找到相应的mongod的进程的pid 然后kill -SIGUSR1 pid 这样mongod就会重新生成一个日志文件 > db 阅读全文
posted @ 2016-09-14 15:14 猫儿爹 阅读(2661) 评论(0) 推荐(0)
MMS(mongodb监控工具)
摘要：
今天好几个人问我如何查看mongodb的连接数，在mongo shell中执行： shard1:PRIMARY> db.serverStatus().connections { "current" : 186, "available" : 633, "totalCreated" : NumberLo 阅读全文
posted @ 2016-09-14 15:10 猫儿爹 阅读(4602) 评论(0) 推荐(0)
Linux下系统监控工具nmon使用
摘要：
Mongodb安装在Centos7或以上的版本，对于系统的监控方法如下： 1.从\\10.10.10.1\ShareDoc\User\Zchen\linux系统监控下下载2个工具 nmon16e_mpginc.tar ——系统监控工具 nmon_analyser_v50_5——分析监控产生的文件，并 阅读全文
posted @ 2016-09-14 15:10 猫儿爹 阅读(801) 评论(0) 推荐(0)
Linux下定时切割Mongodb数据库日志并删除指定天数前的日志记录
摘要：
此为在网络上找来的，觉得很好！ 实现目的： 对Mongodb数据库日志按天保存，并且只保留最近7天的日志记录。 具体操作： 使用Mongodb数据库自带的命令来切割日志 ps -def | grep mongod kill -SIGUSR1 <mongod process id> 1、创建Mongo 阅读全文
posted @ 2016-09-14 15:09 猫儿爹 阅读(478) 评论(0) 推荐(0)
mongodb sharding集群搭建
摘要：
创建虚拟机，如果是使用copy的方式安装系统，记得修改机器名，否则所有的机器名称都一样，会造成安装失败 同时关闭掉防火墙，将所有的机器的时间调成一致，master和slave的heartbeat间隔不能超过三秒，否则造成启动mongos失败，这个可以查看mongos日志 使用MongoDB 3.02 阅读全文
posted @ 2016-09-14 15:05 猫儿爹 阅读(3709) 评论(0) 推荐(0)
linux 下mongodb 3.2.5单机版安装
摘要：
mongodb3.0.x的安装教程网上很多，这里主要介绍3.2.5的安装 linux iso 在\\10.10.10.1\ShareDoc\User\yipengzhi\ISO\Centos7.0 这个安装就不介绍了 mongodb 3.2.5安装包在 Linux 版本：\\10.10.10.1\s 阅读全文
posted @ 2016-09-14 15:04 猫儿爹 阅读(1093) 评论(0) 推荐(0)
linux mongodb replica set集群安装
摘要：
RS集群中mongod的安装和单机一样，只是配置文件略有不同， 单机安装路径linux 下mongodb 3.2.5安装 下面是rs集群的配置文件： systemLog:destination: filepath: /home/mongodb/log1/mongod.log ##log的路径logA 阅读全文
posted @ 2016-09-14 15:04 猫儿爹 阅读(564) 评论(0) 推荐(0)
DOS命令查询当前文件夹中文件数量
摘要：
太牛X，太实用，因此单独记下 1. 仅统计文件数量 dir /b /a-d | find /v /c "&#@" 2. 统计文件和目录总数量 dir /b | find /v /c "&#@" 阅读全文
posted @ 2016-09-14 15:03 猫儿爹 阅读(4963) 评论(0) 推荐(0)
centos7 开放mongodb端口
摘要：
CentOS 7 默认没有使用iptables，所以通过编辑iptables的配置文件来开启端口是不可以的 CentOS 7 采用了 firewalld 防火墙 如要查询是否开启27019端口则： 1 2 [root@joe-pc ~]# firewall-cmd --query-port=2701 阅读全文
posted @ 2016-09-14 15:02 猫儿爹 阅读(3008) 评论(0) 推荐(0)
centos安装教程
摘要：
centos7和6.x有很大的差别，在第一次安装的时候遇到了很多坑，一共安装了三次才成功 如果是用window自带的Hyper-v装centos时 安装包在\\10.10.10.1\ShareDoc\User\yipengzhi\ISO\Centos7.0 安装步骤见 http://jingyan. 阅读全文
posted @ 2016-09-14 15:00 猫儿爹 阅读(387) 评论(0) 推荐(0)
浙公网安备 33010602011771号