07 2016 档案

Python 机器学习 简单实现
摘要：程序使用版本 ：Python 3.4 安装对应版本的依赖numpy ， scipy ， matplotlib ， scikit_learn参考 http://blog.csdn.net/zouxy09/article/details/48903179http://ww... 阅读全文
posted @ 2016-07-29 19:42 yuerspring 阅读(190) 评论(0) 推荐(0)
elasticsearch client java 简单code 应用
摘要：package com.kele,xuebi;import java.net.InetAddress;import java.net.UnknownHostException;import org.elasticsearch.action.index.IndexRes... 阅读全文
posted @ 2016-07-24 22:23 yuerspring 阅读(113) 评论(0) 推荐(0)
Solr 单机搭建 && Solr 集群搭建（集群交给Zookeeper管理）
摘要：Solr 单机搭建–1、准备jdk7和tomcat7–2、拷贝solr目录下example/webapps/solr.war，到tomcat下的webapps目录中。–3、启劢tomcat7–4、编辑tomcat7中的webapps/solr目录中WEB-INF/we... 阅读全文
posted @ 2016-07-23 17:46 yuerspring 阅读(185) 评论(0) 推荐(0)
crontab+shell 作业流程调度
摘要：在前面的文章中，我们有简单提到过 shell or python 调度hive 的 伪代码 ，今天我们在丰富下 这些伪代码 http://blog.csdn.net/haohaixingyun/article/details/51821444说明，在实际生产环境中，可... 阅读全文
posted @ 2016-07-19 23:16 yuerspring 阅读(299) 评论(0) 推荐(0)
Python 查看 微信被删除好友
摘要：#!/usr/bin/env python# encoding: utf-8"""查看被删的微信好友@link: https://github.com/0x5e/wechat-deleted-friends"""from __future__ import print... 阅读全文
posted @ 2016-07-19 17:28 yuerspring 阅读(288) 评论(0) 推荐(0)
Hue 使用HDFS 的 高可用
摘要：1. 在 HDFS 中 配置 HTTPFS2 选择 httpfs 3. 选择一个主机 ，保存 继续 ，并启动 httpfs 服务即可，不需要启动集群4.Hue 配置 中 选择 httpfs 保存 并重启 Hue 服务 即可 阅读全文
posted @ 2016-07-18 22:27 yuerspring 阅读(420) 评论(0) 推荐(0)
CDH 与 CM 环境搭建，配置，集成大数据服务
摘要：CDH 环境搭建配置集成搭建CM 挺费劲 CM 里面 安装和管理服务 确实方便太多 阅读全文
posted @ 2016-07-15 18:01 yuerspring 阅读(289) 评论(0) 推荐(0)
YARN基本架构
摘要：YARN基本架构 Yarn 搭建也采用了HA ， yarn-site.xml 阅读全文
posted @ 2016-07-15 09:07 yuerspring 阅读(108) 评论(0) 推荐(0)
大数据技术之Sqoop配置示例
摘要：大数据技术之Sqoop配置示例 hdfstomysqlexport--connectjdbc:mysql://bigdatacloud:3306/test--usernameroot--password123--tablehdfstomysql--columnsid,... 阅读全文
posted @ 2016-07-13 18:32 yuerspring 阅读(150) 评论(0) 推荐(0)
Hive Data Definition Language
摘要：HiveQL DDL statements are documented here, including: CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEX DROP DATABASE/SCHEMA,... 阅读全文
posted @ 2016-07-11 14:33 yuerspring 阅读(107) 评论(0) 推荐(0)
Hive Data Manipulation Language
摘要：1.Loading files into tablesLOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=va... 阅读全文
posted @ 2016-07-11 14:32 yuerspring 阅读(135) 评论(0) 推荐(0)
Python 基础学习笔记
摘要：一些内容来自网络 ：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！一行简单的代码 ，速度提升一倍from time import timet = time()list =['a','b','is','python','ja... 阅读全文
posted @ 2016-07-09 23:57 yuerspring 阅读(169) 评论(0) 推荐(0)
Web 数据实时收集入Hbase ，通过Hive 分析 （JS SDK）
摘要：(function(){ var CookieUtil = { // get the cookie of the key is name get: function(name) { var... 阅读全文
posted @ 2016-07-06 23:41 yuerspring 阅读(330) 评论(0) 推荐(0)
Python数据爬虫,爬链家的二手房信息
摘要：# -*- coding:utf-8 -*-from bs4 import BeautifulSoupimport reimport urllibimport urllib2import mathimport codecsdomain='http://bj.lianj... 阅读全文
posted @ 2016-07-06 16:03 yuerspring 阅读(434) 评论(0) 推荐(0)
用shell & Python 封装 Hive SQL 实现类Store Procedure 功能
摘要：用shell & Python 封装 Hive SQL 实现类Store Procedure 功能Shell 资料 http://c.biancheng.net/cpp/view/7002.html#!/bin/bashhql = “ ”hive -e ... 阅读全文
posted @ 2016-07-04 15:53 yuerspring 阅读(503) 评论(0) 推荐(0)
Hive 元数据 hdfs hbase 示意图.
摘要：更多详细Hive Metaserver thrift 资料 请 参考 http://www.aboutyun.com/thread-10937-1-1.html 阅读全文
posted @ 2016-07-03 17:54 yuerspring 阅读(142) 评论(0) 推荐(0)
MapReduce Hive Hbase 项目 优化
摘要：一、调优的目的 充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。二、调优的总体概述 从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper... 阅读全文
posted @ 2016-07-03 17:07 yuerspring 阅读(251) 评论(0) 推荐(0)
数据库设计指南
摘要：数据库设计指南 如果把企业的数据比做生命所必需的血液，那么数据库的设计就是应用中最重要的一部分。有关数据库设计的材料汗牛充栋，大学学位课程里也有专门的讲述。不过，就如我们反复强调的那样，再好的老师也比不过经验的教诲(体验决定深度、知识决定广度)。所以我们最近找了... 阅读全文
posted @ 2016-07-03 09:04 yuerspring 阅读(331) 评论(0) 推荐(0)
领导力21法则
摘要：领导力21法则第一法则：盖子法则领导能力决定一个人办事的成效水平。（1） 你想爬得越高，就越需要领导力；你想发挥更大的影响，就需要更大的影响力。（2） 领导能力常常是一个人及团体办事成效的盖子。如果领导能力强，锅盖就高，反之， 团体的发展潜力便会受到限制。（3） 个人... 阅读全文
posted @ 2016-07-03 09:01 yuerspring 阅读(836) 评论(0) 推荐(0)
Eclipse 运行MapReduce 错误 以及参考解决方法
摘要：Exception in thread "main" java.io.IOException: Error generating shuffle secret key at org.apache.hadoop.mapreduce.JobSubmitter... 阅读全文
posted @ 2016-07-02 14:47 yuerspring 阅读(498) 评论(0) 推荐(0)
大数据查询引擎 PrestoDB
摘要：原文链接 http://www.oschina.net/p/facebook-prestoPresto是Facebook最新研发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是 Hive 的 10 倍以上。PrestoDB 是 Face... 阅读全文
posted @ 2016-07-01 17:01 yuerspring 阅读(382) 评论(0) 推荐(0)