04 2017 档案

2、Hive UDF编程实例
摘要：Hive的UDF包括3种：UDF(User-Defined Function)、UDAF(User-Defined Aggregate Function)和UDTF(User-Defined Table-Generating Function)，Hive只支持Java编写UDF，其他的编程语言只能通 阅读全文
posted @ 2017-04-21 09:57 365upit 阅读(1250) 评论(0) 推荐(0)
3、MR开发入门
摘要：1、预先准备2个文件file1.txt和file2.txt。文件内容为网页上摘下，不具有代表性，只为举例。 file1.txt内容为： With this setup, whenever you change the content of ambari-web files on the host m 阅读全文
posted @ 2017-04-15 10:41 365upit 阅读(1865) 评论(0) 推荐(1)
1、spark集群搭建
摘要：前提：已经搭建完全分布式的Hadoop集群，请参看http://www.cnblogs.com/netbloomy/p/6660131.html 1、Scala2.12.1环境搭建 1)、下载scala安装包：wget https://downloads.lightbend.com/scala/2. 阅读全文
posted @ 2017-04-13 10:09 365upit 阅读(400) 评论(0) 推荐(0)
2、ambari搭建HDP集群
摘要：一、平台环境 二、环境准备1、 增加系统打开文件数和进程数 在每台服务器命令行执行：ulimit -n 显示当前可以打开的最大文件数 sudo vim /etc/security/limits.conf 在文件中添加 * - nofile 655350 * - nproc 655350 然后保存 断 阅读全文
posted @ 2017-04-10 17:40 365upit 阅读(7786) 评论(0) 推荐(0)
1-3 superset数据模型
摘要：在models.py中大部分的class对应数据库中的表，那么我们就从AuditMixinNullable这个类开始我们的模型解析。 AuditMixin：这个类是FAB（Flask AppBuild）中的，它的作用是向子类中加入create_by_fk、create_by、changed_by_f 阅读全文
posted @ 2017-04-10 15:49 365upit 阅读(2449) 评论(1) 推荐(2)
1-0 superset的安装和配置
摘要：Superset安装及教程官网（http://airbnb.io/superset/installation.html）讲解的已经够详细的了，本篇以官网教程为蓝本进行说明。 入门 Superset目前使用Python 2.7和Python 3.4+进行测试。 推荐Python 3，不支持Python 阅读全文
posted @ 2017-04-10 15:46 365upit 阅读(9306) 评论(1) 推荐(1)
1、Java通过JDBC操作Hive
摘要：0、概述 使用的都是CLI或者hive –e的方式仅允许使用HiveQL执行查询、更新等操作。然而Hive也提供客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向 阅读全文
posted @ 2017-04-10 13:42 365upit 阅读(11368) 评论(0) 推荐(1)
2、通过HBase API进行开发
摘要：一、将HBase的jar包及hbase-site.xml添加到IDE 1、到安装HBase集群的任意一台机器上找到HBase的安装目录，到lib目录下下载HBase需要的jar包，然后再到conf目录下下载hbase-site.xml。 2、在ide中新建一个java项目，然后再右击"项目名"，新建 阅读全文
posted @ 2017-04-08 23:44 365upit 阅读(1897) 评论(0) 推荐(0)
1、搭建HBase完全分布式集群
摘要：搭建完全分布式集群 HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性.现在就以5台机器为例，搭建一个简单的集群. 软件版本：hadoop-2.8.0,hbase-1.3.0,zookeeper-3.4.10 5台机器IP 阅读全文
posted @ 2017-04-07 14:13 365upit 阅读(20818) 评论(3) 推荐(0)
1、python基础速成
摘要：基础模块 def prt(age,name):#函数定义 print("%s is %d 年龄 old"%(name,age)) if __name__=="__main__":#程序入口 print("Hello World") prt(45,"gaici") 获取输入：使用input()函数 n 阅读全文
posted @ 2017-04-06 15:01 365upit 阅读(3477) 评论(0) 推荐(0)
1-2、superset国际化
摘要：最近由于工作需要研究开源可视化项目superset，由于其国际化做不怎么好，故而记录下国际化的过程，本篇本着『授人以鱼不如授人以渔』的原则，只叙述国际化的过程及方法，不提供直接的国际化文件。 为了方便讲解，我们假定superset安装目录为PYHTON_LIB=/usr/local/lib/pyth 阅读全文
posted @ 2017-04-05 13:43 365upit 阅读(1985) 评论(0) 推荐(0)
1-1、superset开发环境搭建
摘要：在对superset进行二次开发的过程中，往往需要搭建本地开发环境，修改后立即看到效果，下面我们就讲下开发环境的搭建。 1、打开PyCharm,在菜单栏上执行VCS-->Checkout from Version Control-->GitHub下载代码到PyCharm中 2、代码下载完成后，在终端 阅读全文
posted @ 2017-04-05 13:42 365upit 阅读(4567) 评论(1) 推荐(0)
2、Flume1.7.0入门：安装、部署、及flume的案例
摘要：一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。 flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写 阅读全文
posted @ 2017-04-04 22:05 365upit 阅读(11014) 评论(1) 推荐(1)
1、hadoop HA分布式集群搭建
摘要：概述 hadoop-ha包含HDFS的HA和YARN的HA，下面就2个部件的HA进行搭建。 环境介绍： os:centos7.0 hadoop:2.8.0 zookeeper:3.4.10 5台虚拟机，各服务部署情况如下： 主机名 IP 安装软件 运行进程 c7001 192.168.70.101 阅读全文
posted @ 2017-04-02 23:16 365upit 阅读(11725) 评论(0) 推荐(1)
1、zookeeper集群安装
摘要：前提准备3台centos7.0虚拟机 c7003:192.168.70.103 c7004:192.168.70.104 c7005:192.168.70.105 并在三台虚拟机上配置hosts为 192.168.70.103 c7003 192.168.70.104 c7004 192.168.7 阅读全文
posted @ 2017-04-02 01:11 365upit 阅读(3789) 评论(0) 推荐(1)