摘要：
http://www.cnblogs.com/leesf456/p/6063694.html zk的应用： https://baijiahao.baidu.com/s?id=1576906164723309054&wfr=spider&for=pc 阅读全文
posted @ 2016-11-23 23:59
cctext
阅读(471)
评论(0)
推荐(0)
摘要：
spark 1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别： 使用spark-shell进入spark shell 交互界面： 输入命令： 回车后是可以看到该目下很多个gz压缩包文件都被打印出来了。 参考文章： http://blog.csdn.net/xuyaoqiaoyaog 阅读全文
posted @ 2016-11-20 04:01
cctext
阅读(6517)
评论(0)
推荐(0)
摘要：
DataFrame写入hive API： 将DataFrame数据写入hive指定数据表的分区中 将数据写入分区表的思路是：首先将DataFrame数据写入临时表，之后是由hiveContext.sql语句将数据写入hive分区表中。具体操作如下： 声明本文转自：http://www.aboutyu 阅读全文
posted @ 2016-11-20 03:43
cctext
阅读(16799)
评论(0)
推荐(0)
摘要：
scala自身是没有continue，break这两个语法关键词的。 但是实际上我们还是很希望有这两个语法，那么我们是否可以自己实现呢？ 从官网上搜索，我们可以找到一下关于break的类相关资料： Breaks extends AnyRef A class that can be instantia 阅读全文
posted @ 2016-11-19 00:52
cctext
阅读(5356)
评论(0)
推荐(0)
摘要：
1、一般可以通过beeline(CDH默认是使用hive，就会进入hive操作窗口)，代理方式登录hive; 2、使用数据库abc_hive_db：use abc_hive_db; 3、查看数据库中有哪些表：show tables ；有哪些特定表 show tables like '*tb_site 阅读全文
posted @ 2016-11-18 22:03
cctext
阅读(7140)
评论(0)
推荐(0)
摘要：
背景： 接到任务，需要在一个一天数据量在460亿条记录的hive表中，筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度： 解析规则譬如： Scala代码实现“访问hive，并保存结果到hive表”的spark任务： 开发工具为IDEA16,开发语言为scala,开发包 阅读全文
posted @ 2016-11-18 19:39
cctext
阅读(12688)
评论(0)
推荐(0)
摘要：
云瓣影音网站&&微信端(已开源) https://github.com/MuYunyun 阅读全文
posted @ 2016-11-18 15:50
cctext
阅读(258)
评论(0)
推荐(0)
摘要：
昨晚和同事一起看一个scala写的程序，程序都写完了，且在idea上debug运行是ok的。但我们不能调试的方式部署在客户机器上，于是打包吧。打包时，我们是采用把外部引入的五个包（spark-assembly-1.5.1-hadoop2.6.0.jar、commons-logging.jar、fas 阅读全文
posted @ 2016-11-14 10:04
cctext
阅读(5637)
评论(0)
推荐(1)
摘要：
Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务，即SSO(Single Sign On)。由于在每个Client和Service之间建立了共 阅读全文
posted @ 2016-11-13 16:00
cctext
阅读(4259)
评论(0)
推荐(0)
摘要：
1433端口，是SQL Server默认的端口，SQL Server服务使用两个端口：TCP-1433、UDP-1434。其中1433用于供SQL Server对外提供服务，1434用于向请求者返回SQL Server使用了哪个TCP/IP端口。 阅读全文
posted @ 2016-11-10 11:32
cctext
阅读(31761)
评论(0)
推荐(0)
摘要：
首先我们需要搞清楚单个文件怎么上传，把这个单文件上传到ftp上的实现命名为一个:upload_to_ftp_command.sh 之后，需要弄清楚怎么实现遍历一个目录下的所有文件的，把这个遍历某个目录下的文件实现命名为：foeach_directory_and_uploadfile_to_ftp.s 阅读全文
posted @ 2016-11-05 22:38
cctext
阅读(7238)
评论(0)
推荐(0)
摘要：
查询hdfs文件内容，如果文件过大时不能一次加载，可以使用： hadoop fs -cat /user/my/ab.txt |more 阅读全文
posted @ 2016-11-04 00:55
cctext
阅读(1254)
评论(0)
推荐(0)
摘要：
环境： 操作系统：Windows Server2008 R2 X64 Oracle版本：12c 如何安装？ -- oracle 12c在oracle linux 6.6 x64上的安装 -- Windows x64位下完美安装winx64_oracle_12c_database 如何使用DataBa 阅读全文
posted @ 2016-11-02 12:34
cctext
阅读(6272)
评论(0)
推荐(0)
摘要：
环境： python2.7 x64 win7 x64 django （通过pycharm创建时自动安装）版本：1.10.2 apache：2.4 x64 下载pycharm个人版非社区版本并激活 起初下载了一个社区版，发现该版本中根本就没有集成django。后来查了下，在社区版pycharm下也是可 阅读全文
posted @ 2016-10-10 00:37
cctext
阅读(4621)
评论(0)
推荐(0)
摘要：
https://github.com/happen-zhang/easy-admin xxx金融后台管理系统详细版：包括本地开发调试详细步骤 效果演示地址, github地址： 阅读全文
posted @ 2016-10-07 09:54
cctext
阅读(250)
评论(0)
推荐(0)
摘要：
环境准备： 在虚拟机下，大家三台Linux ubuntu 14.04 server x64 系统（下载地址：http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso）: 192.168.1.200 master 192.16 阅读全文
posted @ 2016-09-24 13:08
cctext
阅读(8210)
评论(0)
推荐(1)
摘要：
操作系统环境准备： 准备几台服务器（我这里是三台虚拟机）： linux ubuntu 14.04 server x64（下载地址：http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso） master:192.168.1. 阅读全文
posted @ 2016-09-19 16:08
cctext
阅读(2160)
评论(0)
推荐(0)
摘要：
出现错误原因： 之前使用ssh登录过该机器，在~/.ssh/known_host中记录了该信息。 解决方案：删除known_host文件中的内容。 参考：http://www.cnblogs.com/york-hust/archive/2012/03/27/2420168.html 阅读全文
posted @ 2016-09-18 00:54
cctext
阅读(1578)
评论(0)
推荐(0)
摘要：
参考Scala安装：http://www.lupaworld.com/thread-970271-1-1.html 以下命令安装默认scala版本 sudo apt-get install scala 如果想安装特定版本，按照以下步骤： 如果想安装特定版本，按照以下步骤： 1）下载scala压缩包 阅读全文
posted @ 2016-09-17 21:09
cctext
阅读(2090)
评论(0)
推荐(0)
摘要：
（离线安装）首先，通过winscp上传本地下载好的jdk-8u102-linux-x64.gz （离线安装）将jdk-8u102-linux-x64.gz解压到到/usr/lib/jvm下，并把文件夹名重命名为java-8-oracle: hadoop@master:/usr/lib$ mkdir 阅读全文
posted @ 2016-09-17 17:11
cctext
阅读(3294)
评论(0)
推荐(0)
浙公网安备 33010602011771号