生心无住

摘要： 这里读取ftp文件的时候我们采用了sc.wholeTextFiles() 方法，若使用textFile() 方法，则会报错“java.io.IOException: Seek not supported”，ftp 的 InputStream 不支持seek(long:Long) 方法 阅读全文

摘要： 今日焦点 month-to-month 按月 6-month minimum 至少六个月 sublease 转租 drenched in sunlight 阳光充足的 词汇实践 I am looking for an apartment I can rent month-to-month. 我想找一 阅读全文

摘要： 1.序列化 对象在进行网络传输或进行持久化时需要进行序列化，如果采用序列化慢或者消耗大量字节的序列化格式，则会拖慢计算。 spark 提供了两种序列化类库 1）. Java serialization 灵活，但是很慢 2） Kryo serialization 比java 快10倍，紧凑，不支持所有 阅读全文

摘要： 最近在做一个需求，当spark程序在读数据或写数据时，将所读的条数或或所写的条数实时的展现出来，这里用到了SparkListener，sparklisten 可以获取spark 各个运行阶段的状态。 首先我们先通过代码来分析下各个方法的功能，再来说思路 package org.apache.spar 阅读全文

摘要： 1.给关键词加双引号 此时关键词不会被拆分 比如搜索 “百度高级搜索” 2.指定搜索网站，假如我们要搜索关键词spark，但是我们只想查看出现在csdn的结果，可用如下语法 site:domain 关键词 ,比如：site:csdn.net spark 3.intitle allintitlw 关键 阅读全文

摘要： 1.添加用户 如下命令是用root执行的 会直接在/home 目录创建 dong 目录 2.将用户划分到某个组 3.ifconfig 查看可用的网卡接口 4.启动网卡eth0 5.更改软件安装源添加阿里云和中科大源 6.安装搜狗输入法 0)apt-get update 1).apt-get inst 阅读全文

摘要： 一.批量添加分区： use bigdata; alter table siebel_member add if not exists partition(dt='20180401') location '20180401' partition(dt='20180402') location '201 阅读全文

摘要： 今日焦点 Just the check 买单吧 split it 平分 leave a tip 留小费 词汇实践 hey. Can I get you anything else today? 您好.您两位今天还需要什么吗? How about some dessert? 要不要甜点? No we' 阅读全文

摘要： 1.先上代码，存入mysql 参数解释 url： 连接mysql 的url user：登陆mysql的用户 password ：登陆密码 dbtable: 要访问的数据库 点 表 batchsize ： 当条数达到batchsize时会往mysql插入一次数据 truncate ： 当savemod 阅读全文

摘要： 1.mysql 管理语句 1)展示数据库列表 2）进入到相应数据库 3）显示表 4）显示表中的列信息 5）显示表中的索引信息 6）显示表状态 2.创建数据库 mysql> drop database test;Query OK, 0 rows affected (0.01 sec) 3.MySQL 阅读全文