蚂蚁都督

2016年8月18日

spark.SecurityManager: SecurityManager: authentication disabled

摘要：阅读全文

posted @ 2016-08-18 14:53 蚂蚁都督阅读(2824) 评论(0) 推荐(0) 编辑

摘要： IP，直接在case class里用string，可以考虑先用其它程序生成相关的mapping，然后再去用spark填充数据阅读全文

posted @ 2016-08-18 09:44 蚂蚁都督阅读(292) 评论(0) 推荐(0) 编辑

摘要： ensure that workers are registered and have sufficient resources spark-cluster启动的配置里配置了每个worker的内存，如果你submit的时候指定的资源大于这个，就会报上述错阅读全文

posted @ 2016-08-18 09:42 蚂蚁都督阅读(465) 评论(1) 推荐(0) 编辑

2016年8月16日

curl方式创建elasticsearch的mapping

摘要： curl方式创建elasticsearch的mapping curl -XPUT 'http://192.168.1.105:9200/bank/item2/_mapping' -d '{ "item2": { "properties": { "title": { "type": "string", 阅读全文

posted @ 2016-08-16 15:46 蚂蚁都督阅读(3878) 评论(0) 推荐(0) 编辑

2016年8月15日

idea community 配置已有的scala工程

摘要：阅读全文

posted @ 2016-08-15 16:38 蚂蚁都督阅读(274) 评论(0) 推荐(0) 编辑

2016年8月12日

spark操作elasticsearch数据的限制

摘要：对于复杂的数据类型，比如IP和GeoPoint，只是在elasticsearch中有效，用spark读取时会转换成常用的String类型。 Geo types. It is worth mentioning that rich data types available only in Elastic 阅读全文

posted @ 2016-08-12 23:02 蚂蚁都督阅读(1195) 评论(0) 推荐(0) 编辑

在spark-shell里用集群方式启动时加入用户需要的jar

摘要：希望在spark-shell中测试集群方式的elasticsearch操作， # 1 首先下载相关的jar # 2 启动spark-shell时用--jars ./bin/spark-shell –master spark://master:7077 –jars /usr/local/spark-1 阅读全文

posted @ 2016-08-12 10:54 蚂蚁都督阅读(4131) 评论(0) 推荐(0) 编辑

gitlab迁移库地址后远程的切换

摘要：本地需要把origin删除，然后再添加新的origin git remote rm origingit remote add origin [url] git push --set-upstream origin master 阅读全文

posted @ 2016-08-12 09:27 蚂蚁都督阅读(647) 评论(0) 推荐(0) 编辑

2016年8月11日

spark操作geoip的domain数据库

摘要： val ipv4 = sc.textFile("hdfs://hbase11:9000/sparkTsData/GeoIP2-Domain-Blocks-IPv4.csv").map(_.split(",")).map(p=> (p(1),p(0))) val ipv6 = sc.textFile( 阅读全文

posted @ 2016-08-11 16:25 蚂蚁都督阅读(281) 评论(0) 推荐(0) 编辑

git的基本操作

摘要：今天给同事培训了一下git的使用流程，简单记录一下 1，基本概念，远程库和本地库。 2， git clone git://url/*.git clone远程的代码库到本地 3. 创建本地分支当前是在master分支下，需要创建一个自己的工作分支 git checkout -b work 4. 本阅读全文

posted @ 2016-08-11 16:10 蚂蚁都督阅读(103) 评论(0) 推荐(0) 编辑

公告