摘要：
电子书： https://spark-internals.books.yourtion.com/ 阅读全文
posted @ 2017-04-21 20:45
宝山方圆
阅读(270)
评论(0)
推荐(0)
摘要：
elasticsearch官网建议生产环境需要设置bootstrap.memory_lock: true 重新启动elasticsearch，报错信息如下： [baoshan@test-43.dev.rokid-inc.com /home/baoshan/elk/elasticsearch-5.3. 阅读全文
posted @ 2017-04-20 21:57
宝山方圆
阅读(27961)
评论(1)
推荐(1)
摘要：
经验教训： 加压缩jdk后需要先执行bin/java -version 查看是否能正常显示版本号。。。。。。 无法正常显示，报错如标题： $bin/java -version -bash: bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个 阅读全文
posted @ 2017-04-19 21:44
宝山方圆
阅读(1209)
评论(0)
推荐(0)
摘要：
现在时间2017-04-17。 python版本3.5支持pyspark python3.6目前还不支持 做法简单，只需要在bin/pyspark中增加 export PYSPARK_PYTHON=python3 再次打开bin/pyspark即配置完成pyspark采用python3. 如果想使用 阅读全文
posted @ 2017-04-17 14:59
宝山方圆
阅读(6857)
评论(1)
推荐(1)
摘要：
Hadoop单机Hadoop测试环境搭建： 1. 安装jdk，并配置环境变量,配置ssh免密码登录 2. 下载安装包hadoop-2.7.3.tar.gz 3. 配置/etc/hosts 127.0.0.1 YARN001 4. 解压缩hadoop-2.7.3.tar.gtz到/home/zhangzhenghai/cluster目录下 5. 配置etc/hadoop/hadoop-env.... 阅读全文
posted @ 2017-04-15 17:13
宝山方圆
阅读(1905)
评论(0)
推荐(0)
摘要：
Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。） 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml 3. 格式化并启动HDFS 4. 启动Y... 阅读全文
posted @ 2017-04-15 17:12
宝山方圆
阅读(3222)
评论(0)
推荐(0)
摘要：
使用python3和Django搭建自己的服务器的时候使用的是sqlite数据库,一切顺利. 可是等到布置生产环境的时候要换成MySQL,根据Django官网的文档也设置好了setting.DATABASES. 但是运行python3 manage.py makemigrations的时候又遇到错误 阅读全文
posted @ 2017-04-15 13:25
宝山方圆
阅读(578)
评论(0)
推荐(0)
摘要：
1、bin/logstash，新增 JAVA_CMD=/home/admin/soft/jdk1.8.0_121/bin JAVA_HOME=/home/admin/soft/jdk1.8.0_121 2、bin/logstash.lib.sh ，在页首新增 JAVA_HOME=/home/admi 阅读全文
posted @ 2017-04-06 18:31
宝山方圆
阅读(2266)
评论(0)
推荐(0)
摘要：
百度爬虫61.135.169.0/24220.181.51.0/24220.181.108.0/24202.46.51.0/24180.76.15.0/24123.125.71.0/24 Google爬虫列表66.249.79.0/2466.249.78.0/2466.249.77.0/2466.2 阅读全文
posted @ 2017-03-07 16:04
宝山方圆
阅读(618)
评论(0)
推荐(0)
摘要：
在Hive脚本中如果有 use db; #即使用数据库 最后一定要有一个exit;脚本，退出hive窗口 否则运行到最后，hive无法启动MR任务，只是卡在打印完成hive脚本处。 例子如下： exit为必备的退出语句。 阅读全文
posted @ 2017-01-26 09:02
宝山方圆
阅读(745)
评论(0)
推荐(0)
浙公网安备 33010602011771号