摘要：本文转载自：http://blog.csdn.net/wyb_hardworking/article/details/19562971 程序中出现中文，运行的时候出现如下错误： 导致出错的根源就是编码问题。 解决方案是： 在程序最上面加上： 这样程序就可以正常运行了。
阅读全文
12 2017 档案
摘要：本文转载自：http://blog.csdn.net/sinat_36764186/article/details/55520444 网上的某测试代码： 配置环境变量path 无效（此处发现有人的错误是路径一直写到了xxx.exe） 检查源程序 发现自己原来把Scripts打成了Script 路径请
阅读全文
摘要：本文转载自：https://www.cnblogs.com/luxiaojun/p/6144748.html Selenium 一、简介 selenium是一个用于Web应用自动化程序测试的工具，测试直接运行在浏览器中，就像真正的用户在操作一样 selenium2支持通过驱动真实浏览器（Firfox
阅读全文
摘要：如果报错 no suitable driver 需要把连接mysql的jdbc的jar包拷到spark文件夹里的jars文件夹里。 附：使用SQL查询的代码 再附，HiveContext的使用及RDD转DataFrame：
阅读全文
摘要：主要是Eclipse下需要多一步配置，就是需要加上SPARK_HOME的系统变量。 首先，在Windows的环境变量中加入SPARK_HOME 然后，在Eclipse的配置中加入这个环境变量： Window=>Preferences=> 剩下的见下图
阅读全文
摘要：本文转载自：https://www.cnblogs.com/LazyJoJo/p/6910504.html 1、配置好Hadoop和spark 2、配置好Pytho3.5 3、安装py4j pip3 install py4j 4、idea 中添加Python插件 file->setting->edi
阅读全文
摘要：本文转载自：https://www.cnblogs.com/skyEva/p/5859566.html 欢呼一下先。软件环境菜鸟的我终于把单机Spark 和 Pyspark 安装成功了。加油加油！！！ 1. 安装方法参考： 已安装Pycharm 和 Intellij IDEA。 win7 PySpa
阅读全文
摘要：本文转载自：http://blog.csdn.net/u011513853/article/details/52865076 由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，
阅读全文
摘要：本文转载自：http://blog.csdn.net/wodewutai17quiet/article/details/76795951
阅读全文
摘要：本文转载自：http://blog.csdn.net/huangshanchun/article/details/49533433 安装hadoop参考：http://blog.csdn.net/hitwengqi/article/details/8008203 由于配置是hadoop-2.7.１所
阅读全文
摘要：本文转载自：http://www.cnblogs.com/shishanyuan/p/4701646.html 1、编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载地址如下
阅读全文
摘要：本文转载自：http://www.open-open.com/lib/view/open1435761287778.html 总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentO
阅读全文
摘要：本文转载自：https://www.cnblogs.com/liu-ke/archive/2017/04/25/6762207.html 方法一：手动解压JDK的压缩包，然后设置环境变量 1.在/usr/目录下创建java目录 2.下载jdk,然后解压 3.设置环境变量 在profile中添加如下内
阅读全文
摘要：本文转载自：http://tech.lezi.com/archives/47 最近两天使用yum的163源，出现404错误 用浏览器却可以打开http://mirrors.163.com/centos/5/os/i386/repodata/repomd.xml这个文件。后来发现是ipv6的问题，使用
阅读全文
摘要：本文转载自：https://www.cnblogs.com/carbon3/p/5635403.html 使用说明 首先备份/etc/yum.repos.d/CentOS-Base.repo 下载对应版本repo文件, 放入/etc/yum.repos.d/(操作前请做好相应备份) cd /etc/
阅读全文
摘要：本文转载自：http://blog.csdn.net/chavo0/article/details/51939362 自己的yum源不知道什么时候给改毁了……搜到了个超简单的方法将yum源更换为阿里的源 完全参考 http://mirrors.aliyun.com/help/centos?spm=5
阅读全文
摘要：本文转载自：https://www.cnblogs.com/hx764208769/p/4260177.html 前言-为什么我要使用mongodb 最近我公司要开发一个日志系统，这个日志系统包括很多类型，错误的，操作的，...用MongoDB存储日志，大量的日志产生，大量读写吞吐量很大的时候，单个
阅读全文
摘要：本文转载自：https://www.cnblogs.com/wuchanming/p/5426746.html 1 bean与spring容器的关系 Bean配置信息定义了Bean的实现及依赖关系，Spring容器根据各种形式的Bean配置信息在容器内部建立Bean定义注册表，然后根据注册表加载、实
阅读全文
浙公网安备 33010602011771号