风和雨滴

摘要： hive中表的结构： 在hive目录下已经创建了auxlib子目录并放入下载的jar包以支持json： 代码，尝试用spark操作由json数据构成的hive表数据： uup.spark.sql('use profile') user_action = uup.spark.sql("select a 阅读全文

摘要： 使用pyspark的sparkSession.sql操作hive表数据时遇到问题： jupyter代码： spark = SparkSession.builder.appName('hivetest').enableHiveSupport().config(conf=conf).getOrCreat 阅读全文

摘要： 在训练模型时spark报错：too many open files Py4JJavaError: An error occurred while calling o315.showString. : org.apache.spark.SparkException: Job aborted due t 阅读全文

摘要： 在设置检查点的时候一开始的写法是这样的： spark.sparkContext.setCheckpointDir('/checkPoint') 提示路径明显为本地路径，请改为hdfs路径，于是显式的写成： spark.sparkContext.setCheckpointDir('hdfs://192 阅读全文

摘要： 代码功能：使用sparkStreaming的updateByKey()方法统计一段时间里面接收到的文本中每个单词出现的次数。 checkpoint地址默认放在hdfs的用户目录下。 在虚拟机中使用dc -lk 9999 -v在9999端口上放入文本，StreamingContext的socketTe 阅读全文

摘要： spark的默认url路径问题： spark默认从hdfs的当前用户目录下读取数据，即./目录，可以用/来改为hdfs的根目录，不用显式的写成 'hdfs:///192.168.16.128:9000/xx.csv' 的形式，但前提是在spark-env.sh中配置了hadoop配置文件夹的位置： 阅读全文

摘要： 问题描述：启动tomcat后，控制台输出的中文全部显示为乱码，共有三个地方：server、Tomcat Localhost Log、Tomcat Catalina Log 错误原因：如果电脑的语言、时区设置为中文（GBK编码），会和tomcat默认编码（UTF-8)冲突。 解决方式：找到tomcat 阅读全文

摘要： 错误描述：由maven管理的spring框架的web项目，想要使用spring提供的工具类自动创建应用上下文对象ApplicationContext并存储到SerlvetContext域中，为此在pom.xml中引入spring-web依赖，并在web.xml配置ContextLoaderListe 阅读全文

摘要： 1. 配置tomcat。 2.在项目结构的libraries中添加使用的tomcat下bin目录中的servlet-api.jar包。 阅读全文

摘要： 描述：在使用BeanUtils.pupulate()方法将map集合快速封装成javaBean对象时，导入了commons-beanutils-1.9.3.jar和commons-logging-1.2.jar。其中beanUtils依赖于logging包。 错误：java.lang.NoClass 阅读全文