摘要：首先在Linux环境安装spark： 可以从如下地址下载最新版本的spark： 这个下载下来后是个tgz的压缩包，解压后spark环境就安装好了 或者从github上下载： 安装好后，进入到spark的根目录，就可以通过spark提供的一些脚本命令行来用spark进行计算了，一个例子 这个例子是，可
阅读全文
02 2018 档案
摘要：java selenium搭建无界面浏览器 1.http://phantomjs.org/ 下载windows版phantomjs 2.解压后bin目录下会有exe文件 3.测试代码： 4.url成功打印 需要的添加的jar包及工具：我这里使用maven来构建项目，添加依赖如下：
阅读全文
摘要：jython目前只支持python2，不支持python3. python中使用第三方包的话需要重新设置lib的地址。 public void getHtmlByTxt(String path) { // TODO 编写调用python抓取页面的程序 PySystemState sys = Py.getSystemState(); s...
阅读全文
摘要：使用jython调用python，提示console: Failed to install '': java.nio.charset.UnsupportedCharsetException: cp0.的异常,解决办法 在运行参数中增加-Dpython.console.encoding=UTF-8，解
阅读全文
摘要：工程结构： 有两种方式： Java代码中的类，要获取Resource资源文件目录下文件 绝对路径寻址 注意这个 / 址的是根目录，用绝对路径，可能会出现的问题是，你的程序在windows上可以用，但是在linux不能用，原因在于，你这根目录在windows环境址你的src目录 放到linux环境，就
阅读全文
摘要：本文转载自：http://blog.csdn.net/ztf312/article/details/51338060 本方法解决python代码的可移植性，不需要在新机器上配置python环境，只通过安装jython的方式将python代码嵌入java工程 1. Jython如何安装 下载地址：jy
阅读全文
摘要：Wherehows: https://github.com/linkedin/WhereHows WebMagic: http://webmagic.io/ gitbucket: https://github.com/gitbucket/gitbucket jython: http://www.jy
阅读全文
摘要：# coding=utf-8 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities if __name__=="__main__": url = "http://XXX.XXXXX.com/XX.html" dc...
阅读全文
摘要：open 注：rb 是以二进制读取 现在你觉得没用对吧，我也这么觉得。。。 but 在以后用到socket的时候，传输文件，读取和写入用的都是二进制形式 rb和wb可以更快速的进行文件的传输 读取内容方式 f.read() # 一次读取整个文件，文件大不适用 f.readline() # 一次只读取
阅读全文
摘要：1)下载springside4 官网地址 http://www.springside.org.cn/download.html 2）运行CMD，进入 C:\Documents and Settings\User\My Documents\GitHub\springside4\modules 目录运行
阅读全文
摘要：什么是Azkaban Azkaban是一款基于Java编写的任务调度系统 任务调度:有四个任务脚A、B、C、D，其中任务A与任务B可以并行运行，然后任务C依赖任务A和任务B的运行结果，任务D依赖任务C的运行结果，此时整个过程可以等效为一个有向无环图，而给所有的任务运行定一个运行规则就可以理解为任务调
阅读全文
摘要：在Azkaban中，一个project包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是Command，也可以是一个Hadoop任务。当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图
阅读全文
摘要：用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误，这时候调整JVM的配置参数也不是一个好对策（注：jdk在32位系统中支持的内存不能超过2个G，而在64位中没有限制，但是在64位的系统中，性能并不是太好）,好在POI3.8版本新出来了一个SXSSFW
阅读全文
摘要：本文转载自：https://www.cnblogs.com/IcanFixIt/p/6909338.html 1. 下载和配置Gradle Gradle Inc.是Gradle框架开发的公司，为Eclipse IDE提供了Gradle工具的支持。 此工具可以创建和允许Gradle项目导入到Eclip
阅读全文
摘要：本文转载自：https://www.cnblogs.com/dwb91/p/6523541.html 关于Maven的配置: 用过Maven的开发人员应该知道Maven可以通过配置 conf文件夹下面的settings.xml文件来修改maven下载的包，默认是下在c盘的用户文件夹下的.m2中，日积
阅读全文
摘要：本文转载自：https://www.cnblogs.com/yoyotl/p/6291703.html 感谢阿里云！ 找到gradle的配置文件路径，例如Windows中的路径为C:\Users\${你的用户名}\.gradle 新建一个文件名为init.gradle，用记事本或者类似的编辑器打开，
阅读全文
摘要：本文转载自： http://blog.csdn.net/u011546806/article/details/44806513 前提条件 安装jvm，并配置好了java环境变量 安装步骤 1.下载gradle 2.3版本 2.将压缩包解压到某个目录如 e:/gradle 添加GRADLE_HOME
阅读全文
浙公网安备 33010602011771号