javasmoke

摘要： 脚本作用：工具脚本，抽取postgres数据的数据到Hive的不同库和表 1 #!/bin/bash 2 queue="queue_lsd sj" 3 NUM MAPPERS = 1 4 OVERWRITE=true 5 num_mappers=$NUM MAPPERS 6 overwrite=OV 阅读全文

摘要： 应用背景需求： 目前通过SparkStreaming实时读取到了Kafka的汽车的实时的位置数据，将其保证在Redis缓存中，现在需要每隔5秒，将redis的实时的最新汽车的位置信息，通过websocket 将信息推送到页面浏览器，以便动态在地图上显示汽车的位置信息。 redis保存的数据格式用的是 阅读全文

摘要： spark-运行原理剖析 说明：spark运行一个job大致过程如下 1） 通过sparksubmit（shell）提交应用程序application 2） 在应用提交的机器上创建driverActior进程，创建driver 3） Driver进程读取代码,首先创建sparkContext上下文 阅读全文

摘要： spark 运行原理图如下 说明：spark从job通过driver提交，到job运行，大致过程如下，jobt提交，启动driver进程，drver首先构建sparkContex,sqlContext里面3个重要组件，DAGscheduler,TaskScheduler,SparkUI,sparkC 阅读全文

摘要： JFINAL开发环境的搭建过程 （一）学习的地址 急速开发学习：https://www.jfinal.com/ （二）undertow模式非web项目的搭建 2.1mavne项目的新建 在eclipse中新建maven项目 新建时候，选择quickstar 骨架 最后生成目录结构 修改pomxml文 阅读全文