07 2020 档案

7-31
摘要：1.今日完成任务 统计出 招聘数量最多的前几位的热门职业，通过指定图例进行呈现 统计出 各个岗位中相关招聘职位的数量，通过指定图例进行呈现 统计出全国某些城市指定招聘岗位平均工资，通过指定图例进行呈现 统计出不同时间指定职位招聘数量汇总， 通过指定图例进行呈现 2.核心源码 3.遇到的问题 运行py 阅读全文
posted @ 2020-07-31 15:35 神鲧 阅读(128) 评论(0) 推荐(0)
7-30
摘要：1.今日完成任务 统计指定城市的平均工资，通过可视化展示 2.核心源码 3.遇到的问题 ①　Bar等包导不进去 ②　pyechars下载失败 4.解决办法 ①　pyechars版本问题，第一次用的是0.1.9.4版本（百度推荐），写的过程中遇到不少莫名其妙的报错，然后卸载后重新安装0.5.11版本， 阅读全文
posted @ 2020-07-30 18:07 神鲧 阅读(100) 评论(0) 推荐(0)
7-29
摘要：1.今日完成任务 Hive结果数据导出到mysql 2.核心源码 3.遇到的问题 ①　Sqoop导出时job一直失败，执行成功过的语句再执行其他表时经常会失败（偶尔成功） ②　Hive删除表报错 FAILED: Execution Error, return code 1 from org.apac 阅读全文
posted @ 2020-07-29 17:14 神鲧 阅读(73) 评论(0) 推荐(0)
7-28
摘要：今日完成任务 统计各城市指定招聘岗位的平均工资 统计指定城市和指定岗位的工资待遇 核心源码 3.遇到的问题 中文乱码 导出job一直失败（url不加useUnicode=true&characterEncoding=utf-8" 时候偶儿成功，但是中文乱码，修改后job一直运行失败） 4.解决办法 阅读全文
posted @ 2020-07-29 11:01 神鲧 阅读(101) 评论(0) 推荐(0)
7-24
摘要：今日完成任务 统计岗位招聘数量，并存入指定数据表或数据文件中 统计相关职位招聘信息，并存入指定数据表或数据文件中 核心源码 遇到的问题 解决办法 5.项目燃尽图更新（此内容周一已更新） 阅读全文
posted @ 2020-07-24 16:45 神鲧 阅读(106) 评论(0) 推荐(0)
7-23
摘要：1.今日完成任务 对格式不一致的数据进行标准化处理 数据分隔并导入数据库 2.核心源码 3.遇到的问题 启动beeline时一直报缺少jar包 4.解决办法 hive-jdbc-2.1.0-standalone.jar在hive的jdbc下，复制到lib下边 5.项目燃尽图更新（此内容周一已更新） 阅读全文
posted @ 2020-07-23 18:02 神鲧 阅读(119) 评论(0) 推荐(0)
7-22
摘要：1.今日完成任务 处理工资字段不合规数据， 使该字段数据格式统一 2.核心源码 3.遇到的问题 解决办法 5.项目燃尽图更新（此内容周一已更新） 阅读全文
posted @ 2020-07-22 17:23 神鲧 阅读(119) 评论(0) 推荐(0)
7-21
摘要：1.今日完成任务 数据清洗准备 对于原始数据集字段缺失采用填充默认值 2.核心源码 3.遇到的问题 运行mr任务时未能识别IP 解决办法 把IP替换为主机名 5.项目燃尽图更新（此内容周一已更新） 阅读全文
posted @ 2020-07-21 17:35 神鲧 阅读(113) 评论(0) 推荐(0)
7-20
摘要：1.今日完成任务 Sqoop 安装 Flume安装 2.核心源码 3.遇到的问题 爬虫二级页面读取 4.解决办法 5.项目燃尽图更新 阅读全文
posted @ 2020-07-20 17:38 神鲧 阅读(121) 评论(0) 推荐(0)
爬虫-51job
摘要：1.今日完成任务 使用爬虫爬取招聘网站信息 2.核心源码 3.遇到的问题 目前只能爬取一级页面信息，类似职位描述等在详情页，暂时无法爬取 4.解决办法 5.项目燃尽图更新（此内容周一已更新） 阅读全文
posted @ 2020-07-17 15:38 神鲧 阅读(181) 评论(0) 推荐(0)
7-16
摘要：1.今日完成任务 简单了解python基础语法 简单了解爬虫基础 安装爬虫所需要的库，插件 2.核心源码 3.遇到的问题 4.解决办法 5.项目燃尽图更新（此内容周一已更新） 阅读全文
posted @ 2020-07-17 15:18 神鲧 阅读(114) 评论(0) 推荐(0)
7-15
摘要：1.今日完成任务 Hadoop 全分布部署 Hive 组件部署 Hbase 组件部署 Zookeeper 集群部署 python安装 pycharm安装 2.核心源码 3.遇到的问题 4.解决办法 5.项目燃尽图更新（此内容周一已更新） 阅读全文
posted @ 2020-07-17 15:02 神鲧 阅读(101) 评论(0) 推荐(0)
招聘项目需求分析
摘要：需求分析 1. 引言 1.1. 背景 随着大数据革命的到来,引起数据分析人才的需求激增,而市场上的人才供给出现脱节现象。为更好地了解市场需求,选取拉勾网、智联招聘、前程无忧等招聘网站为数据源,利用数据挖掘技术从能力要求、福利待遇、工作经验、薪资水平及企业地点分布等方面进行分析,研究结果可为高校人才培 阅读全文
posted @ 2020-07-14 17:21 神鲧 阅读(827) 评论(0) 推荐(0)