新古董

2022年3月17日

摘要：数据动态展示用的是 setInterval(code,millisec[,"lang"]) 具体参考其中code是循环执行的代码，millisec是循环延时的时长在使用echart动态展示的时候要将ajax 和 setOption 封装到一个方法内用于作为setInterval参数code 阅读全文

posted @ 2022-03-17 11:28 新古董阅读(102) 评论(0) 推荐(0)

关于flume结合kafka，flume监控读取文件失败的情况

摘要：在用flume监控日志文件向kafka传递数据的时候，kafka消费者没有接收到消息。用了一下步骤检查问题所在 1.开启一个kafka生产者，向消费者发送信息，消费者可以接收 2.开启一个监控窗口的flume，flume自身可以打印信息 3.开启一个监控窗口的flume，向kafka消费者发送消息，阅读全文

posted @ 2022-03-17 11:15 新古董阅读(528) 评论(0) 推荐(0)

利用爬虫爬取京东商品的评论信息

摘要：在之前利用爬虫爬取网页的时候只是用到了html解析，但要获得大量的评论内容时，只从html页面解析并不能满足要求，那么只能直接获取相关数据进入京东商品界面，F12打开开发人员工具，打开network 刷新页面，会发现大量内容出现点击评论，查看评论信息，开发人员工具也会随着增加内容，新增加的内容会阅读全文

posted @ 2022-03-17 11:04 新古董阅读(2040) 评论(0) 推荐(0)

2022年3月10日

hive的jdbc操作

摘要：源码 package com.zc.hive; import java.sql.*; public class HiveJDBCTest { public static void main(String[] args) throws ClassNotFoundException, SQLExcept 阅读全文

posted @ 2022-03-10 15:24 新古董阅读(250) 评论(0) 推荐(0)

2022年1月11日

2020寒假学习进度11

摘要：今天对图片进行了一定的切割，并按照每个图片二值图的占比作为图片的特征，但最后识别的效果很尴尬下午按照书上的教程一步一步的学习阅读全文

posted @ 2022-01-11 19:11 新古董阅读(27) 评论(0) 推荐(0)

2022年1月9日

IDEA scala读取文件错误：系统找不到指定路径

摘要：文件结构因为test.data和exercise2_3文件是同级的所以刚开始我直接把scala当作根，地址写成"test1.data"，但运行后直接报错，后来有尝试将main作为根也错了。最后尝试只有将src作为根即地址为"src/main/scala/test1.data"才能正常运行阅读全文

posted @ 2022-01-09 22:33 新古董阅读(1033) 评论(0) 推荐(0)

2020寒假学习进度9

摘要：今天白天主要进行考研英语和数学的复习，中午和休息的时候看了看计算机组成原理，对一些知识点进行了标注。下午继续完成林子雨的实验阅读全文

posted @ 2022-01-09 20:20 新古董阅读(14) 评论(0) 推荐(0)

2022年1月5日

《Spark编程基础》阅读

摘要：注意：StdIn是在scala2.11.-之后才加入的，之前的不具有。大数据特定：数据量大、数据类型繁多、处理速度快、价值密度低。 MapReduce 进行迭代计算非常消耗资源，因为每次迭代都需要从磁盘中写入、读取中间数据，I/O开销大 Scala：基本数据类型 Unit：类似java的void 阅读全文

posted @ 2022-01-05 21:53 新古董阅读(41) 评论(0) 推荐(0)

scala报错：object StdIn is not a member of package io

摘要： StdIn是在scala2.11.-之后才加入的，之前的不具有。阅读全文

posted @ 2022-01-05 21:46 新古董阅读(806) 评论(0) 推荐(0)

2022寒假学习进度5

摘要：由于基础不牢，重新对大数据相关基础知识进行学习，使用的资料是林子雨的《大数据技术原理与应用》大数据基本处理流程：数据采集、储存、分析、结果呈现等（采集、预处理、储存和管理、挖掘和可视化（处理和分析）、隐私保护、数据安全）大数据计算模式：云计算代表了以虚拟化技术为核心、以低成本为目标的动态可阅读全文

posted @ 2022-01-05 17:27 新古董阅读(97) 评论(0) 推荐(0)

公告