birdmmxx

摘要： 寒假第三天 今天对爬虫的功能进行优化，设置自动翻页，爬取多页数据。 在这次学习中发现就是寻找网页链接的规律。例如前几天提到博主的例子爬取猫眼： 第一页：https://maoyan.com/board/4?offset=0第二页：https://maoyan.com/board/4?offset=1 阅读全文

摘要： 寒假第二天 https://blog.csdn.net/weixin_41779359/article/details/86234058 今天对于正则表达式进行深入学习： 还是上篇博客谈及的博主，在第三章中有讲到该方法爬虫正则表达式的用法，如下图：（可以打开链接深入学习） 例如上篇博客的 .*? 结 阅读全文

摘要： 寒假第一天 参考博客：https://blog.csdn.net/weixin_41779359/article/details/86246805 今天对于Python数据爬虫进行了更加深入的学习，参考了上述博主的博客。对于在学校没有吃透的知识进行挖掘，了解到此类方法爬取数据用的是正则表达式，然而正 阅读全文

摘要： 首先虚拟机上已经安装好hive。 下面是连接hive需要的操作。 一、配置。 1.查找虚拟机的ip 输入 ifconfig 2.配置文件 （1）配置hadoop目录下的core-site.xml和hdfs-site.xml 在core-site.xml中添加下面配置： <property> <nam 阅读全文

摘要： package tiqu; import java.io.IOException; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; import java.util. 阅读全文

摘要： 原因：因为以前安装的mysql，字符集都改为了utf-8。 解决方案：需要把字符集都改为latin1 首先进入mysql查看字符集 show variables like 'char%' 找到mysql安装目录下的my.cny文件 用vi命令打开修改字符集 修改完成后重新进入mysql 在mysql 阅读全文

摘要： 这是因为mysql字符集的原因。修改mysql的字符集。 mysql> alter database hive character set latin1; 参考博客：https://blog.csdn.net/qq_38723677/article/details/82668506 阅读全文

摘要： 这是因为没有mysql-connector的jar包。需要把jar包复制到hive目录lib文件夹中。 参考博客：https://blog.csdn.net/Realoyou/article/details/79145370 阅读全文

摘要： 参考自林子雨大数据教学： http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/ 导入数据如下 下载： hadoop2x-eclipse-plugin 将 release 中的 hadoop-eclipse-kepler-pl 阅读全文

摘要： 建立连接： 创建表： 修改表（列族名或者列名）： 列出所有表： 添加数据： 删除数据： Get获取单个数据： Scan获取所有数据： 阅读全文