摘要：
今天看了很久的wewb模板 先看了一些bootstrap 然后又发现layui更适合，学习了很久的layui 大受震撼，知识繁多不一一列举，不过对这个框架适配我的后台很不解，他采用的都是 json数据，而我所熟悉的是 采用javabean的方式来传递数据，目前不知道如何操作。 学习时间：14：34到 阅读全文
posted @ 2021-08-14 17:54
不咬牙
阅读(35)
评论(0)
推荐(0)
摘要：
获取到所有的新闻热点之后，需要从中分析处人们词汇 我的的想法是先把这些新闻放在一个txt文件中，在读取这个文件对内容进行拆分 写入文件的代码： file= open('E:\html模板\hot.txt','w') for item in items: file.write(item+"\n") f 阅读全文
posted @ 2021-08-13 16:50
不咬牙
阅读(51)
评论(0)
推荐(0)
摘要：
今天开始尝试首先信息领域热词 首先我对这部分表示好像不许要用到hadoop 我采用python 加javaweb的方式实现 首先，参考了之前的作品 选择收集博客园的新闻来做热词分析 https://news.cnblogs.com/n/recommend 用python进行爬取 1.导入包 impo 阅读全文
posted @ 2021-08-12 15:10
不咬牙
阅读(42)
评论(0)
推荐(0)
摘要：
今天继续学习hive 按分区条件查询多个分区 我认为的是在表加载数据之后如果查不出来，就用这个来建立映射关系，就可以查看表 分桶表加载数据需要通过mapreduce所以一般的加载方式无效，通过以下步骤进行操作 经过我的观察分区和分桶都会将数据进行划分，但是会查询显示在同一张表中。也就是说select 阅读全文
posted @ 2021-08-09 13:05
不咬牙
阅读(36)
评论(0)
推荐(0)
摘要：
继续学习hive 往外部表中插入信息，可以在linux中vim一个txt按格式写数据，然后把数据文件上传到hdfs中该表的目录下，数据就成功添加。 我想其实可以更简单，直接把数据文件通过网页的客户端上传到那个目录下面。 这种加载方式可以将linux中的数据文件传到表中 通过一个overwrite来覆 阅读全文
posted @ 2021-08-08 13:43
不咬牙
阅读(91)
评论(0)
推荐(0)
摘要：
今天去了解了一些hive 感觉这个hive的操作和mysql在cmd中操作感觉很像 在hive中插入用insert是很慢的，需要调用mapreduce，所以我们会用另外的插入 创建表的同时，指定表的分隔符，不指定的话是一个正方形，是键盘打不出来的， Row format delimited fiel 阅读全文
posted @ 2021-08-07 14:04
不咬牙
阅读(67)
评论(0)
推荐(0)
摘要：
今天继续学习python的内容 字典 Key必须唯一 往字典中增加 字典的clear是清空，会只留下一个{}，而删除del可以删除整个字典，也可以删除键值对 可以通过元组的方式来访问item ***************非常重要的访问数据的方法，顺利的脱去了外面的[ ]和（） 这样来访问item 阅读全文
posted @ 2021-08-06 13:14
不咬牙
阅读(38)
评论(0)
推荐(0)
摘要：
今天学习了python的内容： Python中的列表 和数组差不多 Python中可以通过这样的变量直接循环处列表的元素，而不需要在用一个i来表示 元组，用（）包裹 不能这样修改元组的值 用这样的方式来增加值 访问元组 tup1[0] tup2[1:5] *****值得注意的是Python中的区间都 阅读全文
posted @ 2021-08-05 14:05
不咬牙
阅读(48)
评论(0)
推荐(0)
摘要：
今天开始配置hive 配置hive 首先需要一个mysql数据库，我选择虚拟机中hive连接到本地的mysql ，首先需要将mysql配置root远程访问权限 mysql -u root -p use mysql； 进入mysql 为所有ip都可以远程访问 mysql>update user set 阅读全文
posted @ 2021-08-03 17:58
不咬牙
阅读(72)
评论(0)
推荐(0)
摘要：
学了hadoop的编程感悟就是，mapper是将一个文件的一行一行按要求输出，reduce是处理相同key的集合，不一定是实现总和，可以想要的操作 数据清晰ETL的运用 学习时间：13：11到15:12 阅读全文
posted @ 2021-08-02 16:53
不咬牙
阅读(64)
评论(0)
推荐(0)
浙公网安备 33010602011771号