摘要：
今天看了深度学习的ppt，人工神经单元最小的单位是感知机，感知机由两部分组成，线性变换和非线性变换。 阅读全文
posted @ 2022-03-20 23:01
不咬牙
阅读(27)
评论(0)
推荐(0)
摘要：
import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord} import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream. 阅读全文
posted @ 2022-03-19 22:52
不咬牙
阅读(31)
评论(0)
推荐(0)
摘要：
今天跟同学交流，得到了另一种解决方法，python爬取数据后直接将数据写入kafka，跳过flume这一步，我感觉也是一种取巧的办法。 阅读全文
posted @ 2022-03-18 22:59
不咬牙
阅读(18)
评论(0)
推荐(0)
摘要：
今天遇到一个很奇怪的问题，sparkstreaming在获取kafka数据的时候，第一次可以成功获取，但是当py文件再次执行，再次获取数据的时候会获取到空白行，在处理数据时，因为这行空白就会报下标越界，就很奇怪，一开始传输几个就没问题，爬几次之后就会出现空白行，是网络问题还是机器性能不够呢，不知道。 阅读全文
posted @ 2022-03-17 10:19
不咬牙
阅读(14)
评论(0)
推荐(0)
摘要：
spark streaming 收集kafka数据到mysql数据库， 本地不需要安装spark，在是spark中引入相关依赖即可，但是需要注意版本需要和本地的scala版本对应例如这样的依赖<dependency> <groupId>org.apache.spark</groupId> <arti 阅读全文
posted @ 2022-03-16 23:29
不咬牙
阅读(128)
评论(0)
推荐(0)
摘要：
1． 配置flume .conf文件收集数据到kafka f1.sources = r1f1.channels = c1f1.sinks = k1 #define sourcesf1.sources.r1.type = spooldirf1.sources.r1.spoolDir = /opt/mo 阅读全文
posted @ 2022-03-15 22:51
不咬牙
阅读(157)
评论(0)
推荐(0)
摘要：
找到Linux中python的位置which python/usr/bin/python 尝试在linux中运行python 要修改python代码，在头上增加 # -*- coding: utf-8 -*-,不然会报错 f = open(r'/opt/module/flume-1.7.0/jdda 阅读全文
posted @ 2022-03-14 23:07
不咬牙
阅读(175)
评论(0)
推荐(0)
摘要：
今天做了大数据测试，有很多小知识的学习 有比较值得注意的事情， 在使用sqoop的时候需要开启hdfs集群 还简单学习使用了tableau 这个可视化工具，并没有想象中好使用 在用python wordcloud做中文词云的时候，需要在属性中加入字体的属性值，不然会乱码，变成方块，font_path 阅读全文
posted @ 2022-03-13 22:07
不咬牙
阅读(697)
评论(0)
推荐(0)
摘要：
我想收集本地的txt文件到hdfs，这是我的配置文件 a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = spooldira1.sources.r1.spoolDir = /opt/module/flume-1.7.0/d 阅读全文
posted @ 2022-03-12 17:06
不咬牙
阅读(846)
评论(0)
推荐(0)
摘要：
bin/flume-ng agent --name b1 --conf conf --conf-file conf/kafka-flume-hdfs.conf -Dflume.root.logg=INFO,LOGFILE 最后得出是命令的问题 这样来写命令 好像还需要配置hadoop的可以压缩格式 阅读全文
posted @ 2022-03-12 12:36
不咬牙
阅读(8)
评论(0)
推荐(0)
浙公网安备 33010602011771号