一颗蛋50斤

摘要： netcat-to-kafka.conf 内容 # Name a1.sources = r1 a1.sinks = k1 a1.channels = c1 #Source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.so 阅读全文

摘要： flume 的安装非常简单，只需要解压即可。软件见下面链接 链接：https://pan.baidu.com/s/1E_qFceaD2GxOgMAPt7pyJg 提取码：ldd0 用 tar 解压，我这里已经解压了，我为了方便已经将名字改成了不带版本号的 配置环境变量，当然不配置也是可以的，不配置环 阅读全文

摘要： 运行后会在运行的目录下面建立一个建立一个笔趣阁的目录，小说会一每个目录分类，每部小说的章节都会在对应的小说目录里面 import time import requests from lxml import etree import os novel_name = "笔趣阁" novel_length 阅读全文

摘要： 在使用 scrapy 之前，我们先要用 pip 安装这个模块 pip install scrapy 安装好之后我们就可以建立爬虫项目了，在终端建立项目爬虫 scrapy startproject myspider 其中 myspider 是爬虫项目的名称 cd 进入这个项目 cd myspider 阅读全文

摘要： 在写爬虫的时候，我们会遇到有的网页链接是不规则的。今天我写爬虫练习的时候，就遇到了这个情况。后来我发现用 lxml 可以很好的去出链接，然后我灵光一闪，就去试了试，果然。把每次找到的链接传给一个成员变量保存，这样就可以直接在下次爬取的时候调用这个变量去访问下一个要爬取的页面了 # -*- codin 阅读全文

摘要： # -*- coding = utf-8 -*- # @Time : 2021/10/29 9:08 # @Author : 海绵摆摆嘉心糖 # @File : 03.学生管理系统.py # @Software : PyCharm import os # 定义一个存储学生的列表 stu_list = 阅读全文

摘要： 类和对象： 1-类： 1.成员变量 2.成员方法 3.权限修饰符 4.局部变量及有效范围 5.this关键字 2-类的构造方法 3-静态成员： 1.静态变量 2.静态方法 4-类的主方法 5-对象： 1.创建 2.访问属性和行为 3.引用 4.销毁 类——成员变量 在java中，对象的属性也成为成员 阅读全文

摘要： 1 import java.util.Scanner; 2 3 /** 4 * @author 海绵摆摆嘉心糖 5 * @Classname Calendar 6 * @Description 万年历的效果实现，定义的初始月份为2001年一月1日 星期一 7 * @Date 2021/9/24 9: 阅读全文

摘要： 此文档为hadoop2.7和java8的安装。此配置只是用来学习大数据时所撰写 这里建立完全分布式集群用三台主机，主机名和IP分别如下 hadoop111A192.168.241.111 hadoop222B 192.168.241.112 hadoop333C 192.168.241.113 进入 阅读全文

摘要： 本文内容不乏对各大佬的案例借鉴，侵删。 本次实验用到的有虚拟机，Xshell，Hadoop压缩包和jdk压缩包 hadoop111A:192.168.241.111 hadoop222B:192.168.241.112 hadoop333C:192.168.241.113 HDFS NameNode 阅读全文