2026年2月15日
编写 MapReduce 程序清洗信件内容数据
摘要： 项目结构 text LetterCleaning/ ├── src/main/java/com/letter/cleaning/ │ ├── LetterCleaner.java # 主清洗程序 │ ├── LetterMapper.java # Mapper类 │ ├── LetterReduce 阅读全文
posted @ 2026-02-15 20:19 曹明阳 阅读(1) 评论(0) 推荐(0)
反爬情况
摘要： IP封锁 现象：返回 403、429 或超时 解决：使用代理IP池，轮换IP；增加请求间隔 User-Agent检测 现象：提示“请使用正常浏览器” 解决：随机更换 User-Agent（如使用 fake-useragent） 请求频率限制 现象：请求几次后被封 解决：控制请求频率，添加随机延时（如 阅读全文
posted @ 2026-02-15 20:03 曹明阳 阅读(1) 评论(0) 推荐(0)
通用爬虫
摘要： python import requests import time import random import csv import os from bs4 import BeautifulSoup from urllib.parse import urljoin import logging fr 阅读全文
posted @ 2026-02-15 19:59 曹明阳 阅读(1) 评论(0) 推荐(0)
如何用Spark进行基本的数据处理
摘要： 在开始之前，确保你已经安装了PySpark，这是Spark的Python API。以下是一段简单的代码，用于加载数据并进行简单的转换操作： from pyspark.sql import SparkSession # 创建Spark会话 spark = SparkSession.builder.ap 阅读全文
posted @ 2026-02-15 19:48 曹明阳 阅读(1) 评论(0) 推荐(0)
2026年2月14日
Java 模拟 Spark 数据处理
摘要： import java.util.Arrays; import java.util.List; import java.util.stream.Collectors; public class SparkSimulation { public static void main(String[] ar 阅读全文
posted @ 2026-02-14 21:25 曹明阳 阅读(2) 评论(0) 推荐(0)
2026年2月13日
使用Python模拟Spark数据处理
摘要： 在Python中，我们可以使用pyspark库来模拟Spark的行为。以下是一个简单的代码示例，展示了如何使用Python来模拟Spark对数据的处理。 from pyspark.sql import SparkSession from pyspark.sql.functions import co 阅读全文
posted @ 2026-02-13 23:32 曹明阳 阅读(3) 评论(0) 推荐(0)
2026年2月12日
使用VMware虚拟机安装Linux系统并配置Spark环境
摘要： 作为一名学生，我最近在学习大数据处理技术。在这个过程中，我选择了使用VMware虚拟机来安装Linux系统，并配置了Spark环境来运行Python代码进行数据处理。以下是我的基本步骤和一些代码示例。 首先，我下载了Ubuntu Linux的ISO文件，并在VMware中创建了一个新的虚拟机。我选择 阅读全文
posted @ 2026-02-12 14:36 曹明阳 阅读(2) 评论(0) 推荐(0)
2026年2月11日
Scala编程：创建一个简单的随机数猜数游戏
摘要： 在这个游戏中，程序会生成一个1到100之间的随机数，玩家需要猜测这个数字。程序会根据玩家的输入给出提示，直到猜中为止。 import scala.util.Random object GuessNumberGame { def main(args: Array[String]): Unit = { 阅读全文
posted @ 2026-02-11 20:38 曹明阳 阅读(3) 评论(0) 推荐(0)
2026年2月10日
Scala语言：基本语法、数据结构和控制结构
摘要： 基本语法 Scala支持多种编程范式，包括面向对象和函数式编程。它使用花括号{}来定义代码块，并使用分号;来分隔语句。 val name = "Scala" println(s"Hello, $name!") 数据结构 Scala提供了丰富的数据结构，如列表（List）、元组（Tuple）和集合（S 阅读全文
posted @ 2026-02-10 10:00 曹明阳 阅读(1) 评论(0) 推荐(0)
2026年2月7日
年前手工活4
摘要： 这段时间活儿干了不少，静下来想想，却又觉得没攒下什么“正经”学问。手上磨的、身上累的，都像是碎碎的日常，摊不开也收不拢。可转过念一琢磨，厨房里倒是一天天开阔起来了，菜确实做了不少，锅铲掂得越来越顺手。往远了说，以后哪怕走到哪儿，总归是饿不着自己了。 做过一次可乐鸡翅，甜咸的汁熬得稠稠的，亮晶晶地裹住 阅读全文
posted @ 2026-02-07 19:08 曹明阳 阅读(2) 评论(0) 推荐(0)
下一页