jiazq

摘要： 今天继续学习spark，如何进行dataFrame的转换 1. 什么是DataFrame DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看做由series组成的字典（共用同一个索引） 2 阅读全文

摘要： 今天新配置了一台虚拟机，准备进行基于docker的直播平台搭建 设置主机名 hostnamectl set-hostname node8 修改配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet"PROXY_METHOD 阅读全文

摘要： 今天学习爬虫，了解了scrapy 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目 明确目标 （编写items.py）：明确你想要抓取的目标 制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页 存储内容 （pipelines.py）：设计管道 阅读全文

摘要： 今天继续学习spark 阅读全文

摘要： 今天继续学习一个直播平台的搭建 阅读全文

摘要： 今天休息 阅读全文

摘要： 今天继续做spark实验，学习rdd编程 1、RDD转换操作 filter(func)：筛选出满足函数func的元素，并返回一个新的数据集 map(func)：将每个元素传递到函数func中，并将结果返回为一个新的数据集 flatMap(func)：与map()相似，但每个输入元素都可以映射到0或多 阅读全文

摘要： 今天学习spark，进行spark的寒假实验 阅读全文

摘要： 今天继续学习python爬虫，学习动态网页和静态网页爬取的不同方法 1. 静态网页爬取： 静态网页的内容在服务器上就是完整的 HTML 页面，因此爬取相对简单。 爬取方法： 直接请求页面： 使用爬虫工具、库（如Beautiful Soup、Scrapy等）或者简单的HTTP请求库（如Requests 阅读全文

摘要： 今天休息，看科四的题 阅读全文