突破%

 

2023年11月13日

问题1:py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD

摘要: 描述: py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD 在edap上调试pyspark代码,调用df.repartition 或者rdd.mapP 阅读全文

posted @ 2023-11-13 14:43 突破% 阅读(766) 评论(0) 推荐(0)

2022年6月21日

python机器学习之常用库

摘要: 常用库 一、numpy 二、pandas 三、matplotlib 四、seaborn 五、scipy 六、Scikit-Learn 阅读全文

posted @ 2022-06-21 01:19 突破% 阅读(17) 评论(0) 推荐(0)

python机器学习之基础

摘要: 机器学习的基础 一、基础 1、机器学习(ML)本质上就是让计算机自己在数据中学习规律,并根据所得到的规律对未来数据进行预测,包括如聚类、分类、决策树、贝叶斯、神经网络、深度学习(Deep Learning)等算法。 2、监督学习:从有标签的训练数据中学习模型,然后对某个给定的新数据利用模型预测它的标 阅读全文

posted @ 2022-06-21 01:18 突破% 阅读(42) 评论(0) 推荐(0)

python之方向选择

摘要: python学习的方向 机器学习、 深度学习、 自然语言处理、 推荐系统、 最终人工智能 1、要掌握代码思维,让计算机明白,你希望它干啥。-- 笨办法多敲代码,多读代码 2、掌握工程搭建 3、掌握数据库 4、熟练掌握数据etl 5、掌握机器学习的专业知识 6、有业务目标 持之以恒,向目标进击。 阅读全文

posted @ 2022-06-21 01:14 突破% 阅读(10) 评论(0) 推荐(0)

python后端框架之Flask

摘要: Flask 一、环境搭建与项目创建 1、安装 pip install flask 2、项目创建 from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): return 'Hello World!' 阅读全文

posted @ 2022-06-21 01:10 突破% 阅读(104) 评论(0) 推荐(0)

python后端框架之Django

摘要: Django 一、环境搭建 会这两种就好了,感觉就是区别在于路由的设置,别的变化不大。 Django 1.11.x 支持 Python 2.7, 3.4, 3.5 和 3.6(长期支持版本 LTS) Django 2.0.x 支持 Python 3.4, 3.5 和 3.6 (注意,不再支持 Pyt 阅读全文

posted @ 2022-06-21 01:10 突破% 阅读(55) 评论(0) 推荐(0)

python爬虫之自动化工具selenium

摘要: 自动化工具 selenium #selenium pip install selenium #coding:utf8 from selenium import webdriver import time import pymongo class JdSpider(object): def __ini 阅读全文

posted @ 2022-06-21 01:06 突破% 阅读(32) 评论(0) 推荐(0)

python爬虫之scrapy框架

摘要: 爬虫框架 Baidu # 项目文件夹 ├── Baidu # 用来装载项目文件的目录 │ ├── items.py # 定义要抓取的数据结构 │ ├── middlewares.py # 中间件,用来设置一些处理规则 │ ├── pipelines.py # 管道文件,处理抓取的数据 │ ├── s 阅读全文

posted @ 2022-06-21 01:05 突破% 阅读(20) 评论(0) 推荐(0)

python爬虫之基础

摘要: 爬虫基础知识 python基础 1、Python 编写爬虫程序的流程: 先由 urllib 模块的 request 方法打开 URL 得到网页 HTML 对象。 -- 请求网页 使用浏览器打开网页源代码分析网页结构以及元素节点。 -- 获取数据 通过 Beautiful Soup 或则正则表达式提取 阅读全文

posted @ 2022-06-21 01:04 突破% 阅读(51) 评论(0) 推荐(0)

python自动化之excel读取

摘要: python操作excel 一、excel包分类 xlrd 读 xlrt 写 xlutils 修改 xlwings 全能 openpyxl 读写改 xlswriter 写 win32com 全能 datanitro pandas 读写 二、最常用的包样例 选择豪华大礼包:pip install xl 阅读全文

posted @ 2022-06-21 01:03 突破% 阅读(24) 评论(0) 推荐(0)

导航