上一页 1 2 3 4 5 6 7 8 9 10 ··· 13 下一页
摘要: 当使用pandas处理大规模数据时,内存使用量可能会迅速增加,导致服务器宕机。为了解决这个问题,可以采用以下几个优化方法: 数据类型优化: 使用更小的数据类型,例如将int64转换为int32或int16,节省内存空间。 对于字符串类型,尽量使用'category'类型,它会使用更少的内存。 分块处 阅读全文
posted @ 2023-11-22 10:21 lytcreate 阅读(411) 评论(0) 推荐(0)
摘要: Python 是一种解释型语言,它的执行效率通常比编译型语言低,这主要有以下几个原因: 解释型语言的性质:Python 是解释型语言,这意味着它在运行时需要解释器来逐行翻译并执行代码。这个过程中,相对于编译型语言(如 C++ 或 Java),会产生额外的性能开销。 动态类型:Python 是动态类型 阅读全文
posted @ 2023-11-21 15:17 lytcreate 阅读(628) 评论(0) 推荐(0)
摘要: # 随机位置随机颜色的点 <script> setInterval(function() { var dot = document.createElement("div"); dot.style.position = "fixed"; dot.style.top = Math.random() * 阅读全文
posted @ 2023-11-16 10:55 lytcreate 阅读(59) 评论(0) 推荐(0)
摘要: 1 阅读全文
posted @ 2023-11-16 00:44 lytcreate 阅读(24) 评论(0) 推荐(0)
摘要: 现象:创建了一个shell脚本任务,使用crontab进行任务调度,其中hive执行为: hive -f /opt/test.sql > /opt/test.log 2>&1 任务调度起来后一直报错提示: /usr/bin/hive:行3: /parcels/sbin/configure.sh: 没 阅读全文
posted @ 2023-11-15 10:22 lytcreate 阅读(73) 评论(0) 推荐(0)
摘要: import json import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.30 阅读全文
posted @ 2023-11-14 11:19 lytcreate 阅读(147) 评论(0) 推荐(0)
摘要: 提示[tips]仅适用于2018-01-01以后的中国节假日查询, 包含法定节假日及周末 安装[install]pip install holiday-chn 使用[use]import holiday_chn 判断传入日期是否为节假日[Determine whether the incoming 阅读全文
posted @ 2023-11-14 10:38 lytcreate 阅读(242) 评论(0) 推荐(0)
摘要: 说明[tips] 提供mysql数据库的分区表最新分区查询,支持分区字段为DATE或TO_DAYS(date_str)类型的数据表新建分区,依赖库包括:"pandas", "pymysql", "sqlalchemy". [Provide the latest partition query for 阅读全文
posted @ 2023-11-14 10:34 lytcreate 阅读(72) 评论(0) 推荐(0)
摘要: <script type="text/javascript" src="//rf.revolvermaps.com/0/0/6.js?i=5xogd34ja9n&m=7&c=ff0000&cr1=ffffff&f=arial&l=0&bv=100&lx=660&ly=440" async="asyn 阅读全文
posted @ 2023-11-13 18:32 lytcreate 阅读(41) 评论(0) 推荐(0)
摘要: Celery是一个基于分布式消息传递的异步任务队列/作业队列,专注于实时处理,同时也支持任务调度。Celery的架构由三部分组成:消息中间件(broker)、任务执行单元(worker)和结果存储(backend)。 消息中间件:Celery本身不提供消息中间件,而是依赖于第三方提供的消息中间件来进 阅读全文
posted @ 2023-11-13 16:22 lytcreate 阅读(401) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 7 8 9 10 ··· 13 下一页