摘要： Spark基本架构图如下： Client：客户端进程，负责提交作业。 Driver：一个Spark作业有一个spark context，一个Spark Context对应一个Driver进程，作业的main函数运行在Driver中。Driver主要负责Spark作业的解析，以及通过DAGSchdul 阅读全文

摘要： 基本架构 Kafka分布式消息队列的作用： 解耦：将消息生产阶段和处理阶段拆分开，两个阶段互相独立各自实现自己的处理逻辑，通过Kafka提供的消息写入和消费接口实现对消息的连接处理。降低开发复杂度，提高系统稳定性。 高吞吐率：kafka通过顺序读写磁盘提供可以和内存随机读写相匹敌的读写速度，灵活的客 阅读全文

摘要： 今天协助排查异常数据，发现是如下类似代码产生的： to_date(col_name,'yyyymmdd')，其中col_name是date类型。 这个代码运行后，结果是：2018-11-16的date类型数据转换后变成了2017-11-01。 查阅官方文档： https://www.postgres 阅读全文

摘要： 需求： 商家入口： 1、商品列表永久保存（暂时使用存储在文件，也可以使用sqlite）里。 2、商家可以增加商品，也可以修改商品价格 买家入口： 1、购物车信息永久保存，暂时使用存储在文件，也可以使用sqlite。 2、信息包括余额以及已经购买的商品的数量。 商家代码： 买家代码： 阅读全文

摘要： #!/usr/bin/env python #Author:windtalker import os, getpass import sqlite3 from time import ctime print(ctime()) conn = sqlite3.connect('usercheck.db') cursor = conn.cursor() # is_exist = cursor.ex... 阅读全文

摘要： 看了几个同学有关三级菜单的实现，都是通过一级一级输出，是较为过程的实现。另外如果菜单（树形结构）更多级这样处理起来就比较麻烦了。 可以使用python强大的列表和字典，实现的更优美或简洁一些： 注：复制代码需谨慎，如有错误自行修正 阅读全文

摘要： cellcli [port_number] [-n] [-m] [-xml] [-v | -vv | -vvv] [-x] [-e command] The following table lists the options that can be used with the CellCLI com 阅读全文