01 2020 档案
随机-byte编码
摘要:刚遇到一批bytes数值,python,有的是gbk的有的是utf-8的,于是用这种方式处理了一下,比较快 if isinstance(rs_list[i], bytes):try: rs_list[i] = rs_list[i].decode('utf-8') except Exception a 阅读全文
posted @ 2020-01-14 19:59 WU大雄 阅读(228) 评论(0) 推荐(0)
dataframe骚操作,待续
摘要:1.加入随意一行 配合 df_pivoted.index.tolist()获取所有索引食用更佳 df_pivoted.index.append(pd.Index(['接收请求'])) df_pivoted.loc['接收请求', '汇总'] = 0 阅读全文
posted @ 2020-01-14 10:09 WU大雄 阅读(149) 评论(0) 推荐(0)
oracle中的rowid
摘要:用navicat工具select半天无果,最后灵感一出用了as select ROWID as id, c.* from table where rownum <=5; 这样就可以了。 阅读全文
posted @ 2020-01-07 09:43 WU大雄 阅读(351) 评论(0) 推荐(0)
hadoop从入门到放弃(2)docker下载hadoop镜像
摘要:1.准备步骤 docker search找下hadoop 然后下载 docker pull sequenceiq/hadoop-docker 用docker images可以查看到镜像 然后启动 docker run -it -p 8088:8088 sequenceiq/hadoop-docker 阅读全文
posted @ 2020-01-03 15:39 WU大雄 阅读(1591) 评论(0) 推荐(0)
hadoop从入门到放弃
摘要:在此之前,分享知乎上看到的关于hadoop不错的东西 作者:蛙课网 链接:https://www.zhihu.com/question/333417513/answer/742465814 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 1、Hadoop是什么1.1 阅读全文
posted @ 2020-01-03 15:08 WU大雄 阅读(346) 评论(0) 推荐(0)
批处理和流处理
摘要:参考:https://www.jianshu.com/p/5cc07eae1a0c 1.相关框架 仅批处理框架: Apache Hadoop 仅流处理框架: Apache Storm Apache Samza 混合框架: Apache Spark Apache Flink 2.批处理系统 批处理在大 阅读全文
posted @ 2020-01-03 14:25 WU大雄 阅读(1691) 评论(0) 推荐(0)