阿布alone

摘要： 1.查看本地请求的代理、 import requests res=requests.get('http://httpbin.org/ip', proxies={'http':'111.177.177.87:9999'}).json() 或者 2.https://httpbin.org/headers 阅读全文

摘要： 代码： import json from pyspark.sql import SparkSession from pyspark import SparkConf def trans_form(data_tuple): """ 对从es读取出来的每一条数据进行格式转换 :param data_tu 阅读全文

摘要： 一.python #!/usr/bin/env python # coding=utf-8 from collections import OrderedDict def meminfo(): '''Return the information in /proc/meminfo as a dicti 阅读全文

摘要： 一.输入重定向 和输出重定向一样，Unix 命令也可以从文件获取输入，语法为： command < file 这样，本来需要从键盘获取输入的命令会转移到文件读取内容。 注意：输出重定向是大于号(>)，输入重定向是小于号(<)。 例如，计算 users 文件中的行数，可以使用下面的命令： wc -l 阅读全文

摘要： 一.字符串 字符串是shell编程中最常用最有用的数据类型（除了数字和字符串，也没啥其它类型好用了），字符串可以用单引号，也可以用双引号，也可以不用引号。单双引号的区别跟PHP类似： 单双引号的区别： 双引号里可以有变量，单引号则原样输出； 双引号里可以出现转义字符，单引号则原样输出； 单引号字串中 阅读全文

摘要： 一.关于解释器 （1）Linux提供的Shell解析器有： [root@iZwz9fdluqx20m1qe0ml4qZ shell_learning]# cat /etc/shells /bin/sh /bin/bash /sbin/nologin /usr/bin/sh /usr/bin/bash 阅读全文

摘要： 一.方法一 def update_data_batch(self,actions): """ 批量更新数据 :param actions: :return: """ item_list=[] for data in actions: dic = { "_index": self.index, "_t 阅读全文

摘要： 一.联集合查询（mysql的跨表查询） 要主要搞清楚那个是主集合，哪个是被查集合 db.主集合.aggregate([ {$lookup: { from: "被查集合", localField: "主集合字段名", foreignField: "被查集合字段名", as: "保存查询的结果字段名” 阅读全文

摘要： 一.分组操作 关键字$group 1.和distinct去重的比较 db.getCollection("2020062401").distinct('姓名') 返回的是一个列表 使用￥group分组 db.getCollection("2020062401").aggregate([ { $grou 阅读全文

摘要： 一.聚合查询就是流式的对数据处理，分成各个阶段 1.当聚合查询只有一个阶段就和find没有差别，如： 如果聚合有至少一个阶段， 那么每一个阶段都是一个字典。 不同的阶段负责不同的事情， 每一个阶段有一个关键字。 有专门负责筛选数据的阶段“$match”， 有专门负责字段相关的阶段“$project” 阅读全文