爱上编程技术

摘要： T3出行的杨华和张永旭描述了他们数据湖架构的发展。该架构使用了众多开源技术，包括Apache Hudi和Alluxio。在本文中，您将看到我们如何使用Hudi和Alluxio将数据摄取时间缩短一半。此外，数据分析人员如何使用Presto、Hudi和Alluxio让查询速度提高了10倍。我们基于数据编 阅读全文

摘要： 背景 我们已经看到，人们更热衷于高效可靠的解决方案，拥有为数据湖提供应对突变和事务处理的能力。在数据湖中，用户基于一组数据生成报告是非常常见的。随着各种类型的数据汇入数据湖，数据的状态不会一层不变。需要改变各种数据的用例包括随时间变化的时序数据、延迟到达的时延数据、平衡实时可用性和回填、状态变化的数 阅读全文

摘要： Flink 架构概览 Flink 架构概览–Job 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，它会生成一个JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 阅读全文

摘要： 方案1 直接安装程序执行即可 环境：Ubuntu 16.04.7 LTS (GNU/Linux 4.4.0-210-generic x86_64) apt install iperf 1）TCP测试 服务器执行：#iperf -s -i 1 -w 1M 客户端执行：#iperf -c host -i 阅读全文

摘要： [xxx~]# wget https://raw.githubusercontent.com/sivel/speedtest-cli/master/speedtest.py [xxx~]# python speedtest.py Retrieving speedtest.net configurat 阅读全文

摘要： frp 需要一直运行，不想写守护服务，就直接使用 PM2 进行了管理。 PM2 管理命令行程序可以使用pm2 start -x './frps' -n frp -- -c ./frps.ini来启动，注意 -x 是说明程序是可以执行程序，-- 后边的参数是传给命令行。 PM2 管理 Python 类 阅读全文

摘要： COVID-19数据集 本数据集记录了2019年12月01日至2020年7月24日，每日精确到国家、省、市的确诊、疑似、治愈、死亡人数。2020年02月07后数据从今日头条接口采集，每小时57分自动更新。国家、省级历史数据会根据卫健委数据更新，市级历史数据与卫健委数据有差异（略小于）。提供CSV、J 阅读全文

摘要： 说明：Ubuntu 18.04前几天发布了，改变挺大的，内核也直接升到了正式版4.15，而BBR内核要求为4.9，也就是说满足了，所以我们不需要换内核就可以很快的开启BBR，这里简单说下方法。 提示：Ubuntu 18.10依然可以用该方法开启BBR，而对于19.04和20.04、貌似官方直接给你开 阅读全文

摘要： 1，查看操作系统版本 :~$ cat /proc/version Linux version 5.0.21-****** (gcc version 7.5.0 (Ubuntu 7.5.0-3ubuntu1~18.04)) #4 SMP Thu Dec 3 13:11:27 UTC 2020 2，查看 阅读全文

摘要： 1.在C:\Users\用户名\ 下创建 pip 文件夹 2.在文件夹内创建pip.ini 文件, 添加如下内容： [global] timeout = 6000 index-url = https://pypi.tuna.tsinghua.edu.cn/simple trusted-host = 阅读全文