Loading...

摘要: 探索浏览器内部 本章看点 1. 浏览器如何解析网址; 2. 浏览器请求消息内容; 3. 向 DNS 服务器查询 Web 服务器的 IP 地址; 4. DNS 服务器接力查询; 5. 浏览器委托操作系统将消息发送给 Web 服务器的过程; 1 生成 HTTP 请求消息 1.1 URL 的种类 虽然我们 阅读全文
posted @ 2023-11-26 10:09 Penn00 阅读(62) 评论(0) 推荐(0) 编辑
摘要: 1. 问题描述 有些网关接入了Cloudflare的人机验证组件,当使用Playwright等自动化工具爬取的时候,会被人机验证阻拦。阻断的效果如下: 2. 问题原因 Selenium、Puppeteer、Playwright等自动化控制工具的实现都会遵循一个规范,就是使用这些工具的时候,获取 na 阅读全文
posted @ 2023-11-23 20:58 Penn00 阅读(2041) 评论(0) 推荐(0) 编辑
摘要: 问题描述 在 VMware 中安装了 CentOS7 后,出现以下问题: 无 eth0 网卡信息:通过 ifconfig 命令查看网卡信息,只看到 ens33 和 lo 两个网卡,没有教程中的 eth0 网卡; ens33 网卡无 IP 地址:通过 ifconfig 命令看到的网卡信息中,ens33 阅读全文
posted @ 2022-09-26 20:26 Penn00 阅读(805) 评论(0) 推荐(0) 编辑
摘要: Spark简介 Spark Streaming基于Spark Core实现了可扩展、高吞吐和容错的实时数据流处理。现在支持的数据源有Kafka、Flume、Twitter、ZeroMQ、Kinesis、HDFS、S3和TCP socket。处理后的结果可以存储到HDFS、Database或者Dash 阅读全文
posted @ 2022-01-13 19:52 Penn00 阅读(324) 评论(0) 推荐(0) 编辑
摘要: JobClient JobClient是Flink程序和JobManager交互的桥梁,主要负责接收程序、解析程序的执行计划、优化程序的执行计划,然后提交执行计划到JobManager。 程序解析 Flink会将程序中每一个算计解析成Operator,然后按照算子之间的关系,将operator组合起 阅读全文
posted @ 2022-01-13 19:32 Penn00 阅读(477) 评论(0) 推荐(0) 编辑
摘要: 核心概念 Job相关 Job 负责将Transformation组织在一起进而完成某一工作,通常我们需要把一个大的任务分解成几个逻辑上隔离的Job,当这几个Job都完成了,也就说明这项任务完成了。 Job Entry Job Entry是Job内部的执行单元,每一个Job Entry用于实现特定的功 阅读全文
posted @ 2022-01-09 09:19 Penn00 阅读(884) 评论(0) 推荐(0) 编辑
摘要: 一、概述 1. 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。 2. 架构设计 DataX本身作为离线数据同 阅读全文
posted @ 2022-01-09 09:15 Penn00 阅读(1782) 评论(0) 推荐(0) 编辑
摘要: 问题描述 将元素的 padding、margin、border都设置为 0 后,两个元素之间依然有间距。 代码如下: html <div class="container clearfix"> <main> ... </main> <div class="sidebar"> ... </div> < 阅读全文
posted @ 2021-04-03 11:05 Penn00 阅读(1142) 评论(0) 推荐(0) 编辑
摘要: 代码 <template> <div id="app"> <div class="titleBar"> <div class="title"> <div class="logo"> <img src="@/assets/logo.png" /> </div> <div class="txt">My 阅读全文
posted @ 2021-01-24 11:20 Penn00 阅读(2636) 评论(0) 推荐(0) 编辑
摘要: 问题描述 报错内容如下: yarn run v1.22.10 $ vue-cli-service electron:serve INFO Starting development server... 98% after emitting CopyPlugin ERROR Failed to comp 阅读全文
posted @ 2021-01-23 18:23 Penn00 阅读(11193) 评论(0) 推荐(0) 编辑