2022 年 3月随笔档案 - 戈瑾

《架构之美》读书笔记四

摘要：第四章记忆存留，采用开发系统来将电子转化成墨水原子和纸张的例子来引出这一章要讲的架构。功能和约束是影响系统架构的两方面关键因素。在研究架构的每一个关注点时，需要注意它们是从不同方面对系统进行研究，将一个多维动态的系统惊醒建华，找出所需架构的结构，保持关注点分离，坚持增量式设计和开发，平衡各方面的需求阅读全文

posted @ 2022-03-25 16:24 戈瑾阅读(48) 评论(0) 推荐(0)

《架构之美》读书笔记三

摘要：第三章伸缩性架构设计，书中采用了Darkstar的项目为例，这是一个虚拟游戏项目，所以该项目的服务器必须拥有较强的伸缩性，它受在线人数、时间、热度等多方面的影响，在它负载的时候应该适时进行变化服务器的数量和连接方式以应对不同的需要。游戏的架构和实现直接影响到游戏的性能和游戏玩家的体验，所以对整体架构阅读全文

posted @ 2022-03-20 16:24 戈瑾阅读(45) 评论(0) 推荐(0)

spark项目应用测试试卷（二）

摘要：3、数据统计：生成Hive用户评论数据：（15分）（1）在Hive创建一张表，用于存放清洗后的数据，表名为pinglun，（创建数据表SQL语句），创建成功导入数据截图：在hive中建表： create table pinglun ( id string, guid string, conte 阅读全文

posted @ 2022-03-18 19:58 戈瑾阅读(325) 评论(0) 推荐(0)

spark项目应用测试（一）

摘要：1、数据采集（要求至少爬取三千条记录，时间跨度超过一星期）：（10分）要求Python 编写程序爬取京东手机的评论数据，放入到csv中。 1 import csv 2 import urllib.request 3 import json 4 import time 5 import xlwt 阅读全文

posted @ 2022-03-17 16:16 戈瑾阅读(344) 评论(0) 推荐(0)

辩论赛——人工智能弊大于利（四辩）

摘要：很高兴与对方辩友进行这场友谊辩论赛,我想在继续我总结之前，先指出对方辩友在论证上的几个关键错误。首先，对方辩友一而再再而三的误解我方观点，丝毫没弄清“人工智能弊端”与“人工智能弊大于利”这完全两个方面的话题，虽然只差别几个字，但跨度是非常大的。对方逻辑：人工智能目前带来很多利处，所以证明利大于弊。阅读全文

posted @ 2022-03-10 21:19 戈瑾阅读(14117) 评论(0) 推荐(1)

《架构之美》读书笔记二

摘要：第二章现代软件神话通过两个例子来进行架构的说明。一、混乱大都市微观层面特点： 1. 没有统一的概念将不同的部分组织起来 2. 代码风格不一致 3. 控制流无法预测，即控制流的流向很复杂 4. 额外的数据缓存，其目的让数据停留在更方便的地方（但是，容易造成数据的不一致性，维护或扩展不方便） 5. 阅读全文

posted @ 2022-03-08 16:23 戈瑾阅读(36) 评论(0) 推荐(0)

Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING

摘要：遇到问题：今天在启动kafka后创建topic时遇到如下错误： [hadoop@node01 kafka_2.11-2.4.1]$ bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --parti 阅读全文

posted @ 2022-03-06 17:17 戈瑾阅读(2237) 评论(0) 推荐(0)

安装flume

摘要：官网下载地址：http://flume.apache.org/download.html 1. 上传 flume 包到soft目录中, 进入/kkb/install目录解压到insatll目录 tar -zxvf /kkb/soft/apache-flume-1.9.0-bin.tar.gz 2. 阅读全文

posted @ 2022-03-05 20:56 戈瑾阅读(30) 评论(0) 推荐(0)

《架构之美》读书笔记一

摘要：什么是架构？架构是一组结构，来源于一组设计规则，能减少复杂性。常见定义是，每种结构由各种类型的组件和关系组成，它们如何组合、相互调用、通信、同步、及其其他交互。架构存在的目的是什么？确保利益相关人员的关注点能够得到满足，而在构想、计划、构建和维护系统时，系统架构能够处理复杂性。为了对付复杂性阅读全文

posted @ 2022-03-01 16:23 戈瑾阅读(39) 评论(0) 推荐(0)