数据密集型应用系统设计 发表于 2023-03-25 | 分类于 ---书籍 | 购买链接 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384DDIA2023-03-25 周六 20.302023-03-26 周日 晚上12页--------------------------------------------2023-03-27 周一08.18 24页(可靠,可扩展,)--------------------------------------------2023-03-29 周三07.51 35页(可维护,抽象降低复杂性 sql/nosql)--------------------------------------------2023-03-30 周四 06.3008.10 71页(层次/关系 文档/图)早期 层次关系-多对多文档-无关联图-都可能关联--------------------------------------------2023-03-31 周五 06.2008.22 86页(bashDB,hash,SSTable/LSM,B,)--------------------------------------------2023-04-01 周六 早上88页(聚簇索引,二级索引,联合索引,多维索引)--------------------------------------------2023-04-03 周一 06.5307.43 110页OLTP 大量请求 少量数据(用户)OLAP 大量数据 索引效率低(数据分析师)列存储 位图编码 按位或物化视图 自动更新 写磁盘--------------------------------------------2023-04-04 周二 07.0308.17 145页(序列化/反序列化)--------------------------------------------2023-04-10 周一07.50 151页(复制)同步复制/异步复制从失效-继续追赶主失效-重新选主--------------------------------------------2023-04-12 周三155页--------------------------------------------2023-04-13 周四 06.4008.06 175页(主从复制/多节点同步)--------------------------------------------2023-04-18 周二 17.19(数据分区 区间/哈希,文档 本地索引/词条全局索引)18.49 211页--------------------------------------------2023-04-19 周三 09.1517.01 303页(事务-写倾斜)(不可靠-网络/时钟/进程,不能依靠自身判断状态)--------------------------------------------2023-04-21 周五 09.0214.30 363页(一致性/共识)(主挂了:1等主恢复 2人为选新主 3共识算法选新主)(一致性:多副本看起来像是单副本,所有操作原子运行,像是单线程操作变量一样。)17.54 413页 (map/reduce key join)(中间状态存储-文件目录,检查点存储)(批处理-有界,流处理-无界)--------------------------------------------2023-04-24 周一 09.1514.42 461页(第11章 流处理)(复杂是简单演化而来的)(批处理 有界,流处理 无界)(kafka server 主节点,kafka consumer 从节点)(不变事件 不会删除/修改:财务审计;添加删除购物车,分析)(删除困难,数据副本存在于多个系统)(流不会结束,流用于警报)(流时间窗口,分析)(微批 小开销,大延迟)(流容错,状态发kafka/hdfs)--------------------------------------------2023-04-25 周二 08.5510.53 510页(本书完)技术永远在不断发展,我认为经常质疑现状是非常重要的。整整又一个月,如果每一天都坚持会更快,后面感觉多余的话好多,