---

短视頻，自新闻媒体，达人种草1站服务

数据信息储存关键性：

数据信息是公司最关键的资产;

数据信息靠谱性是公司的命根子，1定要确保。

单机版储存基本原理：

储存模块：储存系统软件的启动机，它决策储存系统软件的作用和特性;

模块种类：哈希储存模块、B树储存模块、LSM储存模块

哈希储存模块：根据哈希表构造 ：数字能量数组+链表;适用Create\Update\Delete\任意Read

B树储存模块：根据B Tree完成，适用一条纪录的CURD，适用次序搜索。RDBMS应用较多。

LSM树储存模块：对数据信息的改动增加量储存在运行内存，做到1定标准再大批量升级到硬盘;优点在于大批量写入;缺点在于载入需合拼硬盘和运行内存;

防止运行内存数据信息遗失：改动实际操作写入到CommitLog系统日志。

 

数据信息实体模型：

文档：以文件目录树机构，如linux,mac,windows;

关联型：每一个关联是1个报表，多行构成，每行两列;

键值(Key-Value)：Memcached, Tokey, Redis;

列储存型：Casadra, Hbase;

图型数据信息库：Neo4J, InfoGrid, Infinite Graph

文本文档型：MongoDB, CouchDB

事务管理与高并发操纵：

事务管理4个基础特性：ACID 分子性、1致性、防护性、长久性

高并发操纵：

锁粒度：Process- DB- Table- Row

出示Read高并发，Read不加锁：写时拷贝、MVCC

数据信息修复：根据实际操作系统日志

多机储存基本原理：

单机版储存基本原理在多机储存依然能用;多级别储存根据单机版储存;

数据信息遍布：

遍布在好几个连接点，连接点间负载平衡;

遍布方法：

静态数据：取模、uid%32;

动态性：1致性hash，数据信息飘移难题(A连接点升级前出現常见故障，升级转移到B连接点后A连接点又修复);

拷贝：

遍布式储存好几个副本;确保高靠谱和高能用;Commit Log。

常见故障检验：

心跳体制、数据信息转移、常见故障修复;

FLP定理与设计方案：

FLP Impossiblity(FLP不能能性):

在多线程信息通讯情景，即便仅有1个过程不成功，沒有任何方式能确保非不成功过程做到1致性。

CAP定理与设计方案：

CAP：1致性(Consistency)、能用性(Availabilty)、分区容忍性(Tolerance of work Partition)。

1致性和能用性必须折衷衡量

遍布式储存系统软件必须可以全自动容错机制，也便是说分区容忍性必须确保。

2PC(Two Phase Commit)协议书与设计方案：

用于遍布式事务管理;

两类连接点构成：

融洽者(1个);

事务管理参加者(好几个);

分两环节：

恳求环节：融洽者通告参加者提前准备递交或撤销事务管理，全部参加者都必须决议愿意或不一样意。

递交环节：

收到参加者全部管理决策后，融洽者开展管理决策(递交或撤销);

通告参加者实行实际操作，全部参加者都愿意就递交，不然撤销;

参加者收到融洽者的通告后实行实际操作。

2PC协议书是堵塞式：

事务管理参加者将会产生常见故障

--设定请求超时時间;

协议书者将会产生常见故障

--系统日志纪录、备用融洽者

运用：买卖定单 等;

Paxos协议书与设计方案：

功效：

处理连接点间的1致性难题;

主连接点宕掉，则挑选新连接点;

主连接点常以实际操作系统日志的方式同歩备连接点。

分两种人物角色：建议者(Prpposer)、接纳者(Aeptor);

实行流程：

准许：Proposer推送aept信息给Aepter规定接纳某个建议者;

确定：超1半的Aepter接纳，则建议值起效，Proposer推送acknowledge信息通告全部的Aepter建议起效。

与2PC较为：：

2PC协议书确保好几个数据信息分块上实际操作的分子性;

Paxos协议书确保1个数据信息分块好几个副本之间的数据信息1致性;

Paxos协议书用法：

完成全局性的锁服务或取名和配备服务;

---Apache Zookeeper

将客户数据信息拷贝到好几个数据信息管理中心;

---Google Megastore

数据信息储存层冗余：

好几个副本，完成浏览的高能用性。

怎样完成：

数据信息拷贝：

根据系统日志;

Master-Slave：mysql\MongoDB

Replic Set:MongoDB

双写：

储存层多主对等构造;较为灵便，但数据信息控制模块层成本费较高;

数据信息备份数据：

冷备份数据：

按时将数据信息拷贝到某个储存物质，是传统式的数据信息维护方式;

优势：简易、便宜，技术性难度低;

缺陷：按时存在数据信息不1致;修复数据信息時间长;

热备份数据：

online备份数据;出示更好的高能用性;

多线程热备份数据：

从主储存写入即回到给运用端，由储存系统软件多线程写入别的副本;

同歩热备份数据：

多份数据信息副本写入同歩进行，无主从关系之分;

为提升特性，运用程序流程高并发写入;

回应延迟时间是最慢的那台服务器;

数据信息储存层无效迁移体制：

无效确定：是不是服务器宕机、心跳;

浏览迁移：浏览路由器到非服务器宕机设备;储存数据信息彻底1致;

数据信息修复：主从关系、系统日志;