数据库基础

三级模式-两级映像

内模式：管理如何存储物理的数据，对应具体物理存储文件。
模式：又称为概念模式，就是我们通常使用的基本表，根据应用、需求将物理数据划分成一张张表。
外模式：对应数据库中的视图这个级别，将表进行一定的处理后再提供给用户使用。

外模式-模式映像：是表和视图之间的映射，存在于概念级和外部级之间，若表中数据发生了修改，只需要修改此映射，而无需修改应用程序。
模式-内模式映像：是表和数据的物理存储之间的映射，存在于概念级和内部级之间，若修改了数据存储方式，只需修改此映射，而不需要去修改应用程序。

数据库设计

需求分析-概念结构设计-逻辑结构设计-物理设计

需求分析：数据流图-数据字典-需求说明书
概念结构设计：ER模式
逻辑结构设计：关系模式

ER 模型
数据模式三要素：数据结构、数据操作、数据的约束条件
即实体-联系模型，使用椭圆表示属性、长方形表示实体、菱形表示联系、联系两端需要标注联系类型。
联系类型：1:1 1:N M:N
属性分类：简单属性和复合属性、单值属性和多值属性、NULL 属性、派生属性

关系模型

关系模型也即数据库中常用的表，包括实体的属性、标识出实体的主键和外键

1:1 联系中：联系可以放在任意的两端实体中，作为一个属性。
1:N 联系中：联系可以单独作为一个关系模式，也可以在N端中加入1端实体的主键。
M:N联系中：联系必须作为一个单独的关系模式，其主键是M和N端的联合主键。

关系代数运算
并交差
并：结果是两张表中所有记录数合并，相同记录只显示一次。
交：结果是两张表中相同的记录。
差：S1-S2，结果是S1表中有而 S2 表中没有的记录。
笛卡尔积：S1 * S2，产生的结果包括S1和S2的所有属性列，并且S1中每条记录依次和S2中所有记录合成一条记录，最终属性列为 S1+S2 属性列，记录数为 S1 * S2 记录数。
投影：实际是按条件选择莫关系模式中的某列，列也可以用数字表示。
选择：实际是按条件选择某关系模式中的某条记录。
自然链接：结果显示全部的属性列，但是相同的属性列只显示1次，显示两个关系模式中属性相同且值相同的记录。

函数依赖

给定一个X，能唯一确定一个Y，就称X确定Y，或者说Y依赖于X，例如 Y=X * X 函数。

函数依赖又可扩展一下两种规则：
部分函数依赖：A可确定C，（A，B）也可确定C，（A,B）中的部分（即A）可以确定C,称为部分函数依赖。
传递函数依赖：当A和B不等价时，A可确定B，B可确定C，则A可确定C，是传递函数依赖，若A和B等价，则不存在传递，直接就可确定C。

键于约束

超键：能唯一标识此表的属性的组合。
候选键：超键中去掉冗余的属性，剩余的属性就是候选键。
主键：任选一个候选键，即可作为主键。
外键：其中表中的主键。
主属性：候选键内的属性为主属性，其他属性为非主属性。

实体完整性约束：即主键约束，主键值不能为空，也不能重复。
参照完整性约束：即外键约束，外键必须是其他表中已经存在的主键的值，或者为空。
用户自定义完整性约束：自定义表达式约束，如设定年龄属性的值必须在0到150之间。

范式

第一范式1NF：所有属性都不可以再分割为两个或多个分量。
第二范式2NF：当且仅当R是1NF，且每一个非主属性完全依赖主键（不存在部分依赖）时，R就是2NF。比较典型的例子就是候选键是单属性。
第三范式3NF：当且仅当R是2NF，且R中没有非主属性传递依赖于候选键时，R就是 3NF（此时，也不会存在部分依赖）。一般解决办法是拆分传递的非主属性为一个新的关系模式。本质就是主键要直接决定所有非主属性，不能通过非主属性间决定。
BC范式BCNF：R属于BCNF当且仅当其F中每个依赖的解决因素必定包含R的某个候选码。实例如下：
设关系模式 R（S,T,J）,依赖集为 F={SJ->T,T->J}。
画图可以求出其候选键为（S,T）,(S,j)。

模式分解

范式之间的转换一般都是通过拆分属性，即模式分解，将具有部分函数依赖和传递依赖的属性分离出来，来达到一步步优化，一般分为以下两种：

保持函数依赖分解

对于关系模式R，有依赖集F，若对R进行分解，分解出来的多个关系模式，保持原来的依赖集不变，则为保持函数依赖的分解。另外注意要消除掉冗余依赖（如传递依赖）。

无损分解

分解后的关系模式能够还原出原关系模式，就是无损分解，不能还原就是有损。
定理：如果R的分解为P={R1，R2}，F为R所满足的函数依赖集合，分解p具有无损连接性的充分必要条件是 R1∩R2->(R1-R2)或者R1∩R2->(R2-R1）。

事务管理

事务提交commit，事务回滚 rollback。
事务：由一系列操作组成，这些操作，要么全做，要么全不做，拥有四种特性：
原子性（操作）：要么全做，要么全不做。
一致性（数据）：事务发生后数据是一致的，例如银行转账，不会存在A账户转出，但是B账户没收到的情况。
隔离性(执行)：任意事务的更新操作直到成功提交的整个过程对其他事务都是不可见的，不同事务之间是隔离的，互不干涉。
持续性（改变）：事务操作的结果是持续性的。

并发控制

事务是并发控制的前提条件，并发控制就是控制不同的事务并发控制，提高系统效率，并发控制存在三个问题：
丢失更新、不可重复读、读脏数据。

三级封锁协议

X是排它锁：若事务T对数据对象A加上X锁，则只允许T读取和修改A，其他事务都不能再对A加任何类型的锁，直到T释放A上的锁。
S锁是共享锁：若事务T对数据对象A加上S锁，则只允许T读取A，但不能修改A，其他事务只能再对A加S锁（也即能读不能修改）。直到T释放A上的S锁。

一级封锁协议：事务在修改数据R之前必须先对其加X锁，直到事务结束后才释放。可解决丢失更新问题。
二级封锁协议：一级封锁协议的基础上在加上事务T在读数据R之前必须先对其加上S锁，读完后仰即可释放S锁。可解决丢失更新和读脏数据问题。
三级封锁协议：一级封锁协议加上事务T在读取数据R之前先对其加上S锁，直到事务结束才释放。可解决丢失更新、不可重复读、读脏数据。

数据库备份

静态存储：即冷存储，指转储期间不允许对数据库进行任何存取、修改操作。
优点：备份快，容易归档。
缺点：不能按表按用户恢复，只能提供到某一个时间点上的恢复。

动态转储：即热备份，转储期间允许对数据库进行存取、修改操作。
优点：可在表空间或数据库文件级备份，可达到秒级恢复。
缺点：不能出错。

安全备份：备份所有数据。
差量备份：仅备份上一次完全备份之后变化的数据。
增量备份：备份上一次备备份之后变化的数据。
日志文件：利用日志文件撤销事务对数据库的改变。

分布式数据库

分片模式：
水平分片：将表中水平的记录分别存放在不同的地方。
垂直分片：将表中的垂直的列值分别存放在不同的地方。

分布透明性：
分片透明性：用户或应用程序不需要知道逻辑上访问的表具体是如何分块存储的。
位置透明性：应用程序不关心数据存储物理位置的改变。
逻辑透明性：用户或应用程序无需知道局部使用的是那种数据模型。
复制透明性：用户或应用程序不关心复制的数据从何而来。

数据仓库

面向主题、集成不同表、相对稳定，反映历史的变化。

数据挖掘

分析办法：
关联分析、序列分析、分类分析、聚类分析。

商业智能

数据预处理、建立数据仓库、数据分析、数据展现四个阶段。

反规范化技术

作用：增加查询效率。
办法：增加派生性冗余列、增加冗余列，重新组表，分割表。

大数据

特点：大量化、多样化、价值密度低、快速化。