Spanner要满足的external consistency是指：后开始的事务一定可以看到先提交的事务的修改。所有事务的读写都加锁可以解决这个问题，缺点是性能较差。特别是对于一些workload中只读事务占比较大的系统来说不可接受。为了让只读事务不加任何锁，需要引入多版本。在单机系统中，维护一个递增的时间戳作为版本号很好办。分布式系统中，机器和机器之间的时钟有误差，并且误差范围不确定，带来的问题就是很难判断事件发生的前后关系。反应在Spanner中，就是很难给事务赋予一个时间戳作为版本号，以满足external consistency。在这样一个误差范围不确定的分布式系统时，通常，获得两个事...

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯***站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。NoSQL用途易扩展NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，...

最近面试，还真有一个面试官，问到我之前遇到过的一个线上故障问题解决方案（当面试官说出口时，我暗自庆幸还好我遇到过......），如下。 最近有个上位机获取下位机上报数据的项目，由于上报频率比较频繁且数据量大，导致数据增长过快，磁盘占用多。 为了节约成本，定期进行数据备份，并通过delete删除表记录。 明明已经执行了delete，可表文件的大小却没减小，令人费解 项目中使用Mysql作为数据库，对于表来说，一般为表结构和表数据。表结构占用空间都是比较小的，一般都是表数据占用的空间。 当我们使用 delete删除数据时，确实删除了表中的数据记录，但查看表文件大小却没什么变化。 Mysql数据结构...

1 前言数据恢复的前提的做好备份，且开启 binlog, 格式为 row。如果没有备份文件，那么删掉库表后就真的删掉了，lsof 中还有记录的话，有可能恢复一部分文件，但若刚好数据库没有打开这个表文件，那就只能跑路了。如果没有开启 binlog，那么恢复数据后，从备份时间点开始的数据都没得了。如果 binlog 格式不为 row，那么在误操作数据后就没有办法做闪回操作，只能老老实实地走备份恢复流程。 2 直接恢复直接恢复是使用备份文件做全量恢复，这是最常见的场景 2.1 mysqldump备份全量恢复使用 mysqldump 文件恢复数据非常简单，直接解压了执行 gzip -d backup....

手抖、写错条件、写错表名、错连生产库造成的误删库表和数据总有听说，那么删库之后除了跑路，还能做什么呢，当然是想办法恢复，恢复数据的基础就在于完善的备份策略。 1 关于备份1.1 为什么要备份灾难恢复，数据库在运行过程中，终会遇到各种各样的问题: 硬件故障、Bug 导致数据损坏、由于服务器宕机或者其他原因造成的数据库不可用。除此以外还有人为操作：DELETE 语句忘加条件、ALTER TABLE 执行错表、DROP TABLE 执行错表、黑客攻击，即使这些问题你都还没遇到，但是根据墨菲定律，总会有遇上的时候。回滚，由于某种Bug或系统被黑造成大量的损失，这个时候就需要回滚到某个状态。常见的有区块...

基本步骤1.需求分析——准确了解与分析用户需求2.概念结构设计——对需求而进行综合、归纳与抽象3.逻辑结构设计——将概念结构转换为数据库管理系统所支持的数据模型4.物理结构设计——为逻辑数据模型选取一个适合应用环境的物理结构（存储结构和存取方法）5.数据库实施——编写与调试6.数据库运行和维护——评估、调整和修改 具体实现 需求分析调查情况，确定新系统边界，初步分析建立数据字典数据项——不可再分的数据单位数据结构——数据之间的组合关系数据流——数据结构在系统内传输的路径数据存储——数据结构停留或保存的地方处理过程——描述处理过程的说明性信息 概念结构设计构建E-R模型枚举实体以及实体属性确定实...

从一开始脑海里火光四现，到不断的自我批评，后来也参考了一些团队的经验，我整理了下面的大纲内容。  既然要吃透这个问题，我们势必要回到本源，我把这个问题分为三部分：“千万级”，“大表”，“优化”，也分别对应我们在图中标识的“数据量”，“对象”和“目标”。 我来逐步展开说明一下，从而给出一系列的解决方案。 数据量：千万级 千万级其实只是一个感官的数字，就是我们印象中的数据量大。 这里我们需要把这个概念细化，因为随着业务和时间的变化，数据量也会有变化，我们应该是带着一种动态思维来审视这个指标，从而对于不同的场景我们应该有不同的处理策略。 ①数据量为千万级，可能达到亿级或者更高 通常是一些数据流水，日...

一、环境1、系统环境 系统 IP 主机名 说明 server_idcentos6.7 MasterIP master 数据库：主 177centos6.7 SlaveIP slave 数据库：从 1482、软件环境 软件 版本 安装方式 说明pt工具 3.0.4 编译安装 这是一个综合工具包，包含很多pt命令mysql数据库 5.6.37 yum安装 主从环境3、需要用到库 库名 表名 用途 percona checksums存储pt命令监测的结果，第一次执行检测命令时会自己创建 修复工具修复的时候会读取该表 本表格也可以自己创建，在使用pt工具的时候指定库表名字，详见下面的参数解释。 注意：...

为什么要学习Innodb的调优：目前来说：InnoDB是为Mysql处理巨大数据量时的最大性能设计。它的CPU效率可能是任何其它基于磁盘的关系数据库引擎所不能匹敌的。在数据量大的网站或是应用中Innodb是倍受青睐的。另一方面，在数据库的复制操作中Innodb也是能保证master和slave数据一致有一定的作用。 参数调优内容：  内存利用方面 日值控制方面 文件IO分配，空间占用方面 其它相关参数 内存利用方面：首先介绍一个Innodb最重要的参数：innodb_buffer_pool_size这个参数和MyISAM的key_buffer_size有相似之处，但也是有差别的。这个参数主要缓...

Too many connectionsERROR 1040 (HY000): Too many connections  导致结果： 连接数过多，导致连接不上数据库，业务无法正常进行 该错误发生在有max_connections个客户连接了mysqld服务器， 应该重启mysqld， 用更大的max_connections变量值 默认连接数 mysql> show variables like '%max_connection%';+-----------------+-------+| Variable_name | Value |+-----------------+-------...

一、什么影响了数据库查询速度1.1 影响数据库查询速度的四个因素  1.2 风险分析QPS：Queries Per Second意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 TPS：是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。 注：最好不要在主库上数据库备份，大型活动前取消这样的备份计划。 效率低下的 sql：会产生超高的QPS与TPS。 大量的并发：数据连接数被占满（max...

在进行MySQL的优化之前，必须要了解的就是MySQL的查询过程，很多查询优化工作实际上就是遵循一些原则，让MySQL的优化器能够按照预想的合理方式运行而已。  1、优化的哲学注：优化有风险，涉足需谨慎 1.1 优化可能带来的问题优化不总是对一个单纯的环境进行，还很可能是一个复杂的已投产的系统； 优化手段本来就有很大的风险，只不过你没能力意识到和预见到； 任何的技术可以解决一个问题，但必然存在带来一个问题的风险； 对于优化来说解决问题而带来的问题，控制在可接受的范围内才是有成果； 保持现状或出现更差的情况都是失败！ 1.2 优化的需求稳定性和业务可持续性，通常比性能更重要； 优化不可避免涉及到...

一、数据库命令规范所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来） 数据库对象的命名要能做到见名识意，并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀，备份表必须以bak_为前缀并以日期(时间戳)为后缀 所有存储相同数据的列名和列类型必须一致（一般作为关联列，如果查询时关联列类型不一致会自动进行数据类型隐式转换，会造成列上的索引失效，导致查询效率降低） 二、数据库基本设计规范1、所有表必须使用Innodb存储引擎 没有特殊要求（即Innodb无法满足的功能如：列存储，存储...

1 PT介绍Percona Toolkit简称pt工具—PT-Tools，是Percona公司开发用于管理MySQL的工具，功能包括检查主从复制的数据一致性、检查重复索引、定位IO占用高的表文件、在线DDL等，DBA熟悉掌握后将极大提高工作效率。 2 PT 安装 下载地址 ：https://www.percona.com/downloads/percona-toolkit/  下载完上传到linux 服务器 安装PT 1[root@master01 ~]# yum -y install percona-toolkit-3.0.12-1.el7.x86_64.rpm    创建一个表生成1000...