首页 > 数据库> 文章详细

【高并发高性能高可用之海量数据MySQL实战-2】-MySQL文件结构

2022-02-07 22:02:35 阅读：158 来源： 互联网

标签：文件 log binlog 海量 mysql 并发 MySQL 日志数据

MySQL是通过文件系统对数据和索引进行存储的。

MySQL从物理结构上可以分为日志文件和数据索引文件。

MySQL在Linux中的数据索引文件和日志文件通常放在/var/lib/mysql目录下。

1.日志文件（顺序IO）

MySQL通过日志记录了数据库操作信息和错误信息。常用的日志文件包括错误日志、二进制日志、查询日志、慢查询日志和事务Redo 日志、中继日志等。

可以通过命令查看当前数据库中的日志使用信息

mysql> show variables like 'log_%';

1.错误日志（errorlog）

默认是开启的，错误日志记录了运行过程中遇到的所有严重的错误信息,以及 MySQL每次启动和关闭的详细信息。

默认的错误日志名称：hostname.err。

错误日志所记录的信息是可以通过log-error和log-warnings来定义的，其中log-err是定义是否启用错误日志的功能和错误日志的存储位置，log-warnings是定义是否将警告信息也定义至错误日志中。

#可以直接定义为文件路径，也可以为ON|OFF 
log_error=/var/log/mysqld.log 
#只能使用1|0来定义开关启动，默认是启动的 
log_warings=1

2.二进制日志（bin log）

MySQL8中默认是开启的，可以通过以下参数配置文件名：

log-bin=mysql-bin

其中mysql-bin是binlog日志文件的basename，binlog日志文件的完整名称：mysql-bin-000001.log

binlog记录了数据库所有的ddl语句和dml语句，但不包括select语句内容，语句以事件的形式保存，描述了数据的变更顺序，binlog还包括了每个更新语句的执行时间信息。如果是DDL语句，则直接记录到binlog日志，而DML语句，必须通过事务提交才能记录到binlog日志中。

binlog主要用于实现mysql主从复制、数据备份、数据恢复。

3.通用查询日志（general query log）

默认情况下通用查询日志是关闭的。

由于通用查询日志会记录用户的所有操作，其中还包含增删查改等信息，在并发操作大的环境下会产生大量的信息从而导致不必要的磁盘IO，会影响mysql的性能的。如若不是为了调试数据库的目的建议不要开启查询日志。

mysql> show global variables like 'general_log';

开启方式：

#启动开关 
general_log={ON|OFF} 

#日志文件变量，而general_log_file如果没有指定，默认名是host_name.log 
general_log_file=/PATH/TO/file 

#记录类型 
log_output={TABLE|FILE|NONE}

4.慢查询日志（slow query log）

默认是关闭的。

需要通过以下设置进行开启

#开启慢查询日志 
slow_query_log=ON 

#慢查询的阈值 
long_query_time=10 

#日志记录文件如果没有给出file_name值， 默认为主机名，后缀为-slow.log。如果给出了文件名， 但不是绝对路径名，文件则写入数据目录。
slow_query_log_file= file_name

记录执行时间超过long_query_time秒的所有查询，便于收集查询时间比较长的SQL语句

查询多少SQL超过了慢查询时间的阈值：

SHOW GLOBAL STATUS LIKE '%Slow_queries%';

2.数据文件（随机IO）

查看MySQL数据文件：

SHOW VARIABLES LIKE '%datadir%';

1.InnoDB数据文件

.ibd：使用独享表空间存储表数据和索引信息，一张表对应一个ibd文件。在mysql8中，还包含序列化字典信息（SDI），SDI 是表和表空间对象的序列化元数据。SDI 数据的存在提供了元数据冗余，如果全局数据字典不可用，则可以从表空间文件中提取。可以使用 ibd2sdi 工具将SDI数据从ibd文件中提取出来。

ibdata文件：使用共享表空间存储表数据和索引信息，所有表共同使用一个或者多个ibdata文件。

2.MyIsam数据文件

.sdi文件：主要存放与表相关的元数据信息,主要包括表结构的定义，在InnoDB中SDI保存在表空间文件中的，其他存储引擎将SDI数据存储在为表的数据库目录中的给定表创建的.SDI文件中。

.myd文件：主要用来存储表数据信息。

.myi文件：主要用来存储表数据文件中任何索引的数据树。

3.文件类型

文件	说明
auto.cnf	包含 mysql 实例的 uuid 必须是全局唯一，在搭建集群时需要保证唯一。如果不唯一可以删除，重启服务器会自动生成
binlog.index	bin log（二进制日志）的索引文件。 bin-log.0000x 真正的二进制文件。mysql8 中 binlog 默认开启。之前的版本中默认关闭。
*.pem	秘钥文件，使用 ssl 方式登录 mysql 时需要使用
*.dblwr	双写缓冲区文件。
ib_buffer_pool	InnoDB引擎为了提高缓冲池的初始化效率，将 buffer pool 中的内存缓冲到文件中
ibdata1	系统表空间
ib_logfile0、ib_logfile1	redo log 重做日志。保证数据不丢失的重要文件
redo log	重做日志。保证数据不丢失的重要文件
ibtmp1	临时表空
mysql.ibd	数据字典文件
undo_001、undo_002	回滚表空间
目录	每个数据库对应一个目录。区分大小写
.ibd（InnoDB）	用户表空间文件，每个表对应一个文件。包含表中的数据、索引、元数据（表结构）
MyIsam 引擎	.sdi 元数据 .MYD表中的数据 .MYI索引文件

如果您觉得文章好看，欢迎点赞收藏加关注，一连三击呀，您的肯定是我持续输出的动力，感谢！！☺☻

标签：文件,log,binlog,海量,mysql,并发,MySQL,日志,数据
来源： https://blog.csdn.net/chongfa2008/article/details/122794399

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9