MySQL Performance-Schema(贰) 理论篇,performanceschema

by admin on 2019年4月4日

socket_instances表列出了连接到MySQL
server的活跃连接的实时快照信息。对于每个连接到mysql
server中的TCP/IP或Unix套接字文件连接都会在此表中记录一行信息。(套接字统计表socket_summary_by_event_name和socket_summary_by_instance中提供了一些附加信息,例如像socket操作以及网络传输和接收的字节数)。

root@localhost : performance _schema 11:08:36> select * from
events_waits _summary_by _user_by _event_name limit 1G

MySQL Performance-Schema(二) 理论篇,performanceschema

     MySQL
Performance-Schema中总共包含52个表,主要分为几类:Setup表,Instance表,Wait
Event表,Stage Event表Statement
Event表,Connection表和Summary表。上一篇文章已经着重讲了Setup表,这篇文章将会分别就每种类型的表做详细的描述。

Instance表
   
 instance中主要包含了5张表:cond_instances,file_instances,mutex_instances,rwlock_instances和socket_instances。
(1)cond_instances:条件等待对象实例
表中记录了系统中使用的条件变量的对象,OBJECT_INSTANCE_BEGIN为对象的内存地址。比如线程池的timer_cond实例的name为:wait/synch/cond/threadpool/timer_cond

(2)file_instances:文件实例
表中记录了系统中打开了文件的对象,包括ibdata文件,redo文件,binlog文件,用户的表文件等,比如redo日志文件:/u01/my3306/data/ib_logfile0。open_count显示当前文件打开的数目,如果重来没有打开过,不会出现在表中。

(3)mutex_instances:互斥同步对象实例
表中记录了系统中使用互斥量对象的所有记录,其中name为:wait/synch/mutex/*。比如打开文件的互斥量:wait/synch/mutex/mysys/THR_LOCK_open。LOCKED_BY_THREAD_ID显示哪个线程正持有mutex,若没有线程持有,则为NULL。

(4)rwlock_instances: 读写锁同步对象实例
表中记录了系统中使用读写锁对象的所有记录,其中name为
wait/synch/rwlock/*。WRITE_LOCKED_BY_THREAD_ID为正在持有该对象的thread_id,若没有线程持有,则为NULL,READ_LOCKED_BY_COUNT为记录了同时有多少个读者持有读锁。通过
events_waits_current
表可以知道,哪个线程在等待锁;通过rwlock_instances知道哪个线程持有锁。rwlock_instances的缺陷是,只能记录持有写锁的线程,对于读锁则无能为力。

(5)socket_instances:活跃会话对象实例
表中记录了thread_id,socket_id,ip和port,其它表可以通过thread_id与socket_instance进行关联,获取IP-PORT信息,能够与应用对接起来。
event_name主要包含3类:
wait/io/socket/sql/server_unix_socket,服务端unix监听socket
wait/io/socket/sql/server_tcpip_socket,服务端tcp监听socket
wait/io/socket/sql/client_connection,客户端socket

Wait Event表
     
Wait表主要包含3个表,events_waits_current,events_waits_history和events_waits_history_long,通过thread_id+event_id可以唯一确定一条记录。current表记录了当前线程等待的事件,history表记录了每个线程最近等待的10个事件,而history_long表则记录了最近所有线程产生的10000个事件,这里的10和10000都是可以配置的。这三个表表结构相同,history和history_long表数据都来源于current表。current表和history表中可能会有重复事件,并且history表中的事件都是完成了的,没有结束的事件不会加入到history表中。
THREAD_ID:线程ID
EVENT_ID:当前线程的事件ID,和THREAD_ID组成一个Primary Key。
END_EVENT_ID:当事件开始时,这一列被设置为NULL。当事件结束时,再更新为当前的事件ID。
SOURCE:该事件产生时的源码文件
TIMER_START, TIMER_END,
TIMER_WAIT:事件开始/结束和等待的时间,单位为皮秒(picoseconds)

OBJECT_SCHEMA, OBJECT_NAME, OBJECT_TYPE视情况而定
对于同步对象(cond, mutex, rwlock),这个3个值均为NULL
对于文件IO对象,OBJECT_SCHEMA为NULL,OBJECT_NAME为文件名,OBJECT_TYPE为FILE
对于SOCKET对象,OBJECT_NAME为该socket的IP:SOCK值
对于表I/O对象,OBJECT_SCHEMA是表的SCHEMA名,OBJECT_NAME是表名,OBJECT_TYPE为TABLE或者TEMPORARY
TABLE
NESTING_EVENT_ID:该事件对应的父事件ID
NESTING_EVENT_TYPE:父事件类型(STATEMENT, STAGE, WAIT)
OPERATION:操作类型(lock, read, write)

Stage Event表 

     
 Stage表主要包含3个表,events_stages_current,events_stages_history和events_stages_history_long,通过thread_id+event_id可以唯一确定一条记录。表中记录了当前线程所处的执行阶段,由于可以知道每个阶段的执行时间,因此通过stage表可以得到SQL在每个阶段消耗的时间。

THREAD_ID:线程ID
EVENT_ID:事件ID
END_EVENT_ID:刚结束的事件ID
SOURCE:源码位置
TIMER_START, TIMER_END,
TIMER_WAIT:事件开始/结束和等待的时间,单位为皮秒(picoseconds)
NESTING_EVENT_ID:该事件对应的父事件ID
NESTING_EVENT_TYPE:父事件类型(STATEMENT, STAGE, WAIT)

Statement Event表
     
Statement表主要包含3个表,events_statements_current,events_statements_history和events_statements_history_long。通过thread_id+event_id可以唯一确定一条记录。Statments表只记录最顶层的请求,SQL语句或是COMMAND,每条语句一行,对于嵌套的子查询或者存储过程不会单独列出。event_name形式为statement/sql/*,或statement/com/*
SQL_TEXT:记录SQL语句
DIGEST:对SQL_TEXT做MD5产生的32位字符串。如果为consumer表中没有打开statement_digest选项,则为NULL。
DIGEST_TEXT:将语句中值部分用问号代替,用于SQL语句归类。如果为consumer表中没有打开statement_digest选项,则为NULL。
CURRENT_SCHEMA:默认的数据库名
OBJECT_SCHEMA,OBJECT_NAME,OBJECT_TYPE:保留字段,全部为NULL
ROWS_AFFECTED:影响的数目
ROWS_SENT:返回的记录数
ROWS_EXAMINED:读取的记录数目
CREATED_TMP_DISK_TABLES:创建物理临时表数目
CREATED_TMP_TABLES:创建临时表数目
SELECT_FULL_JOIN:join时,第一个表为全表扫描的数目
SELECT_FULL_RANGE_JOIN:join时,引用表采用range方式扫描的数目
SELECT_RANGE:join时,第一个表采用range方式扫描的数目
SELECT_SCAN:join时,第一个表位全表扫描的数目
SORT_ROWS:排序的记录数目
NESTING_EVENT_ID,NESTING_EVENT_TYPE,保留字段,为NULL。

Connection表
   
 Connection表记录了客户端的信息,主要包括3张表:users,hosts和account表,accounts包含hosts和users的信息。
USER:用户名
HOST:用户的IP

Summary表
   
Summary表聚集了各个维度的统计信息包括表维度,索引维度,会话维度,语句维度和锁维度的统计信息。
(1).wait-summary表
events_waits_summary_global_by_event_name
场景:按等待事件类型聚合,每个事件一条记录。
events_waits_summary_by_instance
场景:按等待事件对象聚合,同一种等待事件,可能有多个实例,每个实例有不同的内存地址,因此
event_name+object_instance_begin唯一确定一条记录。
events_waits_summary_by_thread_by_event_name
场景:按每个线程和事件来统计,thread_id+event_name唯一确定一条记录。
COUNT_STAR:事件计数
SUM_TIMER_WAIT:总的等待时间
MIN_TIMER_WAIT:最小等待时间
MAX_TIMER_WAIT:最大等待时间
AVG_TIMER_WAIT:平均等待时间

(2).stage-summary表
events_stages_summary_by_thread_by_event_name
events_stages_summary_global_by_event_name
与前面类似

(3).statements-summary表
events_statements_summary_by_thread_by_event_name表和events_statements_summary_global_by_event_name表与前面类似。对于events_statements_summary_by_digest表,
FIRST_SEEN_TIMESTAMP:第一个语句执行的时间
LAST_SEEN_TIMESTAMP:最后一个语句执行的时间
场景:用于统计某一段时间内top SQL

(4).file I/O summary表
file_summary_by_event_name [按事件类型统计]
file_summary_by_instance [按具体文件统计]
场景:物理IO维度
FILE_NAME:具体文件名,比如:/u01/my3306/data/tcbuyer_0168/tc_biz_order_2695.ibd
EVENT_NAME:事件名,比如:wait/io/file/innodb/innodb_data_file
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计IO操作
COUNT_READ,SUM_TIMER_READ,MIN_TIMER_READ,AVG_TIMER_READ,MAX_TIMER_READ,
SUM_NUMBER_OF_BYTES_READ
统计读
COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,
SUM_NUMBER_OF_BYTES_WRITE
统计写
COUNT_MISC,SUM_TIMER_MISC,MIN_TIMER_MISC,AVG_TIMER_MISC,MAX_TIMER_MISC
统计其他IO事件,比如create,delete,open,close等

(5).Table I/O and Lock Wait Summaries-表
table_io_waits_summary_by_table
根据wait/io/table/sql/handler,聚合每个表的I/O操作,[逻辑IO]
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计IO操作
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计读
COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,
MAX_TIMER_WRITE
统计写
COUNT_FETCH,SUM_TIMER_FETCH,MIN_TIMER_FETCH,AVG_TIMER_FETCH,
MAX_TIMER_FETCH
与读相同
COUNT_INSERT,SUM_TIMER_INSERT,MIN_TIMER_INSERT,AVG_TIMER_INSERT,MAX_TIMER_INSERT
INSERT统计,相应的还有DELETE和UPDATE统计。

(6).table_io_waits_summary_by_index_usage
与table_io_waits_summary_by_table类似,按索引维度统计

(7).table_lock_waits_summary_by_table
聚合了表锁等待事件,包括internal lock 和 external lock。
internal lock通过SQL层函数thr_lock调用,OPERATION值为:
read normal
read with shared locks
read high priority
read no insert
write allow write
write concurrent insert
write delayed
write low priority
write normal

external lock则通过接口函数handler::external_lock调用存储引擎层,
OPERATION列的值为:
read external
write external

(8).Connection Summaries表
events_waits_summary_by_account_by_event_name
events_waits_summary_by_user_by_event_name
events_waits_summary_by_host_by_event_name
events_stages_summary_by_account_by_event_name
events_stages_summary_by_user_by_event_name
events_stages_summary_by_host_by_event_name
events_statements_summary_by_account_by_event_name
events_statements_summary_by_user_by_event_name
events_statements_summary_by_host_by_event_name

(9).socket-summaries表
socket_summary_by_instance
socket_summary_by_event_name

其它表
performance_timers: 系统支持的统计时间单位
threads: 监视服务端的当前运行的线程

Performance-Schema(二)
理论篇,performanceschema MySQL
Performance-Schema中总共包含52个表,主要分为几类:Setup表,Instance表,Wait
Event表,Stage Ev…

OWNER _EVENT_ID: 49

# events_statements_summary_by_account_by_event_name表

·file_summary_by_instance:按照每个文件实例(对应具体的每个磁盘文件,例如:表sbtest1的表空间文件sbtest1.ibd)进行统计的文件IO等待事件

MIN _TIMER_WAIT: 0

socket_instances表不允许使用TRUNCATE TABLE语句。

1 row in set (0.00 sec)

|NULL | NULL |41| 45 |

COUNT_STAR: 7

AVG_TIMER_READ: 0

*
CURRENT_NUMBER_OF_BYTES_USED:当前已分配的内存块但未释放的统计大小。这是一个便捷列,等于SUM_NUMBER_OF_BYTES_ALLOC

| USER |CURRENT_CONNECTIONS | TOTAL_CONNECTIONS |

COUNT_STAR: 0

| 4 |_client_version | 5.7.18 |3|

CURRENT _NUMBER_OF _BYTES_USED: 0

连接信息表accounts中的user和host字段含义与mysql系统数据库中的MySQL
grant表(user表)中的字段含义类似。

| 事务事件统计表

# file_summary_by_event_name表

*
COUNT_ALLOC,COUNT_FREE:对内存分配和释放内存函数的调用总次数

+————-+———————+——————-+

EVENT_NAME: memory/innodb/fil0fil

1row inset ( 0. 00sec)

*************************** 1. row
***************************

MIN _TIMER_WAIT: 2971125

+————————————————————+

·table_handles:表锁的持有和请求记录。

AVG _TIMER_WAIT: 0

| NULL |41| 45 |

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

……

| 温馨提示

EVENT_NAME: wait/io/socket/sql/server_tcpip_socket

*
如果一个线程开启了采集功能,但是内存相关的instruments没有启用,则该内存释放操作不会被监控到,统计数据也不会发生改变

·如果值为NULL,则表示表I/O没有使用到索引

出品:沃趣科技

OBJECT_SCHEMA: xiaoboluo

SUM_SELECT_SCAN: 45

·SOURCE:源文件的名称,其中包含生成事件信息的检测代码行号;

PS:内存统计表不包含计时信息,因为内存事件不支持时间信息收集。

1 row in set (0.00 sec)

# events_statements_summary_by_host_by_event_name表

MAX_TIMER_EXECUTE: 0

+————————————————-+

1 row in set (0.00 sec)

USER: root

1 row in set (0.00 sec)

PS3:对这些表使用truncate语句,影响与等待事件类似。

+——————————————————-+———————–+—————————+———————-+

admin@localhost : performance_schema 06:28:48> show tables like
‘%prepare%’;

+————————————+————————————–+————+

6rows inset ( 0. 00sec)

注意:rwlock_instances表中的信息只能查看到持有写锁的线程ID,但是不能查看到持有读锁的线程ID,因为写锁WRITE_LOCKED_BY_THREAD_ID字段记录的是线程ID,读锁只有一个READ_LOCKED_BY_COUNT字段来记录读锁被多少个线程持有。

MIN _TIMER_WAIT: 0

| 3 |_client_name | libmysql |1|

| memory_summary_by_host_by_event_name |

OBJECT_TYPE: TABLE

SUM _TIMER_WAIT: 0

1 row in set (0.00 sec)

从上面表中的示例记录信息中,我们可以看到:

·LOCK_DURATION:来自元数据锁子系统中的锁定时间。有效值为:STATEMENT、TRANSACTION、EXPLICIT,STATEMENT和TRANSACTION值分别表示在语句或事务结束时会释放的锁。
EXPLICIT值表示可以在语句或事务结束时被会保留,需要显式释放的锁,例如:使用FLUSH
TABLES WITH READ LOCK获取的全局锁;

MIN _TIMER_WAIT: 0

·
COUNT_REPREPARE:该行信息对应的prepare语句在内部被重新编译的次数,重新编译prepare语句之后,之前的相关统计信息就不可用了,因为这些统计信息是作为语句执行的一部分被聚合到表中的,而不是单独维护的。

*************************** 1. row
***************************

一个连接可见的连接属性集合取决于与mysql
server建立连接的客户端平台类型和MySQL连接的客户端类型。

*************************** 1. row
***************************

与objects_summary_global_by_type
表统计信息类似,表I/O等待和锁等待事件统计信息更为精细,细分了每个表的增删改查的执行次数,总等待时间,最小、最大、平均等待时间,甚至精细到某个索引的增删改查的等待时间,表IO等待和锁等待事件instruments(wait/io/table/sql/handler和wait/lock/table/sql/handler
)默认开启,在setup_consumers表中无具体的对应配置,默认表IO等待和锁等待事件统计表中就会统计相关事件信息。包含如下几张表:

EVENT_NAME: statement/sql/select

我们先来看看表中记录的统计信息是什么样子的。

EVENT_NAME: transaction

5.prepare语句实例统计表

| events_statements_summary_by_user_by_event_name |

·MySQL Connector/Net定义了如下属性:

EVENT_NAME: memory/innodb/fil0fil

AVG_TIMER_WAIT: 24366870

EVENT_NAME: stage/sql/After create

1 row in set (0.00 sec)

7rows inset ( 0. 00sec)

·IP:客户端IP地址。该值可以是IPv4或IPv6地址,也可以是空串,表示这是一个Unix套接字文件连接;

从上面表中的示例记录信息中,我们可以看到,同样与等待事件类似,按照用户、主机、用户+主机、线程等纬度进行分组与统计的列,这些列的含义与等待事件类似,这里不再赘述,但对于事务统计事件,针对读写事务和只读事务还单独做了统计(xx_READ_WRITE和xx_READ_ONLY列,只读事务需要设置只读事务变量transaction_read_only=on才会进行统计)。

PS:什么是prepare语句?prepare语句实际上就是一个预编译语句,先把SQL语句进行编译,且可以设定参数占位符(例如:?符号),然后调用时通过用户变量传入具体的参数值(叫做变量绑定),如果一个语句需要多次执行而仅仅只是where条件不同,那么使用prepare语句可以大大减少硬解析的开销,prepare语句有三个步骤,预编译prepare语句,执行prepare语句,释放销毁prepare语句,prepare语句支持两种协议,前面已经提到过了,binary协议一般是提供给应用程序的mysql
c api接口方式访问,而文本协议提供给通过客户端连接到mysql
server的方式访问,下面以文本协议的方式访问进行演示说明:

COUNT _READ_ONLY: 1

# table_lock_waits_summary_by_table表

COUNT_STAR: 0

(1) session_account_connect_attrs表

关于内存事件的行为监控设置与注意事项

COUNT_STAR: 56

events_statements_summary_by_account_by_event_name:按照每个帐户和语句事件名称进行统计

OWNER_OBJECT_SCHEMA: NULL

原标题:事件统计 | performance_schema全方位介绍(四)

·COUNT_READ,SUM_TIMER_READ,MIN_TIMER_READ,AVG_TIMER_READ,MAX_TIMER_READ,SUM_NUMBER_OF_BYTES_READ:这些列统计所有接收操作(socket的RECV、RECVFROM、RECVMS类型操作,即以server为参照的socket读取数据的操作)相关的次数、时间、接收字节数等信息

SUM _TIMER_READ_WRITE: 8592136000

MySQL允许应用程序引入新的连接属性,但是以下划线(_)开头的属性名称保留供内部使用,应用程序不要创建这种格式的连接属性。以确保内部的连接属性不会与应用程序创建的连接属性相冲突。

EVENT_NAME: memory/innodb/fil0fil

2. 连接属性统计表

| Tables_in_performance_schema (%events_stages_summary%) |

1row inset ( 0. 00sec)

内存大小统计信息有助于了解当前server的内存消耗,以便及时进行内存调整。内存相关操作计数有助于了解当前server的内存分配器的整体压力,及时掌握server性能数据。例如:分配单个字节一百万次与单次分配一百万个字节的性能开销是不同的,通过跟踪内存分配器分配的内存大小和分配次数就可以知道两者的差异。

·当持有互斥体的线程释放互斥体时,mutex_instances表中对应互斥体行的THREAD_ID列被修改为NULL;

EVENT_NAME: statement/sql/select

*
COUNT_READ,SUM_TIMER_READ,MIN_TIMER_READ,AVG_TIMER_READ,MAX_TIMER_READ,SUM_NUMBER_OF_BYTES_READ:这些列统计了所有文件读取操作,包括FGETS,FGETC,FREAD和READ系统调用,还包含了这些I/O操作的数据字节数

……

3rows inset ( 0. 00sec)

COUNT_STAR: 11

OWNER_THREAD_ID: 48

LOW_COUNT_USED: 0

……

# events_transactions_summary_global_by_event_name表

表字段含义与session_account_connect_attrs表相同,但是该表是保存所有连接的连接属性表。

root@localhost : performance _schema 11:43:03> select * from
events_stages _summary_global _by_event_name limit 1G

·当线程成功锁定(持有)互斥体时:

+——————————————————–+

COUNT_STAR: 2560

| Tables_in_performance_schema (%memory%summary%) |

· OBJECT_INSTANCE_BEGIN:instruments condition的内存地址;

* CURRENT_COUNT_USED:增加1

| wait/io/socket/sql/server_unix_socket |110667520| 1 |34| |0| ACTIVE
|

MIN _TIMER_WAIT: 57571000

session_account_connect_attrs表不允许使用TRUNCATE TABLE语句。

| memory_summary_global_by_event_name |

# file_summary_by_instance表

SUM _TIMER_WAIT: 0

admin@localhost : performance_schema 06:50:03> show tables like
‘%table%summary%’;

检测内存工作负载峰值、内存总体的工作负载稳定性、可能的内存泄漏等是至关重要的。

IP:PORT列组合值可用于标识一个连接。该组合值在events_waits_xxx表的“OBJECT_NAME”列中使用,以标识这些事件信息是来自哪个套接字连接的:

# events_stages_summary_by_thread_by_event_name表

* _platform:客户端机器平台(例如,x86_64)

……

·释放元数据锁时,对应的锁信息行被删除;

EVENT_NAME: stage/sql/After create

| OBJECT_TYPE |OBJECT_SCHEMA | OBJECT_NAME |OBJECT_INSTANCE_BEGIN |
OWNER_THREAD_ID |OWNER_EVENT_ID | INTERNAL_LOCK |EXTERNAL_LOCK |

root@localhost : performance _schema 01:27:27> select * from
events_transactions _summary_by _user_by _event_name where SUM
_TIMER_WAIT!=0G

| socket_summary_by_event_name |

EVENT_NAME: statement/sql/select

·OWNER_THREAD_ID,OWNER_EVENT_ID:这些列表示创建prepare语句的线程ID和事件ID。

root@localhost : performance _schema 01:25:13> select * from
events_transactions _summary_by _host_by _event_name where
COUNT_STAR!=0 limit 1G

metadata_locks表不允许使用TRUNCATE TABLE语句。

OBJECT _INSTANCE_BEGIN: 32492032

admin@localhost : performance_schema 11:05:51> select * from
session_connect_attrs;

* CURRENT_NUMBER_OF_BYTES_USED:减少N

当客户端断开连接时,performance_schema将减少对应连接的行中的CURRENT_CONNECTIONS列,保留TOTAL_CONNECTIONS列值。

*
读写事务通常比只读事务占用更多资源,因此事务统计表包含了用于读写和只读事务的单独统计列

EVENT_NAME: wait/io/socket/sql/server_tcpip_socket

IT从业多年,历任运维工程师、高级运维工程师、运维经理、数据库工程师,曾参与版本发布系统、轻量级监控系统、运维管理平台、数据库管理平台的设计与编写,熟悉MySQL体系结构,Innodb存储引擎,喜好专研开源技术,追求完美。

我们先来看看表中记录的统计信息是什么样子的。

AVG _TIMER_WAIT: 0

PS:MySQL
server使用几种缓存技术通过缓存从文件中读取的信息来避免文件I/O操作。当然,如果内存不够时或者内存竞争比较大时可能导致查询效率低下,这个时候您可能需要通过刷新缓存或者重启server来让其数据通过文件I/O返回而不是通过缓存返回。

*************************** 1. row
***************************

cond_instances表字段含义如下:

从上面表中的示例记录信息中,我们可以看到,同样与等待事件类似,按照用户、主机、用户+主机、线程等纬度进行分组与统计的列,这些列的含义与等待事件类似,这里不再赘述。

+———————————-+———————–+

| events_stages_summary_by_account_by_event_name |

+————————————–+———————–+———————+

1 row in set (0.00 sec)

·ATTR_VALUE:连接属性值;

1 row in set (0.00 sec)

| wait/synch/mutex/mysys/THR_LOCK_heap |32576832| NULL |

5rows inset ( 0. 00sec)

·HOST:某个连接的主机名,如果是一个内部线程创建的连接,或者是无法验证的用户创建的连接,则该字段为NULL;

PS:对这些表使用truncate语句,影响与等待事件类似。

| Tables_in_performance_schema (%socket%summary%) |

MAX _TIMER_WAIT: 0

·file_summary_by_event_name:按照每个事件名称进行统计的文件IO等待事件

+————————————————-+

·file_instances:文件对象实例;

* 如果DIGEST =
NULL行的COUNT_STAR列值占据整个表中所有统计信息的COUNT_STAR列值的比例大于0%,则表示存在由于该表限制已满导致部分语句统计信息无法分类保存,如果你需要保存所有语句的统计信息,可以在server启动之前调整系统变量performance_schema_digests_size的值,默认大小为200

·每个文件I/O事件统计表有如下统计字段:

……

COUNT _READ_WITH _SHARED_LOCKS: 0

# memory_summary_by_account_by_event_name表

+————-+———————+——————-+

……

file_instances表不允许使用TRUNCATE TABLE语句。

+————————————————————+

[Warning] Connection attributes oflength N were truncated

events_statements_summary_by_program:按照每个存储程序(存储过程和函数,触发器和事件)的事件名称进行统计的Statement事件

2rows inset ( 0. 00sec)

OBJECT_TYPE: PROCEDURE

* _program_name:客户端程序名称

| events_transactions_summary_by_thread_by_event_name |

·PORT:TCP/IP端口号,取值范围为0〜65535;

AVG_TIMER_WAIT:给定计时事件的平均等待时间

·prepare语句执行:为已检测的prepare语句实例执行COM_STMT_EXECUTE或SQLCOM_PREPARE命令,同时会更新prepare_statements_instances表中对应的行信息。

HOST: localhost

AVG_TIMER_READ: 530278875

1 row in set (0.00 sec)

AVG _TIMER_READ: 56688392

SUM _NUMBER_OF _BYTES_FREE: 3296

+————-+—————+————-+———————–+—————–+—————-+—————+—————+

AVG _TIMER_WAIT: 0

通过对以下两个表执行查询,可以实现对应用程序的监控或DBA可以检测到涉及锁的线程之间的一些瓶颈或死锁信息:

| Tables_in_performance_schema (%events_transactions_summary%) |

* _runtime_version:Java运行环境(JRE)版本

在上一篇《事件记录 |
performance_schema全方位介绍”》中,我们详细介绍了performance_schema的事件记录表,恭喜大家在学习performance_schema的路上度过了两个最困难的时期。现在,相信大家已经比较清楚什么是事件了,但有时候我们不需要知道每时每刻产生的每一条事件记录信息,
例如:我们希望了解数据库运行以来一段时间的事件统计数据,这个时候就需要查看事件统计表了。今天将带领大家一起踏上系列第四篇的征程(全系共7个篇章),在这一期里,我们将为大家全面讲解performance_schema中事件统计表。统计事件表分为5个类别,分别为等待事件、阶段事件、语句事件、事务事件、内存事件。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。

COUNT_READ: 1

SUM _TIMER_WAIT: 0

OBJECT _INSTANCE_BEGIN: 140568048055488

MIN_TIMER_WAIT:给定计时事件的最小等待时间

对于代码中的每个互斥体,performance_schema提供了以下信息:

CURRENT_COUNT_USED: 0

MIN_TIMER_READ: 15213375

SUM _CREATED_TMP_TABLES: 10

· 对于通过Unix
domain套接字(client_connection)的客户端连接,端口为0,IP为空串;

COUNT_STAR: 0

COUNT_READ_NORMAL: 0

SUM _TIMER_WAIT: 0

·EVENT_NAME:生成事件信息的instruments
名称。与setup_instruments表中的NAME值对应;

# memory_summary_by_user_by_event_name表

原标题:数据库对象事件与属性统计 | performance_schema全方位介绍(五)

1 row in set (0.00 sec)

admin@localhost : performance_schema 03:23:47> select * from
mutex_instances limit 1;

*
COUNT_STATEMENTS,SUM_STATEMENTS_WAIT,MIN_STATEMENTS_WAIT,AVG_STATEMENTS_WAIT,MAX_STATEMENTS_WAIT:关于存储程序执行期间调用的嵌套语句的统计信息

·每个文件I/O统计表都有一个或多个分组列,以表明如何统计这些事件信息。这些表中的事件名称来自setup_instruments表中的name字段:

+——————————————————-+

当客户端连接到MySQL
server时,它的用户名和主机名都是特定的。performance_schema按照帐号、主机、用户名对这些连接的统计信息进行分类并保存到各个分类的连接信息表中,如下:

# events_waits_summary_by_thread_by_event_name表

* _client_version:客户端库版本

| events_stages_summary_by_thread_by_event_name |

PS:对于mutexes、conditions和rwlocks,在运行时虽然允许修改配置,且配置能够修改成功,但是有一部分instruments不生效,需要在启动时配置才会生效,如果你尝试着使用一些应用场景来追踪锁信息,你可能在这些instance表中无法查询到相应的信息。

+——————————————+

·当请求立即获取元数据锁时,将插入状态为GRANTED的锁信息行;

我们先来看看这些表中记录的统计信息是什么样子的。

INDEX_NAME: PRIMARY

root@localhost : performance _schema 01:25:27> select * from
events_transactions _summary_by _thread_by _event_name where SUM
_TIMER_WAIT!=0G

mutex_instances表字段含义如下:

SUM _SELECT_FULL _RANGE_JOIN: 0

+—————-+—————–+—————-+——————+

当一个可被监控的内存块N被释放时,performance_schema会对统计表中的如下列进行更新:

·FILE_NAME:磁盘文件名称;

root@localhost : performance _schema 11:08:23> select * from
events_waits _summary_by _thread_by _event_name limit 1G

我们先来看看表中记录的统计信息是什么样子的。

root@localhost : performance _schema 11:04:31> select * from
events_statements _summary_global _by_event_name limit 1G

admin@localhost : performance_schema 09 :50:01> select * from
users;

COUNT_STAR: 58

·rwlock_instances:查看当前rwlock行的一些锁信息(独占锁被哪个线程持有,共享锁被多少个线程持有等)。

MAX_TIMER_WAIT:给定计时事件的最大等待时间

6 rows inset (0.00 sec)

root@localhost : performance _schema 11:55:36> select * from
memory_summary _by_user _by_event _name where COUNT_ALLOC!=0
limit 1G

+—————-+———————————-+———————+——————+

events_waits_summary_by_user_by_event_name表:按照列EVENT_NAME、USER进行分组事件信息

我们先来看看表中记录的统计信息是什么样子的。

1 row in set (0.00 sec)

(2)table_handles表

PS:对这些表使用truncate语句,影响与等待事件类似。

OBJECT_NAME: test

内存事件统计表有如下几张表:

+————————————————+

……

·EVENT_NAME:与文件相关联的instruments名称;

| events_waits_summary_by_instance |

OBJECT_SCHEMA: xiaoboluo

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

02

MAX _TIMER_WAIT: 0

*
events_waits_current表中可以查看到当前正在等待互斥体的线程时间信息(例如:TIMER_WAIT列表示已经等待的时间)

*************************** 1. row
***************************

COUNT_READ: 0

MAX_TIMER_WAIT: 80968744000

我们先来看看表中记录的统计信息是什么样子的。

* SUM_NUMBER_OF_BYTES_ALLOC:增加N

SUM_TIMER_READ_NORMAL: 0

USER: root

我们先来看看表中记录的统计信息是什么样子的。

SUM_ROWS_EXAMINED: 39718

MAX_TIMER_READ: 0

SUM _TIMER_WAIT: 0

套接字统计表允许使用TRUNCATE
TABLE语句(除events_statements_summary_by_digest之外),只将统计列重置为零,而不是删除行。

* COUNT_ALLOC:增加1

(1)accounts表

+——————————————+

+————————————————+

SUM _NUMBER_OF _BYTES_ALLOC: 3296

instance表记录了哪些类型的对象被检测。这些表中记录了事件名称(提供收集功能的instruments名称)及其一些解释性的状态信息(例如:file_instances表中的FILE_NAME文件名称和OPEN_COUNT文件打开次数),instance表主要有如下几个:

| memory_summary_by_account_by_event_name |

admin@localhost : performance _schema 11:01:23> select * from
file_summary _by_instance where SUM _TIMER_WAIT!=0 and EVENT_NAME
like ‘%innodb%’ limit 1G;

MIN _TIMER_WAIT: 0

users表包含连接到MySQL
server的每个用户的连接信息,每个用户一行。该表将针对用户名作为唯一标识进行统计当前连接数和总连接数,server启动时,表的大小会自动调整。
要显式设置该表大小,可以在server启动之前设置系统变量performance_schema_users_size的值。该变量设置为0时表示禁用users统计信息。

1 row in set (0.00 sec)

admin@localhost : performance_schema 10:28:45> select * from
rwlock_instances limit 1;

COUNT_STAR: 0

……

performance_schema把事务事件统计表也按照与等待事件统计表类似的规则进行分类统计,事务事件instruments只有一个transaction,默认禁用,事务事件统计表有如下几张表:

*
FEDERATED存储引擎连接的program_name属性值被定义为mysqld、定义了_client_role属性,值为federated_storage

HOST: localhost

STATEMENT_ID: 1

| events_transactions_summary_global_by_event_name |

OBJECT _INSTANCE_BEGIN: 2655351104

root@localhost : performance _schema 11:55:11> select * from
memory_summary _by_thread _by_event _name where COUNT_ALLOC!=0
limit 1G

+———————————————–+

admin@localhost : performance_schema 06:56:56> show tables like
‘%memory%summary%’;

……

SUM _TIMER_WAIT: 0

session_account_connect_attrs表字段含义:

AVG _TIMER_WAIT: 0

·PS:cond_instances表不允许使用TRUNCATE TABLE语句。

| Tables_in_performance_schema (%events_waits_summary%) |

| admin |1| 1 |

# events_statements_summary_global_by_event_name表

LOCK_STATUS: GRANTED

EVENT_NAME: transaction

table_io_waits_summary_by_table表:

COUNT_STAR:事件被执行的数量。此值包括所有事件的执行次数,需要启用等待事件的instruments

友情提示:下文中的统计表中大部分字段含义与上一篇
《事件统计 | performance_schema全方位介绍》
中提到的统计表字段含义相同,下文中不再赘述。此外,由于部分统计表中的记录内容过长,限于篇幅会省略部分文本,如有需要请自行安装MySQL
5.7.11以上版本跟随本文进行同步操作查看。

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

这些连接表都允许使用TRUNCATE TABLE语句:

*
将COUNT_ALLOC和COUNT_FREE列重置,并重新开始计数(等于内存统计信息以重置后的数值作为基准数据)

连接属性记录在如下两张表中:

| events_statements_summary_by_host_by_event_name |

* mysqlbinlog定义了_client_role属性,值为binary_log_listener

+——————————————————–+

AVG _TIMER_WAIT: 56688392

| Tables_in_performance_schema (%events_statements_summary%) |

·USER:某连接的客户端用户名。如果是一个内部线程创建的连接,或者是无法验证的用户创建的连接,则该字段为NULL;

HOST: NULL

该表的分组列与table_io_waits_summary_by_table表相同

性能事件统计表中的数据条目是不能删除的,只能把相应统计字段清零;

该表允许使用TRUNCATE
TABLE语句。只将统计列重置为零,而不是删除行。对该表执行truncate还会隐式truncate
table_io_waits_summary_by_index_usage表

1 row in set (0.00 sec)

·SOCKET_ID:分配给套接字的内部文件句柄;

责任编辑:

·COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,SUM_NUMBER_OF_BYTES_WRITE:这些列统计了所有发送操作(socket的SEND、SENDTO、SENDMSG类型操作,即以server为参照的socket写入数据的操作)相关的次数、时间、接收字节数等信息

  • SUM_NUMBER_OF_BYTES_FREE

·WRITE_LOCKED_BY_THREAD_ID:当一个线程当前在独占(写入)模式下持有一个rwlock时,WRITE_LOCKED_BY_THREAD_ID列可以查看到持有该锁的线程THREAD_ID,如果没有被任何线程持有则该列为NULL;

prepared_statements_instances表有自己额外的统计列:

*
如果log_error_verbosity系统变量设置值大于1,则performance_schema还会将错误信息写入错误日志:

每个表都有各自的一个或多个分组列,以确定如何聚合事件信息(所有表都有EVENT_NAME列,列值与setup_instruments表中NAME列值对应),如下:

·LOCK_STATUS:元数据锁子系统的锁状态。有效值为:PENDING、GRANTED、VICTIM、TIMEOUT、KILLED、PRE_ACQUIRE_NOTIFY、POST_RELEASE_NOTIFY。performance_schema根据不同的阶段更改锁状态为这些值;

1 row in set (0.01 sec)

1 rows in set (0.00 sec)

……

·EXTERNAL_LOCK:在存储引擎级别使用的表锁。有效值为:READ
EXTERNAL、WRITE EXTERNAL。

SUM _TIMER_WAIT: 0

从客户端发送到服务器的连接属性数据量存在限制:客户端在连接之前客户端有一个自己的固定长度限制(不可配置)、在客户端连接server时服务端也有一个固定长度限制、以及在客户端连接server时的连接属性值在存入performance_schema中时也有一个可配置的长度限制。

| 内存事件统计表

·TOTAL_CONNECTIONS:某主机的总连接数。

| 导语

+——-+————-+———————+——————-+

FIRST_SEEN: 2018-05-19 22:33:50

·STATEMENT_NAME:对于二进制协议的语句事件,此列值为NULL。对于文本协议的语句事件,此列值是用户分配的外部语句名称。例如:PREPARE
stmt FROM’SELECT 1′;,语句名称为stmt。

# events_transactions_summary_by_account_by_event_name表

root@localhost : performance _schema 05:11:45> select * from
socket_summary _by_instance where COUNT_STAR!=0G;

1 row in set (0.00 sec)

通过对以下两个表执行查询,可以实现对应用程序的监控或DBA可以检测到涉及互斥体的线程之间的瓶颈或死锁信息(events_waits_current可以查看到当前正在等待互斥体的线程信息,mutex_instances可以查看到当前某个互斥体被哪个线程持有)。

COUNT_STAR: 0

……

USER: root

OBJECT _INSTANCE_BEGIN: 2658004160

1 row in set (0.00 sec)

| socket_summary_by_instance |

| events_statements_summary_by_program |

*************************** 2. row
***************************

EVENT_NAME: stage/sql/After create

+—————————————-+———————–+———–+———–+——————–+——-+——–+

* SUM_NUMBER_OF_BYTES_FREE:增加N

COUNT_STAR: 24

对于未按照帐户、主机、用户聚合的统计表,truncate语句会将统计列值重置为零,而不是删除行。

·prepare语句预编译:COM_STMT_PREPARE或SQLCOM_PREPARE命令在server中创建一个prepare语句。如果语句检测成功,则会在prepared_statements_instances表中新添加一行。如果prepare语句无法检测,则会增加Performance_schema_prepared_statements_lost状态变量的值。

MAX _TIMER_WAIT: 0

# socket_summary_by_event_name表

*
HIGH_COUNT_USED和HIGH_NUMBER_OF_BYTES_USED是较高的高水位估算值。performance_schema输出的低水位值可以保证统计表中的内存分配次数和内存大于或等于当前server中真实的内存分配值

· OWNER_THREAD_ID:持有该handles锁的线程ID;

| memory_summary_by_thread_by_event_name |

我们先来看看表中记录的统计信息是什么样子的。

# events_waits_summary_by_instance表

SUM_ERRORS: 0

MAX _TIMER_WAIT: 2427645000

mutex_instances表不允许使用TRUNCATE TABLE语句。

+——————————————————-+

·已请求但未授予的锁(显示哪些会话正在等待哪些元数据锁);

| events_stages_summary_by_host_by_event_name |

·已授予的锁(显示哪些会话拥有当前元数据锁);

…………

·execute步骤:语法EXECUTE stmt_name[USING @var_name [,
@var_name] …],示例:execute stmt;
返回执行结果为1,此时在prepared_statements_instances表中的统计信息会进行更新;

USER: NULL

·INTERNAL_LOCK:在SQL级别使用的表锁。有效值为:READ、READ WITH
SHARED LOCKS、READ HIGH PRIORITY、READ NO INSERT、WRITE ALLOW
WRITE、WRITE CONCURRENT INSERT、WRITE LOW
PRIORITY、WRITE。有关这些锁类型的详细信息,请参阅include/thr_lock.h源文件;

HOST: localhost

·rwlock_instances:wait sync相关的lock对象实例;

events_waits_summary_by_instance表:按照列EVENT_NAME、OBJECT_INSTANCE_BEGIN进行分组事件信息。如果一个instruments(event_name)创建有多个实例,则每个实例都具有唯一的OBJECT_INSTANCE_BEGIN值,因此每个实例会进行单独分组

OBJECT_NAME: test

EVENT_NAME: transaction

|TABLE | xiaoboluo |test | 140568038528544 |0| 0 |NULL | NULL |

AVG _TIMER_WAIT: 0

*
复制slave连接的program_name属性值被定义为mysqld、定义了_client_role属性,值为binary_log_listener、_client_replication_channel_name属性,值为通道名称字符串

下一篇将为大家分享
《数据库对象事件统计与属性统计 | performance_schema全方位介绍》
,谢谢你的阅读,我们不见不散!返回搜狐,查看更多

每个套接字统计表都包含如下统计列:

1 row in set (0.00 sec)

SUM _NUMBER_OF _BYTES_READ: 11567104

*
以前缀memory/performance_schema命名的instruments可以收集performance_schema自身消耗的内部缓存区大小等信息。memory/performance_schema/*
instruments默认启用,无法在启动时或运行时关闭。performance_schema自身相关的内存统计信息只保存在memory_summary_global_by_event_name表中,不会保存在按照帐户,主机,用户或线程分类聚合的内存统计表中

(4)rwlock_instances表

HIGH_COUNT_USED: 1

MAX_TIMER_READ: 9498247500

COUNT_STAR: 1

·OBJECT_NAME:instruments对象的名称,表级别对象;

# events_stages_summary_by_host_by_event_name表

session_account_connect_attrs表仅包含当前连接及其相关联的其他连接的连接属性。要查看所有会话的连接属性,请查看session_connect_attrs表。

# events_waits_summary_by_user_by_event_name表

·server只接受的连接属性数据的统计大小限制为64KB。如果客户端尝试发送超过64KB(正好是一个表所有字段定义长度的总限制长度)的属性数据,则server将拒绝该连接;

COUNT_ALLOC: 158

·socket_instances:活跃连接实例。

对于较高级别的聚合(全局,按帐户,按用户,按主机)统计表中,低水位和高水位适用于如下规则

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图