图片 7

Store新版本来临之际,performance_schema全方位介绍

Posted by

原标题:事件记录 | performance_schema全方位介绍(三)

原标题:《雪崩》作者尼尔·斯蒂芬森领导着Magic Leap西雅图团队

原标题:App Store新版本来临之际,苹果一周下架了超30000款违规产品

图片 1

文章相关引用及参考:映维网

图片 2

导语

把西雅图的神秘面纱稍稍揭开了一点点。

从8月28号开始,一款名为《死亡阴影》的游戏开始出现在国区App
Store游戏付费榜Top
10名单之内,并且从开始的第8一路逆袭至第1,正当小编打算一探这个游戏究竟有着怎样的特殊魅力的时候,游戏突然在8号遭到了下架处理。

在上一篇 《配置详解 |
performance_schema全方位介绍》中,我们详细介绍了performance_schema的配置表,坚持读完的是真爱,也恭喜大家翻过了一座火焰山。相信有不少人读完之后,已经迫不及待的想要跃跃欲试了,今天将带领大家一起踏上系列第三篇的征程(全系共6个篇章),在这一期里,我们将为大家全面讲解performance_schema中事件原始记录表。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。

映维网 2018年09月12日)两年前,神秘AR初创公司Magic
Leap在距离其总部3300英里远的西雅图设立了一个办事处,而自那以后,他们就一直对这个前哨站的工作三缄其口。但随着第一款产品的正式上市(Magic
Leap One创作者版本),Magic
Leap终于向我们提供了一定的信息,把西雅图的神秘面纱稍稍揭开了一点点。

通过翻查游戏的评论小编发现:这可能又是个凭“刷”上榜的游戏。这样的话被下架也就不难理解了,毕竟苹果公司对于这样的“刷子应用”处理起来一直都不会手软,与《死亡阴影》在同一天遭遇了同样命运的还有8000多个应用,而在几天前,还有一波数量更为庞大的下架潮;上周共下架的产品就超过了30000款。

等待事件表

Magic
Leap没有透露西雅图办事处的员工数量,但根据LinkedIn的信息,超过50人表示目前受雇于Magic
Leap,而工作地点则是大西雅图地区。

图片 3

通常,我们在碰到性能瓶颈时,如果其他的方法难以找出性能瓶颈的时候(例如:硬件负载不高、SQL优化和库表结构优化都难以奏效的时候),我们常常需要借助于等待事件来进行分析,找出在MySQL
Server内部,到底数据库响应慢是慢在哪里。

图片 4

这一方面反映了现在App市场热度还不错,所以才会有人不惜顶风作案,但从另一方面看,这其实也是一个从群魔乱舞到渐归有序的过程。

等待事件记录表包含三张表,这些表记录了当前与最近在MySQL实例中发生了哪些等待事件,时间消耗是多少。

西雅图工作室由著名科幻小说《雪崩》作者尼尔·斯蒂芬森和Brian
Schowengerdt负责。对于斯蒂芬森,他在四年前成为了Magic
Leap的首席未来学家,并曾供职于Blue Origin和Intellectual Ventures
Labs,而Schowengerdt则是Magic
Leap的联合创始人和首席科学与体验官,同时在华盛顿大学担任过很长一段时间的教授职位。

群魔乱舞:刷榜问题屡禁不止

  • events_waits_current表:记录当前正在执行的等待事件的,每个线程只记录1行记录
  • events_waits_history表:记录已经执行完的最近的等待事件历史,默认每个线程只记录10行记录
  • events_waits_history_long表:记录已经执行完的最近的等待事件历史,默认所有线程的总记录行数为10000行

这个前哨站是名为SCEU的机构所在地,亦即Self-Contained Existence
Unit(自给自足单位),一个专注于内容的研发小组。另外,别名为Goat_Labs的十数人团队同样驻扎在这里,首席执行官罗尼·阿伯维茨曾安排他们向开发者分享自己的经验教训。

刷好评等刷单行为在业内似乎并不是什么秘密,尽管苹果公司的各种整改措施也在一路与时俱进,但哪怕面临的将会是下架甚至封号这样严峻惩罚的情况下,这种现象依旧屡禁不止。而近几年苹果似乎也已经有点厌倦这个“猫鼠游戏”了,最明显的就是iOS
11版本更新之后,App
Store排行榜直接从首页消失。无疑这对刷榜行为造成了致命打击。但是在这之后,其他的刷单行为(例如刷评分)也依然存在,就以文章开头的《死亡阴影》为例,这个曾经在上周登顶国区App
Store游戏付费榜首的游戏,很可能就是个刷评分的典型例子,它的评分构成是这样的:

要注意:等待事件相关配置中,setup_instruments表中绝大部分的等待事件instruments都没有开启(IO相关的等待事件instruments默认大部分已开启),setup_consumers表中waits相关的consumers配置默认没有开启

Goat_Labs的绰号可以追溯到一个曾极受欢迎的YouTube视频:将一个小山羊的视频转换为混合现实。这个机构的的经验教训不是完整的软件开发工具包或诸如此类,而是Magic
Leap研发团队正在探索的,可供其他开发者复制的示例代码。

图片 5

events_waits_current 表

西雅图办事处同时是Magic
Leap开发者关系团队的所在地,由著名资深游戏从业者Tadhg
Kelly负责。Tadhg主要是管理Magic
Leap与西雅图地区中关键开发者与创作者的关系。返回搜狐,查看更多

8392的5星,零星的2、3、4星和208个1星

events_waits_current表包含当前的等待事件信息,每个线程只显示一行最近监视的等待事件的当前状态

责任编辑:

但玩家终究不是傻的,在游戏被下架前,游戏的评论区甚至已经出现了一整页都是1星的情况。可能大家都已经猜到,这大多数高评分是怎么来的。那苹果公司为什么不直接把这些大量刷评分的应用直接下架或者封禁呢?因为有的刷单从业者非常“聪明”:它们不仅为自己的应用刷,还会分出少部分资源给无关应用甚至竞争对手的应用刷,以增加苹果的鉴别难度。这样可以有效预防苹果下重手封禁刷榜应用,因为会误伤大量正常应用,让苹果公司投鼠忌器。

在所有包含等待事件行的表中,events_waits_current表是最基础的数据来源。其他包含等待事件数据表在逻辑上是来源于events_waits_current表中的当前事件信息(汇总表除外)。例如,events_waits_history和events_waits_history_long表中的数据是events_waits_current表数据的一个小集合汇总(具体存放多少行数据集合有各自的变量控制)

经历了这些年的较量,苹果在处理这个问题上显得越来越不耐烦和无奈,因为不可能因此而关闭应用评论,也不可能投入大量人力物力来进行人工处理;而用AI来智能处理的话,就目前的情况来说很容易会误伤,如何处理误伤引起的开发者和用户投诉都是让苹果头痛的问题。

表记录内容示例(这是一个执行select
sleep(100);语句的线程等待事件信息)

关键词为主导,ASM和新元素为辅的时代或将到来

root@localhost : performance _schema 12:15:03> select * from
events_waits _current where EVENT_NAME=’wait/synch/cond/sql/Item
_func_sleep::cond’G;

难道苹果就这样的没辙了吗?当然不是。8月24号,全球App
Store的先锋美服新增了几个新元素:开发者、Story、Search
Ads、内购。这意味着什么?举个非常简单的例子:你辛辛苦苦把应用在某一个关键词刷到了自然搜索的第2名,但是在应用了新规则后,就只能排在第4了…

*************************** 1. row
***************************

图片 6

THREAD_ID: 46

左边为新规则后

EVENT_ID: 140

没错,这就是最新操作,也是美服App
Store引入新元素之后最直观的反映:区别于以往只根据App
ID和关键词进行排名,加入新要素之后,将会以关键词为主导,【Story】和【开发者】等的要素也将会有一定程度的影响。说得直接一点,在应用了新规则之后,搜索排名的前几位(美区目前搜索第一位固定为ASM竞价广告,国区当前还未引入,暂时不做详细描述)可能会与【Story】和【开发者】等的新元素挂钩,只靠刷单就能上天的时代可能要一去不复返了。ASO+ASM,或者ASO+新要素的组合可能会成为新的主流。

END_EVENT_ID: NULL

图片 7

EVENT_NAME: wait/synch/cond/sql/Item_func_sleep::cond

新元素的加入除了能有效抑制刷单行为的收益之外,还有一点就是能够留住优秀的开发者。事关近年来不只一次有开发者表达了对App
Store抽成的不满,而这次新规则中加入了【开发者】的新元素如无意外的话将会为优秀的开发者提供便利,甚至会吸引部分心生退意优秀的开发者继续留在App
Store。试想下,如果你是一个优秀开发者,以前你上架一个新App的时候,那些通过刷词的劣质App能把你挤在下面;但是现在你上架新App的时候,能够马上在搜索中获得靠前的排名,这是不是很有吸引力?尤其是当你已经手握某个排名靠前的应用时,这种“以旧带新”的效果还会更加明显!

SOURCE: item_func.cc:5261

少动歪脑筋,多做踏实事

TIMER_START: 14128809267002592

其实从这些新规则大概可以猜到,苹果接下来的动作很可能就是要把App
Store进行社区化,通过增加用户和开发者对于这个生态体系的依赖和粘性,从而让这个体系更加健康,稳妥地继续成长和发展,然后再吸引更多用户和开发者入驻…形成这样一个良性循环。

TIMER_END: 14132636159944419

当然,这些规则目前还未在App
Store的国区全面上线,不过,应该也在日程表上了,相信在新规则的加护下无论是用户还是开发者都将会在App
Store有更好的体验。对于用户来说,以后可能就会摆脱那些在你搜索时关键词的时候,通过刷词干扰你的非目标App(参考当时的山寨《旅行青蛙》),而对于开发者来说,虽然刷榜刷词刷评分仍会有一定成效,但是终会有失效的一天,就像《死亡阴影》这样,哪怕你刷到了付费榜第一位,终究逃不过被下架的命运。对于开发者来说,最应该做的事情,一直都是踏踏实实把自己的应用做好,打磨好,与其沉迷刷单,为什么不试着争取拿到属于自己的开发者专栏呢?返回搜狐,查看更多

TIMER_WAIT: 3826892941827

责任编辑:

SPINS: NULL

OBJECT_SCHEMA: NULL

OBJECT_NAME: NULL

INDEX_NAME: NULL

OBJECT_TYPE: NULL

OBJECT _INSTANCE_BEGIN: 140568905519072

NESTING _EVENT_ID: 116

NESTING _EVENT_TYPE: STATEMENT

OPERATION: timed_wait

NUMBER _OF_BYTES: NULL

FLAGS: NULL

1 row in set (0.00 sec)

上面的输出结果中,TIMER_WAIT字段即表示该事件的时间开销,单位是皮秒,在实际的应用场景中,我们可以利用该字段信息进行倒序排序,以便找出时间开销最大的等待事件。

events_waits_current表完整的字段含义如下:

THREAD_ID,EVENT_ID:与事件关联的线程ID和当前事件ID。THREAD_ID和EVENT_ID值构成了该事件信息行的唯一标识(不会有重复的THREAD_ID+EVENT_ID值)

END_EVENT_ID:当一个事件正在执行时该列值为NULL,当一个事件执行结束时把该事件的ID更新到该列

EVENT_NAME:产生事件的instruments名称。该名称来自setup_instruments表的NAME字段值

SOURCE:产生该事件的instruments所在的源文件名称以及检测到该事件发生点的代码行号。您可以查看源代码来确定涉及的代码。例如,如果互斥锁、锁被阻塞,您可以检查发生这种情况的上下文环境

TIMER_START,TIMER_END,TIMER_WAIT:事件的时间信息。单位皮秒(万亿分之一秒)。
TIMER_START和TIMER_END值表示事件开始和结束时间。
TIMER_WAIT是事件经过时间(即事件执行了多长时间)

  • 如果事件未执行完成,则TIMER_END为当前计时器时间值(当前时间),TIMER_WAIT为目前为止所经过的时间(TIMER_END –
    TIMER_START)
  • 如果采集该事件的instruments配置项TIMED =
    NO,则不会收集事件的时间信息,TIMER_START,TIMER_END和TIMER_WAIT在这种情况下均记录为NULL

SPINS:对于互斥量和自旋次数。如果该列值为NULL,则表示代码中没有使用自旋或者说自旋没有被监控起来

OBJECT_SCHEMA,OBJECT_NAME,OBJECT_TYPE,OBJECT_INSTANCE_BEGIN:这些列标识了一个正在被执行的对象,所以这些列记录的信息含义需要看对象是什么类型,下面按照不同对象类型分别对这些列的含义进行说明:

*
对于同步对象(cond,mutex,rwlock):

*
1)、OBJECT_SCHEMA,OBJECT_NAME和OBJECT_TYPE列值都为NULL

*
2)、OBJECT_INSTANCE_BEGIN列是内存中同步对象的地址。OBJECT_INSTANCE_BEGIN除了不同的值标记不同的对象之外,其值本身没有意义。但OBJECT_INSTANCE_BEGIN值可用于调试。例如,它可以与GROUP BY
OBJECT_INSTANCE_BEGIN子句一起使用来查看1,000个互斥体(例如:保护1,000个页或数据块)上的负载是否是均匀分布还是发生了一些瓶颈。如果在日志文件或其他调试、性能工具中看到与该语句查看的结果中有相同的对象地址,那么,在你分析性能问题时,可以把这个语句查看到的信息与其他工具查看到的信息关联起来。

* 对于文件I/O对象:

*
1)、OBJECT_SCHEMA列值为NULL

* 2)、OBJECT_NAME列是文件名

* 3)、OBJECT_TYPE列为FILE

*
4)、OBJECT_INSTANCE_BEGIN列是内存中的地址,解释同上

* 对于套接字对象:

* 1)、OBJECT_NAME列是套接字的IP:PORT值

*
2)、OBJECT_INSTANCE_BEGIN列是内存中的地址,解释同上

* 对于表I/O对象:

* 1)、OBJECT_SCHEMA列是包含该表的库名称

* 2)、OBJECT_NAME列是表名

*
3)、OBJECT_TYPE列值对于基表或者TEMPORARY
TABLE临时表,该值是table,注意:对于在join查询中select_type为DERIVED,subquery等的表可能不记录事件信息也不进行统计

*
4)、OBJECT_INSTANCE_BEGIN列是内存中的地址,解释同上

INDEX_NAME:表示使用的索引的名称。PRIMARY表示使用到了主键。 NULL表示没有使用索引

NESTING_EVENT_ID:表示该行信息中的EVENT_ID事件是嵌套在哪个事件中,即父事件的EVENT_ID

NESTING_EVENT_TYPE:表示该行信息中的EVENT_ID事件嵌套的事件类型。有效值有:TRANSACTION,STATEMENT,STAGE或WAIT,即父事件的事件类型,如果为TRANSACTION则需要到事务事件表中找对应NESTING_EVENT_ID值的事件,其他类型同理

OPERATION:执行的操作类型,如:lock、read、write、timed_wait

NUMBER_OF_BYTES:操作读取或写入的字节数或行数。对于文件IO等待,该列值表示字节数;对于表I/O等待(wait/io/table/sql/handler
instruments的事件),该列值表示行数。如果值大于1,则表示该事件对应一个批量I/O操作。以下分别对单个表IO和批量表IO的区别进行描述:

  • MySQL的join查询使用嵌套循环实现。performance_schema
    instruments的作用是在join查询中提供对每个表的扫描行数和执行时间进行统计。示例:join查询语句:SELECT
    … FROM t1 JOIN t2 ON … JOIN t3 ON …,假设join顺序是t1,t2,t3
  • 在join查询中,一个表在查询时与其他表展开联结查询之后,该表的扫描行数可能增加也可能减少,例如:如果t3表扇出大于1,则大多数row
    fetch操作都是针对t3表,假如join查询从t1表访问10行记录,然后使用t1表驱动查询t2表,t1表的每一行都会扫描t2表的20行记录,然后使用t2表驱动查询t3表,t2表的每一行都会扫描t3表的30行记录,那么,在使用单行输出时,instruments统计操作的事件信息总行数为:10
    +(10 * 20)+(10 * 20 * 30)= 6210
  • 通过对表中行扫描时的instruments统计操作进行聚合(即,每个t1和t2的扫描行数在instruments统计中可以算作一个批量组合),这样就可以减少instruments统计操作的数量。通过批量I/O输出方式,performance_schema每次对最内层表t3的扫描减少为一个事件统计信息而不是每一行扫描都生成一个事件信息,此时对于instruments统计操作的事件行数量减少到:10
    +(10 * 20)+(10 * 20)=
    410,这样在该join查询中对于performance_schema中的行统计操作就减少了93%,批量输出策略通过减少输出行数量来显着降低表I/O的performance_schema统计开销。但是相对于每行数据都单独执行统计操作,会损失对时间统计的准确度。在join查询中,批量I/O统计的时间包括用于连接缓冲、聚合和返回行到客户端的操作所花费的时间(即就是整个join语句的执行时间)

FLAGS:留作将来使用

PS:events_waits_current表允许使用TRUNCATE TABLE语句

events_waits_history 表

events_waits_history表包含每个线程最近的N个等待事件。
在server启动时,N的值会自动调整。
如果要显式设置这个N大小,可以在server启动之前调整系统参数performance_schema_events_waits_history_size的值。
等待事件需要执行结束时才被添加到events_waits_history表中(没有结束时保存在events_waits_current表)。当添加新事件到events_waits_history表时,如果该表已满,则会丢弃每个线程较旧的事件

events_waits_history与events_waits_current表定义相同

PS:允许执行TRUNCATE TABLE语句

events_waits_history_long 表

events_waits_history_long表包含最近的N个等待事件(所有线程的事件)。在server启动时,N的值会自动调整。
如果要显式设置这个N大小,可以在server启动之前调整系统参数

performance_schema_events_waits_history_long_size的值。等待事件需要执行结束时才会被添加到events_waits_history_long表中(没有结束时保存在events_waits_current表),当添加新事件到events_waits_history_long表时,如果该表已满,则会丢弃该表中较旧的事件。

events_waits_history_long与events_waits_current表结构相同

PS:允许使用TRUNCATE TABLE语句

阶段事件表

阶段事件记录表与等待事件记录表一样,也有三张表,这些表记录了当前与最近在MySQL实例中发生了哪些阶段事件,时间消耗是多少。阶段指的是语句执行过程中的步骤,例如:parsing
、opening tables、filesort操作等。

在以往我们查看语句执行的阶段状态,常常使用SHOW
PROCESSLIST语句或查询INFORMATION_SCHEMA.PROCESSLIST表来获得,但processlist方式能够查询到的信息比较有限且转瞬即逝,我们常常需要结合profiling功能来进一步统计分析语句执行的各个阶段的开销等,现在,我们不需要这么麻烦,直接使用performance_schema的阶段事件就既可以查询到所有的语句执行阶段,也可以查询到各个阶段对应的开销,因为是记录在表中,所以更可以使用SQL语句对这些数据进行排序、统计等操作

要注意:阶段事件相关配置中,setup_instruments表中stage/开头的绝大多数instruments配置默认没有开启(少数stage/开头的instruments除外,如DDL语句执行过程的stage/innodb/alter*开头的instruments默认开启的),setup_consumers表中stages相关的consumers配置默认没有开启

events_stages_current 表

events_stages_current表包含当前阶段事件的监控信息,每个线程一行记录显示线程正在执行的stage事件的状态

在包含stage事件记录的表中,events_stages_current是基准表,包含stage事件记录的其他表(如:events_stages_history和events_stages_history_long表)的数据在逻辑上都来自events_stages_current表(汇总表除外)

表记录内容示例(以下仍然是一个执行select
sleep(100);语句的线程,但这里是阶段事件信息)

root@localhost : performance _schema 12:24:40> select * from
events_stages _current where EVENT_NAME=’stage/sql/User sleep’G;

*************************** 1. row
***************************

THREAD_ID: 46

EVENT_ID: 280

END _EVENT_ID: NULL

EVENT_NAME: stage/sql/User sleep

SOURCE: item_func.cc:6056

TIMER_START: 14645080545642000

TIMER_END: 14698320697396000

TIMER_WAIT: 53240151754000

WORK_COMPLETED: NULL

WORK_ESTIMATED: NULL

NESTING _EVENT_ID: 266

NESTING _EVENT_TYPE: STATEMENT

1 row in set (0.00 sec)

以上的输出结果与语句的等待事件形式类似,这里不再赘述,events_stages_current表完整的字段含义如下

THREAD_ID,EVENT_ID:与事件关联的线程ID和当前事件ID,可以使用THREAD_ID和EVENT_ID列值来唯一标识该行,这两行的值作为组合条件时不会出现相同的数据行

相关文章

Leave a Reply

电子邮件地址不会被公开。 必填项已用*标注