[Bug]: [date 5.19]tke regression: mo reported error no such table sysbench_db.sbtest9

[heni02]

Is there an existing issue for the same bug?

• I have checked the existing issues.

Branch Name

main

Commit ID

fae5807

Other Environment Information

- Hardware parameters:
- OS type:
- Others:

Actual Behavior

job:https://github.com/matrixorigin/mo-nightly-regression/actions/runs/9148415689/job/25154937743

mo log:
https://grafana.ci.matrixorigin.cn/explore?panes=%7B%22ya3%22:%7B%22datasource%22:%22loki%22,%22queries%22:%5B%7B%22refId%22:%22A%22,%22expr%22:%22%7Bnamespace%3D%5C%22mo-nightly-regression-20240519%5C%22%7D%20%7C%3D%20%60no%20such%20table%20sysbench_db.sbtest9%60%22,%22queryType%22:%22range%22,%22datasource%22:%7B%22type%22:%22loki%22,%22uid%22:%22loki%22%7D,%22editorMode%22:%22builder%22%7D%5D,%22range%22:%7B%22from%22:%221716154940507%22,%22to%22:%221716155264102%22%7D%7D%7D&schemaVersion=1&orgId=1

Expected Behavior

No response

Steps to Reproduce

sysbench100w write_only 1000 test

Additional information

No response

[jensenojs]

通过mo-log的链接, 搜索sbtest9, 扫出来的日志, 这里截取的是日志的两个片段,

第一个片段是在执行了大量的DELETE FROM sbtest9 xxx之后, 在21:44:09.640以及随后的日志中显示这个表被删除了. 随后有一系列的报错是table sbtest9 does not exist的, 应该算属于预期结果内的.

跟本issue相关的日志在下面, 在21:44:10.478重新创建了sbtest9之后, 21:44:11.166往这个表里面插入数据的时候仍然显示no such table sysbench_db.sbtest9

[jensenojs]

向韩枫哥请教了一下, 通过日志把问题定位得更准确了一些, 初步怀疑cn的时间戳有问题, 不知道是什么东西引起的(事务重试?), 下面是诊断的过程.

1. 从21:44:11.478可以看到新建的 sbtest9 的 id 是 273407 (pod : nightly-regression-dis-dn-0)

   • 于此同时在21:44:11.239中刷盘的是 sbtest9 是273393, 是之前drop掉的 ( pod : nightly-regression-dis-dn-0)
   • 21:44:10.478 将新建的sbtest9刷盘了, 21:44:11.166的insert报错tbl not found
     

2. 但是从后面的日志可以看出(下图第一行), cn是可以正常提交 273407 的 drop 请求的

   • 高亮第一行 : pod : nightly-regression-dis-dn-0

因此新建的273407在tn是成功了, cn因为某种原因, 在1s中后没有看到, 4秒后却能正常的删除, 下图的第二行能反映是真的往 273407 里插入了 1392 行数据，删除了 230 行数据

---

补充, 21:44:10.478新建sbtest9的cn应该是21:44:10.470所反映的cn-4pvb4, 后面插入的报错是cn-hhwxg, create sbtest9 和 insert sbtest9 不在同一个CN上

create sbtest9 pod :

insert pod :

[jensenojs]

在高并发事务执行期间, 没有sync commit. 不保证外部一致性.

[heni02]

confirm，closed