Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

希望flinkStreamSQL 1.10的Kafka数据源可以像flink原生版一样支持group-offsets模式 #354

Open
bcwoauthtest opened this issue Sep 14, 2020 · 6 comments

Comments

@bcwoauthtest
Copy link

bcwoauthtest commented Sep 14, 2020

flinkStreamSQL 1.10的Kafka数据源不支持group-offsets模式,Flink原生版支持的。 在实际应用中,最常用的就是这个模式,Flink原生版本只要设置了groupId, 即使是latest和earlist两种offset模式, 也只是在groupId有新值时,从最新或者最初始开始读,其后就是按照group-offsets来读取的,这样就可以保证任务重启后,准确地衔接上。 希望大佬们可以让flinkStreamSQL 也支持group-offset模式。

@bcwoauthtest bcwoauthtest changed the title 希望flinkStreamSQL 1.10的Kafka数据源可以向flink官方一样支持group-offsets模式 希望flinkStreamSQL 1.10的Kafka数据源可以向flink原生版一样支持group-offsets模式 Sep 14, 2020
@PrettyJerry
Copy link

Good Requirement! I desired it too.

@bcwoauthtest bcwoauthtest changed the title 希望flinkStreamSQL 1.10的Kafka数据源可以向flink原生版一样支持group-offsets模式 希望flinkStreamSQL 1.10的Kafka数据源可以像flink原生版一样支持group-offsets模式 Sep 16, 2020
@blackMoutin
Copy link

现在支持了嘛

@bcwoauthtest
Copy link
Author

@blackMoutin 你是提问吗? 是“现在支持了吗” 写错了吧。 官方说解决了,会回复的。

@xunchangguo
Copy link

有计划在做了么?

@xunchangguo
Copy link

类似下面这样改?还是还有更好的方式?

               if (StringUtils.isNotEmpty(kafka010SourceTableInfo.getKafkaParam("group.id"))){
			kafkaSrc.setStartFromGroupOffsets();
		} else if("earliest".equalsIgnoreCase(offsetReset)){
			kafkaSrc.setStartFromEarliest();
		} 
.......................

@a49a
Copy link

a49a commented Aug 19, 2021

FlinkX 1.12试一下?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

5 participants