ChatGPT 4的代码生成是怎样训练的

[huangyingw]

使用chatgpt 4有一段时间了, 它的代码生成功能实在太强.
我很好奇这种功能是怎么训练的.
感觉用人工标注代码, 应该是行不通的. 因为很难用一种统一的标准来判定一份代码是好还是坏.

这么强悍的技术, 由一两家公司垄断是一件很恐怖的事情.
危险的不是技术本身, 而是使用技术的人.
有没有可能开源社区, 大家合作, 一起训练一个能挑战全面chatgpt的模型?

[jianzhnie]

chatgpt 使用 github 上的大量代码进行了预训练训练，所以有很强的的代码生成能力

[huangyingw]

这么多代码, 难道不用人工标注? 怎么知道代码优劣, 就靠是否stared?
而且, 用chatgpt 4来检查代码, 它能够快速地看出我代码里的边界条件bug..
它这个代码理解能力, 特别是找bug的能力, 有点难以想象..

那么, 能不能说, 只要用了github的大量, 优质代码, 用相同的训练方法, 开源社区也有可能训练出这样精确度的代码生成AI?