Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
我们准备用模型做代码助手，评测时大家拿 LeetCode 题测。这样有意义吗？
有一点意义，但不够。生产代码不是算法题，更多是读旧代码、遵守约束、改小范围、跑测试。
我建议拿历史 bug。把 issue、相关文件、测试失败给模型，看它能不能定位。
还要看不该改什么。很多模型为了通过当前问题，顺手改一堆无关逻辑。
那怎么打分？
是否定位正确、改动是否最小、测试是否通过、有没有引入安全问题、解释是否可信。
代码生成强的模型是不是一定适合 code agent？
不一定。Agent 要会用工具、处理错误、分步骤验证。模型只是脑子，工具链是手脚。
我见过模型写代码很快，但看到测试失败就开始乱猜。
这类要测“失败后第二步”。不是第一版代码看着顺就算过。
中文项目注释和需求很多，英文模型会不会吃亏？
会，所以要用你们真实仓库语言测。中文需求、英文代码、混合日志都要放进去。
权限也要管。自动改代码前，至少要限制目录和命令。
我们先做只读问答和 PR 建议，不自动提交。
这个更稳。先让它成为会读项目的助手，再让它动手。
LeetCode 可以保留，但不能当上线门槛。
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您每次返回时都能精准定位到您上次浏览的位置，并可选择接收新回复通知（通过邮件或推送通知）。您还能收藏书签、为帖子顶，向社区成员表达您的欣赏。
有了你的建议，这篇帖子会更精彩哦 💗
