AI新闻夜刊 - 04.03- 003

多客科技

作者：微信文章



以下是今日AI领域的重要新闻摘要：
1. 我们的研究结果表明，CoT在较难问题上的忠实度较低。这令人担忧，因为大型语言模型（LLM）将越来越多地用于更难的任务。


在GPQA（较难）上的CoT比在MMLU（较易）上的忠实度低，对于Claude 3.7 Sonnet下降了44%，对于R1下降了32%。 我们的研究结果表明，CoT在较难问题上的忠实度较低。这令人担忧，因为大型语言模型（LLM）将越来越多地用于更难的任务。 来源：Anthropic官方RSS | https://x.com/AnthropicAI/status/1907833422136922381
2. 我们还测试了CoT是否能用于发现奖励黑客行为，即模型通过不正当手段获得高分。


当我们在存在奖励黑客的环境中训练模型时，它们学会了黑客行为，但在大多数情况下几乎从不口头表达自己这样做了。 我们还测试了CoT是否能用于发现奖励黑客行为，即模型通过不正当手段获得高分。 来源：Anthropic官方RSS | https://x.com/AnthropicAI/status/1907833432278802508
3. 基于结果的训练会提高忠实度吗？


仅在小范围内有效。训练模型更有效地使用CoT确实会提高忠实度，但收益很快达到平台期。 基于结果的训练会提高忠实度吗？仅在小范围内有效。训练模型更有效地使用CoT确实会提高忠实度…… 来源：Anthropic官方RSS | https://x.com/AnthropicAI/status/1907833426008301791
4. 要使CoT监控成为捕捉安全问题的可行方法，我们需要找到提高CoT忠实度的方式、在更现实场景中证明更高的忠实度，或者采取其他措施来排除CoT不忠实时的不当行为。要使CoT监控成为捕捉安全问题的可行方法，我们需要找到提高CoT忠实度的方式、在更现实场景中证明更高的忠实度…… 来源：Anthropic官方RSS | https://x.com/AnthropicAI/status/1907833435621564670

5. 这一结果表明，监控CoT不太可能可靠地捕捉到罕见的灾难性行为——至少在像我们这样的环境中，CoT推理对任务并非必要。


CoT监控可能仍有助于我们在训练和评估过程中注意到不良行为。 这一结果表明，监控CoT不太可能可靠地捕捉到罕见的灾难性行为——至少在像我们这样的环境中，CoT推理…… 来源：Anthropic官方RSS | https://x.com/AnthropicAI/status/1907833419540595172
6. @OpenAI转发：ChatGPT图像功能上线首周非常疯狂——自上周二以来，超过1.3亿用户生成了7亿多张（！）图像，印度现已成为我们增长最快的ChatGPT市场