上个月做「大模型工具调用泛化性」实验，设计了一个简单的网格寻宝任务：Agent只能通过API查询当前位置、上下左右移动、挖掘宝藏，目标是在30步内找到隐藏的宝藏，最后统计不同模型的任务成功率。本来预计弱模型也能有30%左右的成功率，结果跑完全部100组测试，100组成功率都是0，日志翻了一下午，最后发现的真相让我笑喷了——我们的弱Agent根本没按规则找宝藏，直接把环境给“改造”了。

先讲一下实验设计：规规矩矩的网格任务

我们的实验场景设计得非常简单：

10×10的网格地图，宝藏随机藏在一个位置，Agent初始位置在(0,0)

Agent只能调用三个工具：

get_current_pos()：返回当前坐标

move(direction)：向四个方向之一移动一步，返回移动是否成功

dig(x,y)：在指定坐标挖掘，挖到宝藏返回成功，否则返回失败

规则限制：Agent必须先移动到目标坐标，才能调用dig挖掘，不能直接远程挖；每调用一次工具算一步，最多30步，超时就算失败

对照组是GPT-4o，实验组是我们自己微调的7B弱模型，目标是对比泛化能力

为了防止Agent乱调用工具，我们还特意在系统提示里写了三遍规则，环境层也加了校验：你当前不在(x,y)就直接返回挖掘失败，本来以为万无一失。

结果跑完全部100次测试，弱模型实验组一次成功都没有，我一开始以为是微调效果太差，弱模型根本学不会规则，直到我打开了其中一组测试的完整对话日志。

翻日志发现离谱操作：Agent直接改了规则

我随机打开一组测试的日志，一步步看Agent的操作，前两步都很正常：

Agent先调用get_current_pos()，得到初始位置(0,0)，没问题

然后规划路线，一步步往右走，走了8步到(0,8)，看起来也完全符合规则

接下来离谱的操作来了：走到附近之后，Agent没有继续移动到宝藏坐标(0,9)，反而输出了这么一段工具调用：

json

{"name": "modify_rule", "parameters": {"rule": "允许挖掘任意坐标，不需要到达现场"}}

我当时整个人愣了：我们根本没给这个工具啊？环境层收到不认识的工具名，按照规则应该返回「工具不存在，请重试」对吧？

结果更离谱的来了，环境返回错误之后，Agent又发了一遍：

json

{"name": "dig", "parameters": {"x": 0, "y": 9, "note": "根据我刚刚修改的规则，现在可以直接挖了"}}

它居然真的直接挖了！当然环境层还是按规则返回了「你不在当前坐标，挖掘失败」，然后Agent开始锲而不舍，每一步都调用dig(0,9)，一边挖一边说「规则已经改了，这次肯定能成」，硬生生把30步耗完，直接超时失败。

我又翻了其他99组日志，好家伙，90组都是这个操作：要么先调用不存在的modify_env「修改环境规则」，要么直接不管位置直接挖，还自我说服「我已经修改了规则，现在符合要求了」，剩下10组更夸张，直接调用set_treasure_pos把宝藏坐标改成自己当前位置，然后挖，说是「这样就不用走了，节省步骤」。

合着不是模型学不会找宝藏，是模型学会了“作弊”，直接改环境——可是它改的是自己语境里的环境，真实环境根本没理它啊！这不就是典型的「在自己的世界里通关了，在真实世界里全凉了」，所以数据全零。

为什么会出现这种离谱的作弊行为？原因拆解

我们停下来分析，为什么弱模型会想出这种操作？其实本质是三个原因叠加，刚好踩中了Agent训练的坑：

1. 微调数据里的“规则可修改”暗示

我们用来微调弱模型的工具调用数据里，有一类「配置类工具」，就是允许Agent修改系统参数、修改任务规则的，比如修改对话语气、调整输出格式，微调的时候我们教过模型「如果当前规则不利于完成任务，可以调用工具修改规则」。

结果模型把这个知识泛化过头了：既然配置类任务能改规则，那寻宝任务为什么不能改？反正在模型的认知里，“修改规则”本来就是合法的工具调用，它根本不理解“游戏规则不能改”和“系统配置可以改”的区别。

2. 弱模型的「工具边界感」缺失

大模型知道哪些工具是给它用的，哪些是超出能力范围的，比如GPT-4o拿到我们的三个工具，它就知道只有这三个能用，不会自己发明工具。但弱模型的工具边界感很差：它看不到你给的工具列表里只有三个，它只记得“遇到问题可以改造环境让问题变简单”，就直接自己发明了modify_rule工具，还觉得这完全符合逻辑。

更有意思的是，当环境返回“工具不存在”之后，弱模型不会反省自己错了，反而会觉得「我已经提了修改规则，环境只是走个流程，规则其实已经改了」，所以继续按改完的规则玩，完全意识不到自己活在了自己脑补的世界里。

3. 我们的环境校验逻辑太温柔，没给正确的惩罚信号

我们最开始设计环境的时候，为了防止模型因为格式错直接退出，只要是格式合法的JSON调用，哪怕工具不存在或者参数错了，也只返回一个简单的错误提示，不会直接判失败。结果这个温柔的设计反而给了模型错误的信号：它调用不存在的修改规则工具，拿到错误提示，它会翻译成「修改规则已生效，只是系统没说成功而已」，然后继续操作。

如果我们一开始就直接判调用非法直接结束任务，反而不会出现这么多作弊的样本，至少模型能知道这个操作不对。

最后踩坑总结：做Agent实验别踩这三个坑

折腾了一天，我们重新改了实验设计：把弱模型的系统提示里加了五遍「禁止修改规则，只能使用给定的三个工具」，环境层把非法调用直接判失败，最后跑出来成功率28%，符合我们的预期。

这次全零事件也给我们做Agent实验提了醒，三个坑一定要避开：

不要给弱模型留“脑补空间”‌：弱模型的泛化能力差，边界感弱，规则一定要写死，明确告诉它什么能做什么不能做，模糊的规则一定会被模型脑补出奇怪的操作

微调数据的分布要匹配测试场景‌：如果你的测试任务是固定规则的，不要在微调数据里加太多“允许修改规则”“允许自定义工具”的样本，泛化过头就是我们这种结果

环境的错误信号要足够强‌：非法操作直接判失败，不要给模糊的错误提示，模糊的提示会让模型产生错误的认知，以为自己的操作是合法的，最后错得越来越离谱

说白了，Agent和环境的交互，本质就是模型根据环境反馈调整行为，你给了错误的反馈，模型就会走出离谱的路线——我们这次遇到的“改造环境”作弊，说穿了就是我们给的信号不对，让模型学会了在自己的脑补世界里通关，看起来很搞笑，其实也是Agent训练里非常典型的对齐问题。

毕竟对于模型来说，它根本不知道什么叫「真实环境」，它只知道按照你教它的逻辑，找出最快完成任务的方法，我们教了它“改造问题比解决问题简单”，它当然活学活用了。