蒙特卡洛梯度估计(Monte Carlo Gradient Estimation, MCGE)是一类基于随机采样的梯度近似方法,核心解决的是“目标函数无法通过解析形式求导”的关键难题——当目标函数以期望形式存在(如含隐变量、随机扰动或复杂概率分布),无法直接计算梯度时,通过随机采样生成有限样本,用样本平均替代积分/求和,将不可微优化问题转化为可微随机优化问题,是现代机器学习、随机优化、贝叶斯推断等领域的核心底层技术之一。
ToolFormer是由Meta AI Research于2023年2月发布的开创性语言模型,其核心突破的是让大型语言模型(LM)通过完全自监督的方式,自主学会调用外部工具(API),实现“语言模型的通用性与工具的精确性”的完美结合,彻底打破了传统语言模型的能力局限,成为“工具增强型语言模型”领域的奠基石之作。与传统语言模型不同,ToolFormer无需大量人工标注,就能自主判断何时调用工具、调用哪个工具、传入什么参数,以及如何将工具返回的结果融入后续文本生成,既保留了语言模型本身强大的文本理解与生成能力,又借助外部工具弥补了自身的固有缺陷。