Few-shot Learning(少样本学习)是机器学习、深度学习领域的分支任务,指模型在仅拥有少量标注样本的前提下,快速学习任务规律、完成对应识别、生成、分类等任务的学习方式。标注样本指已经人工打好标签、明确标准答案的数据,比如标注好“正面/负面”的评论、标注好品类的图片。少样本学习的核心目标就是模仿人类举一反三的学习能力,不需要海量重复数据,看几个例子就能明白规则。
传统深度学习依赖成千上万条海量标注数据反复迭代训练模型,数据采集、人工标注成本高,且训练周期漫长;而少样本学习依托模型预训练阶段积累的海量先验知识,不需要大规模重新训练,仅依靠寥寥数个样本,即可快速总结规律、泛化适配全新陌生任务。通俗案例:传统训练如同题海战术,刷1000道同类题才会做题;少样本学习如同聪明人举一反三,只看3道例题就摸清解题规则。
一、概念层级划分
根据可用标注样本数量,行业内划分三类轻量化学习方式,常作为对比概念:
1.Zero-shot Learning(零样本学习):无任何标注样本,仅依靠文字描述、任务指令,让模型完成陌生任务。无示例参考,完全依赖模型自身通识能力,对模型泛化能力要求极高。实战案例:直接输入指令“判断这句话情绪:这家店太难吃了”,不给任何分类例子,模型直接判定为负面。
2.One-shot Learning(单样本学习):仅提供1条标注样本作为参考,模型学习样本特征与规则,完成同类任务。样本数量极少,适合规则简单、逻辑直白的任务。实战案例:给1条示例【输入:今天很开心→情感:正面】,让模型判断新句子的情感。
3.Few-shot Learning(少样本学习):提供2~10条少量标注样本,是目前大模型应用中最常用的方式,兼顾学习准确率与便捷性,能适配复杂格式、特殊逻辑的任务。实战案例:给3条不同语气的情感分类示例,包含正面、负面、中性,模型精准区分模糊语句的情绪。
二、工作原理
1.预训练知识库打底
模型在海量通用数据集上完成预训练,提前掌握人类通用常识、语言语法、图像纹理、基础逻辑等底层能力,相当于给模型打好基础认知。通俗案例:大模型出厂前已经学完全网文本、海量图片,认识什么是句子、什么是动物、什么是情绪,具备最基础的判断能力,这是少样本学习能够生效的前提。
2.少量样本规则对齐
人为输入少量高质量示范样本,模型快速捕捉样本中的专属规则,包含固定输出格式、专业逻辑、语气风格、分类判定标准。该阶段不需要修改、更新模型内部参数,仅在推理过程中临时对齐规则。实战案例:要求模型严格按照【句子+情绪+理由】格式输出,给2组示范,模型记住固定排版和判断逻辑。
3.泛化推理输出结果
模型将从少量样本中总结的规则,迁移应用到全新的未知输入,自主完成同类任务,实现小样本快速适配新场景。实战案例:给模型3条奶茶评价的情绪分类样本,模型自主分析从未见过的奶茶差评,精准判定负面情绪并给出理由。
三、应用场景
1.大语言模型(最常用)
Prompt提示词工程中广泛使用,通过给2-3组输入输出示例,约束模型输出格式、语气、逻辑,解决模型自由输出不规范的问题。具体案例:做方言翻译任务,给2组【方言-普通话】对照示例,无需大量语料,模型就能精准翻译同类方言口语。
2.计算机视觉
适用于稀有物品识别、小众品类检测,这类场景天然难以采集大量数据,无法满足传统深度学习训练要求,依靠少量图片样本即可完成识别适配。具体案例:工业检测中,新型微小零件裂纹缺陷样本极少,工程师仅上传10张裂纹图片,模型就能识别同类零件的瑕疵。
3.专业行业场景
医疗影像诊断、小众语种翻译、金融特殊风控识别等专业场景,数据标注门槛高、隐私性强、样本稀缺,少样本学习可极大降低标注成本。具体案例:罕见病医疗X光片数量极少,医生标注十几张患病影像,模型即可辅助筛查同类病症。
四、优点
•成本低廉:无需海量标注数据,大幅减少数据采集、标注的人力与时间成本;
•适配快速:无需微调模型,仅通过示例即可适配新任务,落地效率高;
•通用性强:可灵活适配文本、图像、语音等多类型任务。
五、缺点
•容错率低:样本质量对结果影响极大,若示例存在错误、偏见,模型会直接复刻错误规则。案例:给模型2条错误示例【下雨=开心】,模型会错误判定雨天为正面情绪。
•复杂任务受限:逻辑繁琐、专业度极高的复杂任务,少量样本无法支撑模型吃透底层逻辑。案例:仅给5条高数解题示例,模型无法掌握复杂高数公式推导,解题准确率大幅下降。
•泛化边界有限:超出样本特征范围的极端陌生输入,容易出现推理错误。案例:模型只见过普通奶茶评价,突然输入专业奶茶原料化工术语,模型无法精准判断情绪。
六、总结
Few-shot Learning 无需微调模型参数,属于推理阶段的提示学习,全程不改动模型内部权重,仅靠示例临时对齐规则;而传统微调(Fine-tuning)是利用大量专用数据,通过反向传播更新模型参数,永久改变模型能力。直白对比案例:Few-shot如同考试前看3道例题,临场模仿做题;微调如同刷题上千道,永久固化解题思维。