AI小样本学习精度首次超越人类 阿里力夺FewCLUE双料冠军

作者：佚名 2021-07-28 11:54:09

云计算 日前， 中文语言理解权威评测基准CLUE公布了小样本学习评测榜单FewCLUE的最新结果，阿里巴巴在大模型和无参数限制模型两项赛事中双双刷新榜单最好纪录，仅次于“人类”，并在极少（一个类别仅十余个）样本条件下，超过了新闻文本分类上的人类识别精确度。

自然语言理解的格局正悄然发生巨变。

日前， 中文语言理解权威评测基准CLUE公布了小样本学习评测榜单FewCLUE的最新结果，阿里巴巴在大模型和无参数限制模型两项赛事中双双刷新榜单最好纪录，仅次于“人类”，并在极少（一个类别仅十余个）样本条件下，超过了新闻文本分类上的人类识别精确度。这证明了AI小样本学习在NLP任务上具备超越人类的能力。

FewCLUE是CLUE最新推出的一项中文小样本学习评测榜单，包括大模型和无参数限制模型双赛道，用来评估预训练模型是否能够通过小样本学习来掌握特定的自然语言处理任务。基于这项评估，科研人员可以更精准的衡量预训练模型的泛化性和准确率。

众所周知，预训练模型在特定自然语言处理任务上要取得高精度的成本非常高，科研人员进而转向攻关小样本学习技术，希望用较低的成本实现可观的识别精确度。

据悉，阿里云机器学习平台PAI和和达摩院共同提出了一种大模型+小样本的联合方案，在大规模通用预训练基础之上，将亿级知识图谱融入预训练模型，打造了强大的底座KGBert，结合Fuzzy-PET少样本学习，在多个任务上比预训练微调技术提升近25%了准确率，甚至在一个小样本学习任务上的精准度超过了人类。例如，在智能客服场景下的用户需求识别，仅需人工标注几十条样本，就能让需求识别的准确率达到90%。

值得一提的是，这项小样本学习技术已在阿里巴巴的实际场景落地且有很好的业务表现，目前阿里云智能客服云小蜜仅用20条样本就可以做到快速冷启动，实现精准问答，准确率超过80%，并在政务、金融、通用线多个业务场景落地。开发者可基于PAI直接调用行业解决方案，也可以二次开发打造自己的模型。

[[413768]]

阿里云PAI是国际领先的机器学习平台，过去几年陆续打破多项国内外AI记录：2019年10月，英文多轮阅读榜单QuAC取得第一；2020年3月，中文CLUE分类榜单取得第一；2020年8月，英文SuperGLUE取得国内第一，世界第二。

“我们希望通过算法与工程的协同设计构建端到端的大规模AI工程能力，用云上AI平台PAI服务各行各业。”阿里巴巴副总裁、阿里云计算平台负责人贾扬清表示：“目前，PAI支持从数据标注、模型设计、分布式训练、模型管理和模型服务等AI资产管理的各方面需求，全面提升AI落地企业应用的效率。”