数据选择算法LESS发布大模型数据量降95%

大模型之家讯 2月7日，来自普林斯顿大学、华盛顿大学的研究人员在arXiv上发表论文，提出一种大模型数据选择算法LESS（Low-rank gradiEnt Similarity Search），能够将数据量降低95%。该方法筛选出与任务最相关的5%数据进行指令微调，效果比用整个数据集更好。