K2-上海交通大学

更新时间：2024-12-19 19:09:50

简介

K2是一个地球科学的开源大预言模型。首先通过收集和清理的地球科学文献（包括地球科学开放获取论文和维基百科页面）对 LLaMA 进行进一步预训练，然后使用知识密集型指令调优数据（GeoSignal ）。

初步评估采用GeoBenchmark（由NPEE和AP Test on Geology、Geography、Environmental Science组成）作为基准。与具有相似参数的几个基线模型相比，K2 在客观和主观任务上的表现优于基线。

我们介绍 K2 (7B)，它是一个开源语言模型，首先在收集和清理过的地球科学文献（包括地球科学开放存取论文和维基百科页面）上对 LLaMA 进行进一步预训练，然后使用知识密集型指令调整数据（GeoSignal）进行微调。在初步评估中，我们使用 GeoBench（由 NPEE 和关于地质学、地理学和环境科学的 AP 测试组成）作为基准。与参数相似的几个基准模型相比，K2 在客观和主观任务上的表现都优于基准模型。在该资源库中，我们将共享以下代码和数据。