【AI】金融FinGPT模型

金融FinGPT模型开源,对标BloombergGPT,训练参数可从61.7亿减少为367万,可预测股价

继Bloomberg提出了500亿参数的BloombergGPT,GPT在金融领域的应用受到了广泛关注,但BloombergGPT是一个非开源的模型,而且用到了Bloomberg自身独有的数据储备,并不利于金融大模型的广泛普及。

FinGPT: Open-Source Financial Large Language Models

Hongyang Yang, Xiao-Yang Liu, Christina Dan Wang

论文地址:

GitHub

1、完全开源:开源的训练数据、开源的模型。

2、数据中心化:尽管没有Bloomberg用到的独有数据,但FinGPT所用的所有数据都被集中、严格地清洗,保证了数据的质量,并向大众开放。

3、端到端的设计:包括输入层、数据加工层、大语言模型微调层和应用层。

4、BloombergGPT中缺少人类反馈强化学习,但这是GPT模型成功的关键,而FinGPT应用了这项技术。

5、轻量级的部署和微调,为了普及金融大模型,降低应用成本,应用了the Low-Rank Adaptation (LoRA) of LLMs技术,将可训练参数从61.7亿减少为367万。

FinGPT运用了各种各样的金融训练数据,包括金融新闻、公司公告、社交媒体、金融专业网站、学术资料等,多种多样的数据保证了FinGPT可以理解金融市场和做出金融决策。

值得注意的是,FInGPT提供了一套完善的机制应对实时数据,做出实时决策;使用者也可以很轻松地对下游任务进行微调。

还可以微调FinGPT来预测股价,由于股价预测任务微调时可以简单利用股价变动作为反馈,因此微调成本相对其它需要人类反馈的任务低得多。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
社会演员多的头像社会演员多普通用户
上一篇 2023年7月6日
下一篇 2023年7月6日

相关推荐