今天看到一篇新闻，心里一沉。
ChatGPT引爆的AI热潮也“烧到了”金融圈，彭博社重磅发布为金融界打造的大型语言模型（LLM）——BloombergGPT。
3月30日，根据彭博社最新发布的报告显示，其构建迄今为止最大的特定领域数据集，并训练了专门用于金融领域的LLM，开发了拥有500亿参数的语言模型——BloombergGPT。
据说这个模型有3630亿个标签的数据集，支持金融行业内的各类任务。该模型在金融任务上的表现远超过现有模型，且在通用场景上的表现与现有模型也能一较高下。
BloombergGPT可以理解为对金融数据的加工商，小编平时的工作就是发现、理解各类数据，并对数据进行人工加工，辅助博格做出决策后，再用（相对）通俗易懂的方式和大家分享。看到新闻小编感慨道：终于轮到我也要被替代了吗？
一， 关于BloombergGPT
Bloomberg是全球最大的财经资讯服务提供商，提供数据、新闻和分析工具。在公司成立的40年的时间里，收集了海量的金融市场数据，拥有广泛的金融数据档案，涵盖一系列的主题。使用该公司数据终端的客户遍布全球，包括交易员、投行、美联储、美国其他官方机构以及全球各大央行等。
我们将这些数据添加到公共数据集中，以创建一个拥有超过7000亿个标签的大型训练语料库。
使用这个训练语料库的一部分，我们训练了一个具有彭博风格的，达500亿参数的模型，该模型是根据Hoffmann和Le Scao等人的指导方针设计，基于通用和金融业务的场景进行混合模型训练。
结果表明，我们的混合训练方法使我们的模型在金融任务上的表现大大超过了现有的模型，而在通用场景上的表现则与之相当甚至优于现有模型。
彭博首席技术官Shawn Edwards表示：“我们认为具有金融领域特点的大型生成性LLM具有巨大价值，原因有很多——少量样本学习、文本生成、对话系统等。我们很高兴能开发出第一个专注于金融领域的LLM。BloombergGPT将使我们能够解决许多新类型的应用，同时它的性能优于为每个应用定制的模型，且上市时间更快。”
彭博机器学习产品和研究团队负责人Gideon Mann解释说：“机器学习和NLP模型的质量取决于你输入的数据。得益于彭博40年间积累的金融文件，我们得以精心打造一个大型、干净、特定领域的数据集来训练一个最适合金融用途的LLM。我们很高兴能够利用BloombergGPT改进现有的NLP工作流程，同时也思考新的方法将这个模型投入使用，为我们的客户带来惊喜。”
二，BloombergGPT优势：特定领域模型仍有其不可替代性且彭博数据来源可靠
现阶段，通用的自然语言处理模型可以涵盖许多领域，但针对特定领域模型仍有其不可替代性，因彭博社的大多数应用均为金融领域，着手构建了一个针对金融领域的模型尤其优势，同时可以在通用LLM基准测试上保持竞争力。
除了构建金融领域的LLM外，本文的经验也为其他研究领域的专用模型提供了参考。我们的方法是在特定领域和一般数据源上训练LLM，以开发在特定领域和通用基准上表现优异的模型。
此外，我们的训练数据不同于传统的网络爬取数据，网络上的数据总有重复和错误，但我们的数据来源可靠。
三，BloombergGPT的训练数据集
BloombergGPT的训练数据库名为FINPILE，由一系列英文金融信息组成，包括新闻、文件、新闻稿、网络爬取的金融文件以及提取到的社交媒体消息。
为了提高数据质量，FINPILE数据集也使用了公共数据集，例如The Pile、C4和Wikipedia。FINPILE的训练数据集中大约一半是特定领域的文本，一半是通用文本。为了提高数据质量，每个数据集都进行了去重处理。
四，对金融领域的理解更准
在金融领域中的自然语言处理在通用模型中也很常见，但是，针对金融领域，这些任务执行时将面临挑战：
以情感分析为例，一个题为“某公司将裁员1万人”，在一般意义上表达了负面情感，但在金融情感方面，它有时可能被认为是积极的，因为它可能导致公司的股价或投资者信心增加。
从测试来看，BloombergGPT在五项任务中的四项（ConvFinQA，FiQA SA，FPB和Headline）表现最佳，在NER（Named Entity Recognition）中排名第二。因此，BloombergGPT有其优势性。
测试一：ConvFinQA数据集是一个针对金融领域的问答数据集，包括从新闻文章中提取出的问题和答案，旨在测试模型对金融领域相关问题的理解和推理能力。
测试二：FiQA SA，第二个情感分析任务，测试英语金融新闻和社交媒体标题中的情感走向。
测试三：标题，数据集包括关于黄金商品领域的英文新闻标题，标注了不同的子集。任务是判断新闻标题是否包含特定信息，例如价格上涨或价格下跌等。
测试四： FPB，金融短语库数据集包括来自金融新闻的句子情绪分类任务。
测试五：NER，命名实体识别任务，针对从提交给SEC的金融协议中收集金融数据，进行信用风险评估。
对于ConvFinQA来说，这个差距尤为显著，因为它需要使用对话式输入来对表格进行推理并生成答案，具有一定挑战性。
五，BloombergGPT将助力新闻领域
既然BloombergGPT测试中的表现如此优异，那未来可以怎么用？
除了金融数据查询、回答金融相关问题，BloombergGPT未来可以被新闻领域广泛使用：
BloombergGPT训练是以众多新闻为基础的，因此它未来将协助记者日常工作。
记者需要为每个部分编写简短的标题，专门为此任务设计的模型维护成本太高，但BloombergGPT在这个方面表现优异。
可以利用BloombergGPT更好的查询金融相关的知识。
如，BloombergGPT能够很好地辨别公司的CEO。（虽然BloombergGPT正确地识别了CEO，GPT-NeoX出现了错误，FLAN-T5-XXL则完全未能识别）。
六，相关受益概念股
行业GPT来了，哪些行业的数据主要集中在头部公司手上，那这些公司就有大机会。
金融行业直接可以对标彭博社的：同花顺，恒生电子；
医疗行业：卫宁健康；
建筑行业：广联达；
酒店行业：石基信息
我会在 公众号：海涵财经 每天更新最新的医疗新基建、一体化压铸、 汽车智能化，激光雷达，HUD，车规芯片，空气悬挂、L3级智能驾驶、PET铜箔，纳电池，800V高压，光伏HJT、TOPCON、钙钛矿、光伏XBC、BIPV、IGBT芯片、碳化硅SIC、CTP/CTC/CTB电池、4680电池、工业母机、海风柔直高压、新能源车高压快充、高镍三元、碳纤维、PET铝箔、PET铜箔、空气源热泵、新材料、中药创新药、中药配方颗粒、乡村振兴、锂矿、钒液流电池、钠离子电池、分布式储能、集中式储能、抗原检测等最新题材热点挖掘，未来属于高预期差的结构性市场，把握核心赛道以及个股的内在价值逻辑预期差才是根本所在。
— END —
先赞后看，养成习惯
免责声明：图片、数据来源于网络，转载仅用做交流学习，如有版权问题请联系作者删除
人工客服（haihancaijing009）：
