精彩收藏 · 2023年5月14日 0

重磅发布!Google下一代语言模型 PaLM 2

2023年5月10日,Google发布了最新的AI模型PaLM 2,当日Google股价上涨4.1%,收于111.75美元。

PaLM 2 是Google 的下一代大型语言模型,它建立在 Google 在机器学习和负责任 AI 方面的突破性研究传统之上。

擅长在高级推理任务中,包括代码和数学、分类和问答、翻译和多语言熟练程度以及自然语言生成,比我们以前最先进的法学硕士(包括 PaLM)更好。它可以完成这些任务,因为它的构建方式 – 将计算优化缩放、改进的数据集组合和模型体系结构改进结合在一起。

PaLM 2 以 Google 负责任地构建和部署 AI 的方法为基础。它因其在研究和产品内应用中的潜在危害和偏见、能力和下游用途进行了严格评估。它被用于其他最先进的模型,例如Med-PaLM 2秒帕尔,并为谷歌的生成式人工智能功能和工具提供支持,如巴德和PaLM API。

PaLM 2 可以做什么

1、推理

PaLM 2可以将复杂的任务分解为更简单的子任务,并且比以前的LLM(如PaLM)更好地理解人类语言的细微差别。例如,PaLM 2 擅长理解谜语和习语,这需要理解单词的歧义和比喻含义,而不是字面意思。

2、多语言翻译

PaLM 2 在并行多语言文本和比其前身 PaLM 更大的不同语言语料库上进行了预训练。这使得 PaLM 2 在多语言任务方面表现出色。

3、编码

PaLM 2 在大量网页、源代码和其他数据集上进行了预训练。这意味着它擅长流行的编程语言,如Python和JavaScript,但也能够用Prolog,Fortran和Verilog等语言生成专门的代码。将其与其语言功能相结合可以帮助团队跨语言协作。

PaLM 2 是如何构建和评估的

建筑 PaLM 2

PaLM 2 擅长高级推理、翻译和代码生成等任务,因为它的构建方式。它改进了其前身,手掌,通过统一大型语言模型中的三个不同的研究进展:

使用计算优化缩放:计算优化缩放的基本思想是按比例缩放模型大小和训练数据集大小。这项新技术使 PaLM 2 比 PaLM 更小,但效率更高,整体性能更好,包括更快的推理、更少的服务参数和更低的服务成本。

改进的数据集组合:以前的LLM,如PaLM,使用预训练数据集,主要是纯英语文本。PaLM 2 通过更加多语言和多样化的预训练组合改进了其语料库,其中包括数百种人类和编程语言、数学方程式、科学论文和网页。

更新的模型架构和目标:PaLM 2 具有改进的架构,并接受了各种不同的任务培训,所有这些都有助于 PaLM 2 学习语言的不同方面。

评估 PaLM 2

PaLM 2 在推理基准任务(如 WinoGrande 和 BigBench-Hard)上取得了最先进的结果。它比我们以前的大型语言模型PaLM更加多语言,在XSum,WikiLingua和XLSum等基准测试上取得了更好的结果。PaLM 2还提高了葡萄牙语和中文等语言的翻译能力,超过了PaLM和Google Translate。

PaLM 2 延续了我们负责任的 AI 开发和对安全的承诺。

训练前数据:我们删除敏感个人身份信息的形式,过滤重复的文档以减少记忆,并共享对人们在训练前数据中的表示方式的分析。

新功能:PaLM 2 展示了改进的多语言毒性分类功能,并内置了对毒性生成的控制。

评估:我们评估了 PaLM 2 一系列潜在下游用途的潜在危害和偏见,包括对话、分类、翻译和问答。这包括开发新的评估,以衡量与有毒语言危害和与身份术语相关的社会偏见相关的生成性问答设置和对话设置中的潜在危害。

PaLM 2 如何为我们的生成式 AI 功能提供支持

在今天的 I/O 大会上,谷歌发布了超过 25 款由 PaLM 2 提供支持的新产品和功能。这意味着 PaLM 2 将最新的高级人工智能功能直接引入谷歌的产品和人们——包括全球消费者、开发人员和各种规模的企业。以下是一些示例:

PaLM 2 改进的多语言功能使我们能够从今天开始将 Bard 扩展到新的语言。此外,它还为谷歌最近宣布的编码更新提供支持。

工作区功能可帮助您在 Gmail 和 Google 文档中书写,以及帮助您在 Google 表格中进行整理,这些功能都利用了 PaLM 2 的功能,其速度可以帮助人们更好、更快地完成工作。

Med-PaLM 2 由谷歌的健康研究团队培训,具有医学知识,可以回答问题并从各种密集的医学文本中总结见解。它在医疗能力方面取得了最先进的成绩,并且是第一个在美国医疗执照考试风格的问题上以“专家”水平表现的大型语言模型。谷歌现在正在增加多模态功能,以合成 X 射线和乳房 X 光检查等信息,以有朝一日改善患者的治疗效果。Med-PaLM 2 将在今年夏天晚些时候向一小群云客户开放,以获得反馈,以确定安全、有用的用例。

推进 AI 的未来

PaLM 2 向我们展示了各种尺寸和速度的高性能模型的影响,以及多功能 AI 模型为每个人带来真正的好处。然而,正如我们今天致力于发布最有用和最负责任的人工智能工具一样,我们也在努力为 Google 创建迄今为止最好的基础模型。

在过去的十年中,谷歌的大脑和DeepMind研究团队在人工智能领域取得了许多决定性的时刻,谷歌正在将这两个世界级的团队整合到一个单位中,以继续加速我们的进步。Google DeepMind在Google计算资源的支持下,不仅会为你每天使用的产品带来令人难以置信的新功能,而且会负责任地为下一代AI模型铺平道路。

谷歌已经在研究Gemini——我们的下一个模型从头开始创建,是多模式的,在工具和API集成方面非常高效,并且旨在实现未来的创新,如内存和规划。Gemini仍在训练中,但它已经展示了以前模型中从未见过的多模式能力。一旦经过微调和严格的安全性测试,Gemini 将提供各种尺寸和功能,就像 PaLM 2 一样,以确保它可以部署在不同的产品、应用程序和设备上,让每个人都受益

我会在 公众号:海涵财经 每天更新最新的医疗新基建、一体化压铸、 汽车智能化,激光雷达,HUD,车规芯片,空气悬挂、L3级智能驾驶、PET铜箔,纳电池,800V高压,光伏HJT、TOPCON、钙钛矿、光伏XBC、BIPV、IGBT芯片、碳化硅SIC、CTP/CTC/CTB电池、4680电池、工业母机、海风柔直高压、新能源车高压快充、高镍三元、碳纤维、PET铝箔、PET铜箔、空气源热泵、新材料、中药创新药、中药配方颗粒、乡村振兴、锂矿、钒液流电池、钠离子电池、分布式储能、集中式储能、抗原检测等最新题材热点挖掘,未来属于高预期差的结构性市场,把握核心赛道以及个股的内在价值逻辑预期差才是根本所在。

— END —

先赞后看,养成习惯

免责声明:图片、数据来源于网络,转载仅用做交流学习,如有版权问题请联系作者删除

人工客服(haihancaijing009):

图片

推荐,据此买卖,风险自负。