超对称联合复旦大学发布并开源120亿参数语言模型BBT-2 UCloud优刻得提供算力和开源支持
- 厂商稿件
- 2023-04-24 19:25
近日,超对称与UCloud优刻得合作,将公司推出的3个大模型开源到UCloud官网,以“大模型+大算力“的方式,共同推进AICG创新应用。
2022年5月超对称技术公司发布大语言模型BigBang Transformer【乾元】的第一版BBT-1,10亿参数预训练语言模型,在中文金融语料上训练而成,发布之后即获得经济金融领域客户热烈反馈,作为大模型底座已经为多家中国和海外机构提供服务。
近期,超对称公司再推出BBT-2,这是一个基于120亿参数的通用大语言模型,并在BBT-2的基础上,训练出代码、金融、文生图等专业模型。
超对称技术公司将发布基于BBT-2的系列模型:
•BBT-2-12B-Text:120亿参数的中文通用语言模型
•BBT-2.5-13B-Text: 130亿参数的中文+英文双语基础模型
•BBT-2-12B-TC-001-SFT 经过指令微调的代码模型,可以进行对话
•BBT-2-12B-TF-001 在120亿模型上训练的金融模型,解决金融领域任务
•BBT-2-12B-Fig:文生图模型
•BBT-2-12B-Science 科学论文模型
通过与UCloud优刻得在算力和开源方面的合作,超对称还将3个大模型开源到官网、github和UCloud,后续用户可直接在UCloud官方平台通过GPU云主机的行业镜像或算力平台直接开箱使用这些模型:
●BBT-1-0.2B:2亿参数金融模型,包括三个不同预训练方式进行训练的模型, 训了600亿Tokens:
(1)BBT-1-0.2B-001:2亿参数,金融模型,T5Decoder+Encoder架构
(2)BBT-1-0.2B-002: 2亿参数,金融模型,T5+GPT
(3)BBT-1-0.2B-003: 2亿参数,金融模型,T5+UL2
●BBT-1-1B:10亿参数金融模型,T5Encoder+Decoder架构,使用金融中文语料库1000亿tokens进行预训练,包含社交媒体,财经新闻,券商研报,公司公告财报等数据
●BBT-2-12B-Text:120亿参数基础模型,GPT Decoder-Only 架构,未经指令微调,完成2000亿token预训练,模型性能还有较大提升空间,开发者可在通用模型上继续训练或进行下游任务微调
●BBT-2.5-13B-Text: 130亿参数基础模型,GPT Decoder-Only 架构,未经指令微调,完成2000亿中文+英文tokens预训
(UCloud官网开源模型使用流程)
以下是超对称技术公司基于BBT-2的系列模型介绍:
1、BBT-2-12B-Text 通用模型
BigBangTransformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文2000亿tokens进行预训练,暂时不开放基础模型的问答对话接口。
模型开源后所有开发者可以:
•可以直接调用大模型进行对话
•在我们训练的基础上使用自由语料库继续训练
•对大模型进行微调训练以满足各种下游任务
2.BBT-2-12B-Text+Code 代码模型
BBT-TC,是超对称技术公司近期发布的BBT-2大模型系列中的代码模型,在百亿基座模型BBT-2-12B-Text接续训练代码数据集,通过有监督指令微调(Supervised Fine-Tuning)解锁模型的推理能力。该模型在专业评测中分数超过其他中国公司开发的同类模型,仅次于GPT-3.5。
开发者可以在超对称公司官网https://www.ssymmetry.com测试BBT模型的代码问答(仅应用于代码生成场景,无法回答与代码无关的问题)
详情可见文章《超对称技术公司的代码大模型CodeBBT在专业评测中位居前列,仅次于GPT-3.5》
3、BBT-2-12B-TF-001 金融模型
超对称公司于2021年便开始针对金融投资领域的应用,着手设计和训练了一个大规模参数预训练语言模型Big Bang Transformer乾元(BBT),目前发布了Base 版本2.2亿参数和Large 版本10亿参数以及最新的BBT2,120亿参数通用模型。BBT模型的目标是为金融投资建立统一的人工智能算法框架,基于transformer构建能融合训练金融投资涉及的不同模态数据的架构。在统一架构的基础上训练大规模参数预训练模型,随着模型参数和训练数据集继续增大,超对称团队有希望开发出在金融领域接近人类智能水平的模型。作为金融领域的基石模型,BBT模型为所有金融投资,经济分析,商业咨询等场景的深度学习下游任务提供微调服务。
金融投资领域有大量从业机构和人员,大厂有财力雇佣算法工程师,小团队却用不起基本的文本抽取算法。BBT模型作为金融领域的算法基础设施,让所有从业者配备同级别的武器,让全行业站在同一起跑线去竞争更优的投资策略,从而推动金融和经济市场更高效的信息和要素流动。
为了更好地推进中文金融自然语言处理的发展,超对称搜集和爬取了几乎所有公开可以获得的中文金融语料数据:
1)过去20年所有主流媒体平台发布的财经政治经济新闻
2)所有上市公司公告和财报
3)上千万份研究院和咨询机构的研究报告
4)百万本金融经济政治等社会科学类书籍
5)金融社交媒体平台用户发帖
经测试,BBT-TF在公告摘要任务场景超越ChatGPT:使用ChatGPT和BBT-TF对同一份公告,相同输入,生成摘要并对比效果,发现BBT-TF更满足实际运用场景。BBT-TF还可进行四舍五入的计算。在金融行业对数字高精度要求下,BBT-TF可对单位进行准确的换算。
超对称已开发了11种已落地应用的下游任务,面向专业金融开发者API,已获得中国及海外金融机构付费
4.BBT-2-12B-Image文生图模型
基于BBT2大语言模型,超对称和中国专业图库公司联合开发文生图AIGC模型BBT-Fig,目前该模型向纺织行业,印刷,广告,游戏等行业客户提供文生图应用,经过专业评测,BBT-Fig在纺织行上的应用效果比Stable Diffusion和文心一格,明显更优。
BBT-Fig能够生成非常逼真的图像,并且具有可控的样式和风格。在纺织行业中,BBT-Fig可以通过对不同纺织材料的图像进行学习,生成具有纹理(可无缝拼接)、色彩(色彩亮度不会受训练样本明暗影响,为标准化设计用样式)和设计元素(可随意组合元素)的纺织品图案,提高纺织品设计的效率和创新性。该技术还可用于家装等等需要图案设计的行业。
用于生成人造大理石花纹
5、BBT-2-12B-Science 科学论文模型
马斯克认为AGI的终极测试是模型能发现新的物理定律。GPT-4在医生资格考试、律师资格考试、AP考试、GRE上获得不错的分数,但目前还没有证明其能有效地发现或辅助人类知识库尚未存在的知识。
对于中国的大模型研发团队,直接瞄准大语言模型用于科学发现是超越GPT-4的一个可能路径。在科学研究上,研究人员可以使用语言模型来自动提取和分析论文中的主题、实验方法、结果和结论,从而发现新的科学发现和研究方向。
BBT-Science大模型是基于BBT大模型在几千万篇科研论文上训练构建的辅助科学发现的大模型,应用于物理、化学、生物、数学等不同学科的科研知识问题,可以提供三方面的能力
1、快速精准的知识检索。这项能力和大模型在其他领域的对话能力相近。
2、针对所研究领域的前沿问题提供新的ideas. 这种新ideas产生于大模型在该领域的海量数据检索和重新组合,发现前人未发现的可能性。
3、利用多学科知识训练出的能力提供跨学科的建议和洞见。这项能力潜力最大。
为了对科学大模型进行评测,超对称技术公司与复旦、上海交大、浙大、南航、中山大学、北师大等多所大学合作,正在号召全球一线的科研人员共同构建一个最大的科研问题评测数据集ResearchQA。该数据集覆盖数学、物理、化学、生物、地理地质、计算机、电子工程等主流科研领域。该数据集直接采集科研领域里前沿的研究课题作为问题,重点考察大模型回答的创新性。科学大模型将成为全球科研能力的底层引擎,带来科研生产力的加速。
开源下载链接
模型:
超对称官网:https://bbt.ssymmetry.com/model.html
Github:https://github.com/ssymmetry
UCloud官方平台,请扫描下方二维码或点击阅读原文链接
语料库,开源了接近1000亿tokens的预训练语料,包括通用语料和金融语料,详见:
https://bbt.ssymmetry.com/data.html
评测数据集,开源了8个中文金融大模型的评测数据集,详见:
https://bbt.ssymmetry.com/evaluation.html
论文链接:
https://arxiv.org/abs/2302.09432
【UCloud阅读原文链接】
https://www.ucloud.cn/site/active/ai-bbt2.html
- 大学
- 开源
相关文章
资讯
- 1天前
中国移动发布“四驱两翼” 低空经济高质量发展能力体系
- 1天前
品胜闪耀 GITEX Global 2024:国民 3C 品牌在中东迪拜的卓越之旅
- 1天前
2024中国移动全球合作伙伴大会盛大启幕 政企领域前沿创新成果成为焦点
- 2周前
2024世界智慧城市大奖·区域* &中国获奖名单公布
- 3周前
优刻得与宾果智能携手,开拓“AI+教育”智慧新场景
- 4周前
2024年服贸会开幕正式开幕 京东工业展现数智采购领域AI的创新实践
- 1个月前
阿里云超值优品季持续让利,助力中小企业上云快人一步
- 2个月前
速度与智能的完美融合:佳能EOS R1体育摄影新选择
- 2个月前
惠普AI PC全场景AI解决方案重磅发布, AI一步到位,智能触手可及
- 2个月前
半导体产业高质量发展大会在南京成功举办
- 2个月前
新希望乳业连续五年荣膺“中国卓越管理公司” 摘得中国乳企首个BMC金奖
- 3个月前
打造原生创新人才新高地 上海交通大学携手华为成立鲲鹏昇腾科教创新卓越中心
- 3个月前
年轻员工猝死频发:沃民高科AI引擎驱动带来前瞻解决方案
- 3个月前
跨境电商下南洋,已被验证的赢家哲学
- 3个月前
AI 创想未来|京东校园携手 AMD 助力艺术学子灵感飞速落地
原创
荐读
-
5G+AR加持 晨星机器人掀起“智能化+人机交互”制造新趋势
2021世界制造业大会于11月22日在合肥落下帷幕。为期四天的大会中,作为向世界展示智能制造全面能力的窗口,联想展示了一系列让人惊喜的创新产品。现场展示的ThinkPad X1 Fold整体重量仅有1公斤,折叠起来之后的厚度大约为24毫米。当保持半开状态时,可以像拿本书一样握住,并且能同时运行两个应用程序。使用固定在中间的键盘之后,瞬间变...
-
智能手机竞争中失败,日本在联网汽车领域举步维艰
据外媒报道,在制造带有数字联网服务的汽车的竞争中,丰田汽车和日产汽车面临着被本土市场拖累的风险。与美国和欧洲的汽车消费者不同的是,日本消费者不愿意为这些联网功能和服务买单。结果就是:日本只有10%的汽车...
-
2020年河南省将推广应用3万台工业机器人
到2020年,推广应用3万台工业机器人,建设1000条智能生产线、300个智能车间、150个智能工厂……4月16日,在2018两岸智能装备制造郑州论坛上,河南省工信委发布了《2017年河南省智能制造白皮书》,河南智能制造的2020...