Kimi智能助手宣布支持200万字无损上下文,不到半年提升10倍
- 厂商稿件
- 2024-03-18 16:06
2024 年 3 月 18 日,通用人工智能创业公司——月之暗面(Moonshot AI)宣布在大模型长上下文窗口技术上取得新的突破,Kimi 智能助手已支持 200 万字超长无损上下文,并于即日起开启产品“内测”。对大模型超长无损上下文能力有需求的用户,可到 Kimi 智能助手网页版 kimi.ai 首页申请抢先体验。
据了解,Kimi 智能助手是月之暗面(Moonshot AI)基于自研千亿参数大模型打造的对话式 AI 助手产品,在 2023 年 10 月发布时支持约 20 万汉字无损上下文输入,创造了消费级AI产品所支持的上下文输入长度纪录。2023 年 11 月,Kimi 智能助手正式面向全社会开放服务,出色的长上下文处理能力,帮助用户解锁了很多新的使用场景,包括专业学术论文的翻译和理解、辅助分析法律问题、一次性整理几十张发票、快速理解API开发文档等,获得了良好的用户口碑。
不到半年时间,月之暗面将 Kimi 智能助手的无损上下文长度提升了一个数量级, 从 20 万字到 200 万字。由于没有采用常规的渐进式提升路线,月之暗面团队遇到的技术难度也是指数级增加的。为了达到更好的长窗口无损压缩性能,月之暗面的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走“滑动窗口”、“降采样”等技术捷径,攻克了很多底层技术难点,才取得了新的突破。
媒体沟通会现场,月之暗面“抛砖引玉”,展示了一些超长无损上下文的使用场景示例。例如,用户上传几十万字的经典德州扑克长篇教程后,让 Kimi 扮演德扑专家为自己提供出牌策略的指导。
上传一份完整的近百万字中医诊疗手册,让 Kimi 针对的用户问题给出诊疗建议。
上传英伟达过去几年的完整财报,让 Kimi 成为英伟达财务研究专家,帮用户分析总结英伟达历史上的重要发展节点。
上传一个代码仓库里的源代码,可以询问 Kimi 关于代码库的所有细节,即便是毫无注释的陈年老代码也能帮助你快速梳理出代码的结构。
过去要 10000 小时才能成为专家的领域,现在只需要 10 分钟,Kimi 就能接近任何一个新领域的初级专家水平。用户可以跟 Kimi 探讨这个领域的问题,让 Kimi 帮助自己练习专业技能,或者启发新的想法。有了支持 200 万字无损上下文的 Kimi,快速学习任何一个新领域都会变得更加轻松。
快速整理大量的资料是很多用户在工作中经常遇到的挑战。现在 Kimi 能够一口气精读 500 个,甚至更多数量的文件,帮助用户快速分析所有文件的内容,并且支持通过自然语言进行信息查询和筛选,大大提高了信息处理效率。例如,公司 HR 可以基于业务需求,快速从最近的 500 份简历中,让 Kimi 快速找出有某个行业从业经历,同时从计算机类专业毕业的求职者,更加高效地筛选和识别合适的候选人。
从长篇小说、故事或剧本中,重新发现值得玩味的蛛丝马迹,进行深层细节的挖掘,是很多影视娱乐 IP 的爱好者热衷的事情。如果将甄嬛传全集几十万字的剧本传给 Kimi,然后提问剧本中有哪些细节表明甄嬛的孩子是果郡王的。Kimi 能在不同时间段、各个场景的故事情节中,深入挖掘甄嬛、果郡王的情感线以及和他们孩子的真相,堪比一个看了好几十遍电视剧的“甄”学家。
“我们相信,大模型无损上下文长度的数量级提升,也会进一步帮助大家打开对AI应用场景的想象力,包括完整代码库的分析理解、可以自主帮我们完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等等。”月之暗面工程副总裁许欣然在媒体沟通会上表示,“无论是内存、算力还是网络带宽,历史上每一次基础技术的升级,都会解锁新的产品形态和应用场景。我们对 200 万无损上下文的 Kimi 可以带来哪些超出想象力的创新机遇充满期待。”
“通往通用人工智能(AGI)的话,无损的长上下文将会是一个很关键的基础技术。从 word2vec 到 RNN、LSTM,再到 Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。”月之暗面创始人杨植麟博士此前在接受采访时表示,“上下文长度可能存在摩尔定律,但需要同时优化长度和无损压缩水平两个指标,才是有意义的规模化。”
从很多 Kimi 智能助手用户的反馈来看,20 万字的无损长上下文帮助他们打开了新的AI应用世界,带来了更大的价值,但随着他们尝试更复杂的任务、解读更长的文档,依然会遇到对话长度超出限制的情况。这也是大模型产品的无损上下文长度需要继续提升的一个直接原因。
此外,Kimi 智能助手的智能搜索,更是离不开大模型的无损长上下文能力。Kimi 主动搜索得到的多篇资料,会作为上下文的一部分交给模型去推理。正是因为 Kimi 大模型支持的上下文窗口足够长,窗口内的信息损失足够低,Kimi 智能助手才能输出高质量的结果,为用户带来截然不同的搜索体验——Kimi 可以根据用户的问题,主动去互联网上搜索、分析和总结最相关的多个页面,生成更直接、更准确的答案。例如,用户可以让 Kimi 主动去搜索和对比两家同领域上市公司的最新财报数据,直接生成对比表格,节省大量的资料查找时间。而传统的搜索引擎通常只能根据用户的问题,返回一些参杂着广告信息网页链接。
另一项与大模型的无损上下文能力息息相关的指标是指令遵循(Instruction Following)能力。指令遵循能力主要体现在两个方面:第一,模型在多轮对话中是否能够始终遵循用户的指令,理解用户的需求;第二,模型是否能够遵循复杂指令,有时候复杂指令可能长达几千、上万字。从产品推出以来的用户反馈来看,Kimi 智能助手的多轮交互和超长指令遵循能力,也同样具备显著优势。
伴随模型能力的每日升级,iOS应用、Android应用、小程序、Web等多端平台的上线,Kimi 智能助手已成为越来越多用户工作和生活离不开的 AI 小助手。3 月 18 日启动 200 万字超长上下文的内测申请后,月之暗面会逐步开放更多用户来体验具备超长无损上下文能力的 Kimi 智能助手,期待与更多用户共创智能。
- 大模型
相关文章
资讯
- 2周前
三个老发明家献给盛世的礼物---“录味机”
- 2周前
颠覆传统 新味十足 ——2024首届海南智能餐饮烹饪大赛成功举办
- 2周前
首届中国智能锁科技创新大会:德施曼核心科技引领行业,发起科创基金
- 2周前
ODC24 AI服务生态分论坛:全新智慧服务引擎 带动服务分发增长
- 2周前
2024 OPPO开发者大会召开,以技术为基石共建AI智能体新生态
- 3周前
中国移动发布“四驱两翼” 低空经济高质量发展能力体系
- 3周前
品胜闪耀 GITEX Global 2024:国民 3C 品牌在中东迪拜的卓越之旅
- 3周前
2024中国移动全球合作伙伴大会盛大启幕 政企领域前沿创新成果成为焦点
- 1个月前
2024世界智慧城市大奖·区域* &中国获奖名单公布
- 1个月前
优刻得与宾果智能携手,开拓“AI+教育”智慧新场景
- 1个月前
2024年服贸会开幕正式开幕 京东工业展现数智采购领域AI的创新实践
- 2个月前
阿里云超值优品季持续让利,助力中小企业上云快人一步
- 2个月前
速度与智能的完美融合:佳能EOS R1体育摄影新选择
- 3个月前
惠普AI PC全场景AI解决方案重磅发布, AI一步到位,智能触手可及
- 3个月前
半导体产业高质量发展大会在南京成功举办
原创
荐读
-
5G+AR加持 晨星机器人掀起“智能化+人机交互”制造新趋势
2021世界制造业大会于11月22日在合肥落下帷幕。为期四天的大会中,作为向世界展示智能制造全面能力的窗口,联想展示了一系列让人惊喜的创新产品。现场展示的ThinkPad X1 Fold整体重量仅有1公斤,折叠起来之后的厚度大约为24毫米。当保持半开状态时,可以像拿本书一样握住,并且能同时运行两个应用程序。使用固定在中间的键盘之后,瞬间变...
-
智能手机竞争中失败,日本在联网汽车领域举步维艰
据外媒报道,在制造带有数字联网服务的汽车的竞争中,丰田汽车和日产汽车面临着被本土市场拖累的风险。与美国和欧洲的汽车消费者不同的是,日本消费者不愿意为这些联网功能和服务买单。结果就是:日本只有10%的汽车...
-
2020年河南省将推广应用3万台工业机器人
到2020年,推广应用3万台工业机器人,建设1000条智能生产线、300个智能车间、150个智能工厂……4月16日,在2018两岸智能装备制造郑州论坛上,河南省工信委发布了《2017年河南省智能制造白皮书》,河南智能制造的2020...