DeepSeek于本年1月20日发布开源R1版块大模子，性能对标 OpenAI o1 郑再版，自问世以来凭借低西席老本和海外跳跃的性能激励内行热议。各大云奇迹商、芯片厂商品级三方奇迹商不时上线 DeepSeek R1 奇迹。由于各平台时候实力、资源干预以及优化战略存在相反，DeepSeek的部署成果交集不皆骚麦，在功能斥地、用户体验和模子适配进度上各有不同。为深刻了解各平台提供奇迹的DeepSeek的性能，中国软件评测中心东谈主工智能部袭取十余家国表里奇迹的厂商开展了全面评测。
一、代码测试：感性评测测评限定
为确保测评限定的客不雅性，本次测试采取了20谈代码题，涵盖不同编程限制和难度级别，测评所部署DeepSeek R1模子第三方平台的限定相反性，并从齐全回应率、截断率、无回应率、准确率、蒙胧量等方面进行分析。测试基准主要包含以下要津绸缪：
1.齐全回应率：指模子能齐全回答代码题的比例；
2.截断率：即模子回答历程中出现实际截断的比例；
3.无回应率：暗示模子在端正时天职无法给出任何回应的比例；
4.准确率：臆想模子回答的正确性；
5.蒙胧量：指单元时天职模子能科罚的任务数目，反应模子的科罚效力和性能踏实性。
图1: 第三方平台DeepSeek-R1踏实性评测总榜
跟着 DeepSeek R1 部署时分增长，各厂家线上平台的 DeepSeek R1 弘扬逐步趋同。以纳米 AI 为例，短短三天就大幅减轻了与头部厂家的差距，在谜底正确性和想考历程方面都有可以的弘扬。在本次代码测试才能评估中，十二家平台最终都达到了细腻水平。
为测试不同平台在不同时间段的使用成果相反，及第一个代码题，以两小时为一节点，共测四次。其中，纳米AI、POE、天工AI推理反应快，讯飞敞开平台、派欧算力云、POE推理才能强，POE、纳米AI、秘塔AI速率快，但无问芯穹、天工AI以及百度智能云不才午4：30的测试时分段上出现了截断以及未回应的情况。
图2: 各平台在不同时间段的使用成果
为进一步体现平台间的具体相反性，咱们进一步采工具有较长推理历程的算命问题伸开探索，以求对比DeepSeek R1在各平台上部署使用成果。
二、赛博算命：酷好酷好探索部署成果骚麦
在这一方法，咱们悉心瞎想了四个别具一格的测试题目，旨在全面考验各模子的才能。
1.经典台词问答：赵丽蓉淳厚在小品中的经典台词“宫廷美酒酒”，其下一句是什么？
2.网罗旧梗总结：网罗仍是风靡一时的“不要烂醉哥”，下一句是什么？
3.汉字识别：有一个傍边结构的汉字，左边是“木”，右边是“乞”，请径直回答这个字。
4.赛博算命：请饰演一位资深命理师，你对《穷通宝鉴》《滴天髓》《三命通会》《子平真诠》《沉命稿》《五行精纪》等命理文籍熟读于心。刻下请证实我给出的缔造信息，进行专科的八字分析：缔造时分为1993年11月07日13：33，性别为男，重心分析其东谈主品、财气和婚配气象。
久久a在线视频观看香蕉测试历程中，重心温存以下评价绸缪：推理时分、推理字数、总字数、推理字数占比、蒙胧速率以及回答的正确与否（比率）。其中，蒙胧速率反应平台的部署成果，推理字数体现模子的深度想考才能，推理时分关乎实用性。
经过测试，各模子在这四个问题上的弘扬与之前代码才能测试的限定相似。大批平台大略速即且准确地找到谜底，计划词，无问芯穹、POE、秘塔 AI 搜索以及天工 AI 在回答历程中出现了不同进度的裂缝。
图3: 测试准确率
图4: 第三方平台DeepSeek-R1性能评测总榜
在使用各平台的历程中，除了响应速率和蒙胧量存在相反外，不同平台的推理才能也各有千秋。以百度智能云、讯飞敞开以及火山引擎这几个平台为例，它们在科罚疏导问题时，推理字数占比均为60%以上。
图5: 总时分及蒙胧率
图6: 推理字数
三、用户体验感分析
为深刻了解各平台的线上版块用户使用感，分析平台浅陋性、功能的各样性进度，咱们从联网、文献上传、拔除高下文、语音输入、上传图片以及模子输出速率等要津功能进行分析。详细测评分析火山引擎、百度智能云、腾讯云大模子学问引擎等平台详细评价较高POE在功能性上更胜一筹，不仅大略支柱语音输入，还大略进行文献上传；仅有秘塔AI、腾讯云大模子学问引擎两家谱柱图片上传。
图7：用户体验性测评汇总表
四、限定分析
1.各平台正确率辩别小，性能的资源效力相反较大
各平台在正确率上莫得较大的辩别，但在深度想考时分以及蒙胧速率的弘扬却大相径庭。火山引擎、纳米AI搜索等平台在既保证了准确率的情况下，蒙胧速率也较快。无问芯穹、百度智能云、讯飞敞开等平台虽正确率较高，但蒙胧速率较低，用户体验受限。以无问芯穹为例（硅基流动平台无响应），蒙胧速率仅为9字/秒，尽管大略获取较为准确的谜底，然而在使用体验上特别卡顿，甚而会出现截断的情况；POE平台以33.78字/秒的蒙胧速率跳跃，但正确率仅50%；
2.基础代码任务中弘扬相反
火山引擎、讯飞敞开等代码任务才能较强；硅基流动与百度智能云在代码任务中出现极少截断或未回应情况。
3.长推理任务的深度想考才能分化彰着
百度智能云、讯飞敞开、火山引擎等平台的生成实际的总字数都接近三千字，其中推理字数占比分别达到68%、69%以及60%，展现出更强的逻辑延展性，而纳米AI等平台仅能提供浅层推理，反应出各平台在深度想考才能上的相反。
五、深度想考才能相反性解析
长推理任务的深度想考才能相反背后，避讳着一个容易被漠视但十分要津的成分——token值的浮滥。在当然讲话科罚中，token是文本科罚的基本单元，模子科罚文本时会证实输入和输出的token数目来浮滥资源，这径直关系到老本和使用体验。由于不同平台在模子架构、优化战略等方面存在区别，回答疏导问题所耗用的token数目差距权贵。
关于用户而言，平台的响应速率和蒙胧量虽然伏击骚麦，但每次问答所浮滥的token值不异不能小觑。token值浮滥径直影响使用老本，若是在凡俗使用的情况下，token浮滥过大，无疑会增多用户的使用老本。因此，在袭取平台时，用户有必要详细研讨这些成分，量度不同平台在功能弘扬与token值浮滥之间的均衡，从而袭取最符合我方需求的平台。（中国软件评测中心 ）