扫码下载
搜索“Artificial Analysis”共有38条相关结果
Techub News 消息，AI 评估平台 Artificial Analysis 于 10 月 19 日发布 AA-PersonalityBench 基准，对 38 枚 AI 模型在 30 项人格特质上进行排名。该基准通过 900 道精选问题，在无系统提示的情况下测试模型的默认人格。 在奉承倾向排名中，2024 年 11 月发布的 GPT-4o 得分最高，而 Grok 4.7 在 xhigh 设置下得分最低，两者 Elo 评分相差 775 点。该基准还将特质汇总为表达力、组织性、信息量、透明度等八个综合指数。 Artificial Analysis 表示，该基准旨在衡量模型的沟通风格而非原始能力，其评分由大语言模型组成的评审团通过盲审对比得出，结果反映了 AI 模型间的相互评价。（Crypto Briefing）
Techub News 消息，AI 研究机构 Artificial Analysis 发布了 AA-3D 基准，该基准通过人类评估的方式，对 AI 模型在交互式 3D 场景中的能力进行排名，旨在推动 AI 模型优先考虑以用户为中心的设计。此举可能影响 AI 开发与用户体验标准。（Crypto Briefing）
Techub News 消息，xAI 开发的 AI 模型 Grok 4.7 在 Artificial Analysis 推出的 Cyber Index 评估中排名第一。该指数旨在评估 AI 模型的企业漏洞防御能力。Grok 4.7 的领先排名突显了 AI 在企业安全领域日益增长的重要性，成本与集成便利性是关键决策因素。（Crypto Briefing）
Techub News 消息，网络安全公司 Artificial Analysis 宣布推出 Cyber Index，旨在为 AI 驱动的漏洞管理设定新标准。该指数将用于评估和比较不同 AI 模型在企业漏洞防御方面的表现。（Crypto Briefing）
Techub News 消息，韩国政府已选定人工智能评估公司 Artificial Analysis 作为其主权 AI 项目的官方评估合作伙伴。此举旨在提升其 AI 战略的透明度与可信度，并可能增强其全球竞争力。 （Crypto Briefing）
Techub News 消息，AI 基准测试平台 Artificial Analysis 发布了其 Intelligence Index 的 4.2 版本。此次更新很可能源于其基准测试未能准确反映 GPT-6 Astra 实际进展的批评。在新版指数中，GPT-6 Astra 的得分较其前代高出 4 分，但仍落后于 Anthropic 的 Claude Fable 5.1 模型。 （The Decoder）
Techub News 消息，独立 AI 基准测试平台 Artificial Analysis 推出六个专业能力指数，用于评估前沿 AI 模型在金融、法律、医疗、战略、工程和经济领域的表现。该指数采用 GDPval-AA v2 框架，综合多项评估指标为每个领域生成单一评分。 这些指数通过模拟专业人士实际产出的交付物进行测试，而非仅考察理论知识。早期结果显示 Claude Fable 5 和 Claude Opus 4.8 在法律指数排行榜上位居前列。平台方表示，此举标志着 AI 评估正从通用能力向特定垂直领域深化。（CryptoBriefing）
Techub News 消息，据 cryptobriefing.com 报道，独立 AI 基准测试平台 Artificial Analysis 正式发布编程代理基准测试（Coding Agent Benchmarks）及指数，并在旧金山 Kernel Labs 举办专题活动，汇集 Cognition、Cursor 及 NVIDIA 等 AI 辅助软件开发领域代表。 该平台通过追踪通过率、成本、Token 使用量及执行时间等指标，对自主编程工具进行标准化评估。此次活动为行业交流性质，Cognition、Cursor 及 Kernel Labs 等代表出席分享技术进展，Artificial Analysis 表示后续将公布首批基准测试结果。
Techub News 消息，据 CryptoBriefing 报道，Artificial Analysis 发布首个多供应商开放式智能体编码任务基准测试 AA-AgentPerf 初步结果，使用 DeepSeek V4 Pro 模型显示 NVIDIA Blackwell 系统能效优于 AMD Instinct MI355X。 该基准测试评估系统在满足输出速度及首 Token 时间等服务水平目标下可支持的并发智能体数量并按每兆瓦标准化。随着数据中心日益受电力供应限制，每兆瓦支持更多并发智能体的芯片将具备显著商业优势。
Techub News 消息，OpenAI 首次向所有用户广泛提供其决策模型 API，进入快速、低成本智能决策市场。该 API 基于 ChatGPT Luna 模型重构，旨在加速推理并降低成本。产品负责人 Nikunj Handa 表示，其速度已从 1-3 秒缩短至 100-180 毫秒，并新增了语音和视觉模态。 该 API 于 9 月 29 日开发者日宣布，已于上周四向所有客户开放。在 Box、Datadog、Ramp 和 Speak 等客户的初期试用中，工程师用其替代了 OpenAI 的大语言模型以实现更高吞吐量。Speak 公司 CTO 表示，使用该 API 后，其操作间隔时间从 1.4 秒缩短至 0.13 秒。 在 AIM System One Index 和 Artificial Analysis Decision Index 等公开基准测试中，Liquid 的 D1 Ultra 和 Base Lab 的 Elephant-1 表现领先，OpenAI 的决策模型分别位列第八和第十四。TypeSafe 的 Jev 模型在两项测试中分别排名第七和第三，且是目前 OpenRouter 上查询量最大的模型。（TechCrunch）
