Test & Security
v1.0.0
通过自动化指标、人工反馈和基准测试,为大语言模型应用实施全面的评估策略,适用于测试大语言模型性能、衡量AI应用质量等场景
通过自动化指标、人工反馈和基准测试,为大语言模型应用实施全面的评估策略,适用于测试大语言模型性能、衡量AI应用质量等场景
在 Hugging Face 模型卡片中添加和管理评估结果。支持从 README 内容中提取评估表格、从 Artificial Analysis API 导入评分,以及使用 vLLM/lighteval 运行自定义模型评估。兼容 model-index 元数据格式。
架构决策框架。需求分析、权衡评估、ADR文档记录。用于做出架构决策或分析系统设计时。
使用 scikit-learn 在 Python 中进行机器学习,适用于分类、回归、聚类、模型评估和机器学习流水线
当用户要求实现“使用大语言模型作为评判者”、“比较模型输出”、“创建评估标准”、“减少评估偏差”,或提及直接打分、成对比较、位置偏差、评估流程、自动化质量评估时,应使用此技能
测试和基准评估大语言模型代理,包括行为测试、能力评估、可靠性指标和生产监控——即使顶级代理在重新测试中的得分也低于50%
为智能体系统构建评估框架
适用于内存中数据的高速内存DataFrame库,当pandas太慢但数据仍能放入内存时使用。支持惰性求值、并行执行和Apache Arrow后端,最适合1-100GB数据集、ETL管道和更快的pandas替代方案。对于超出内存的数据,请使用dask或vaex。
从IDX房源数据和选定的可比房源生成比较市场分析CMA和房屋估值报告。适用于用户挑选可比房源、估算市场价值区间、生成面向卖方的房屋评估报告,或通过Google Gemini Canvas或Google AI Studio发布交互式CMA体验