Data AI
v1.0.0
通用大语言模型令牌管理器 - 监控Kimi、OpenAI、Anthropic、Gemini和本地模型的使用情况,并提供成本优化建议。支持定时监控、跨会话追踪和主动提醒功能。
通用大语言模型令牌管理器 - 监控Kimi、OpenAI、Anthropic、Gemini和本地模型的使用情况,并提供成本优化建议。支持定时监控、跨会话追踪和主动提醒功能。
在优先将LLM请求路由至本地模型(Ollama、LM Studio、llamafile)后再回退至云API。在持久化仪表板中追踪令牌节省与成本节约。适用于以下情况:(1)用户要求优先使用本地模型执行任务;(2)用户希望降低云API成本或保持请求私密;(3)用户要求查看其令牌节省情况或LLM路由仪表板;(4)任何需要自动判断本地与云路由的请求。支持Ollama、LM Studio和llamafile作为本地模型提供商。
自主管理并使用本地Ollama模型,实现无需联网的持续运行,包含模型健康监控、自动故障切换和自愈能力
基于令牌的上下文压缩,适用于不报告上下文限制的本地模型(MLX、llama.cpp、Ollama)
立即从聊天界面开始使用本地或 Hugging Face 模型
直接从聊天界面立即开始使用本地或 Hugging Face 模型