Home Assistant 智谱清言集成 v2024.12.28 更新公告
很高兴宣布 Home Assistant 智谱清言集成迎来重大更新!本次更新带来了多项激动人心的新功能和优化改进。
请注意本次版本,直接支持对话查询家庭摄像头画面、联网搜索等全新更强大功能,请耐心尝试!若您感觉喜欢实用,请您送我一杯咖啡即可万分感激!
🌟 新增功能
联网搜索
:集成智谱 AI 的 web-search-pro 工具,支持实时流式响应,搜索结果即时展现。支持多种触发方式,包括"搜索xxx"、"查找xxx"、"帮我联网xxx"等,搜索结果自动保存到对话历史。
AI 图像生成
:支持三种 CogView-3 模型(Plus高级版、标准版、Flash免费版),提供7种图片尺寸选择,自动保存到本地 /www 目录,支持通过服务调用生成图片。
智能对话升级
:优化对话上下文处理,增加实体状态显示,添加响应内容属性,支持中英双语交互。摄像头分析方面支持实时画面分析、自然语言问答和多摄像头支持。设备控制方面支持更多设备类型,改进控制逻辑,增强状态反馈。
视频分析增强
:基于 GLM-4V 视觉模型,支持实时分析摄像头画面内容,可以回答"摄像头现在看到了什么"、"有人吗"等问题。支持多个摄像头同时分析,还可以进行跨镜头的场景理解。使用方式:
- 直接对话:"xxx摄像头现在看到了什么"
- 自动化调用:可配置定时分析、事件触发分析
- 场景联动:支持与其他设备和服务联动
短视频分析
:集成 GLM-4V-Plus 模型的视频理解能力,支持对本地视频文件进行智能分析:
- 视频内容理解:分析视频中的场景、人物、动作和事件
- 情节描述:自然语言描述视频的主要情节发展
- 时间轴分析:可对视频特定时间点进行精确分析
- 多模态理解:结合视觉和音频信息的综合分析
⚡ 技术优化
架构改进
:采用模块化设计,功能独立封装,优化服务调用机制,改进错误处理流程,完善日志记录系统。性能方面优化了 API 调用效率,改进响应速度,提升系统稳定性。用户体验方面增加了实体状态显示,添加响应内容属性,优化配置流程,提供友好错误提示。
📝 使用示例
# 联网搜索
service: zhipuai.web_search
data:
query: "查询内容"
stream: true
# 图像生成
service: zhipuai.image_gen
data:
prompt: "一只可爱的小猫咪"
model: "cogview-3-flash"
size: "1024x1024"
# 摄像头分析
service: conversation.process
data:
text: "客厅摄像头现在看到了什么"
# 短视频分析示例
service: zhipuai.video_analysis
data:
video_path: "/config/www/videos/party.mp4"
query: "这个视频记录了什么活动"
# 自动化示例:分析新上传的视频
automation:
trigger:
platform: event
event_type: file_uploaded
event_data:
file_type: video
action:
service: zhipuai.video_analysis
data:
video_path: "{{ trigger.event.data.path }}"
query: "简要描述这个视频的内容"
📦 安装说明
确保 Home Assistant 版本 ≥ 2023.8.0,下载最新版本代码,复制到 custom_components/zhipuai 目录,重启 Home Assistant,在集成页面添加"智谱清言"即可完成安装。
🤝 参与贡献
感谢所有用户的支持和反馈!欢迎通过提交功能建议、报告使用问题、分享使用经验或提供代码贡献来参与项目发展。如果您在使用过程中遇到任何问题,请查看完整文档、提交 GitHub Issues 或加入用户讨论组获取帮助。
再次感谢您的支持,期待您体验这个全新版本带来的所有改进与优化!