Skip to content

v2024.12.28

Latest
Compare
Choose a tag to compare
@knoop7 knoop7 released this 27 Dec 18:28

Home Assistant 智谱清言集成 v2024.12.28 更新公告

很高兴宣布 Home Assistant 智谱清言集成迎来重大更新!本次更新带来了多项激动人心的新功能和优化改进。
请注意本次版本,直接支持对话查询家庭摄像头画面、联网搜索等全新更强大功能,请耐心尝试!若您感觉喜欢实用,请您送我一杯咖啡即可万分感激!


🌟 新增功能

联网搜索:集成智谱 AI 的 web-search-pro 工具,支持实时流式响应,搜索结果即时展现。支持多种触发方式,包括"搜索xxx"、"查找xxx"、"帮我联网xxx"等,搜索结果自动保存到对话历史。

AI 图像生成:支持三种 CogView-3 模型(Plus高级版、标准版、Flash免费版),提供7种图片尺寸选择,自动保存到本地 /www 目录,支持通过服务调用生成图片。

智能对话升级:优化对话上下文处理,增加实体状态显示,添加响应内容属性,支持中英双语交互。摄像头分析方面支持实时画面分析、自然语言问答和多摄像头支持。设备控制方面支持更多设备类型,改进控制逻辑,增强状态反馈。

视频分析增强:基于 GLM-4V 视觉模型,支持实时分析摄像头画面内容,可以回答"摄像头现在看到了什么"、"有人吗"等问题。支持多个摄像头同时分析,还可以进行跨镜头的场景理解。使用方式:

  • 直接对话:"xxx摄像头现在看到了什么"
  • 自动化调用:可配置定时分析、事件触发分析
  • 场景联动:支持与其他设备和服务联动

短视频分析:集成 GLM-4V-Plus 模型的视频理解能力,支持对本地视频文件进行智能分析:

  • 视频内容理解:分析视频中的场景、人物、动作和事件
  • 情节描述:自然语言描述视频的主要情节发展
  • 时间轴分析:可对视频特定时间点进行精确分析
  • 多模态理解:结合视觉和音频信息的综合分析

⚡ 技术优化

架构改进:采用模块化设计,功能独立封装,优化服务调用机制,改进错误处理流程,完善日志记录系统。性能方面优化了 API 调用效率,改进响应速度,提升系统稳定性。用户体验方面增加了实体状态显示,添加响应内容属性,优化配置流程,提供友好错误提示。


📝 使用示例

# 联网搜索
service: zhipuai.web_search
data:
  query: "查询内容"
  stream: true

# 图像生成
service: zhipuai.image_gen
data:
  prompt: "一只可爱的小猫咪"
  model: "cogview-3-flash"
  size: "1024x1024"

# 摄像头分析
service: conversation.process
data:
  text: "客厅摄像头现在看到了什么"

# 短视频分析示例
service: zhipuai.video_analysis
data:
  video_path: "/config/www/videos/party.mp4"
  query: "这个视频记录了什么活动"

# 自动化示例:分析新上传的视频
automation:
  trigger:
    platform: event
    event_type: file_uploaded
    event_data:
      file_type: video
  action:
    service: zhipuai.video_analysis
    data:
      video_path: "{{ trigger.event.data.path }}"
      query: "简要描述这个视频的内容"

📦 安装说明

确保 Home Assistant 版本 ≥ 2023.8.0,下载最新版本代码,复制到 custom_components/zhipuai 目录,重启 Home Assistant,在集成页面添加"智谱清言"即可完成安装。


🤝 参与贡献

感谢所有用户的支持和反馈!欢迎通过提交功能建议、报告使用问题、分享使用经验或提供代码贡献来参与项目发展。如果您在使用过程中遇到任何问题,请查看完整文档、提交 GitHub Issues 或加入用户讨论组获取帮助。


再次感谢您的支持,期待您体验这个全新版本带来的所有改进与优化!