注:作者居住在韩国,部分内容包含韩国特有的背景。

我做的智能家居预览(注意:日语音频)

1. HomeAssistant?

故事从一个我以前写过文章 的平台 HomeAssistant 开始。

对 HomeAssistant 来说,2023年是语音之年

随着以 LLM 为首的 AI 日益成熟,那一年我开始觉得:现在真的可以做出贾维斯了!

贾维斯

2. 所以你到底想说什么?

只是想炫耀一下而已(…)。

整体流水线

3. 使用 / 参考的信息

HotWordPlugin - 在 Android 上检测 Wake word

Tasker - 在 Android 上检测 HotwordPlugin 事件并启动特定应用

Whisper - Speech To Text 引擎

extended_openai_conversation - 利用家中设备信息,通过 function calling 调用实际控制设备状态的函数。

Bert-VITS2 (TTS) - 角色的声音很可爱吧?

Zigbee2Mqtt - 一个把 Zigbee 信号连接到 MQTT 队列的开源项目。

SONOFF ZBDongle-P - 让树莓派能发送 Zigbee 信号的 dongle。

Tuya IR 遥控器 - 接收 Zigbee 信号后发射 IR 信号。