注:筆者は韓国在住のため、本文には韓国特有の文脈が含まれることがあります。

作ったスマートホームのプレビュー(日本語音声注意)

1. HomeAssistantとは?

以前にも記事を書いたことがある 、HomeAssistantというプラットフォームから始まります。

2023年はHomeAssistantにとって音声の年 でした。

LLMを筆頭にAIがどんどん高度化し、「これで本当にジャービスが作れるぞ!」と思うようになった年でした。

ジャービス

2. それで何が言いたいの?

ただ自慢してみたかっただけです(…)。

全体パイプライン

3. 使用・参考にした情報

HotWordPlugin - AndroidでWake wordを検知

Tasker - AndroidでHotwordPluginのイベントを検知して特定のアプリを実行

Whisper - Speech To Textエンジン

extended_openai_conversation - 家にあるデバイス情報を利用し、function calling機能で実際のデバイス状態を操作する関数を呼び出してくれます。

Bert-VITS2 (TTS) - キャラクターの声、可愛いでしょう?

Zigbee2Mqtt - Zigbee信号をMQTT Queueに繋いでくれるオープンソースプロジェクトです。

SONOFF ZBDongle-P - ラズベリーパイからZigbee信号を送れるようにするドングルです。

Tuya IRリモコン - Zigbeeを受け取ってIR信号を送ってくれます。