好友专属快乐开关 - Grove Shield for Seeed Studio XIAO - WTH - CodeCraft Hub
Scene: Smart Home. Edge AI application on CodeCraft Hub for Smart Home use cases.
Devices / BOM: Grove Shield for Seeed Studio XIAO, Grove Vision AI V2, Seeed Studio XIAO ESP32S3, Grove - VART Crossover Cable 4Pin 20cm (5pcs), MP3 Module V4.0, UART Interface, mini MP3 Player/Walkman, powered by WT2605X, 2mm plywood or acrylic, R型膨胀铆钉, M3*60双通六角隔离柱
Smart Home application on CodeCraft Hub. 这是一个趣味智能互动装置,如同解锁快乐的专属钥匙。依托 Seeed Studio XIAO ESP32-S3 与 Vision AI V2 视觉技术,设备常态保持安静。当好友 A 出现,自动播放乐曲 0001;好友 B 到来,则奏响乐曲 0002,陌生人经过无响应。设备采用本地运算,全程不上传数据,守护隐私。让熟悉的身影,一键开启专属快乐。
Documentation
平淡的日常里,好友的出现总能带来惊喜与欢乐。我们以此为灵感,打造了这款智能互动装置,把彼此的相遇变成开启快乐的小小仪式。 作品基于 Seeed Studio XIAO ESP32-S3 主控与 Vision AI V2 边缘视觉技术实现人物识别。设备待机时静默无声,当识别到好友 A,便播放专属乐曲 0001;识别到好友 B,切换为乐曲 0002;面对陌生人则保持安静。 装置全程离线运行,所有数据仅在本地处理,有效保护隐私安全。不必言语,一段轻快的旋律就是默契的问候,让每一次碰面,都收获一份简单的快乐。
Deploy steps
- 烧录模型
这是一个使用Vision AI V2训练的图像分类视觉模型,包含三个类别:我、其他人、无人。
Deploy an AI model to your device (in-app tool on CodeCraft Hub).
(提醒:如果你想定制自己的视觉识别模型,就需要重新训练它。)
使用Vision AI V2训练一个图像分类模型。你可以定义三个图像类别:
你(目标人物)
其他人(可以选择多人)
无人出现(只需对着空房间拍照即可)
- 硬件连接
将 XIAO ESP32-S3 插入 Grove 扩展板:确保 USB 端口与扩展板的方向对齐,并将引脚牢固按压到位。
使用 USB Type-C 数据线将 XIAO ESP32-S3 连接到计算机。注意:Type-C 数据线必须是数据线,而非仅用于充电的线缆。
将Vision AI V2模块(视觉输入)连接到XIAO-ESP32的SDA/SCL引脚。
GND → XIAO GND
VCC → XIAO 3.3V
SDA → XIAO D4
SCL → XIAO D5
插入一张格式化为FAT32的存储卡,连接扬声器,然后连接到XIAO开发板的串口。TX与RX需要交叉连接(并非并排连接)!!!!
GND → XIAO GND
VCC → XIAO 3.3V
RX → XIAO D6
TX → XIAO D7
- 固件烧录
此应用程序支持 XIAO ESP32‑S3。请根据您的开发板选择对应的固件。
点击下方的“烧录固件”按钮,按照提示选择对应的串口并连接设备。
如果设备未被识别,请双击 XIAO 上的复位按钮进入下载模式,然后重试。
Flash firmware to your device (in-app tool on CodeCraft Hub).
- 开机与使用
1. 更新音频文件
准备一张 FAT32 格式的存储卡。将两段录音保存到根目录下,分别命名为 0001.mp3 和 0002.mp3(也可以是 0001.wav 和 0002.wav)。
2. 测试项目
当目标对象people A面对摄像头时,扬声器播放 0001(.mp3/.wav)。
当目标对象people B面对摄像头时,扬声器播放 0002(.mp3/.wav)。
如果无人出现,扬声器保持静音。
- 未来可扩展方向
离线语音交互:利用 XIAO ESP32-S3 Sense 的内置麦克风功能。当目标个体听到信件的语音后,可以说出特定的秘密口令,触发第二段隐藏录音,从而实现双向的“空中对话”。
- File
0001.mp3
0002.mp3
TheTalkingLetter_2.dxf