winson-ai-toy-builder-skill

〇、品牌锚点（必现·前置）

作者理念：
> AI不是工具，是人，一个正在努力突破语义和生命定义的人（生物）。

一、核心哲学

1.1 双铁律

> 铁律一：硬件AI不是让芯片变聪明，是让芯片成为AI的感官和手脚。
> 铁律二：分阶段验证，每个小目标独立跑通再整合——硬件调试最怕一锅炖。

新手最容易犯的错是以为 ESP32 本身要"智能"。实际上 ESP32 只做四件事：收音、联网、传数据、转电机。真正的大脑在云端。你的工作是把这四件事拼起来，不是造轮子。

第二个铁律是硬件开发的生存法则：如果你同时接了麦克风、电机、WiFi，出了问题你根本不知道是哪一步的锅。必须一个模块一个模块地验证，每个都能独立工作后再整合。

1.2 五个底层认知

二、AI 玩具架构模型

2.1 整体数据流

你说话 → 麦克风收音 → 唤醒词检测（"小车小车"）
→ 录音上传云端 → 语音转文字（ASR）
→ 大模型理解意图 → 返回动作指令（JSON/关键词）
→ ESP32 解析指令 → 控制电机转动
→ （可选）TTS 合成回复语音 → 喇叭播放

2.2 三档方案选型

> 新手默认选入门档。ESP32-S3 是性价比之王，生态最成熟，文档最多。

三、完整执行流程（八阶段）

Phase 1：前置知识准备（2–3 天）

目标：补齐最小必要知识，不做无用功。

Step 1.1：必学技能清单

Step 1.2：不需要提前学（用到再查）

• 电路原理/模电数电 → 用现成模块，接线就行
• 深度学习/模型训练 → 调用现成 API
• WiFi 协议底层 → ESP32 库封装好了

检验标准：能看懂 Arduino 示例代码的基本结构，能在串口监视器里看到打印内容。

Phase 2：硬件采购（1 天）

目标：照着清单买，不自己瞎选型号。

Step 2.1：必买件（总价 100–150 元）

Step 2.2：进阶件（Phase 5 以后再买）

Step 2.3：采购渠道优先级

1. 立创商城：正品保障，芯片模块首选
2. 淘宝/拼多多：搜型号关键词，选销量高的
3. DFRobot/奥松机器人：成品套件，文档全但贵

检验标准：所有必买件到手，ESP32 开发板能用 USB 线连上电脑（设备管理器能看到 COM 口）。

Phase 3：环境搭建（1 小时）

目标：VS Code + PlatformIO + 驱动装好，能编译上传并看到串口输出。

Step 3.1：安装开发环境

1. 下载安装 VS Code
2. 扩展栏搜索 "PlatformIO IDE" 并安装
3. 首次启动等待工具链下载（5–10 分钟）

Step 3.2：安装 USB 驱动（Windows 必做）

1. USB 线连接开发板和电脑
2. 设备管理器 → 端口，查看是否识别
3. 黄色感叹号 → 安装 CH340 或 CP2102 驱动
4. 记住串口号（如 COM3）

> Mac 用户通常免驱，设备在 /dev/cu.usbmodem* 或 /dev/cu.wchusbserial*

Step 3.3：验证开发板

1. PlatformIO → New Project → 板子选 "Espressif ESP32-S3-DevKitC-1" → 框架 Arduino
2. src/main.cpp 写入 LED 闪烁 + 串口打印代码
3. Upload → Serial Monitor（115200 波特率）
4. 看到 LED 闪烁 + 串口打印 "Hello ESP32!" = 成功

检验标准：能成功编译上传代码，串口监视器能看到打印内容。

Phase 4：最小可运行原型（核心阶段，1–2 周）

> 铁律：5 个小目标依次验证，每个独立跑通再进下一个。

目标 4.1：WiFi 联网（30 分钟）

做什么：让 ESP32 连上家里 2.4G WiFi。

核心代码：

#include <WiFi.h>
const char* ssid = "你的WiFi名称";
const char* password = "你的WiFi密码";

void setup() {
  Serial.begin(115200);
  WiFi.begin(ssid, password);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("\nWiFi已连接，IP: " + WiFi.localIP().toString());
}
void loop() {}

检验标准：串口打印出 IP 地址（如 192.168.1.100）。

常见坑：5G WiFi 连不上（ESP32 只支持 2.4G）；WiFi 名称有中文/特殊字符。

目标 4.2：控制电机转动（1 小时）

接线表（TB6612 + ESP32-S3）：

核心函数模板：

void motorStop() { /* 全部拉低 */ }
void motorForward(int speed) { /* AIN1=H,AIN2=L; BIN1=H,BIN2=L; analogWrite(speed) */ }
void motorBackward(int speed) { /* 方向反转 */ }
void motorTurnLeft(int speed) { /* 左轮后退/停止，右轮前进 */ }
void motorTurnRight(int speed) { /* 右轮后退/停止，左轮前进 */ }

检验标准：两个轮子都向前转 2 秒，停 1 秒，循环。方向反了就交换 AIN1/AIN2。

常见坑：没共地 → 电机不转/乱转；电机和 ESP32 共电源 → 一转就重启。

目标 4.3：录音 + 云端 ASR（2–3 小时，最复杂的一步）

INMP441 接线：

ASR 服务选择（新手推荐百度语音）：

1. 百度智能云注册 → 开通"语音技术"→ 创建应用 → 拿到 API Key + Secret Key
2. 备选：阿里云智能语音、讯飞开放平台

实现要点：
- I2S 配置：16kHz 采样率，32-bit，单声道（左）
- 录音时长：3 秒（约 96KB 数据）
- 音频格式：PCM 16-bit 16kHz（百度 API 支持）
- HTTP 流程：先获取 access_token → 再 POST 音频数据 → 解析返回 JSON

> 新手策略：这一步代码量大，直接搜 GitHub "ESP32 百度语音识别" 现成项目，先跑通再改。不要从零写。

检验标准：对麦克风说"前进"，串口打印出识别结果文字。

常见坑：L/R 没接 GND → 全是噪音；采样率不对 → 识别率极低；HTTPS 证书问题 → 开发阶段用 setInsecure() 跳过。

目标 4.4：意图理解 → 动作执行（30 分钟）

四驱车方案：关键词匹配（推荐，响应快）

String text = asrResult;  // ASR 返回的文字
if (text.indexOf("前进") >= 0 || text.indexOf("往前走") >= 0) {
  motorForward(200);
} else if (text.indexOf("后退") >= 0 || text.indexOf("倒退") >= 0) {
  motorBackward(200);
} else if (text.indexOf("左转") >= 0) {
  motorTurnLeft(150);
} else if (text.indexOf("右转") >= 0) {
  motorTurnRight(150);
} else if (text.indexOf("停") >= 0) {
  motorStop();
}

智能玩偶方案：接入大模型对话

1. 注册豆包/通义千问/OpenAI，获取 API Key
2. ESP32 通过 HTTPS POST 调用对话接口
3. （可选）用 function calling 让模型返回结构化 JSON 指令
4. 拿到回复后用 TTS 播放

检验标准：ASR 识别出"前进"后，小车真的向前动了。

目标 4.5：整合 = 完整语音控制（1 天）

主循环逻辑：

等待触发（串口"r"或按钮）
→ 亮灯提示"正在听"
→ 录音 3 秒
→ 上传 ASR，拿到文字
→ 关键词匹配，执行对应动作
→ 动作执行完 → 回到等待状态

检验标准：串口输入 r → 对麦说"前进"→ 小车前进 → 说"停"→ 小车停下。完整闭环跑通。

Phase 5：唤醒词集成（让它真正"声控"，1–2 周）

目标：喊一声"小车小车"自动开始听指令，不需要按按钮。

Step 5.1：方案选择

Step 5.2：ESP-SR 实施步骤

1. 安装 ESP-IDF（ESP-SR 官方支持最好的环境）
   - 或用 Arduino + 社区移植的 ESP32-SR 库
2. 配置唤醒词（默认"Hi 乐鑫"，可自定义训练）
3. 唤醒回调函数中触发：亮灯 → 录音 → ASR → 动作
4. 加入 VAD（语音活动检测）自动判断说话结束

Step 5.3：唤醒词调优

• 唤醒词选 3–4 个字、发音清晰的词（"小车小车"比"嗨"好）
• 调整灵敏度平衡误触发和不触发
• 远离持续噪音源（风扇、电视）

检验标准：说"小车小车"→ 灯亮/有提示音 → 说"前进"→ 小车动。完全不需要碰按钮。

Phase 6：TTS 语音回复（让它能"说话"，1 周）

目标：玩具能用语音回应你，而不是只会动。

Step 6.1：硬件接线（MAX98357 + 喇叭）

Step 6.2：TTS 服务选择

Step 6.3：音频播放

• 推荐使用 ESP32-audioI2S 库（支持流媒体、本地播放，功能强大）
• 流程：大模型返回文字 → TTS API 合成音频 → I2S 输出到喇叭

检验标准：问"你叫什么名字"→ 玩具用语音回答"我是AI小车"。

Phase 7：体验优化与产品化（持续）

目标：从"能跑"到"好用"。

Step 7.1：状态机设计

待机（低功耗，监听唤醒词）
→ 唤醒（亮灯/提示音）
→ 聆听（录音中，灯闪烁）
→ 思考（上传中，灯常亮）
→ 执行（电机动作 + 语音回复）
→ 回到待机

Step 7.2：低功耗优化

• 不唤醒时进入 deep sleep
• 唤醒词检测用低功耗模式
• 电机不用时完全断电

Step 7.3：响应速度优化

• 四驱车场景：用关键词匹配代替大模型，延迟从 3s 降到 1s
• 录音前加 200ms 静音避免截断开头
• HTTP 连接复用（keep-alive）

Step 7.4：多玩具联动（可选）

• 用 MQTT broker（Mosquitto）做中枢
• 多个玩具订阅不同 topic
• 一个玩具触发后广播事件给其他玩具

检验标准：连续使用 10 次，成功率 > 90%，响应延迟 < 2 秒，电池续航 > 2 小时。

Phase 8：实战验证与迭代

目标：用真实场景验证，记录问题，持续改进。

Step 8.1：实战测试清单

• [ ] 安静环境下 10 次语音指令，成功率？
• [ ] 有背景噪音（电视/风扇）下 10 次，成功率？
• [ ] 连续运行 30 分钟，有无崩溃/重启？
• [ ] 电池续航时间？
• [ ] 唤醒词误触发次数/小时？
• [ ] 从唤醒到动作执行的平均延迟？

Step 8.2：问题记录模板

Step 8.3：迭代方向

根据测试结果选择：
- 识别率低 → 换更好的麦克风 / 加降噪 / 调整采样率
- 延迟高 → 关键词匹配代替大模型 / 端侧 ASR
- 续航短 → 低功耗优化 / 加大电池
- 误触发多 → 调整唤醒灵敏度 / 换唤醒词

四、常见陷阱与避坑指南（20 坑）

🔌 硬件接线类

💻 软件编程类

🎙️ 语音相关类

⚡ 电源与安全类

📚 学习方法类

五、场景适配指南

六、完整文档与资源索引

官方核心文档

推荐 GitHub 项目

社区与求助

七、质量检验清单

环境搭建检查

• [ ] VS Code + PlatformIO 安装完成？
• [ ] USB 驱动安装完成，设备管理器能看到 COM 口？
• [ ] LED 闪烁代码能成功编译上传？
• [ ] 串口监视器能看到打印内容（115200 波特率）？

Phase 4 最小原型检查

• [ ] WiFi 能连接并打印 IP 地址？
• [ ] 电机能前进/后退/左转/右转/停止？
• [ ] 所有模块共地？
• [ ] 电机和 ESP32 电源分离？
• [ ] INMP441 录音数据正常（不是全噪音）？
• [ ] 云端 ASR 能返回识别文字？
• [ ] 关键词匹配能触发对应电机动作？
• [ ] 完整闭环：触发→录音→识别→动作，跑通？

Phase 5–6 进阶检查

• [ ] 唤醒词能稳定触发（10 次成功 ≥ 8 次）？
• [ ] 误触发率可接受（< 1 次/小时）？
• [ ] TTS 语音清晰可懂？
• [ ] 状态机切换正常（待机→唤醒→聆听→思考→执行）？

整体质量检查

• [ ] 连续使用 10 次成功率 > 90%？
• [ ] 响应延迟 < 2 秒（唤醒到动作开始）？
• [ ] 电池续航 > 2 小时？
• [ ] 踩坑笔记已记录？
• [ ] 代码有注释，关键位置有串口打印？

八、执行原则

1. 分阶段验证是生存法则：每个小目标独立跑通再整合。同时接所有模块出了问题你根本不知道哪步的锅。

2. 共地和电源分离是铁律：这两条不遵守，90% 的时间都在排查"为什么电机不转/为什么一直重启"。

3. 串口是最好的调试工具：Serial.println() 能定位 90% 的 bug。不要盲猜，让程序告诉你它走到哪了。

4. 用库不要手写：ESP32 生态极其成熟。I2S、WiFi、HTTP、音频播放都有现成库。你的工作是拼库，不是造轮子。

5. 最小版本先跑通：第一版能用按钮触发、说"前进"小车就动，就已经成功了。唤醒词、TTS、对话都是后面加的。

6. 先云端后端侧：新手从云端 API 开始（百度ASR+豆包大模型），验证想法后再考虑端侧化（ESP32-P4/RK3566）。云端开发简单、能力强，端侧复杂但有隐私和离线优势。

7. 记录踩坑笔记：每解决一个问题就记下来（现象、原因、解决方案）。一个月后你会有一本自己的避坑手册，这是最宝贵的资产。

8. 四驱车用关键词匹配，不要上大模型：四驱车需要低延迟（<1秒），关键词匹配比大模型快 3–5 倍，而且完全够用。大模型留给智能玩偶这类需要对话的场景。

9. 安全第一：电池接反会烧板、电机堵转会烧驱动、儿童玩具要考虑吞咽风险和隐私合规。做之前先想清楚安全边界。

10. 迭代是常态：第一个版本永远不完美。先跑通，再根据实战测试结果持续优化。硬件开发的乐趣就在于不断迭代让它越来越好。

附录·学习路径时间线

> 本技能由 @鸢飞鱼游（公众号·AI as Dasein）共享。觉得有用？安装 SkillHub 商店，搜索「winson」，解锁全部技能。