speech-emotion-extraction-traditional

KO | EN

gitlite — search

#hacktoberfest #typescript #go #golang #deep-learning #docker #nodejs #java #windows #awesome #kubernetes #awesome-list #security #ios

speech-emotion-extraction-traditional

(★ 19)

一个基于传统信号处理和机器学习的语音情绪识别系统。项目通过提取音频的MFCC、过零率、能量等声学特征，使用SVM、KNN等传统分类器对语音情绪（如高兴、愤怒、中性）进行分类识别。无需深度学习，结构清晰，运行高效，适合教学演示或资源受限场景下的语音情感分析任务。

speech-emotion-extraction-traditional 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# 🎙️ 语音情感识别系统

**基于传统算法的语音感情色彩提炼系统设计与实现**

一个完整的语音情感识别系统，包含Python后端API和Next.js前端界面，基于传统机器学习算法实现音频情感分类。

---

## 🧠 一、项目背景与意义

在人机交互系统、情感计算、智能客服等应用中，理解语音中的情绪信息是提升交互体验的关键环节。
尽管深度学习方法近年来取得显著进展，但传统音频信号处理技术仍具备**可解释性强、资源需求低、开发难度适中**等优势，非常适合嵌入式设备、教学演示或资源受限场景。

因此，本文设计并实现一个基于**传统音频特征提取与机器学习分类器**的语音情感识别系统，用以提炼语音中的**感情色彩信息**（如：快乐、愤怒、中性）。

---

## 🔧 二、实现原理与技术路线

### 1. 音频特征提取（使用传统声学特征）

* **MFCC**（Mel Frequency Cepstral Coefficients）：反映人类听觉特性的倒谱系数，是最常用的语音识别特征。
* **ZCR**（Zero Crossing Rate）：反映信号频率变化频繁程度。
* **Chroma**（色度图谱）：反映音调结构，常用于音乐情感识别，也可扩展至语音。
* **Energy**：反映声音强度，情绪激动时一般能量较高。
* **Pitch（基频）**：声调的高低，愉快时通常音高更高。

### 2. 特征归一化处理

使用 **标准化 / 最小-最大归一化**，避免特征尺度不一致影响分类器性能。

### 3. 分类器（传统机器学习方法）

可选模型包括：

* **支持向量机（SVM）**：泛化能力强，适合中小规模数据
* **KNN（K-Nearest Neighbor）**：简单直观，适合初步实验
* **随机森林（Random Forest）**：适合非线性特征组合

> 使用 Scikit-learn 训练上述模型，测试不同参数组合下的准确率。

---

## 📊 三、系统结构与工作流程

```plaintext
           [语音输入]
                ↓
         [预处理（降噪、分帧）]
                ↓
         [特征提取（MFCC、ZCR等）]
                ↓
         [特征归一化]
                ↓
       [机器学习分类器（SVM等）]
                ↓
       [输出结果：情绪类别]
```

---

## 📁 四、数据集选择

### ✅ RAVDESS 数据集

* 全称：Ryerson Audio-Visual Database of Emotional Speech and Song
* 内容：1440条情绪标注的语音样本（8种情绪）
* 链接：[https://www.kaggle.com/datasets/uwrfkaggler/ravdess-emotional-speech-audio](https://www.kaggle.com/datasets/uwrfkaggler/ravdess-emotional-speech-audio)
* 标签：neutral（中性）、calm（平静）、happy（快乐）、sad（悲伤）、angry（愤怒）、fearful（恐惧）、disgust（厌恶）、surprised（惊讶）

本系统支持完整的8种情感分类，提供更细粒度的情感识别能力。

---

## 🧪 五、系统开发与实验过程

### 1. 开发环境与工具

* **编程语言**：Python 3.9 - 3.12 (推荐 Python 3.10+)
* **操作系统**：Windows 10/11, macOS 10.15+, Ubuntu 20.04+
* **核心依赖库**：

* `librosa`：音频读取与特征提取（支持多种音频格式）
  * `numpy / scipy`：信号处理与计算
  * `scikit-learn`：传统机器学习分类器
  * `matplotlib / seaborn`：可视化分析结果
  * `fastapi / uvicorn`：Web API 框架
  * `numba`：JIT 编译加速

> **⚠️ Python版本说明**: 
> - 支持 **Python 3.9 - 3.12**
> - **不支持** Python 3.8 及以下版本 (librosa 0.11+ 要求)
> - **不支持** Python 3.13+ (numba 兼容性限制)
> - **推荐使用** Python 3.10 或 3.11 获得最佳性能和稳定性

### 2. 实验步骤

1. 加载语音文件，截取前 3～5 秒主干
2. 提取 MFCC、ZCR、Chroma、Pitch 等特征
3. 构造训练集与测试集，分割合适比例（如 80% / 20%）
4. 对不同模型进行训练与交叉验证
5. 输出混淆矩阵与准确率、召回率、F1分数等指标

---

## 📈 六、实验评估

| 分类器 | 特征组合            | 精度（Accuracy） | 备注         |
| --- | --------------- | ------------ | ---------- |
| SVM | MFCC+ZCR+Energy | 76.4%        | 精度较高，训练速度快 |
| KNN | MFCC+Pitch      | 71.2%        | 适合小样本      |
| RF  | 全特征             | 78.9%        | 泛化较强       |

---

## 📦 七、项目成果展示

* 可运行的情绪识别 Python 脚本
* 支持拖入语音文件自动识别情绪
* 输出控制台/图形界面显示情感标签（如"Detected Emotion: Angry"）
* 图形展示不同类别识别的准确度柱状图 / 混淆矩阵

---

## 📚 八、可能扩展方向

* 加入实时录音输入模块，变为实时识别
* 扩展至更多情绪维度或多语言语音
* 与 TTS 或语音合成模块结合，做情绪反馈系统
* 与嵌入式平台结合（如树莓派 + 麦克风模块）

---

## 🏗️ 九、项目架构

### 系统组件

```
语音情感识别系统
├── 前端 (Next.js + TypeScript + Tailwind CSS)
│   ├── 音频上传组件 (拖拽支持)
│   ├── 结果展示组件 (可视化图表)
│   └── 状态监控组件 (实时状态)
├── 后端 (FastAPI + Python)
│   ├── API路由层 (RESTful接口)
│   ├── 业务服务层 (情感识别服务)
│   ├── 特征提取层 (MFCC、ZCR等)
│   └── 模型层 (SVM、RandomForest等)
└── 工具脚本
    ├── 模型训练脚本
    ├── 一键启动脚本
    └── 系统停止脚本
```

### 技术栈

**后端技术栈：**
- **Web框架**: FastAPI (异步高性能)
- **音频处理**: librosa (专业音频库)
- **机器学习**: scikit-learn (传统ML算法)
- **数值计算**: numpy, scipy
- **数据可视化**: matplotlib, seaborn

**前端技术栈：**
- **框架**: Next.js 15 (React服务端渲染)
- **语言**: TypeScript (类型安全)
- **样式**: Tailwind CSS (原子化CSS)
- **状态管理**: React Hooks
- **网络请求**: Fetch API

**支持的音频格式：**
- **无损格式**: WAV, FLAC, AIFF
- **压缩格式**: MP3, AAC, M4A, OGG, WMA
- **移动设备**: 3GP, AMR
- **其他**: AU (Sun Audio)
- **文件大小限制**: 最大50MB

## 💻 十、系统实现细节

### 核心模块设计

**特征提取模块** (`features/audio_features.py`)
- 实现MFCC、ZCR、Chroma、Energy、Pitch等经典声学特征
- 支持多种音频格式和采样率转换
- 优化的特征归一化和预处理流程

**分类器模块** (`models/emotion_classifier.py`)
- 集成SVM、KNN、RandomForest等传统机器学习算法
- 支持模型训练、保存和加载
- 提供交叉验证和性能评估功能

**API服务层** (`api/routes.py`)
- RESTful API设计，支持异步处理
- 完整的错误处理和状态码管理
- 音频文件上传和格式验证

### 算法优化策略

**特征工程优化**
- 基于信息增益的特征选择
- 主成分分析(PCA)降维
- 滑动窗口和帧级特征聚合

**模型集成方法**
- Voting Classifier投票机制
- Bagging和Boosting集成
- 模型融合和预测结果加权

## ✅ 十一、结论与亮点总结

### 🌟 技术创新点

* **传统算法现代化实现**：将经典音频信号处理技术与现代Web框架相结合
* **多模态特征融合**：整合时域、频域、倒谱域等多维度声学特征
* **轻量级模型设计**：在保证识别精度的前提下优化计算复杂度
* **跨平台兼容性**：支持Windows、Linux、macOS等多种操作系统
* **模块化架构设计**：高内聚低耦合的系统架构，便于功能扩展

### 🎯 应用价值

* **教育科研**：为音频信号处理和机器学习教学提供完整案例
* **工业应用**：可快速部署到客服系统、语音交互等实际场景
* **算法对比**：为研究者提供传统方法与深度学习方法的性能基准
* **原型开发**：为情感计算相关项目提供快速原型开发平台

### 🔬 学术贡献

* **特征工程研究**：系统性比较了不同声学特征的情感表征能力
* **模型集成方法**：探索了多种传统机器学习算法的融合策略
* **性能优化技术**：在资源受限环境下实现高效的情感识别
* **系统架构设计**：提出了音频情感识别系统的标准化架构模式

### 🚀 未来研究方向

* **深度特征学习**：结合深度学习自动提取更高层次的情感特征
* **多模态情感识别**：融合语音、文本、视觉等多种模态信息
* **个性化情感模型**：针对不同用户群体的情感表达特点进行模型定制
* **实时流式处理**：支持连续语音流的实时情感状态监测
* **跨语言情感迁移**：研究情感特征在不同语言间的通用性和迁移能力

---

## 📚 参考文献与致谢

### 主要参考文献

1. Livingstone, Steven R., and Frank A. Russo. "The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS)." PloS one 13.5 (2018): e0196391.

2. Schuller, Björn, et al. "Computational paralinguistics: emotion, affect and personality in speech and language processing." John Wiley & Sons, 2013.

3. El Ayadi, Moataz, Mohamed S. Kamel, and Fakhri Karray. "Survey on speech emotion recognition: Features, classification schemes, and databases." Pattern Recognition 44.3 (2011): 572-587.

### 开源致谢

- **librosa**: 音频分析库
- **scikit-learn**: 机器学习算法库  
- **FastAPI**: 高性能Web框架
- **Next.js**: React应用框架
- **Tailwind CSS**: 原子化CSS框架

---

## 📞 获取完整系统

### 📖 详细文档
- **部署指南**: [DEPLOYMENT.md](DEPLOYMENT.md) - 完整的部署和使用说明
- **故障排除**: [TROUBLESHOOTING.md](TROUBLESHOOTING.md) - 常见问题和解决方案
- **后端文档**: [backend/README.md](backend/README.md) - API详细说明
- **前端文档**: [webui/README.md](webui/README.md) - 界面组件指南

### 🚀 快速体验

**环境要求**: Python 3.9 - 3.12, Node.js 18+

```bash
# 启动系统
./start.sh              # Linux/macOS
start.bat               # Windows

# 停止服务
./stop.sh               # Linux/macOS
stop.bat                # Windows

# 端口管理（如果8000端口被占用）
./change-port.sh 8001   # Linux/macOS - 切换到8001端口
change-port.bat 8001    # Windows - 切换到8001端口
```

### 🔧 端口管理说明

**固定端口设计**：系统默认使用8000端口，不会自动递增端口号。
- ✅ **优点**：前端始终知道后端地址，连接稳定
- 🚫 **禁用功能**：自动端口切换已完全禁用
- 🛠️ **端口冲突**：如需更换端口，请使用端口切换工具

**端口切换工具**：
```bash
# 查看当前端口配置
./change-port.sh        # Linux/macOS
change-port.bat         # Windows

# 切换到指定端口
./change-port.sh 8001   # 切换到8001端口
change-port.bat 8001    # Windows版本
```

### 🔗 在线资源
- **API文档**: http://localhost:8000/docs
- **系统演示**: http://localhost:3000
- **健康检查**: http://localhost:8000/health

**系统版本**: v1.0.0  
**最后更新**: 2025年  
**技术栈**: FastAPI + Next.js + scikit-learn  
**许可证**: MIT License

speech-emotion-extraction-traditional

speech-emotion-extraction-traditional 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

speech-emotion-extraction-traditional

speech-emotion-extraction-traditional 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README