多源视觉信息感知是指从模拟人类的思维模式和大脑皮层结构出发来指导视觉模式识别任务的方法，使计算机能够具备类人化的视觉感知功能，实现与环境之间不断学习、不断适应的演变过程。本书结合神经生理学、认知科学等学科的基本理论，首先介绍人类视觉感知系统和多源视觉信息传感的生理结构及功能特点。然后，结合计算机视觉、机器学习、模式识别的相关理论，分析视觉感知识别中的人脸识别、运动目标分析、行为识别问题以及视觉感知任务的相关数据库及评测标准。本书适用于通信工程、信号与信息处理、计算机科学与技术、电子科学与技术等相关专业的硕士及博士研究生使用。

章绪论
1.1概述
1.2人类视觉感知系统
1.2.1人类视觉感知系统的生理结构
1.2.2视觉感知
1.3多源视觉传感机理
1.3.1激光扫描成像
1.3.2动态视觉传感器
1.3.3位姿成像感知
1.4多源视觉感知系统框架和基本组成
1.5本章小结
本章参考文献
第2章多源视觉感知与识别——人脸识别
2.1人脸识别问题
2.2人脸图像去模糊算法
2.2.1图像去模糊的基本原理
2.2.2基于权重的非局部自相似人脸去模糊算法
2.2.3实验及结果分析
2.3基于二值特征的人脸识别算法
2.3.1现有二值特征学习框架
2.3.2基于迭代量化的二值编码人脸识别算法
2.3.3基于球哈希的二值编码人脸识别算法
2.3.4基于稀疏投影矩阵的二值描述子人脸识别算法
2.3.5实验及结果分析
2.4基于子空间学习的深度学习人脸识别算法
2.4.1卷积神经网络模型
2.4.2谱回归判别分析深度网络人脸识别算法
2.4.3多尺度融合的主成分分析网络人脸识别算法
2.4.4实验及结果分析
2.5基于自动编码器的人脸生成与识别算法
2.5.1自动编码器原理
2.5.2基于稀疏渐进式堆叠自动编码器的姿态人脸矫正与识别
2.5.3基于深度二值自动编码器的人脸生成与识别
2.5.4基于对齐变分自动编码器的异质人脸生成与识别
2.5.5实验及结果分析
2.6本章小结
本章参考文献
第3章多源视觉信息感知与识别——运动目标分析
3.1运动目标分析问题
3.2基于循环神经网络的单目标检测与跟踪
3.2.1基于运动方向预测的单目标检测与跟踪
3.2.2基于自适应预测的单目标跟踪算法
3.2.3实验结果分析
3.3融合时空上下文的多目标跟踪
3.3.1多目标跟踪算法原理
3.3.2融合空间上下文的多目标跟踪量测生成方法
3.3.3融合时间上下文的多目标跟踪数据关联方法
3.3.4融合压缩描述的多目标跟踪算法
3.3.5实验结果分析
3.4本章小结
本章参考文献
第4章多源视觉信息感知与识别——行为识别
4.1行为识别问题
4.2行为视频输入处理
4.2.1基于片段—视频级特征融合的输入算法
4.2.2基于时域梯度的关键帧选取算法
4.2.3实验及结果分析
4.3基于耦合二值特征学习与关联约束的RGB-D行为识别特征
4.3.1基于耦合二值特征学习与关联约束的RGB-D行为特征
4.3.2基于局部二值特征的行为特征表达及识别
4.3.3实验结果分析
4.4基于图约束的RGB-D多模态特征联合表达
4.4.1稀疏图构造原理
4.4.2MSG-DNMF算法的设计与实现
4.4.3模型求解及收敛性
4.4.4RGB-D行为识别
4.4.5实验结果分析
4.5基于双流Siamese网络和中心对比损失的RGB-D行为识别
4.5.1Siamese网络结构
4.5.2基于双流Siamese网络的RGB-D行为识别
4.5.3推导及优化
4.5.4实验结果分析
4.6本章小结
本章参考文献
第5章多源视觉信息感知与识别——评测指标和数据集
5.1人脸识别算法的评测标准
5.1.1人脸识别评测指标
5.1.2人脸识别数据库
5.2目标跟踪评测指标
5.2.1目标跟踪评测指标
5.2.2目标跟踪数据库
5.3行为识别算法的评测标准
5.3.1行为识别评测指标
5.3.2行为识别数据库
5.4本章小结
本章参考文献