基于图像处理与DSP的复杂图像分类器的设计与实现
赵红军 吴斌
摘 要： 复杂图像分类需要处理海量数据，缩小数据量是必经之路。根据这种情况，设计基于图像处理与DSP的复杂图像分类器，采取DSP辅助图像处理进行分类主从结构，通过图像处理器ARM870T接入复杂图像模拟数据并去噪，由数字编码器将图像模拟数据转换成数字数据，通过DSP进行像素点估计，聚合像素点估计值得到复杂图像分类结果。设计了分类器接口、控制和计算的结构与资源，描述了图像处理在DSP上的实现方法。实验结果显示，所设计的复杂图像分类器具备鲁棒性强的特点。
关键词： 图像处理； DSP； 主从结构； 复杂图像分类器
中图分类号： TN911.73?34； TP752.1 文献标识码： A 文章编号： 1004?373X（2017）16?0117?03
Abstract： The complex image classification needs to process the huge amounts of data， therefore the reduction of data quantity is the only way for that. According to this situation， a complex image classifier based on DSP and image processing was designed. The master?slave structure classified with DSP aided image processing is used to access into the complex image analog data through image processor ARM870T to denoise the data. The image analog data is converted into digital data through digital encoder. The pixel points are estimated through DSP. The estimation value of the pixel points is integrated to get the complex image classification results. The structure and resource of the classifier interface， control and computation were designed. The implementation method of image processing based on DSP is described. The experimental result shows that the complex image classifier has strong robustness.
Keywords： image processing； DSP； master?slave structure； complex image classifier
0 引 言
图像分类是图像处理的重要分支，在计算机科学、医学、测绘、军事、建筑等方面均具有巨大的应用价值，是国民经济命脉的组成成分之一。图像分类器是指可以随时处理外部图像信息，用最短的时间取得精确处理结果的器件，它的响应时间要大大短于普通图像分类器，因而要求硬件内部资源可以进行数据的快速分类与通信，以保证分类器逻辑结构不会偏离既定时序运行[1]。复杂图像分类将主要进行海量二維数据的处理，意味着需要将二维数据压缩或转换成数据量小且便于处理的格式，因此，设计基于图像处理与DSP（数字信号处理）的复杂图像分类器。
1 基于图像处理与DSP的复杂图像分类器设计
1.1 硬件结构设计
严格来说，DSP是一种微型处理器，图像处理与DSP的结合拥有许多详尽的参考案例，最早用在处理复杂数据的一个系统进程中[2]。随着DSP数据处理性能的不断提升，它具备了灵活、高速的处理和通信能力，可以提供低耗、快捷的数据编程空间，为图像处理寻找有效的处理路径。
图1是基于图像处理与DSP的复杂图像分类器硬件结构图，由控制平台和计算平台组成。控制平台由图像处理器ARM870T[3]、一些控制电路以及通信口组成。计算平台采用双核心DSP，由两个相同的DSP、一个数字编码器和一些计算电路组成。图像处理最重要的任务是进行复杂图像去噪，为了保证分类器的处理效率和精度，需要将图像去噪进程引入DSP进行实现。
由图1可知，图像处理器ARM870T与DSP的通信方式是总线通信，前者可以驱动后者进行初始化、计算方案控制以及数据通信。控制平台与计算平台的器件可以互相控制，数据也可以实时互传。基于图像处理与DSP的复杂图像分类器以图像处理器ARM870T为主机，两个DSP辅助主机进行数据访问和存储。计算平台采用数字编码器连接两个DSP，同时沟通图像处理的去噪进程。两个DSP还可以通过图像处理器ARM870T提供的主机接口进行连接，与数字编码器构成一种环状通信结构[4]，计算平台所有的数据都可通过任意一个器件的存储接口进行采集，代表复杂图像分类器具有并行与串行两种图像通信模式。
基于图像处理与DSP的复杂图像分类器的结构特点如下：
（1） 通过平台化设计方法区分图像处理与DSP功能特点，弱化分类器实现难度；
（2） 具有丰富的通信接口，实现内、外部器件的简易通信，硬件资源丰富，拓展能力强；
（3） 图像处理为主机端，可对内、外部器件进行统一控制和分散管理，使分类器具有独立计算的能力；
（4） 通过数字编码器辅助进行逻辑控制，所有器件构成互通结构[5]，增强分类器灵活处理能力；
（5） 两个DSP同时进行复杂图像去噪与分类计算，可采取模糊背景图像处理；
（6） 主从结构模式有利于数据通信与控制。
1.2 硬件资源设计
控制平台和计算平台的硬件资源丰富，为基于图像处理与DSP的复杂图像分类器的基础性能做出了贡献。分类器接口资源设计时通用输入/输出口选择1个并行口，1个串行口，接入双径模拟数据。显示屏接口4线制[6]电容式显示屏接入，屏幕大小为3.5寸以上。存储接口为1个串行口、1个总线口。图像输入接口为1个串行口，支持单径图像接入图像处理器。分类器控制资源中的图像处理器存储资源的基本存储为150 MB、快存存储5 MB；选择ARM870T，主频450 MHz，最大调制频率550 MHz的图像处理器。分类器计算资源设计中的DSP是主频1.5 GHz，随机存取存储器3 MB；DSP存储资源是多媒体存储5 MB，数字内存512 MB；拓展资源为3个30针拓展接口[7]，有82个管脚可与开发板互通数据。
从接口、资源和计算资源中可以得出，整个复杂图像分类器中接口资源是最多的，对复杂图像的显示、处理、数据通信、存储、控制、计算、分类等提供了强有力的支持。控制平台采用嵌入式操作系统，实现对复杂图像分类器的数据流控制。图像处理器ARM870T的最大调制频率为550 MHz，不管是传送控制指令，还是收发复杂图像数据，都能取得优异的控制成效。对于计算平台双核心DSP结构，其具备独立的资源存储模块，数字编码器辅助DSP执行计算任务。
1.3 复杂图像分类流程设计
从资源划分与硬件结构上看，计算平台其实是控制平台的外接单元，作用是提供高速、灵活的复杂图像分类进程，而复杂图像分类器中进行的计算任务全部是由图像处理器ARM870T、DSP和數字编码器共同进行的[8]。通过图像处理器ARM870T接入复杂图像，存储图像模拟数据并进行去噪计算，将计算指令输送到数字编码器，由数字编码器将图像模拟数据转换成数字数据，通过DSP进行复杂图像分类。图2是基于图像处理与DSP的复杂图像分类器分类流程。
由于复杂图像不像普通图像可以准确找出图像像素中心点，因此在分类过程中将初始点指定为像素点i，设定图像处理界限，再确定图像虚拟中心点。设定一个复杂图像分类处理窗口，从任意图像位置j点开始处理，如果j点不在处理窗口之内，循环进行i=i+1指令，直到i点在处理窗口之内。将处于在处理窗口之内的j点与j+1点进行相似度计算，聚合计算得到的所有相似度数据，分离开复杂图像中重叠的像素点，对像素点进行估计。聚合像素点估计值可得到分类结果。
2 复杂图像分类器中图像处理在DSP上的实现
图像处理器ARM870T控制指令在DSP中的实现依靠C语言进行开发与调试，需要根据DSP的结构特点更新控制指令格式[9]，将复杂图像控制指令输送到DSP之后，通过图像处理软件平滑处理窗口边界，拓展图像边界处的数字数据，令图像处理控制指令可以为DSP所用。
在图2的计算过程中，每进行一次像素点估计，便会得到一个m行m列的矩形估计窗，如图3所示。所有估计窗重叠在一起达到一定数量将产生聚合指令，聚合后的图像分辨率应与去噪后的复杂图像分辨率相同。初始化聚合图像，得到一个像素点平均估计值，将这个估计值展开根据估计块大小赋予像素点估计值。当所有像素点都得到惟一的估计值，修剪处理窗口边界的拓展数据，聚合后输出分类结果。
3 实验测试
如果一个图像分类器的鲁棒性强，那么它就可以对抗图像野值点（严重偏离图像像素平均值的像素点）带来的噪声干扰。可见，鲁棒性对于分类器，尤其是进行复杂图像处理的分类器极其重要。实验准备了两个鲁棒性测试数据集合，图像像素平均值分别是（0，0）和（3，0），偏离容错区间是（0.5，0.5）和（1，0.5）。在第一个数据集合中添加两个野值点，分别是（-15，80）和（30，-60）。在第二个数据集合中添加三个野值点，分别是（100，120），（75，-180）和（-80，-50）。编写C语言程序，当野值点被分类到任何一个复杂图像属性中，输出一个“NO”值。用三种复杂图像分类器进行10次分类，统计“NO”值数量，如表1所示。
表1中，本文设计的基于图像处理与DSP的复杂图像分类器对野值点的正确划分能力明显优于其他两种复杂图像分类器，可以真实展示复杂图像内在属性，拥有有效的分类机制，分类结果纯正，具备局部鲁棒性强的特点。
重新编写C语言程序，用来测试复杂图像分类器的总体鲁棒性与上述实验结果是否一致[10]。当分类器将任何一个像素点分类到不相容的图像属性中，输出一个“NO”值。下面在相同条件下进行10次测试，“NO”值数量统计表如表2所示。表2中，时域抖动分类器和模糊神经分类器依旧无法超越本文分类的鲁棒性。
4 结 论
本文设计基于图像处理与DSP的复杂图像分类器，实现了图像处理在DSP上的控制。分类器以图像处理器ARM870T为主机，两个DSP辅助主机进行数据访问和存储，具有并行与串行两种图像通信模式。实验为复杂图像分类器鲁棒性测试准备了数据集合，在不同野值点的条件下进行测试，结果显示本文分类器具备鲁棒性强的性能优势。
参考文献
[1] 于洪松，韩广良，孙海江，等.基于CPCI总线的FPGA+DSP架构通用视频图像处理系统的设计[J].液晶与显示，2015，30（2）：333?339.
[2] 雷选华，闫森，马治国，等.基于EMIF接口的图像处理系统设计[J].光电技术应用，2014，29（3）：30?33.
[3] 曾晓娟.基于图像的捕捉和展示双轴陀螺仪运动的处理系统远程控制DSP[J].电脑与信息技术，2016，24（5）：14?18.
[4] 曾志华，马小雨.FPGA及DSP技术下的实况视频图像处理多种算法探究[J].现代电子技术，2016，39（16）：88?90.
[5] 才兴.探究基于DSP的雾霾天气图像处理技术[J].科技创新导报，2015，12（9）：90.
[6] 宁赛男，朱明，孙宏海，等.采用SRIO协议实现多DSP实时系统图像数据传输[J].计算机工程与应用，2014，50（22）：73?78.
[7] 靖固，杨华宇.基于FPGA+DSP实时图像采集处理系统设计[J].哈尔滨理工大学学报，2016，21（4）：40?44.
[8] 李易难，牛燕雄，杨露.基于DSP+FPGA视频图像采集处理系统的设计[J].电子测量技术，2014，37（1）：58?61.
[9] 杨双国，杨继红，全定可.基于FPGA和DSP的图像采集与处理系统[J].中国新通信，2016，18（5）：36?37.
[10] 杨梦雯，李宝明，陈付亮，等.基于DSP的图像去雾算法优化方法[J].传感器与微系统，2016，35（6）：136?138.
摘 要： 复杂图像分类需要处理海量数据，缩小数据量是必经之路。根据这种情况，设计基于图像处理与DSP的复杂图像分类器，采取DSP辅助图像处理进行分类主从结构，通过图像处理器ARM870T接入复杂图像模拟数据并去噪，由数字编码器将图像模拟数据转换成数字数据，通过DSP进行像素点估计，聚合像素点估计值得到复杂图像分类结果。设计了分类器接口、控制和计算的结构与资源，描述了图像处理在DSP上的实现方法。实验结果显示，所设计的复杂图像分类器具备鲁棒性强的特点。
关键词： 图像处理； DSP； 主从结构； 复杂图像分类器
中图分类号： TN911.73?34； TP752.1 文献标识码： A 文章编号： 1004?373X（2017）16?0117?03
Abstract： The complex image classification needs to process the huge amounts of data， therefore the reduction of data quantity is the only way for that. According to this situation， a complex image classifier based on DSP and image processing was designed. The master?slave structure classified with DSP aided image processing is used to access into the complex image analog data through image processor ARM870T to denoise the data. The image analog data is converted into digital data through digital encoder. The pixel points are estimated through DSP. The estimation value of the pixel points is integrated to get the complex image classification results. The structure and resource of the classifier interface， control and computation were designed. The implementation method of image processing based on DSP is described. The experimental result shows that the complex image classifier has strong robustness.
Keywords： image processing； DSP； master?slave structure； complex image classifier
0 引 言
图像分类是图像处理的重要分支，在计算机科学、医学、测绘、军事、建筑等方面均具有巨大的应用价值，是国民经济命脉的组成成分之一。图像分类器是指可以随时处理外部图像信息，用最短的时间取得精确处理结果的器件，它的响应时间要大大短于普通图像分类器，因而要求硬件内部资源可以进行数据的快速分类与通信，以保证分类器逻辑结构不会偏离既定时序运行[1]。复杂图像分类将主要进行海量二維数据的处理，意味着需要将二维数据压缩或转换成数据量小且便于处理的格式，因此，设计基于图像处理与DSP（数字信号处理）的复杂图像分类器。
1 基于图像处理与DSP的复杂图像分类器设计
1.1 硬件结构设计
严格来说，DSP是一种微型处理器，图像处理与DSP的结合拥有许多详尽的参考案例，最早用在处理复杂数据的一个系统进程中[2]。随着DSP数据处理性能的不断提升，它具备了灵活、高速的处理和通信能力，可以提供低耗、快捷的数据编程空间，为图像处理寻找有效的处理路径。
图1是基于图像处理与DSP的复杂图像分类器硬件结构图，由控制平台和计算平台组成。控制平台由图像处理器ARM870T[3]、一些控制电路以及通信口组成。计算平台采用双核心DSP，由两个相同的DSP、一个数字编码器和一些计算电路组成。图像处理最重要的任务是进行复杂图像去噪，为了保证分类器的处理效率和精度，需要将图像去噪进程引入DSP进行实现。
由图1可知，图像处理器ARM870T与DSP的通信方式是总线通信，前者可以驱动后者进行初始化、计算方案控制以及数据通信。控制平台与计算平台的器件可以互相控制，数据也可以实时互传。基于图像处理与DSP的复杂图像分类器以图像处理器ARM870T为主机，两个DSP辅助主机进行数据访问和存储。计算平台采用数字编码器连接两个DSP，同时沟通图像处理的去噪进程。两个DSP还可以通过图像处理器ARM870T提供的主机接口进行连接，与数字编码器构成一种环状通信结构[4]，计算平台所有的数据都可通过任意一个器件的存储接口进行采集，代表复杂图像分类器具有并行与串行两种图像通信模式。
基于图像处理与DSP的复杂图像分类器的结构特点如下：
（1） 通过平台化设计方法区分图像处理与DSP功能特点，弱化分类器实现难度；
（2） 具有丰富的通信接口，实现内、外部器件的简易通信，硬件资源丰富，拓展能力强；
（3） 图像处理为主机端，可对内、外部器件进行统一控制和分散管理，使分类器具有独立计算的能力；
（4） 通过数字编码器辅助进行逻辑控制，所有器件构成互通结构[5]，增强分类器灵活处理能力；
（5） 两个DSP同时进行复杂图像去噪与分类计算，可采取模糊背景图像处理；
（6） 主从结构模式有利于数据通信与控制。
1.2 硬件资源设计
控制平台和计算平台的硬件资源丰富，为基于图像处理与DSP的复杂图像分类器的基础性能做出了贡献。分类器接口资源设计时通用输入/输出口选择1个并行口，1个串行口，接入双径模拟数据。显示屏接口4线制[6]电容式显示屏接入，屏幕大小为3.5寸以上。存储接口为1个串行口、1个总线口。图像输入接口为1个串行口，支持单径图像接入图像处理器。分类器控制资源中的图像处理器存储资源的基本存储为150 MB、快存存储5 MB；选择ARM870T，主频450 MHz，最大调制频率550 MHz的图像处理器。分类器计算资源设计中的DSP是主频1.5 GHz，随机存取存储器3 MB；DSP存储资源是多媒体存储5 MB，数字内存512 MB；拓展资源为3个30针拓展接口[7]，有82个管脚可与开发板互通数据。
从接口、资源和计算资源中可以得出，整个复杂图像分类器中接口资源是最多的，对复杂图像的显示、处理、数据通信、存储、控制、计算、分类等提供了强有力的支持。控制平台采用嵌入式操作系统，实现对复杂图像分类器的数据流控制。图像处理器ARM870T的最大调制频率为550 MHz，不管是传送控制指令，还是收发复杂图像数据，都能取得优异的控制成效。对于计算平台双核心DSP结构，其具备独立的资源存储模块，数字编码器辅助DSP执行计算任务。
1.3 复杂图像分类流程设计
从资源划分与硬件结构上看，计算平台其实是控制平台的外接单元，作用是提供高速、灵活的复杂图像分类进程，而复杂图像分类器中进行的计算任务全部是由图像处理器ARM870T、DSP和數字编码器共同进行的[8]。通过图像处理器ARM870T接入复杂图像，存储图像模拟数据并进行去噪计算，将计算指令输送到数字编码器，由数字编码器将图像模拟数据转换成数字数据，通过DSP进行复杂图像分类。图2是基于图像处理与DSP的复杂图像分类器分类流程。
由于复杂图像不像普通图像可以准确找出图像像素中心点，因此在分类过程中将初始点指定为像素点i，设定图像处理界限，再确定图像虚拟中心点。设定一个复杂图像分类处理窗口，从任意图像位置j点开始处理，如果j点不在处理窗口之内，循环进行i=i+1指令，直到i点在处理窗口之内。将处于在处理窗口之内的j点与j+1点进行相似度计算，聚合计算得到的所有相似度数据，分离开复杂图像中重叠的像素点，对像素点进行估计。聚合像素点估计值可得到分类结果。
2 复杂图像分类器中图像处理在DSP上的实现
图像处理器ARM870T控制指令在DSP中的实现依靠C语言进行开发与调试，需要根据DSP的结构特点更新控制指令格式[9]，将复杂图像控制指令输送到DSP之后，通过图像处理软件平滑处理窗口边界，拓展图像边界处的数字数据，令图像处理控制指令可以为DSP所用。
在图2的计算过程中，每进行一次像素点估计，便会得到一个m行m列的矩形估计窗，如图3所示。所有估计窗重叠在一起达到一定数量将产生聚合指令，聚合后的图像分辨率应与去噪后的复杂图像分辨率相同。初始化聚合图像，得到一个像素点平均估计值，将这个估计值展开根据估计块大小赋予像素点估计值。当所有像素点都得到惟一的估计值，修剪处理窗口边界的拓展数据，聚合后输出分类结果。
3 实验测试
如果一个图像分类器的鲁棒性强，那么它就可以对抗图像野值点（严重偏离图像像素平均值的像素点）带来的噪声干扰。可见，鲁棒性对于分类器，尤其是进行复杂图像处理的分类器极其重要。实验准备了两个鲁棒性测试数据集合，图像像素平均值分别是（0，0）和（3，0），偏离容错区间是（0.5，0.5）和（1，0.5）。在第一个数据集合中添加两个野值点，分别是（-15，80）和（30，-60）。在第二个数据集合中添加三个野值点，分别是（100，120），（75，-180）和（-80，-50）。编写C语言程序，当野值点被分类到任何一个复杂图像属性中，输出一个“NO”值。用三种复杂图像分类器进行10次分类，统计“NO”值数量，如表1所示。
表1中，本文设计的基于图像处理与DSP的复杂图像分类器对野值点的正确划分能力明显优于其他两种复杂图像分类器，可以真实展示复杂图像内在属性，拥有有效的分类机制，分类结果纯正，具备局部鲁棒性强的特点。
重新编写C语言程序，用来测试复杂图像分类器的总体鲁棒性与上述实验结果是否一致[10]。当分类器将任何一个像素点分类到不相容的图像属性中，输出一个“NO”值。下面在相同条件下进行10次测试，“NO”值数量统计表如表2所示。表2中，时域抖动分类器和模糊神经分类器依旧无法超越本文分类的鲁棒性。
4 结 论
本文设计基于图像处理与DSP的复杂图像分类器，实现了图像处理在DSP上的控制。分类器以图像处理器ARM870T为主机，两个DSP辅助主机进行数据访问和存储，具有并行与串行两种图像通信模式。实验为复杂图像分类器鲁棒性测试准备了数据集合，在不同野值点的条件下进行测试，结果显示本文分类器具备鲁棒性强的性能优势。
参考文献
[1] 于洪松，韩广良，孙海江，等.基于CPCI总线的FPGA+DSP架构通用视频图像处理系统的设计[J].液晶与显示，2015，30（2）：333?339.
[2] 雷选华，闫森，马治国，等.基于EMIF接口的图像处理系统设计[J].光电技术应用，2014，29（3）：30?33.
[3] 曾晓娟.基于图像的捕捉和展示双轴陀螺仪运动的处理系统远程控制DSP[J].电脑与信息技术，2016，24（5）：14?18.
[4] 曾志华，马小雨.FPGA及DSP技术下的实况视频图像处理多种算法探究[J].现代电子技术，2016，39（16）：88?90.
[5] 才兴.探究基于DSP的雾霾天气图像处理技术[J].科技创新导报，2015，12（9）：90.
[6] 宁赛男，朱明，孙宏海，等.采用SRIO协议实现多DSP实时系统图像数据传输[J].计算机工程与应用，2014，50（22）：73?78.
[7] 靖固，杨华宇.基于FPGA+DSP实时图像采集处理系统设计[J].哈尔滨理工大学学报，2016，21（4）：40?44.
[8] 李易难，牛燕雄，杨露.基于DSP+FPGA视频图像采集处理系统的设计[J].电子测量技术，2014，37（1）：58?61.
[9] 杨双国，杨继红，全定可.基于FPGA和DSP的图像采集与处理系统[J].中国新通信，2016，18（5）：36?37.
[10] 杨梦雯，李宝明，陈付亮，等.基于DSP的图像去雾算法优化方法[J].传感器与微系统，2016，35（6）：136?138.
