本发明提出一种彩色视频的超分辨率处理方法，包括步骤：（1）对给定的低分辨率RGB彩色图像采用常规插值算法进行放大，得到插值后的彩色图像。（2）将给定的低分辨率视频序列的亮度分量进行超分辨率重构，得到高分辨率图像的亮度分量；（3）由高分辨率图像的亮度分量与插值图像的亮度分量之差的范数求得补偿系数矩阵；（4）对插值图像的R、G、B分量进行补偿，获得高分辨率的彩色图像。本发明通过将超分辨率处理后的亮度分量作为约束补偿的方法，对亮度分量进行超分辨率重构，增大了视频序列重构信息量，所提出的算法经过验证，效果要优于经典的双立方插值算法。