Cấu trúc số liệu video JPEG gồm 6 cấp độ khác nhau phụ thuộc vào chế độ làm việc của JPEG

+ đơn vị số liệu (DU) : đvi số liệu bao gồm 1 khối 8x8 các mẫu thành phần trong dạng nén mất thông tin

+ đơn vị mã hóa nhỏ nhất ( MCU )  : là nhóm nhỏ nhất các DU xen kẽ . trong sử dụng nén DCT  theo chuẩn CCIR-601 ,MCU bao gồm 2 khối Y , một khối CR và một khối CB

+ đoạn mã entropy (ECS): gồm một số các MCU .đoạn mã entropy cho phép giảm kích thước cho khôi phục từ giới hạn ngắt cảu số liệu mã entropy

+ quét : tiêu chuẩn xđ phương pháp quét cho toàn bộ ảnh

+lớp ảnh : ảnh là cấp trên cùng của phân cấp số liệu nén , bao gồm lớn khung và các mã cho toàn bộ 1 bức ảnh.