vc2enc_dwt: pad the temporary buffer by the slice size
authorRostislav Pehlivanov <atomnuker@gmail.com>
Wed, 8 Nov 2017 23:50:04 +0000 (23:50 +0000)
committerRostislav Pehlivanov <atomnuker@gmail.com>
Thu, 9 Nov 2017 02:10:51 +0000 (02:10 +0000)
commita7aac19933a91e22d77b0b4dd4ecd61edf52d43f
tree348d30d61006b360d7a290d0c742caeafb99463c
parent670d3189e9ef674e4167cec3145ea4c4c172d581
vc2enc_dwt: pad the temporary buffer by the slice size

Since non-Haar wavelets need to look into pixels outside the frame, we
need to pad the buffer. The old factor of two seemed to be a workaround
that fact and only padded to the left and bottom. This correctly pads
by the slice size and as such reduces memory usage and potential
exploits.
Reported by Liu Bingchang.

Ideally, there should be no temporary buffer but the encoder is designed
to deinterleave the coefficients into the classical wavelet structure
with the lower frequency values in the top left corner.

Signed-off-by: Rostislav Pehlivanov <atomnuker@gmail.com>
(cherry picked from commit 3228ac730c11eca49d5680d5550128e397061c85)
libavcodec/vc2enc.c
libavcodec/vc2enc_dwt.c
libavcodec/vc2enc_dwt.h