cbs_h2645: Fix infinite loop in more_rbsp_data
authorAndreas Rheinhardt <andreas.rheinhardt@gmail.com>
Wed, 5 Jun 2019 02:18:54 +0000 (04:18 +0200)
committerJames Almer <jamrial@gmail.com>
Sun, 21 Jul 2019 14:07:21 +0000 (11:07 -0300)
commit6e0cf9a9df4a21df89825427914e38bd4c6216ba
tree47e3649a2297c9e17896280186b713987065e43d
parenta21a9c78637ac1d86dd272214b6fc2008aef4db1
cbs_h2645: Fix infinite loop in more_rbsp_data

cbs_h2645_read_more_rbsp_data does not handle malformed input very well:
1. If there were <= 8 bits left in the bitreader, these bits were read
via show_bits. But show_bits requires the number of bits to be read to
be > 0 (internally it shifts by 32 - number of bits to be read which is
undefined behaviour if said number is zero; there is also an assert for
this, but it is only an av_assert2). Furthermore, in this case a shift
by -1 was performed which is of course undefined behaviour, too.
2. If there were > 0 and <= 8 bits left and all of them were zero
(this can only happen for defective input), it was reported that there
was further RBSP data.

This can lead to an infinite loop in H.265's cbs_h265_read_extension_data
corresponding to the [vsp]ps_extension_data_flag syntax elements. If the
relevant flag indicates the (potential) occurence of these syntax elements,
while all bits after this flag are zero, cbs_h2645_read_more_rbsp_data
always returns 1 on x86. Given that a checked bitstream reader is used,
we are also not "saved" by an overflow in the bitstream reader's index.

Signed-off-by: Andreas Rheinhardt <andreas.rheinhardt@gmail.com>
(cherry picked from commit d4035ca849bdb90e95c87e2737a99ea657be0716)
libavcodec/cbs_h2645.c