avcodec/ac3enc: fix undefined negative left shift
authorGanesh Ajjanagadde <gajjanagadde@gmail.com>
Fri, 9 Oct 2015 19:59:04 +0000 (15:59 -0400)
committerMichael Niedermayer <michael@niedermayer.cc>
Sat, 10 Oct 2015 12:43:22 +0000 (14:43 +0200)
This should fix the undefined behavior reported in:
https://trac.ffmpeg.org/ticket/4727.

I can reproduce this at runtime: simply stick in an abort call in
asym_quant to check if c < 0 and run FATE. I don't know ac3 so I can't
confirm if negative coefficients are intentional, but at the moment they
clearly are according to FATE.

This resolves the undefined behavior. Tested with FATE.

Signed-off-by: Ganesh Ajjanagadde <gajjanagadde@gmail.com>
Signed-off-by: Michael Niedermayer <michael@niedermayer.cc>
libavcodec/ac3enc.c

index 35e721a..c8a0caa 100644 (file)
@@ -1183,7 +1183,7 @@ static inline int asym_quant(int c, int e, int qbits)
 {
     int m;
 
-    c = (((c << e) >> (24 - qbits)) + 1) >> 1;
+    c = (((c * (1<<e)) >> (24 - qbits)) + 1) >> 1;
     m = (1 << (qbits-1));
     if (c >= m)
         c = m - 1;