swscale/output: fix signed integer overflow for ya16
authorPaul B Mahol <onemda@gmail.com>
Thu, 26 Sep 2019 13:55:03 +0000 (15:55 +0200)
committerPaul B Mahol <onemda@gmail.com>
Thu, 26 Sep 2019 13:56:47 +0000 (15:56 +0200)
Fixes #7666.

libswscale/output.c

index 7eb4644..0e20a0a 100644 (file)
@@ -904,7 +904,7 @@ yuv2ya16_X_c_template(SwsContext *c, const int16_t *lumFilter,
 
     for (i = 0; i < dstW; i++) {
         int j;
-        int Y = 1 << 18;
+        int64_t Y = 1 << 18;
         int64_t A = 0xffff<<14;
 
         for (j = 0; j < lumFilterSize; j++)