jvdec: check frame dimensions
[ffmpeg.git] / libavcodec / xwddec.c
index 97f3a6a..8963c96 100644 (file)
 #include "libavutil/imgutils.h"
 #include "avcodec.h"
 #include "bytestream.h"
+#include "internal.h"
 #include "xwd.h"
 
-static av_cold int xwd_decode_init(AVCodecContext *avctx)
-{
-    avctx->coded_frame = avcodec_alloc_frame();
-    if (!avctx->coded_frame)
-        return AVERROR(ENOMEM);
-
-    return 0;
-}
-
 static int xwd_decode_frame(AVCodecContext *avctx, void *data,
-                            int *data_size, AVPacket *avpkt)
+                            int *got_frame, AVPacket *avpkt)
 {
-    AVFrame *p = avctx->coded_frame;
+    AVFrame *p = data;
     const uint8_t *buf = avpkt->data;
     int i, ret, buf_size = avpkt->size;
     uint32_t version, header_size, vclass, ncolors;
@@ -45,43 +37,43 @@ static int xwd_decode_frame(AVCodecContext *avctx, void *data,
     uint32_t pixformat, pixdepth, bunit, bitorder, bpad;
     uint32_t rgb[3];
     uint8_t *ptr;
+    GetByteContext gb;
 
     if (buf_size < XWD_HEADER_SIZE)
         return AVERROR_INVALIDDATA;
 
-    header_size = bytestream_get_be32(&buf);
-    if (buf_size < header_size)
-        return AVERROR_INVALIDDATA;
+    bytestream2_init(&gb, buf, buf_size);
+    header_size = bytestream2_get_be32u(&gb);
 
-    version = bytestream_get_be32(&buf);
+    version = bytestream2_get_be32u(&gb);
     if (version != XWD_VERSION) {
         av_log(avctx, AV_LOG_ERROR, "unsupported version\n");
         return AVERROR_INVALIDDATA;
     }
 
-    if (header_size < XWD_HEADER_SIZE) {
+    if (buf_size < header_size || header_size < XWD_HEADER_SIZE) {
         av_log(avctx, AV_LOG_ERROR, "invalid header size\n");
         return AVERROR_INVALIDDATA;
     }
 
-    pixformat     = bytestream_get_be32(&buf);
-    pixdepth      = bytestream_get_be32(&buf);
-    avctx->width  = bytestream_get_be32(&buf);
-    avctx->height = bytestream_get_be32(&buf);
-    xoffset       = bytestream_get_be32(&buf);
-    be            = bytestream_get_be32(&buf);
-    bunit         = bytestream_get_be32(&buf);
-    bitorder      = bytestream_get_be32(&buf);
-    bpad          = bytestream_get_be32(&buf);
-    bpp           = bytestream_get_be32(&buf);
-    lsize         = bytestream_get_be32(&buf);
-    vclass        = bytestream_get_be32(&buf);
-    rgb[0]        = bytestream_get_be32(&buf);
-    rgb[1]        = bytestream_get_be32(&buf);
-    rgb[2]        = bytestream_get_be32(&buf);
-    buf          += 8;
-    ncolors       = bytestream_get_be32(&buf);
-    buf          += header_size - (XWD_HEADER_SIZE - 20);
+    pixformat     = bytestream2_get_be32u(&gb);
+    pixdepth      = bytestream2_get_be32u(&gb);
+    avctx->width  = bytestream2_get_be32u(&gb);
+    avctx->height = bytestream2_get_be32u(&gb);
+    xoffset       = bytestream2_get_be32u(&gb);
+    be            = bytestream2_get_be32u(&gb);
+    bunit         = bytestream2_get_be32u(&gb);
+    bitorder      = bytestream2_get_be32u(&gb);
+    bpad          = bytestream2_get_be32u(&gb);
+    bpp           = bytestream2_get_be32u(&gb);
+    lsize         = bytestream2_get_be32u(&gb);
+    vclass        = bytestream2_get_be32u(&gb);
+    rgb[0]        = bytestream2_get_be32u(&gb);
+    rgb[1]        = bytestream2_get_be32u(&gb);
+    rgb[2]        = bytestream2_get_be32u(&gb);
+    bytestream2_skipu(&gb, 8);
+    ncolors       = bytestream2_get_be32u(&gb);
+    bytestream2_skipu(&gb, header_size - (XWD_HEADER_SIZE - 20));
 
     av_log(avctx, AV_LOG_DEBUG, "pixformat %d, pixdepth %d, bunit %d, bitorder %d, bpad %d\n",
            pixformat, pixdepth, bunit, bitorder, bpad);
@@ -100,7 +92,7 @@ static int xwd_decode_frame(AVCodecContext *avctx, void *data,
     }
 
     if (xoffset) {
-        av_log_ask_for_sample(avctx, "unsupported xoffset %d\n", xoffset);
+        avpriv_request_sample(avctx, "xoffset %d", xoffset);
         return AVERROR_PATCHWELCOME;
     }
 
@@ -143,7 +135,7 @@ static int xwd_decode_frame(AVCodecContext *avctx, void *data,
         return AVERROR_INVALIDDATA;
     }
 
-    if (buf_size < header_size + ncolors * XWD_CMAP_SIZE + avctx->height * lsize) {
+    if (bytestream2_get_bytes_left(&gb) < ncolors * XWD_CMAP_SIZE + avctx->height * lsize) {
         av_log(avctx, AV_LOG_ERROR, "input buffer too small\n");
         return AVERROR_INVALIDDATA;
     }
@@ -153,19 +145,19 @@ static int xwd_decode_frame(AVCodecContext *avctx, void *data,
         return AVERROR_PATCHWELCOME;
     }
 
-    avctx->pix_fmt = PIX_FMT_NONE;
+    avctx->pix_fmt = AV_PIX_FMT_NONE;
     switch (vclass) {
     case XWD_STATIC_GRAY:
     case XWD_GRAY_SCALE:
         if (bpp != 1)
             return AVERROR_INVALIDDATA;
         if (pixdepth == 1)
-            avctx->pix_fmt = PIX_FMT_MONOWHITE;
+            avctx->pix_fmt = AV_PIX_FMT_MONOWHITE;
         break;
     case XWD_STATIC_COLOR:
     case XWD_PSEUDO_COLOR:
         if (bpp == 8)
-            avctx->pix_fmt = PIX_FMT_PAL8;
+            avctx->pix_fmt = AV_PIX_FMT_PAL8;
         break;
     case XWD_TRUE_COLOR:
     case XWD_DIRECT_COLOR:
@@ -173,42 +165,40 @@ static int xwd_decode_frame(AVCodecContext *avctx, void *data,
             return AVERROR_INVALIDDATA;
         if (bpp == 16 && pixdepth == 15) {
             if (rgb[0] == 0x7C00 && rgb[1] == 0x3E0 && rgb[2] == 0x1F)
-                avctx->pix_fmt = be ? PIX_FMT_RGB555BE : PIX_FMT_RGB555LE;
+                avctx->pix_fmt = be ? AV_PIX_FMT_RGB555BE : AV_PIX_FMT_RGB555LE;
             else if (rgb[0] == 0x1F && rgb[1] == 0x3E0 && rgb[2] == 0x7C00)
-                avctx->pix_fmt = be ? PIX_FMT_BGR555BE : PIX_FMT_BGR555LE;
+                avctx->pix_fmt = be ? AV_PIX_FMT_BGR555BE : AV_PIX_FMT_BGR555LE;
         } else if (bpp == 16 && pixdepth == 16) {
             if (rgb[0] == 0xF800 && rgb[1] == 0x7E0 && rgb[2] == 0x1F)
-                avctx->pix_fmt = be ? PIX_FMT_RGB565BE : PIX_FMT_RGB565LE;
+                avctx->pix_fmt = be ? AV_PIX_FMT_RGB565BE : AV_PIX_FMT_RGB565LE;
             else if (rgb[0] == 0x1F && rgb[1] == 0x7E0 && rgb[2] == 0xF800)
-                avctx->pix_fmt = be ? PIX_FMT_BGR565BE : PIX_FMT_BGR565LE;
+                avctx->pix_fmt = be ? AV_PIX_FMT_BGR565BE : AV_PIX_FMT_BGR565LE;
         } else if (bpp == 24) {
             if (rgb[0] == 0xFF0000 && rgb[1] == 0xFF00 && rgb[2] == 0xFF)
-                avctx->pix_fmt = be ? PIX_FMT_RGB24 : PIX_FMT_BGR24;
+                avctx->pix_fmt = be ? AV_PIX_FMT_RGB24 : AV_PIX_FMT_BGR24;
             else if (rgb[0] == 0xFF && rgb[1] == 0xFF00 && rgb[2] == 0xFF0000)
-                avctx->pix_fmt = be ? PIX_FMT_BGR24 : PIX_FMT_RGB24;
+                avctx->pix_fmt = be ? AV_PIX_FMT_BGR24 : AV_PIX_FMT_RGB24;
         } else if (bpp == 32) {
             if (rgb[0] == 0xFF0000 && rgb[1] == 0xFF00 && rgb[2] == 0xFF)
-                avctx->pix_fmt = be ? PIX_FMT_ARGB : PIX_FMT_BGRA;
+                avctx->pix_fmt = be ? AV_PIX_FMT_ARGB : AV_PIX_FMT_BGRA;
             else if (rgb[0] == 0xFF && rgb[1] == 0xFF00 && rgb[2] == 0xFF0000)
-                avctx->pix_fmt = be ? PIX_FMT_ABGR : PIX_FMT_RGBA;
+                avctx->pix_fmt = be ? AV_PIX_FMT_ABGR : AV_PIX_FMT_RGBA;
         }
-        buf += ncolors * XWD_CMAP_SIZE;
+        bytestream2_skipu(&gb, ncolors * XWD_CMAP_SIZE);
         break;
     default:
         av_log(avctx, AV_LOG_ERROR, "invalid visual class\n");
         return AVERROR_INVALIDDATA;
     }
 
-    if (avctx->pix_fmt == PIX_FMT_NONE) {
-        av_log_ask_for_sample(avctx, "unknown file: bpp %d, pixdepth %d, vclass %d\n", bpp, pixdepth, vclass);
+    if (avctx->pix_fmt == AV_PIX_FMT_NONE) {
+        avpriv_request_sample(avctx,
+                              "Unknown file: bpp %d, pixdepth %d, vclass %d",
+                              bpp, pixdepth, vclass);
         return AVERROR_PATCHWELCOME;
     }
 
-    if (p->data[0])
-        avctx->release_buffer(avctx, p);
-
-    p->reference = 0;
-    if ((ret = avctx->get_buffer(avctx, p)) < 0) {
+    if ((ret = ff_get_buffer(avctx, p, 0)) < 0) {
         av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\n");
         return ret;
     }
@@ -216,17 +206,19 @@ static int xwd_decode_frame(AVCodecContext *avctx, void *data,
     p->key_frame = 1;
     p->pict_type = AV_PICTURE_TYPE_I;
 
-    if (avctx->pix_fmt == PIX_FMT_PAL8) {
+    if (avctx->pix_fmt == AV_PIX_FMT_PAL8) {
         uint32_t *dst = (uint32_t *)p->data[1];
         uint8_t red, green, blue;
 
         for (i = 0; i < ncolors; i++) {
 
-            buf   += 4;  // skip colormap entry number
-            red    = *buf; buf += 2;
-            green  = *buf; buf += 2;
-            blue   = *buf; buf += 2;
-            buf   += 2;  // skip bitmask flag and padding
+            bytestream2_skipu(&gb, 4); // skip colormap entry number
+            red    = bytestream2_get_byteu(&gb);
+            bytestream2_skipu(&gb, 1);
+            green  = bytestream2_get_byteu(&gb);
+            bytestream2_skipu(&gb, 1);
+            blue   = bytestream2_get_byteu(&gb);
+            bytestream2_skipu(&gb, 3); // skip bitmask flag and padding
 
             dst[i] = red << 16 | green << 8 | blue;
         }
@@ -234,34 +226,21 @@ static int xwd_decode_frame(AVCodecContext *avctx, void *data,
 
     ptr = p->data[0];
     for (i = 0; i < avctx->height; i++) {
-        bytestream_get_buffer(&buf, ptr, rsize);
-        buf += lsize - rsize;
+        bytestream2_get_bufferu(&gb, ptr, rsize);
+        bytestream2_skipu(&gb, lsize - rsize);
         ptr += p->linesize[0];
     }
 
-    *data_size = sizeof(AVFrame);
-    *(AVFrame *)data = *p;
+    *got_frame       = 1;
 
     return buf_size;
 }
 
-static av_cold int xwd_decode_close(AVCodecContext *avctx)
-{
-    if (avctx->coded_frame->data[0])
-        avctx->release_buffer(avctx, avctx->coded_frame);
-
-    av_freep(&avctx->coded_frame);
-
-    return 0;
-}
-
 AVCodec ff_xwd_decoder = {
     .name           = "xwd",
+    .long_name      = NULL_IF_CONFIG_SMALL("XWD (X Window Dump) image"),
     .type           = AVMEDIA_TYPE_VIDEO,
-    .id             = CODEC_ID_XWD,
-    .init           = xwd_decode_init,
-    .close          = xwd_decode_close,
+    .id             = AV_CODEC_ID_XWD,
     .decode         = xwd_decode_frame,
     .capabilities   = CODEC_CAP_DR1,
-    .long_name      = NULL_IF_CONFIG_SMALL("XWD (X Window Dump) image"),
 };