Merge commit 'ef35d6dbc6c3b7ba6b13ac13fc8e797cc1268c8f'
authorMichael Niedermayer <michaelni@gmx.at>
Wed, 3 Jul 2013 12:49:28 +0000 (14:49 +0200)
committerMichael Niedermayer <michaelni@gmx.at>
Wed, 3 Jul 2013 12:50:51 +0000 (14:50 +0200)
* commit 'ef35d6dbc6c3b7ba6b13ac13fc8e797cc1268c8f':
  jpeg2000: Propagate error code from get_cox()
  jpeg2000: Check that nreslevels2decode has been initialized before use

Conflicts:
libavcodec/jpeg2000dec.c

Merged-by: Michael Niedermayer <michaelni@gmx.at>
1  2 
libavcodec/jpeg2000.c

diff --combined libavcodec/jpeg2000.c
@@@ -3,20 -3,20 +3,20 @@@
   * Copyright (c) 2007 Kamil Nowosad
   * Copyright (c) 2013 Nicolas Bertrand <nicoinattendu@gmail.com>
   *
 - * This file is part of Libav.
 + * This file is part of FFmpeg.
   *
 - * Libav is free software; you can redistribute it and/or
 + * FFmpeg is free software; you can redistribute it and/or
   * modify it under the terms of the GNU Lesser General Public
   * License as published by the Free Software Foundation; either
   * version 2.1 of the License, or (at your option) any later version.
   *
 - * Libav is distributed in the hope that it will be useful,
 + * FFmpeg is distributed in the hope that it will be useful,
   * but WITHOUT ANY WARRANTY; without even the implied warranty of
   * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
   * Lesser General Public License for more details.
   *
   * You should have received a copy of the GNU Lesser General Public
 - * License along with Libav; if not, write to the Free Software
 + * License along with FFmpeg; if not, write to the Free Software
   * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
   */
  
@@@ -25,7 -25,6 +25,7 @@@
   * JPEG 2000 image encoder and decoder common functions
   */
  
 +#include "libavutil/avassert.h"
  #include "libavutil/common.h"
  #include "libavutil/mem.h"
  #include "avcodec.h"
@@@ -41,7 -40,8 +41,7 @@@ static int32_t tag_tree_size(uint16_t w
      uint32_t res = 0;
      while (w > 1 || h > 1) {
          res += w * h;
 -        if (res + 1 >= INT32_MAX)
 -            return -1;
 +        av_assert0(res + 1 < INT32_MAX);
          w = (w + 1) >> 1;
          h = (h + 1) >> 1;
      }
@@@ -55,6 -55,8 +55,6 @@@ static Jpeg2000TgtNode *ff_jpeg2000_tag
      int32_t tt_size;
  
      tt_size = tag_tree_size(w, h);
 -    if (tt_size == -1)
 -        return NULL;
  
      t = res = av_mallocz_array(tt_size, sizeof(*t));
      if (!res)
      return res;
  }
  
 +static void tag_tree_zero(Jpeg2000TgtNode *t, int w, int h)
 +{
 +    int i, siz = tag_tree_size(w, h);
 +
 +    for (i = 0; i < siz; i++) {
 +        t[i].val = 0;
 +        t[i].vis = 0;
 +    }
 +}
 +
  uint8_t ff_jpeg2000_sigctxno_lut[256][4];
  
  static int getsigctxno(int flag, int bandno)
          ((flag & JPEG2000_T1_SIG_NW) ? 1 : 0) +
          ((flag & JPEG2000_T1_SIG_SE) ? 1 : 0) +
          ((flag & JPEG2000_T1_SIG_SW) ? 1 : 0);
 +
      if (bandno < 3) {
          if (bandno == 1)
              FFSWAP(int, h, v);
 -        if (h == 2)
 -            return 8;
 +        if (h == 2) return 8;
          if (h == 1) {
 -            if (v >= 1)
 -                return 7;
 -            if (d >= 1)
 -                return 6;
 +            if (v >= 1) return 7;
 +            if (d >= 1) return 6;
              return 5;
          }
 -        if (v == 2)
 -            return 4;
 -        if (v == 1)
 -            return 3;
 -        if (d >= 2)
 -            return 2;
 -        if (d == 1)
 -            return 1;
 -        return 0;
 +        if (v == 2) return 4;
 +        if (v == 1) return 3;
 +        if (d >= 2) return 2;
 +        if (d == 1) return 1;
      } else {
 -        if (d >= 3)
 -            return 8;
 +        if (d >= 3) return 8;
          if (d == 2) {
 -            if (h + v >= 1)
 -                return 7;
 +            if (h+v >= 1) return 7;
              return 6;
          }
          if (d == 1) {
 -            if (h + v >= 2)
 -                return 5;
 -            if (h + v == 1)
 -                return 4;
 +            if (h+v >= 2) return 5;
 +            if (h+v == 1) return 4;
              return 3;
          }
 -        if (h + v >= 2)
 -            return 2;
 -        if (h + v == 1)
 -            return 1;
 -        return 0;
 +        if (h+v >= 2) return 2;
 +        if (h+v == 1) return 1;
      }
      return 0;
  }
@@@ -198,11 -204,11 +198,11 @@@ int ff_jpeg2000_init_component(Jpeg2000
  {
      uint8_t log2_band_prec_width, log2_band_prec_height;
      int reslevelno, bandno, gbandno = 0, ret, i, j;
 -    uint32_t csize = 1;
 +    uint32_t csize;
  
 -    if (!codsty->nreslevels2decode) {
 -        av_log(avctx, AV_LOG_ERROR, "nreslevels2decode uninitialized\n");
 +    if (codsty->nreslevels2decode <= 0) {
 +        av_log(avctx, AV_LOG_ERROR, "nreslevels2decode %d invalid or uninitialized\n", codsty->nreslevels2decode);
-         return AVERROR(EINVAL);
+         return AVERROR_INVALIDDATA;
      }
  
      if (ret = ff_jpeg2000_dwt_init(&comp->dwt, comp->coord,
      csize = (comp->coord[0][1] - comp->coord[0][0]) *
              (comp->coord[1][1] - comp->coord[1][0]);
  
 -    comp->data = av_malloc_array(csize, sizeof(*comp->data));
 -    if (!comp->data)
 -        return AVERROR(ENOMEM);
 +    if (codsty->transform == FF_DWT97) {
 +        comp->i_data = NULL;
 +        comp->f_data = av_malloc_array(csize, sizeof(*comp->f_data));
 +        if (!comp->f_data)
 +            return AVERROR(ENOMEM);
 +    } else {
 +        comp->f_data = NULL;
 +        comp->i_data = av_malloc_array(csize, sizeof(*comp->i_data));
 +        if (!comp->i_data)
 +            return AVERROR(ENOMEM);
 +    }
      comp->reslevel = av_malloc_array(codsty->nreslevels, sizeof(*comp->reslevel));
      if (!comp->reslevel)
          return AVERROR(ENOMEM);
                  int numbps;
              case JPEG2000_QSTY_NONE:
                  /* TODO: to verify. No quantization in this case */
 -                numbps = cbps +
 -                         lut_gain[codsty->transform][bandno + reslevelno > 0];
 -                band->stepsize = (float)SHL(2048 + qntsty->mant[gbandno],
 -                                            2 + numbps - qntsty->expn[gbandno]);
 +                band->f_stepsize = 1;
                  break;
              case JPEG2000_QSTY_SI:
                  /*TODO: Compute formula to implement. */
 -                band->stepsize = (float) (1 << 13);
 +                numbps = cbps +
 +                         lut_gain[codsty->transform == FF_DWT53][bandno + (reslevelno > 0)];
 +                band->f_stepsize = SHL(2048 + qntsty->mant[gbandno],
 +                                            2 + numbps - qntsty->expn[gbandno]);
                  break;
              case JPEG2000_QSTY_SE:
                  /* Exponent quantization step.
                   * but it works (compared to OpenJPEG). Why?
                   * Further investigation needed. */
                  gain            = cbps;
 -                band->stepsize  = pow(2.0, gain - qntsty->expn[gbandno]);
 -                band->stepsize *= (float)qntsty->mant[gbandno] / 2048.0 + 1.0;
 -                /* FIXME: In openjepg code stespize = stepsize * 0.5. Why?
 -                 * If not set output of entropic decoder is not correct. */
 -                band->stepsize *= 0.5;
 +                band->f_stepsize  = pow(2.0, gain - qntsty->expn[gbandno]);
 +                band->f_stepsize *= qntsty->mant[gbandno] / 2048.0 + 1.0;
                  break;
              default:
 -                band->stepsize = 0;
 +                band->f_stepsize = 0;
                  av_log(avctx, AV_LOG_ERROR, "Unknown quantization format\n");
                  break;
              }
 -            /* BITEXACT computing case --> convert to int */
 -            if (avctx->flags & CODEC_FLAG_BITEXACT)
 -                band->stepsize = (int32_t)(band->stepsize * (1 << 16));
 +            /* FIXME: In openjepg code stespize = stepsize * 0.5. Why?
 +                * If not set output of entropic decoder is not correct. */
 +            if (!av_codec_is_encoder(avctx->codec))
 +                band->f_stepsize *= 0.5;
 +
 +            band->i_stepsize = band->f_stepsize * (1 << 16);
  
              /* computation of tbx_0, tbx_1, tby_0, tby_1
               * see ISO/IEC 15444-1:2002 B.5 eq. B-15 and tbl B.1
                  for (i = 0; i < 2; i++)
                      for (j = 0; j < 2; j++)
                          band->coord[i][j] =
 -                            ff_jpeg2000_ceildivpow2(comp->coord_o[i][j],
 +                            ff_jpeg2000_ceildivpow2(comp->coord_o[i][j] - comp->coord_o[i][0],
                                                      declvl - 1);
 -
                  log2_band_prec_width  = reslevel->log2_prec_width;
                  log2_band_prec_height = reslevel->log2_prec_height;
                  /* see ISO/IEC 15444-1:2002 eq. B-17 and eq. B-15 */
                      for (j = 0; j < 2; j++)
                          /* Formula example for tbx_0 = ceildiv((tcx_0 - 2 ^ (declvl - 1) * x0_b) / declvl) */
                          band->coord[i][j] =
 -                            ff_jpeg2000_ceildivpow2(comp->coord_o[i][j] -
 +                            ff_jpeg2000_ceildivpow2(comp->coord_o[i][j] - comp->coord_o[i][0] -
                                                      (((bandno + 1 >> i) & 1) << declvl - 1),
                                                      declvl);
                  /* TODO: Manage case of 3 band offsets here or
                  log2_band_prec_height = reslevel->log2_prec_height - 1;
              }
  
 +            for (j = 0; j < 2; j++)
 +                band->coord[0][j] = ff_jpeg2000_ceildiv(band->coord[0][j], dx);
 +            for (j = 0; j < 2; j++)
 +                band->coord[1][j] = ff_jpeg2000_ceildiv(band->coord[1][j], dy);
 +
              band->prec = av_malloc_array(reslevel->num_precincts_x *
 -                                         reslevel->num_precincts_y,
 +                                         (uint64_t)reslevel->num_precincts_y,
                                           sizeof(*band->prec));
              if (!band->prec)
                  return AVERROR(ENOMEM);
                  if (!prec->zerobits)
                      return AVERROR(ENOMEM);
  
 -                prec->cblk = av_malloc_array(prec->nb_codeblocks_width *
 -                                             prec->nb_codeblocks_height,
 -                                             sizeof(*prec->cblk));
 +                prec->cblk = av_mallocz_array(prec->nb_codeblocks_width *
 +                                              (uint64_t)prec->nb_codeblocks_height,
 +                                              sizeof(*prec->cblk));
                  if (!prec->cblk)
                      return AVERROR(ENOMEM);
                  for (cblkno = 0; cblkno < prec->nb_codeblocks_width * prec->nb_codeblocks_height; cblkno++) {
                      /* Compute Cy1 */
                      cblk->coord[1][1] = FFMIN(Cy0 + (1 << band->log2_cblk_height),
                                                prec->coord[1][1]);
 +
 +                    if((bandno + !!reslevelno) & 1) {
 +                        cblk->coord[0][0] += comp->reslevel[reslevelno-1].coord[0][1] - comp->reslevel[reslevelno-1].coord[0][0];
 +                        cblk->coord[0][1] += comp->reslevel[reslevelno-1].coord[0][1] - comp->reslevel[reslevelno-1].coord[0][0];
 +                    }
 +                    if((bandno + !!reslevelno) & 2) {
 +                        cblk->coord[1][0] += comp->reslevel[reslevelno-1].coord[1][1] - comp->reslevel[reslevelno-1].coord[1][0];
 +                        cblk->coord[1][1] += comp->reslevel[reslevelno-1].coord[1][1] - comp->reslevel[reslevelno-1].coord[1][0];
 +                    }
 +
                      cblk->zero      = 0;
                      cblk->lblock    = 3;
                      cblk->length    = 0;
      return 0;
  }
  
 +void ff_jpeg2000_reinit(Jpeg2000Component *comp, Jpeg2000CodingStyle *codsty)
 +{
 +    int reslevelno, bandno, cblkno, precno;
 +    for (reslevelno = 0; reslevelno < codsty->nreslevels; reslevelno++) {
 +        Jpeg2000ResLevel *rlevel = comp->reslevel + reslevelno;
 +        for (bandno = 0; bandno < rlevel->nbands; bandno++) {
 +            Jpeg2000Band *band = rlevel->band + bandno;
 +            for(precno = 0; precno < rlevel->num_precincts_x * rlevel->num_precincts_y; precno++) {
 +                Jpeg2000Prec *prec = band->prec + precno;
 +                tag_tree_zero(prec->zerobits, prec->nb_codeblocks_width, prec->nb_codeblocks_height);
 +                tag_tree_zero(prec->cblkincl, prec->nb_codeblocks_width, prec->nb_codeblocks_height);
 +                for (cblkno = 0; cblkno < prec->nb_codeblocks_width * prec->nb_codeblocks_height; cblkno++) {
 +                    Jpeg2000Cblk *cblk = prec->cblk + cblkno;
 +                    cblk->length = 0;
 +                    cblk->lblock = 3;
 +                }
 +            }
 +        }
 +    }
 +}
 +
  void ff_jpeg2000_cleanup(Jpeg2000Component *comp, Jpeg2000CodingStyle *codsty)
  {
      int reslevelno, bandno, precno;
 -    for (reslevelno = 0; reslevelno < codsty->nreslevels; reslevelno++) {
 +    for (reslevelno = 0; comp->reslevel && reslevelno < codsty->nreslevels; reslevelno++) {
          Jpeg2000ResLevel *reslevel = comp->reslevel + reslevelno;
  
          for (bandno = 0; bandno < reslevel->nbands; bandno++) {
  
      ff_dwt_destroy(&comp->dwt);
      av_freep(&comp->reslevel);
 -    av_freep(&comp->data);
 +    av_freep(&comp->i_data);
 +    av_freep(&comp->f_data);
  }