avutil/mem: Fix invalid use of av_alloc_size