avcodec/shorten: Fix multiple integer overflows