avformat/assenc: return correct error code