matroskaenc: replace AVERROR_NOTSUPP with AVERROR(EINVAL)