lavr: handle clipping in the float to s32 conversion
[ffmpeg.git] / libavresample / x86 / audio_convert.asm
index 15aaa6a..25166af 100644 (file)
@@ -28,11 +28,14 @@ SECTION_RODATA 32
 
 pf_s32_inv_scale: times 8 dd 0x30000000
 pf_s32_scale:     times 8 dd 0x4f000000
+pf_s32_clip:      times 8 dd 0x4effffff
 pf_s16_inv_scale: times 4 dd 0x38000000
 pf_s16_scale:     times 4 dd 0x47000000
 pb_shuf_unpack_even:      db -1, -1,  0,  1, -1, -1,  2,  3, -1, -1,  8,  9, -1, -1, 10, 11
 pb_shuf_unpack_odd:       db -1, -1,  4,  5, -1, -1,  6,  7, -1, -1, 12, 13, -1, -1, 14, 15
 pb_interleave_words: SHUFFLE_MASK_W  0,  4,  1,  5,  2,  6,  3,  7
+pb_deinterleave_words: SHUFFLE_MASK_W  0,  2,  4,  6,  1,  3,  5,  7
+pw_zero_even:     times 4 dw 0x0000, 0xffff
 
 SECTION_TEXT
 
@@ -153,7 +156,7 @@ cglobal conv_s32_to_flt, 3,3,3, dst, src, len
 
 INIT_XMM sse2
 CONV_S32_TO_FLT
-%if HAVE_AVX
+%if HAVE_AVX_EXTERNAL
 INIT_YMM avx
 CONV_S32_TO_FLT
 %endif
@@ -195,17 +198,22 @@ cglobal conv_flt_to_s16, 3,3,5, dst, src, len
 ;------------------------------------------------------------------------------
 
 %macro CONV_FLT_TO_S32 0
-cglobal conv_flt_to_s32, 3,3,5, dst, src, len
+cglobal conv_flt_to_s32, 3,3,6, dst, src, len
     lea     lenq, [lend*4]
     add     srcq, lenq
     add     dstq, lenq
     neg     lenq
     mova      m4, [pf_s32_scale]
+    mova      m5, [pf_s32_clip]
 .loop:
     mulps     m0, m4, [srcq+lenq         ]
     mulps     m1, m4, [srcq+lenq+1*mmsize]
     mulps     m2, m4, [srcq+lenq+2*mmsize]
     mulps     m3, m4, [srcq+lenq+3*mmsize]
+    minps     m0, m0, m5
+    minps     m1, m1, m5
+    minps     m2, m2, m5
+    minps     m3, m3, m5
     cvtps2dq  m0, m0
     cvtps2dq  m1, m1
     cvtps2dq  m2, m2
@@ -221,7 +229,7 @@ cglobal conv_flt_to_s32, 3,3,5, dst, src, len
 
 INIT_XMM sse2
 CONV_FLT_TO_S32
-%if HAVE_AVX
+%if HAVE_AVX_EXTERNAL
 INIT_YMM avx
 CONV_FLT_TO_S32
 %endif
@@ -258,7 +266,7 @@ cglobal conv_s16p_to_s16_2ch, 3,4,5, dst, src0, len, src1
 
 INIT_XMM sse2
 CONV_S16P_TO_S16_2CH
-%if HAVE_AVX
+%if HAVE_AVX_EXTERNAL
 INIT_XMM avx
 CONV_S16P_TO_S16_2CH
 %endif
@@ -381,7 +389,7 @@ INIT_XMM sse2
 CONV_S16P_TO_S16_6CH
 INIT_XMM sse2slow
 CONV_S16P_TO_S16_6CH
-%if HAVE_AVX
+%if HAVE_AVX_EXTERNAL
 INIT_XMM avx
 CONV_S16P_TO_S16_6CH
 %endif
@@ -430,7 +438,7 @@ cglobal conv_s16p_to_flt_2ch, 3,4,6, dst, src0, len, src1
 
 INIT_XMM sse2
 CONV_S16P_TO_FLT_2CH
-%if HAVE_AVX
+%if HAVE_AVX_EXTERNAL
 INIT_XMM avx
 CONV_S16P_TO_FLT_2CH
 %endif
@@ -534,7 +542,7 @@ INIT_XMM sse2
 CONV_S16P_TO_FLT_6CH
 INIT_XMM ssse3
 CONV_S16P_TO_FLT_6CH
-%if HAVE_AVX
+%if HAVE_AVX_EXTERNAL
 INIT_XMM avx
 CONV_S16P_TO_FLT_6CH
 %endif
@@ -581,6 +589,157 @@ CONV_FLTP_TO_S16_2CH
 INIT_XMM ssse3
 CONV_FLTP_TO_S16_2CH
 
+;------------------------------------------------------------------------------
+; void ff_conv_fltp_to_s16_6ch(int16_t *dst, float *const *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLTP_TO_S16_6CH 0
+%if ARCH_X86_64
+cglobal conv_fltp_to_s16_6ch, 3,8,7, dst, src, len, src1, src2, src3, src4, src5
+%else
+cglobal conv_fltp_to_s16_6ch, 2,7,7, dst, src, src1, src2, src3, src4, src5
+%define lend dword r2m
+%endif
+    mov        src1q, [srcq+1*gprsize]
+    mov        src2q, [srcq+2*gprsize]
+    mov        src3q, [srcq+3*gprsize]
+    mov        src4q, [srcq+4*gprsize]
+    mov        src5q, [srcq+5*gprsize]
+    mov         srcq, [srcq]
+    sub        src1q, srcq
+    sub        src2q, srcq
+    sub        src3q, srcq
+    sub        src4q, srcq
+    sub        src5q, srcq
+    movaps      xmm6, [pf_s16_scale]
+.loop:
+%if cpuflag(sse2)
+    mulps         m0, m6, [srcq      ]
+    mulps         m1, m6, [srcq+src1q]
+    mulps         m2, m6, [srcq+src2q]
+    mulps         m3, m6, [srcq+src3q]
+    mulps         m4, m6, [srcq+src4q]
+    mulps         m5, m6, [srcq+src5q]
+    cvtps2dq      m0, m0
+    cvtps2dq      m1, m1
+    cvtps2dq      m2, m2
+    cvtps2dq      m3, m3
+    cvtps2dq      m4, m4
+    cvtps2dq      m5, m5
+    packssdw      m0, m3            ; m0 =  0,  6, 12, 18,  3,  9, 15, 21
+    packssdw      m1, m4            ; m1 =  1,  7, 13, 19,  4, 10, 16, 22
+    packssdw      m2, m5            ; m2 =  2,  8, 14, 20,  5, 11, 17, 23
+                                    ; unpack words:
+    movhlps       m3, m0            ; m3 =  3,  9, 15, 21,  x,  x,  x,  x
+    punpcklwd     m0, m1            ; m0 =  0,  1,  6,  7, 12, 13, 18, 19
+    punpckhwd     m1, m2            ; m1 =  4,  5, 10, 11, 16, 17, 22, 23
+    punpcklwd     m2, m3            ; m2 =  2,  3,  8,  9, 14, 15, 20, 21
+                                    ; blend dwords:
+    shufps        m3, m0, m2, q2020 ; m3 =  0,  1, 12, 13,  2,  3, 14, 15
+    shufps        m0, m1, q2031     ; m0 =  6,  7, 18, 19,  4,  5, 16, 17
+    shufps        m2, m1, q3131     ; m2 =  8,  9, 20, 21, 10, 11, 22, 23
+                                    ; shuffle dwords:
+    shufps        m1, m2, m3, q3120 ; m1 =  8,  9, 10, 11, 12, 13, 14, 15
+    shufps        m3, m0,     q0220 ; m3 =  0,  1,  2,  3,  4,  5,  6,  7
+    shufps        m0, m2,     q3113 ; m0 = 16, 17, 18, 19, 20, 21, 22, 23
+    mova  [dstq+0*mmsize], m3
+    mova  [dstq+1*mmsize], m1
+    mova  [dstq+2*mmsize], m0
+%else ; sse
+    movlps      xmm0, [srcq      ]
+    movlps      xmm1, [srcq+src1q]
+    movlps      xmm2, [srcq+src2q]
+    movlps      xmm3, [srcq+src3q]
+    movlps      xmm4, [srcq+src4q]
+    movlps      xmm5, [srcq+src5q]
+    mulps       xmm0, xmm6
+    mulps       xmm1, xmm6
+    mulps       xmm2, xmm6
+    mulps       xmm3, xmm6
+    mulps       xmm4, xmm6
+    mulps       xmm5, xmm6
+    cvtps2pi     mm0, xmm0
+    cvtps2pi     mm1, xmm1
+    cvtps2pi     mm2, xmm2
+    cvtps2pi     mm3, xmm3
+    cvtps2pi     mm4, xmm4
+    cvtps2pi     mm5, xmm5
+    packssdw     mm0, mm3           ; m0 =  0,  6,  3,  9
+    packssdw     mm1, mm4           ; m1 =  1,  7,  4, 10
+    packssdw     mm2, mm5           ; m2 =  2,  8,  5, 11
+                                    ; unpack words
+    pshufw       mm3, mm0, q1032    ; m3 =  3,  9,  0,  6
+    punpcklwd    mm0, mm1           ; m0 =  0,  1,  6,  7
+    punpckhwd    mm1, mm2           ; m1 =  4,  5, 10, 11
+    punpcklwd    mm2, mm3           ; m2 =  2,  3,  8,  9
+                                    ; unpack dwords
+    pshufw       mm3, mm0, q1032    ; m3 =  6,  7,  0,  1
+    punpckldq    mm0, mm2           ; m0 =  0,  1,  2,  3 (final)
+    punpckhdq    mm2, mm1           ; m2 =  8,  9, 10, 11 (final)
+    punpckldq    mm1, mm3           ; m1 =  4,  5,  6,  7 (final)
+    mova  [dstq+0*mmsize], mm0
+    mova  [dstq+1*mmsize], mm1
+    mova  [dstq+2*mmsize], mm2
+%endif
+    add       srcq, mmsize
+    add       dstq, mmsize*3
+    sub       lend, mmsize/4
+    jg .loop
+%if mmsize == 8
+    emms
+    RET
+%else
+    REP_RET
+%endif
+%endmacro
+
+INIT_MMX sse
+CONV_FLTP_TO_S16_6CH
+INIT_XMM sse2
+CONV_FLTP_TO_S16_6CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_FLTP_TO_S16_6CH
+%endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_fltp_to_flt_2ch(float *dst, float *const *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLTP_TO_FLT_2CH 0
+cglobal conv_fltp_to_flt_2ch, 3,4,5, dst, src0, len, src1
+    mov  src1q, [src0q+gprsize]
+    mov  src0q, [src0q]
+    lea   lenq, [4*lend]
+    add  src0q, lenq
+    add  src1q, lenq
+    lea   dstq, [dstq+2*lenq]
+    neg   lenq
+.loop
+    mova    m0, [src0q+lenq       ]
+    mova    m1, [src1q+lenq       ]
+    mova    m2, [src0q+lenq+mmsize]
+    mova    m3, [src1q+lenq+mmsize]
+    SBUTTERFLYPS 0, 1, 4
+    SBUTTERFLYPS 2, 3, 4
+    mova  [dstq+2*lenq+0*mmsize], m0
+    mova  [dstq+2*lenq+1*mmsize], m1
+    mova  [dstq+2*lenq+2*mmsize], m2
+    mova  [dstq+2*lenq+3*mmsize], m3
+    add   lenq, 2*mmsize
+    jl .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse
+CONV_FLTP_TO_FLT_2CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_FLTP_TO_FLT_2CH
+%endif
+
 ;-----------------------------------------------------------------------------
 ; void ff_conv_fltp_to_flt_6ch(float *dst, float *const *src, int len,
 ;                              int channels);
@@ -657,7 +816,453 @@ INIT_MMX mmx
 CONV_FLTP_TO_FLT_6CH
 INIT_XMM sse4
 CONV_FLTP_TO_FLT_6CH
-%if HAVE_AVX
+%if HAVE_AVX_EXTERNAL
 INIT_XMM avx
 CONV_FLTP_TO_FLT_6CH
 %endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_s16_to_s16p_2ch(int16_t *const *dst, int16_t *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_S16_TO_S16P_2CH 0
+cglobal conv_s16_to_s16p_2ch, 3,4,4, dst0, src, len, dst1
+    lea       lenq, [2*lend]
+    mov      dst1q, [dst0q+gprsize]
+    mov      dst0q, [dst0q        ]
+    lea       srcq, [srcq+2*lenq]
+    add      dst0q, lenq
+    add      dst1q, lenq
+    neg       lenq
+%if cpuflag(ssse3)
+    mova        m3, [pb_deinterleave_words]
+%endif
+.loop:
+    mova        m0, [srcq+2*lenq       ]  ; m0 =  0,  1,  2,  3,  4,  5,  6,  7
+    mova        m1, [srcq+2*lenq+mmsize]  ; m1 =  8,  9, 10, 11, 12, 13, 14, 15
+%if cpuflag(ssse3)
+    pshufb      m0, m3                    ; m0 =  0,  2,  4,  6,  1,  3,  5,  7
+    pshufb      m1, m3                    ; m1 =  8, 10, 12, 14,  9, 11, 13, 15
+    SBUTTERFLY2 qdq, 0, 1, 2              ; m0 =  0,  2,  4,  6,  8, 10, 12, 14
+                                          ; m1 =  1,  3,  5,  7,  9, 11, 13, 15
+%else ; sse2
+    pshuflw     m0, m0, q3120             ; m0 =  0,  2,  1,  3,  4,  5,  6,  7
+    pshufhw     m0, m0, q3120             ; m0 =  0,  2,  1,  3,  4,  6,  5,  7
+    pshuflw     m1, m1, q3120             ; m1 =  8, 10,  9, 11, 12, 13, 14, 15
+    pshufhw     m1, m1, q3120             ; m1 =  8, 10,  9, 11, 12, 14, 13, 15
+    DEINT2_PS    0, 1, 2                  ; m0 =  0,  2,  4,  6,  8, 10, 12, 14
+                                          ; m1 =  1,  3,  5,  7,  9, 11, 13, 15
+%endif
+    mova  [dst0q+lenq], m0
+    mova  [dst1q+lenq], m1
+    add       lenq, mmsize
+    jl .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse2
+CONV_S16_TO_S16P_2CH
+INIT_XMM ssse3
+CONV_S16_TO_S16P_2CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_S16_TO_S16P_2CH
+%endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_s16_to_s16p_6ch(int16_t *const *dst, int16_t *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_S16_TO_S16P_6CH 0
+%if ARCH_X86_64
+cglobal conv_s16_to_s16p_6ch, 3,8,5, dst, src, len, dst1, dst2, dst3, dst4, dst5
+%else
+cglobal conv_s16_to_s16p_6ch, 2,7,5, dst, src, dst1, dst2, dst3, dst4, dst5
+%define lend dword r2m
+%endif
+    mov     dst1q, [dstq+  gprsize]
+    mov     dst2q, [dstq+2*gprsize]
+    mov     dst3q, [dstq+3*gprsize]
+    mov     dst4q, [dstq+4*gprsize]
+    mov     dst5q, [dstq+5*gprsize]
+    mov      dstq, [dstq          ]
+    sub     dst1q, dstq
+    sub     dst2q, dstq
+    sub     dst3q, dstq
+    sub     dst4q, dstq
+    sub     dst5q, dstq
+.loop:
+    mova       m0, [srcq+0*mmsize]      ; m0 =  0,  1,  2,  3,  4,  5,  6,  7
+    mova       m3, [srcq+1*mmsize]      ; m3 =  8,  9, 10, 11, 12, 13, 14, 15
+    mova       m2, [srcq+2*mmsize]      ; m2 = 16, 17, 18, 19, 20, 21, 22, 23
+    PALIGNR    m1, m3, m0, 12, m4       ; m1 =  6,  7,  8,  9, 10, 11,  x,  x
+    shufps     m3, m2, q1032            ; m3 = 12, 13, 14, 15, 16, 17, 18, 19
+    psrldq     m2, 4                    ; m2 = 18, 19, 20, 21, 22, 23,  x,  x
+    SBUTTERFLY2 wd, 0, 1, 4             ; m0 =  0,  6,  1,  7,  2,  8,  3,  9
+                                        ; m1 =  4, 10,  5, 11,  x,  x,  x,  x
+    SBUTTERFLY2 wd, 3, 2, 4             ; m3 = 12, 18, 13, 19, 14, 20, 15, 21
+                                        ; m2 = 16, 22, 17, 23,  x,  x,  x,  x
+    SBUTTERFLY2 dq, 0, 3, 4             ; m0 =  0,  6, 12, 18,  1,  7, 13, 19
+                                        ; m3 =  2,  8, 14, 20,  3,  9, 15, 21
+    punpckldq  m1, m2                   ; m1 =  4, 10, 16, 22,  5, 11, 17, 23
+    movq    [dstq      ], m0
+    movhps  [dstq+dst1q], m0
+    movq    [dstq+dst2q], m3
+    movhps  [dstq+dst3q], m3
+    movq    [dstq+dst4q], m1
+    movhps  [dstq+dst5q], m1
+    add      srcq, mmsize*3
+    add      dstq, mmsize/2
+    sub      lend, mmsize/4
+    jg .loop
+    REP_RET
+%endmacro
+
+%define PALIGNR PALIGNR_MMX
+INIT_XMM sse2
+CONV_S16_TO_S16P_6CH
+%define PALIGNR PALIGNR_SSSE3
+INIT_XMM ssse3
+CONV_S16_TO_S16P_6CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_S16_TO_S16P_6CH
+%endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_s16_to_fltp_2ch(float *const *dst, int16_t *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_S16_TO_FLTP_2CH 0
+cglobal conv_s16_to_fltp_2ch, 3,4,5, dst0, src, len, dst1
+    lea       lenq, [4*lend]
+    mov      dst1q, [dst0q+gprsize]
+    mov      dst0q, [dst0q        ]
+    add       srcq, lenq
+    add      dst0q, lenq
+    add      dst1q, lenq
+    neg       lenq
+    mova        m3, [pf_s32_inv_scale]
+    mova        m4, [pw_zero_even]
+.loop:
+    mova        m1, [srcq+lenq]
+    pslld       m0, m1, 16
+    pand        m1, m4
+    cvtdq2ps    m0, m0
+    cvtdq2ps    m1, m1
+    mulps       m0, m0, m3
+    mulps       m1, m1, m3
+    mova  [dst0q+lenq], m0
+    mova  [dst1q+lenq], m1
+    add       lenq, mmsize
+    jl .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse2
+CONV_S16_TO_FLTP_2CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_S16_TO_FLTP_2CH
+%endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_s16_to_fltp_6ch(float *const *dst, int16_t *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_S16_TO_FLTP_6CH 0
+%if ARCH_X86_64
+cglobal conv_s16_to_fltp_6ch, 3,8,7, dst, src, len, dst1, dst2, dst3, dst4, dst5
+%else
+cglobal conv_s16_to_fltp_6ch, 2,7,7, dst, src, dst1, dst2, dst3, dst4, dst5
+%define lend dword r2m
+%endif
+    mov     dst1q, [dstq+  gprsize]
+    mov     dst2q, [dstq+2*gprsize]
+    mov     dst3q, [dstq+3*gprsize]
+    mov     dst4q, [dstq+4*gprsize]
+    mov     dst5q, [dstq+5*gprsize]
+    mov      dstq, [dstq          ]
+    sub     dst1q, dstq
+    sub     dst2q, dstq
+    sub     dst3q, dstq
+    sub     dst4q, dstq
+    sub     dst5q, dstq
+    mova       m6, [pf_s16_inv_scale]
+.loop:
+    mova       m0, [srcq+0*mmsize]  ; m0 =  0,  1,  2,  3,  4,  5,  6,  7
+    mova       m3, [srcq+1*mmsize]  ; m3 =  8,  9, 10, 11, 12, 13, 14, 15
+    mova       m2, [srcq+2*mmsize]  ; m2 = 16, 17, 18, 19, 20, 21, 22, 23
+    PALIGNR    m1, m3, m0, 12, m4   ; m1 =  6,  7,  8,  9, 10, 11,  x,  x
+    shufps     m3, m2, q1032        ; m3 = 12, 13, 14, 15, 16, 17, 18, 19
+    psrldq     m2, 4                ; m2 = 18, 19, 20, 21, 22, 23,  x,  x
+    SBUTTERFLY2 wd, 0, 1, 4         ; m0 =  0,  6,  1,  7,  2,  8,  3,  9
+                                    ; m1 =  4, 10,  5, 11,  x,  x,  x,  x
+    SBUTTERFLY2 wd, 3, 2, 4         ; m3 = 12, 18, 13, 19, 14, 20, 15, 21
+                                    ; m2 = 16, 22, 17, 23,  x,  x,  x,  x
+    SBUTTERFLY2 dq, 0, 3, 4         ; m0 =  0,  6, 12, 18,  1,  7, 13, 19
+                                    ; m3 =  2,  8, 14, 20,  3,  9, 15, 21
+    punpckldq  m1, m2               ; m1 =  4, 10, 16, 22,  5, 11, 17, 23
+    S16_TO_S32_SX 0, 2              ; m0 =      0,      6,     12,     18
+                                    ; m2 =      1,      7,     13,     19
+    S16_TO_S32_SX 3, 4              ; m3 =      2,      8,     14,     20
+                                    ; m4 =      3,      9,     15,     21
+    S16_TO_S32_SX 1, 5              ; m1 =      4,     10,     16,     22
+                                    ; m5 =      5,     11,     17,     23
+    SWAP 1,2,3,4
+    cvtdq2ps   m0, m0
+    cvtdq2ps   m1, m1
+    cvtdq2ps   m2, m2
+    cvtdq2ps   m3, m3
+    cvtdq2ps   m4, m4
+    cvtdq2ps   m5, m5
+    mulps      m0, m6
+    mulps      m1, m6
+    mulps      m2, m6
+    mulps      m3, m6
+    mulps      m4, m6
+    mulps      m5, m6
+    mova  [dstq      ], m0
+    mova  [dstq+dst1q], m1
+    mova  [dstq+dst2q], m2
+    mova  [dstq+dst3q], m3
+    mova  [dstq+dst4q], m4
+    mova  [dstq+dst5q], m5
+    add      srcq, mmsize*3
+    add      dstq, mmsize
+    sub      lend, mmsize/4
+    jg .loop
+    REP_RET
+%endmacro
+
+%define PALIGNR PALIGNR_MMX
+INIT_XMM sse2
+CONV_S16_TO_FLTP_6CH
+%define PALIGNR PALIGNR_SSSE3
+INIT_XMM ssse3
+CONV_S16_TO_FLTP_6CH
+INIT_XMM sse4
+CONV_S16_TO_FLTP_6CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_S16_TO_FLTP_6CH
+%endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_flt_to_s16p_2ch(int16_t *const *dst, float *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLT_TO_S16P_2CH 0
+cglobal conv_flt_to_s16p_2ch, 3,4,6, dst0, src, len, dst1
+    lea       lenq, [2*lend]
+    mov      dst1q, [dst0q+gprsize]
+    mov      dst0q, [dst0q        ]
+    lea       srcq, [srcq+4*lenq]
+    add      dst0q, lenq
+    add      dst1q, lenq
+    neg       lenq
+    mova        m5, [pf_s16_scale]
+.loop:
+    mova       m0, [srcq+4*lenq         ]
+    mova       m1, [srcq+4*lenq+  mmsize]
+    mova       m2, [srcq+4*lenq+2*mmsize]
+    mova       m3, [srcq+4*lenq+3*mmsize]
+    DEINT2_PS   0, 1, 4
+    DEINT2_PS   2, 3, 4
+    mulps      m0, m0, m5
+    mulps      m1, m1, m5
+    mulps      m2, m2, m5
+    mulps      m3, m3, m5
+    cvtps2dq   m0, m0
+    cvtps2dq   m1, m1
+    cvtps2dq   m2, m2
+    cvtps2dq   m3, m3
+    packssdw   m0, m2
+    packssdw   m1, m3
+    mova  [dst0q+lenq], m0
+    mova  [dst1q+lenq], m1
+    add      lenq, mmsize
+    jl .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse2
+CONV_FLT_TO_S16P_2CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_FLT_TO_S16P_2CH
+%endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_flt_to_s16p_6ch(int16_t *const *dst, float *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLT_TO_S16P_6CH 0
+%if ARCH_X86_64
+cglobal conv_flt_to_s16p_6ch, 3,8,7, dst, src, len, dst1, dst2, dst3, dst4, dst5
+%else
+cglobal conv_flt_to_s16p_6ch, 2,7,7, dst, src, dst1, dst2, dst3, dst4, dst5
+%define lend dword r2m
+%endif
+    mov     dst1q, [dstq+  gprsize]
+    mov     dst2q, [dstq+2*gprsize]
+    mov     dst3q, [dstq+3*gprsize]
+    mov     dst4q, [dstq+4*gprsize]
+    mov     dst5q, [dstq+5*gprsize]
+    mov      dstq, [dstq          ]
+    sub     dst1q, dstq
+    sub     dst2q, dstq
+    sub     dst3q, dstq
+    sub     dst4q, dstq
+    sub     dst5q, dstq
+    mova       m6, [pf_s16_scale]
+.loop:
+    mulps      m0, m6, [srcq+0*mmsize]
+    mulps      m3, m6, [srcq+1*mmsize]
+    mulps      m1, m6, [srcq+2*mmsize]
+    mulps      m4, m6, [srcq+3*mmsize]
+    mulps      m2, m6, [srcq+4*mmsize]
+    mulps      m5, m6, [srcq+5*mmsize]
+    cvtps2dq   m0, m0
+    cvtps2dq   m1, m1
+    cvtps2dq   m2, m2
+    cvtps2dq   m3, m3
+    cvtps2dq   m4, m4
+    cvtps2dq   m5, m5
+    packssdw   m0, m3               ; m0 =  0,  1,  2,  3,  4,  5,  6,  7
+    packssdw   m1, m4               ; m1 =  8,  9, 10, 11, 12, 13, 14, 15
+    packssdw   m2, m5               ; m2 = 16, 17, 18, 19, 20, 21, 22, 23
+    PALIGNR    m3, m1, m0, 12, m4   ; m3 =  6,  7,  8,  9, 10, 11,  x,  x
+    shufps     m1, m2, q1032        ; m1 = 12, 13, 14, 15, 16, 17, 18, 19
+    psrldq     m2, 4                ; m2 = 18, 19, 20, 21, 22, 23,  x,  x
+    SBUTTERFLY2 wd, 0, 3, 4         ; m0 =  0,  6,  1,  7,  2,  8,  3,  9
+                                    ; m3 =  4, 10,  5, 11,  x,  x,  x,  x
+    SBUTTERFLY2 wd, 1, 2, 4         ; m1 = 12, 18, 13, 19, 14, 20, 15, 21
+                                    ; m2 = 16, 22, 17, 23,  x,  x,  x,  x
+    SBUTTERFLY2 dq, 0, 1, 4         ; m0 =  0,  6, 12, 18,  1,  7, 13, 19
+                                    ; m1 =  2,  8, 14, 20,  3,  9, 15, 21
+    punpckldq  m3, m2               ; m3 =  4, 10, 16, 22,  5, 11, 17, 23
+    movq    [dstq      ], m0
+    movhps  [dstq+dst1q], m0
+    movq    [dstq+dst2q], m1
+    movhps  [dstq+dst3q], m1
+    movq    [dstq+dst4q], m3
+    movhps  [dstq+dst5q], m3
+    add      srcq, mmsize*6
+    add      dstq, mmsize/2
+    sub      lend, mmsize/4
+    jg .loop
+    REP_RET
+%endmacro
+
+%define PALIGNR PALIGNR_MMX
+INIT_XMM sse2
+CONV_FLT_TO_S16P_6CH
+%define PALIGNR PALIGNR_SSSE3
+INIT_XMM ssse3
+CONV_FLT_TO_S16P_6CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_FLT_TO_S16P_6CH
+%endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_flt_to_fltp_2ch(float *const *dst, float *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLT_TO_FLTP_2CH 0
+cglobal conv_flt_to_fltp_2ch, 3,4,3, dst0, src, len, dst1
+    lea    lenq, [4*lend]
+    mov   dst1q, [dst0q+gprsize]
+    mov   dst0q, [dst0q        ]
+    lea    srcq, [srcq+2*lenq]
+    add   dst0q, lenq
+    add   dst1q, lenq
+    neg    lenq
+.loop:
+    mova     m0, [srcq+2*lenq       ]
+    mova     m1, [srcq+2*lenq+mmsize]
+    DEINT2_PS 0, 1, 2
+    mova  [dst0q+lenq], m0
+    mova  [dst1q+lenq], m1
+    add    lenq, mmsize
+    jl .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse
+CONV_FLT_TO_FLTP_2CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_FLT_TO_FLTP_2CH
+%endif
+
+;------------------------------------------------------------------------------
+; void ff_conv_flt_to_fltp_6ch(float *const *dst, float *src, int len,
+;                              int channels);
+;------------------------------------------------------------------------------
+
+%macro CONV_FLT_TO_FLTP_6CH 0
+%if ARCH_X86_64
+cglobal conv_flt_to_fltp_6ch, 3,8,7, dst, src, len, dst1, dst2, dst3, dst4, dst5
+%else
+cglobal conv_flt_to_fltp_6ch, 2,7,7, dst, src, dst1, dst2, dst3, dst4, dst5
+%define lend dword r2m
+%endif
+    mov     dst1q, [dstq+  gprsize]
+    mov     dst2q, [dstq+2*gprsize]
+    mov     dst3q, [dstq+3*gprsize]
+    mov     dst4q, [dstq+4*gprsize]
+    mov     dst5q, [dstq+5*gprsize]
+    mov      dstq, [dstq          ]
+    sub     dst1q, dstq
+    sub     dst2q, dstq
+    sub     dst3q, dstq
+    sub     dst4q, dstq
+    sub     dst5q, dstq
+.loop:
+    mova       m0, [srcq+0*mmsize]  ; m0 =  0,  1,  2,  3
+    mova       m1, [srcq+1*mmsize]  ; m1 =  4,  5,  6,  7
+    mova       m2, [srcq+2*mmsize]  ; m2 =  8,  9, 10, 11
+    mova       m3, [srcq+3*mmsize]  ; m3 = 12, 13, 14, 15
+    mova       m4, [srcq+4*mmsize]  ; m4 = 16, 17, 18, 19
+    mova       m5, [srcq+5*mmsize]  ; m5 = 20, 21, 22, 23
+
+    SBUTTERFLY2 dq, 0, 3, 6         ; m0 =  0, 12,  1, 13
+                                    ; m3 =  2, 14,  3, 15
+    SBUTTERFLY2 dq, 1, 4, 6         ; m1 =  4, 16,  5, 17
+                                    ; m4 =  6, 18,  7, 19
+    SBUTTERFLY2 dq, 2, 5, 6         ; m2 =  8, 20,  9, 21
+                                    ; m5 = 10, 22, 11, 23
+    SBUTTERFLY2 dq, 0, 4, 6         ; m0 =  0,  6, 12, 18
+                                    ; m4 =  1,  7, 13, 19
+    SBUTTERFLY2 dq, 3, 2, 6         ; m3 =  2,  8, 14, 20
+                                    ; m2 =  3,  9, 15, 21
+    SBUTTERFLY2 dq, 1, 5, 6         ; m1 =  4, 10, 16, 22
+                                    ; m5 =  5, 11, 17, 23
+    mova [dstq      ], m0
+    mova [dstq+dst1q], m4
+    mova [dstq+dst2q], m3
+    mova [dstq+dst3q], m2
+    mova [dstq+dst4q], m1
+    mova [dstq+dst5q], m5
+    add      srcq, mmsize*6
+    add      dstq, mmsize
+    sub      lend, mmsize/4
+    jg .loop
+    REP_RET
+%endmacro
+
+INIT_XMM sse2
+CONV_FLT_TO_FLTP_6CH
+%if HAVE_AVX_EXTERNAL
+INIT_XMM avx
+CONV_FLT_TO_FLTP_6CH
+%endif