8e9f0fbf0241ce23147cc18c98d1ca829068e137
[ffmpeg.git] / libavcodec / x86 / diracdsp.asm
1 ;******************************************************************************
2 ;* Copyright (c) 2010 David Conrad
3 ;*
4 ;* This file is part of FFmpeg.
5 ;*
6 ;* FFmpeg is free software; you can redistribute it and/or
7 ;* modify it under the terms of the GNU Lesser General Public
8 ;* License as published by the Free Software Foundation; either
9 ;* version 2.1 of the License, or (at your option) any later version.
10 ;*
11 ;* FFmpeg is distributed in the hope that it will be useful,
12 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
13 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14 ;* Lesser General Public License for more details.
15 ;*
16 ;* You should have received a copy of the GNU Lesser General Public
17 ;* License along with FFmpeg; if not, write to the Free Software
18 ;* 51, Inc., Foundation Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19 ;******************************************************************************
20
21 %include "libavutil/x86/x86util.asm"
22
23 SECTION_RODATA
24 pw_7: times 8 dw 7
25
26 cextern pw_3
27 cextern pw_16
28 cextern pw_32
29 cextern pb_80
30
31 section .text
32
33 %macro UNPACK_ADD 6
34     mov%5   %1, %3
35     mov%6   m5, %4
36     mova    m4, %1
37     mova    %2, m5
38     punpcklbw %1, m7
39     punpcklbw m5, m7
40     punpckhbw m4, m7
41     punpckhbw %2, m7
42     paddw   %1, m5
43     paddw   %2, m4
44 %endmacro
45
46 %macro HPEL_FILTER 1
47 ; dirac_hpel_filter_v_sse2(uint8_t *dst, uint8_t *src, int stride, int width);
48 cglobal dirac_hpel_filter_v_%1, 4,6,8, dst, src, stride, width, src0, stridex3
49     mov     src0q, srcq
50     lea     stridex3q, [3*strideq]
51     sub     src0q, stridex3q
52     pxor    m7, m7
53 .loop:
54     ; 7*(src[0] + src[1])
55     UNPACK_ADD m0, m1, [srcq], [srcq + strideq], a,a
56     pmullw  m0, [pw_7]
57     pmullw  m1, [pw_7]
58
59     ; 3*( ... + src[-2] + src[3])
60     UNPACK_ADD m2, m3, [src0q + strideq], [srcq + stridex3q], a,a
61     paddw   m0, m2
62     paddw   m1, m3
63     pmullw  m0, [pw_3]
64     pmullw  m1, [pw_3]
65
66     ; ... - 7*(src[-1] + src[2])
67     UNPACK_ADD m2, m3, [src0q + strideq*2], [srcq + strideq*2], a,a
68     pmullw  m2, [pw_7]
69     pmullw  m3, [pw_7]
70     psubw   m0, m2
71     psubw   m1, m3
72
73     ; ... - (src[-3] + src[4])
74     UNPACK_ADD m2, m3, [src0q], [srcq + strideq*4], a,a
75     psubw   m0, m2
76     psubw   m1, m3
77
78     paddw   m0, [pw_16]
79     paddw   m1, [pw_16]
80     psraw   m0, 5
81     psraw   m1, 5
82     packuswb m0, m1
83     mova    [dstq], m0
84     add     dstq, mmsize
85     add     srcq, mmsize
86     add     src0q, mmsize
87     sub     widthd, mmsize
88     jg      .loop
89     RET
90
91 ; dirac_hpel_filter_h_sse2(uint8_t *dst, uint8_t *src, int width);
92 cglobal dirac_hpel_filter_h_%1, 3,3,8, dst, src, width
93     dec     widthd
94     pxor    m7, m7
95     and     widthd, ~(mmsize-1)
96 .loop:
97     ; 7*(src[0] + src[1])
98     UNPACK_ADD m0, m1, [srcq + widthq], [srcq + widthq + 1], u,u
99     pmullw  m0, [pw_7]
100     pmullw  m1, [pw_7]
101
102     ; 3*( ... + src[-2] + src[3])
103     UNPACK_ADD m2, m3, [srcq + widthq - 2], [srcq + widthq + 3], u,u
104     paddw   m0, m2
105     paddw   m1, m3
106     pmullw  m0, [pw_3]
107     pmullw  m1, [pw_3]
108
109     ; ... - 7*(src[-1] + src[2])
110     UNPACK_ADD m2, m3, [srcq + widthq - 1], [srcq + widthq + 2], u,u
111     pmullw  m2, [pw_7]
112     pmullw  m3, [pw_7]
113     psubw   m0, m2
114     psubw   m1, m3
115
116     ; ... - (src[-3] + src[4])
117     UNPACK_ADD m2, m3, [srcq + widthq - 3], [srcq + widthq + 4], u,u
118     psubw   m0, m2
119     psubw   m1, m3
120
121     paddw   m0, [pw_16]
122     paddw   m1, [pw_16]
123     psraw   m0, 5
124     psraw   m1, 5
125     packuswb m0, m1
126     mova    [dstq + widthq], m0
127     sub     widthd, mmsize
128     jge     .loop
129     RET
130 %endmacro
131
132 %macro PUT_RECT 1
133 ; void put_rect_clamped(uint8_t *dst, int dst_stride, int16_t *src, int src_stride, int width, int height)
134 cglobal put_signed_rect_clamped_%1, 5,9,3, dst, dst_stride, src, src_stride, w, dst2, src2
135     mova    m0, [pb_80]
136     add     wd, (mmsize-1)
137     and     wd, ~(mmsize-1)
138
139 %if ARCH_X86_64
140     movsxd   dst_strideq, dst_strided
141     movsxd   src_strideq, src_strided
142     mov   r7d, r5m
143     mov   r8d, wd
144     %define wspill r8d
145     %define hd r7d
146 %else
147     mov    r4m, wd
148     %define wspill r4m
149     %define hd r5mp
150 %endif
151
152 .loopy:
153     lea     src2q, [srcq+src_strideq]
154     lea     dst2q, [dstq+dst_strideq]
155 .loopx:
156     sub      wd, mmsize
157     mova     m1, [srcq +2*wq]
158     mova     m2, [src2q+2*wq]
159     packsswb m1, [srcq +2*wq+mmsize]
160     packsswb m2, [src2q+2*wq+mmsize]
161     paddb    m1, m0
162     paddb    m2, m0
163     mova    [dstq +wq], m1
164     mova    [dst2q+wq], m2
165     jg      .loopx
166
167     lea   srcq, [srcq+src_strideq*2]
168     lea   dstq, [dstq+dst_strideq*2]
169     sub     hd, 2
170     mov     wd, wspill
171     jg      .loopy
172     RET
173 %endm
174
175 %macro ADD_RECT 1
176 ; void add_rect_clamped(uint8_t *dst, uint16_t *src, int stride, int16_t *idwt, int idwt_stride, int width, int height)
177 cglobal add_rect_clamped_%1, 7,9,3, dst, src, stride, idwt, idwt_stride, w, h
178     mova    m0, [pw_32]
179     add     wd, (mmsize-1)
180     and     wd, ~(mmsize-1)
181
182 %if ARCH_X86_64
183     movsxd   strideq, strided
184     movsxd   idwt_strideq, idwt_strided
185     mov   r8d, wd
186     %define wspill r8d
187 %else
188     mov    r5m, wd
189     %define wspill r5m
190 %endif
191
192 .loop:
193     sub     wd, mmsize
194     movu    m1, [srcq +2*wq] ; FIXME: ensure alignment
195     paddw   m1, m0
196     psraw   m1, 6
197     movu    m2, [srcq +2*wq+mmsize] ; FIXME: ensure alignment
198     paddw   m2, m0
199     psraw   m2, 6
200     paddw   m1, [idwtq+2*wq]
201     paddw   m2, [idwtq+2*wq+mmsize]
202     packuswb m1, m2
203     mova    [dstq +wq], m1
204     jg      .loop
205
206     lea   srcq, [srcq + 2*strideq]
207     add   dstq, strideq
208     lea  idwtq, [idwtq+ 2*idwt_strideq]
209     sub     hd, 1
210     mov     wd, wspill
211     jg      .loop
212     RET
213 %endm
214
215 %macro ADD_OBMC 2
216 ; void add_obmc(uint16_t *dst, uint8_t *src, int stride, uint8_t *obmc_weight, int yblen)
217 cglobal add_dirac_obmc%1_%2, 6,6,5, dst, src, stride, obmc, yblen
218     pxor        m4, m4
219 .loop:
220 %assign i 0
221 %rep %1 / mmsize
222     mova        m0, [srcq+i]
223     mova        m1, m0
224     punpcklbw   m0, m4
225     punpckhbw   m1, m4
226     mova        m2, [obmcq+i]
227     mova        m3, m2
228    punpcklbw   m2, m4
229     punpckhbw   m3, m4
230     pmullw      m0, m2
231     pmullw      m1, m3
232     movu        m2, [dstq+2*i]
233     movu        m3, [dstq+2*i+mmsize]
234     paddw       m0, m2
235     paddw       m1, m3
236     movu        [dstq+2*i], m0
237     movu        [dstq+2*i+mmsize], m1
238 %assign i i+mmsize
239 %endrep
240     lea         srcq, [srcq+strideq]
241     lea         dstq, [dstq+2*strideq]
242     add         obmcq, 32
243     sub         yblend, 1
244     jg          .loop
245     RET
246 %endm
247
248 INIT_MMX
249 %if ARCH_X86_64 == 0
250 PUT_RECT mmx
251 ADD_RECT mmx
252
253 HPEL_FILTER mmx
254 ADD_OBMC 32, mmx
255 ADD_OBMC 16, mmx
256 %endif
257 ADD_OBMC 8, mmx
258
259 INIT_XMM
260 PUT_RECT sse2
261 ADD_RECT sse2
262
263 HPEL_FILTER sse2
264 ADD_OBMC 32, sse2
265 ADD_OBMC 16, sse2
266
267 INIT_XMM sse4
268
269 ; void dequant_subband_32(uint8_t *src, uint8_t *dst, ptrdiff_t stride, const int qf, const int qs, int tot_v, int tot_h)
270 cglobal dequant_subband_32, 7, 7, 4, src, dst, stride, qf, qs, tot_v, tot_h
271     movd   m2, qfd
272     movd   m3, qsd
273     SPLATD m2
274     SPLATD m3
275     mov    r4, tot_hq
276     mov    r3, dstq
277
278     .loop_v:
279     mov    tot_hq, r4
280     mov    dstq,   r3
281
282     .loop_h:
283     movu   m0, [srcq]
284
285     pabsd  m1, m0
286     pmulld m1, m2
287     paddd  m1, m3
288     psrld  m1,  2
289     psignd m1, m0
290
291     movu   [dstq], m1
292
293     add    srcq, mmsize
294     add    dstq, mmsize
295     sub    tot_hd, 4
296     jg     .loop_h
297
298     add    r3, strideq
299     dec    tot_vd
300     jg     .loop_v
301
302     RET