proresdsp: port x86 assembly to cpuflags.
[ffmpeg.git] / libavcodec / x86 / proresdsp.asm
1 ;******************************************************************************
2 ;* x86-SIMD-optimized IDCT for prores
3 ;* this is identical to "simple" IDCT except for the clip range
4 ;*
5 ;* Copyright (c) 2011 Ronald S. Bultje <rsbultje@gmail.com>
6 ;*
7 ;* This file is part of Libav.
8 ;*
9 ;* Libav is free software; you can redistribute it and/or
10 ;* modify it under the terms of the GNU Lesser General Public
11 ;* License as published by the Free Software Foundation; either
12 ;* version 2.1 of the License, or (at your option) any later version.
13 ;*
14 ;* Libav is distributed in the hope that it will be useful,
15 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
16 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17 ;* Lesser General Public License for more details.
18 ;*
19 ;* You should have received a copy of the GNU Lesser General Public
20 ;* License along with Libav; if not, write to the Free Software
21 ;* 51, Inc., Foundation Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
22 ;******************************************************************************
23
24 %include "x86inc.asm"
25 %include "x86util.asm"
26
27 %define W1sh2 22725 ; W1 = 90901 = 22725<<2 + 1
28 %define W2sh2 21407 ; W2 = 85627 = 21407<<2 - 1
29 %define W3sh2 19265 ; W3 = 77062 = 19265<<2 + 2
30 %define W4sh2 16384 ; W4 = 65535 = 16384<<2 - 1
31 %define W5sh2 12873 ; W5 = 51491 = 12873<<2 - 1
32 %define W6sh2  8867 ; W6 = 35468 =  8867<<2
33 %define W7sh2  4520 ; W7 = 18081 =  4520<<2 + 1
34
35 %if ARCH_X86_64
36
37 SECTION_RODATA
38
39 w4_plus_w2: times 4 dw W4sh2, +W2sh2
40 w4_min_w2:  times 4 dw W4sh2, -W2sh2
41 w4_plus_w6: times 4 dw W4sh2, +W6sh2
42 w4_min_w6:  times 4 dw W4sh2, -W6sh2
43 w1_plus_w3: times 4 dw W1sh2, +W3sh2
44 w3_min_w1:  times 4 dw W3sh2, -W1sh2
45 w7_plus_w3: times 4 dw W7sh2, +W3sh2
46 w3_min_w7:  times 4 dw W3sh2, -W7sh2
47 w1_plus_w5: times 4 dw W1sh2, +W5sh2
48 w5_min_w1:  times 4 dw W5sh2, -W1sh2
49 w5_plus_w7: times 4 dw W5sh2, +W7sh2
50 w7_min_w5:  times 4 dw W7sh2, -W5sh2
51 row_round:  times 8 dw (1<<14)
52
53 cextern pw_4
54 cextern pw_8
55 cextern pw_512
56 cextern pw_1019
57
58 section .text align=16
59
60 ; interleave data while maintaining source
61 ; %1=type, %2=dstlo, %3=dsthi, %4=src, %5=interleave
62 %macro SBUTTERFLY3 5
63     punpckl%1   m%2, m%4, m%5
64     punpckh%1   m%3, m%4, m%5
65 %endmacro
66
67 ; %1/%2=src1/dst1, %3/%4=dst2, %5/%6=src2, %7=shift
68 ; action: %3/%4 = %1/%2 - %5/%6; %1/%2 += %5/%6
69 ;         %1/%2/%3/%4 >>= %7; dword -> word (in %1/%3)
70 %macro SUMSUB_SHPK 7
71     psubd       %3,  %1,  %5       ; { a0 - b0 }[0-3]
72     psubd       %4,  %2,  %6       ; { a0 - b0 }[4-7]
73     paddd       %1,  %5            ; { a0 + b0 }[0-3]
74     paddd       %2,  %6            ; { a0 + b0 }[4-7]
75     psrad       %1,  %7
76     psrad       %2,  %7
77     psrad       %3,  %7
78     psrad       %4,  %7
79     packssdw    %1,  %2            ; row[0]
80     packssdw    %3,  %4            ; row[7]
81 %endmacro
82
83 ; %1 = row or col (for rounding variable)
84 ; %2 = number of bits to shift at the end
85 %macro IDCT_1D 2
86     ; a0 = (W4 * row[0]) + (1 << (15 - 1));
87     ; a1 = a0;
88     ; a2 = a0;
89     ; a3 = a0;
90     ; a0 += W2 * row[2];
91     ; a1 += W6 * row[2];
92     ; a2 -= W6 * row[2];
93     ; a3 -= W2 * row[2];
94 %ifidn %1, col
95     paddw       m10,[pw_8]
96 %endif
97     SBUTTERFLY3 wd,  0,  1, 10,  8 ; { row[0], row[2] }[0-3]/[4-7]
98 %ifidn %1, row
99     psubw       m10,[row_round]
100 %endif
101     SIGNEXTEND  m8,  m9,  m14      ; { row[2] }[0-3] / [4-7]
102     SIGNEXTEND  m10, m11, m14      ; { row[0] }[0-3] / [4-7]
103     pmaddwd     m2,  m0, [w4_plus_w6]
104     pmaddwd     m3,  m1, [w4_plus_w6]
105     pmaddwd     m4,  m0, [w4_min_w6]
106     pmaddwd     m5,  m1, [w4_min_w6]
107     pmaddwd     m6,  m0, [w4_min_w2]
108     pmaddwd     m7,  m1, [w4_min_w2]
109     pmaddwd     m0, [w4_plus_w2]
110     pmaddwd     m1, [w4_plus_w2]
111     pslld       m2,  2
112     pslld       m3,  2
113     pslld       m4,  2
114     pslld       m5,  2
115     pslld       m6,  2
116     pslld       m7,  2
117     pslld       m0,  2
118     pslld       m1,  2
119
120     ; a0: -1*row[0]-1*row[2]
121     ; a1: -1*row[0]
122     ; a2: -1*row[0]
123     ; a3: -1*row[0]+1*row[2]
124     psubd       m2,  m10           ; a1[0-3]
125     psubd       m3,  m11           ; a1[4-7]
126     psubd       m4,  m10           ; a2[0-3]
127     psubd       m5,  m11           ; a2[4-7]
128     psubd       m0,  m10
129     psubd       m1,  m11
130     psubd       m6,  m10
131     psubd       m7,  m11
132     psubd       m0,  m8            ; a0[0-3]
133     psubd       m1,  m9            ; a0[4-7]
134     paddd       m6,  m8            ; a3[0-3]
135     paddd       m7,  m9            ; a3[4-7]
136
137     ; a0 +=   W4*row[4] + W6*row[6]; i.e. -1*row[4]
138     ; a1 -=   W4*row[4] + W2*row[6]; i.e. -1*row[4]-1*row[6]
139     ; a2 -=   W4*row[4] - W2*row[6]; i.e. -1*row[4]+1*row[6]
140     ; a3 +=   W4*row[4] - W6*row[6]; i.e. -1*row[4]
141     SBUTTERFLY3 wd,  8,  9, 13, 12 ; { row[4], row[6] }[0-3]/[4-7]
142     SIGNEXTEND  m13, m14, m10      ; { row[4] }[0-3] / [4-7]
143     pmaddwd     m10, m8, [w4_plus_w6]
144     pmaddwd     m11, m9, [w4_plus_w6]
145     pslld       m10, 2
146     pslld       m11, 2
147     psubd       m10,  m13
148     psubd       m11,  m14
149     paddd       m0,  m10            ; a0[0-3]
150     paddd       m1,  m11            ; a0[4-7]
151     pmaddwd     m10, m8, [w4_min_w6]
152     pmaddwd     m11, m9, [w4_min_w6]
153     pslld       m10, 2
154     pslld       m11, 2
155     psubd       m10, m13
156     psubd       m11, m14
157     paddd       m6,  m10           ; a3[0-3]
158     paddd       m7,  m11           ; a3[4-7]
159     pmaddwd     m10, m8, [w4_min_w2]
160     pmaddwd     m11, m9, [w4_min_w2]
161     pmaddwd     m8, [w4_plus_w2]
162     pmaddwd     m9, [w4_plus_w2]
163     pslld       m10, 2
164     pslld       m11, 2
165     pslld       m8,  2
166     pslld       m9,  2
167     psubd       m10, m13
168     psubd       m11, m14
169     psubd       m8,  m13
170     psubd       m9,  m14
171     psubd       m4,  m10           ; a2[0-3] intermediate
172     psubd       m5,  m11           ; a2[4-7] intermediate
173     psubd       m2,  m8            ; a1[0-3] intermediate
174     psubd       m3,  m9            ; a1[4-7] intermediate
175     SIGNEXTEND  m12, m13, m10      ; { row[6] }[0-3] / [4-7]
176     psubd       m4,  m12           ; a2[0-3]
177     psubd       m5,  m13           ; a2[4-7]
178     paddd       m2,  m12           ; a1[0-3]
179     paddd       m3,  m13           ; a1[4-7]
180
181     ; load/store
182     mova   [r2+  0], m0
183     mova   [r2+ 32], m2
184     mova   [r2+ 64], m4
185     mova   [r2+ 96], m6
186     mova        m10,[r2+ 16]       ; { row[1] }[0-7]
187     mova        m8, [r2+ 48]       ; { row[3] }[0-7]
188     mova        m13,[r2+ 80]       ; { row[5] }[0-7]
189     mova        m14,[r2+112]       ; { row[7] }[0-7]
190     mova   [r2+ 16], m1
191     mova   [r2+ 48], m3
192     mova   [r2+ 80], m5
193     mova   [r2+112], m7
194 %ifidn %1, row
195     pmullw      m10,[r3+ 16]
196     pmullw      m8, [r3+ 48]
197     pmullw      m13,[r3+ 80]
198     pmullw      m14,[r3+112]
199 %endif
200
201     ; b0 = MUL(W1, row[1]);
202     ; MAC(b0, W3, row[3]);
203     ; b1 = MUL(W3, row[1]);
204     ; MAC(b1, -W7, row[3]);
205     ; b2 = MUL(W5, row[1]);
206     ; MAC(b2, -W1, row[3]);
207     ; b3 = MUL(W7, row[1]);
208     ; MAC(b3, -W5, row[3]);
209     SBUTTERFLY3 wd,  0,  1, 10, 8  ; { row[1], row[3] }[0-3]/[4-7]
210     SIGNEXTEND  m10, m11, m12      ; { row[1] }[0-3] / [4-7]
211     SIGNEXTEND  m8,  m9,  m12      ; { row[3] }[0-3] / [4-7]
212     pmaddwd     m2,  m0, [w3_min_w7]
213     pmaddwd     m3,  m1, [w3_min_w7]
214     pmaddwd     m4,  m0, [w5_min_w1]
215     pmaddwd     m5,  m1, [w5_min_w1]
216     pmaddwd     m6,  m0, [w7_min_w5]
217     pmaddwd     m7,  m1, [w7_min_w5]
218     pmaddwd     m0, [w1_plus_w3]
219     pmaddwd     m1, [w1_plus_w3]
220     pslld       m2,  2
221     pslld       m3,  2
222     pslld       m4,  2
223     pslld       m5,  2
224     pslld       m6,  2
225     pslld       m7,  2
226     pslld       m0,  2
227     pslld       m1,  2
228
229     ; b0: +1*row[1]+2*row[3]
230     ; b1: +2*row[1]-1*row[3]
231     ; b2: -1*row[1]-1*row[3]
232     ; b3: +1*row[1]+1*row[3]
233     psubd       m2,  m8
234     psubd       m3,  m9
235     paddd       m0,  m8
236     paddd       m1,  m9
237     paddd       m8,  m10           ; { row[1] + row[3] }[0-3]
238     paddd       m9,  m11           ; { row[1] + row[3] }[4-7]
239     paddd       m10, m10
240     paddd       m11, m11
241     paddd       m0,  m8            ; b0[0-3]
242     paddd       m1,  m9            ; b0[4-7]
243     paddd       m2,  m10           ; b1[0-3]
244     paddd       m3,  m11           ; b2[4-7]
245     psubd       m4,  m8            ; b2[0-3]
246     psubd       m5,  m9            ; b2[4-7]
247     paddd       m6,  m8            ; b3[0-3]
248     paddd       m7,  m9            ; b3[4-7]
249
250     ; MAC(b0,  W5, row[5]);
251     ; MAC(b0,  W7, row[7]);
252     ; MAC(b1, -W1, row[5]);
253     ; MAC(b1, -W5, row[7]);
254     ; MAC(b2,  W7, row[5]);
255     ; MAC(b2,  W3, row[7]);
256     ; MAC(b3,  W3, row[5]);
257     ; MAC(b3, -W1, row[7]);
258     SBUTTERFLY3 wd,  8,  9, 13, 14 ; { row[5], row[7] }[0-3]/[4-7]
259     SIGNEXTEND  m13, m12, m11      ; { row[5] }[0-3] / [4-7]
260     SIGNEXTEND  m14, m11, m10      ; { row[7] }[0-3] / [4-7]
261
262     ; b0: -1*row[5]+1*row[7]
263     ; b1: -1*row[5]+1*row[7]
264     ; b2: +1*row[5]+2*row[7]
265     ; b3: +2*row[5]-1*row[7]
266     paddd       m4,  m13
267     paddd       m5,  m12
268     paddd       m6,  m13
269     paddd       m7,  m12
270     psubd       m13, m14           ; { row[5] - row[7] }[0-3]
271     psubd       m12, m11           ; { row[5] - row[7] }[4-7]
272     paddd       m14, m14
273     paddd       m11, m11
274     psubd       m0,  m13
275     psubd       m1,  m12
276     psubd       m2,  m13
277     psubd       m3,  m12
278     paddd       m4,  m14
279     paddd       m5,  m11
280     paddd       m6,  m13
281     paddd       m7,  m12
282
283     pmaddwd     m10, m8, [w1_plus_w5]
284     pmaddwd     m11, m9, [w1_plus_w5]
285     pmaddwd     m12, m8, [w5_plus_w7]
286     pmaddwd     m13, m9, [w5_plus_w7]
287     pslld       m10, 2
288     pslld       m11, 2
289     pslld       m12,  2
290     pslld       m13,  2
291     psubd       m2,  m10           ; b1[0-3]
292     psubd       m3,  m11           ; b1[4-7]
293     paddd       m0,  m12            ; b0[0-3]
294     paddd       m1,  m13            ; b0[4-7]
295     pmaddwd     m12, m8, [w7_plus_w3]
296     pmaddwd     m13, m9, [w7_plus_w3]
297     pmaddwd     m8, [w3_min_w1]
298     pmaddwd     m9, [w3_min_w1]
299     pslld       m12, 2
300     pslld       m13, 2
301     pslld       m8,  2
302     pslld       m9,  2
303     paddd       m4,  m12           ; b2[0-3]
304     paddd       m5,  m13           ; b2[4-7]
305     paddd       m6,  m8            ; b3[0-3]
306     paddd       m7,  m9            ; b3[4-7]
307
308     ; row[0] = (a0 + b0) >> 15;
309     ; row[7] = (a0 - b0) >> 15;
310     ; row[1] = (a1 + b1) >> 15;
311     ; row[6] = (a1 - b1) >> 15;
312     ; row[2] = (a2 + b2) >> 15;
313     ; row[5] = (a2 - b2) >> 15;
314     ; row[3] = (a3 + b3) >> 15;
315     ; row[4] = (a3 - b3) >> 15;
316     mova        m8, [r2+ 0]        ; a0[0-3]
317     mova        m9, [r2+16]        ; a0[4-7]
318     SUMSUB_SHPK m8,  m9,  m10, m11, m0,  m1,  %2
319     mova        m0, [r2+32]        ; a1[0-3]
320     mova        m1, [r2+48]        ; a1[4-7]
321     SUMSUB_SHPK m0,  m1,  m9,  m11, m2,  m3,  %2
322     mova        m1, [r2+64]        ; a2[0-3]
323     mova        m2, [r2+80]        ; a2[4-7]
324     SUMSUB_SHPK m1,  m2,  m11, m3,  m4,  m5,  %2
325     mova        m2, [r2+96]        ; a3[0-3]
326     mova        m3, [r2+112]       ; a3[4-7]
327     SUMSUB_SHPK m2,  m3,  m4,  m5,  m6,  m7,  %2
328 %endmacro
329
330 ; void prores_idct_put_10_<opt>(uint8_t *pixels, int stride,
331 ;                               DCTELEM *block, const int16_t *qmat);
332 %macro idct_put_fn 1
333 cglobal prores_idct_put_10, 4, 4, %1
334     movsxd      r1,  r1d
335     pxor        m15, m15           ; zero
336
337     ; for (i = 0; i < 8; i++)
338     ;     idctRowCondDC(block + i*8);
339     mova        m10,[r2+ 0]        ; { row[0] }[0-7]
340     mova        m8, [r2+32]        ; { row[2] }[0-7]
341     mova        m13,[r2+64]        ; { row[4] }[0-7]
342     mova        m12,[r2+96]        ; { row[6] }[0-7]
343
344     pmullw      m10,[r3+ 0]
345     pmullw      m8, [r3+32]
346     pmullw      m13,[r3+64]
347     pmullw      m12,[r3+96]
348
349     IDCT_1D     row, 17
350
351     ; transpose for second part of IDCT
352     TRANSPOSE8x8W 8, 0, 1, 2, 4, 11, 9, 10, 3
353     mova   [r2+ 16], m0
354     mova   [r2+ 48], m2
355     mova   [r2+ 80], m11
356     mova   [r2+112], m10
357     SWAP         8,  10
358     SWAP         1,   8
359     SWAP         4,  13
360     SWAP         9,  12
361
362     ; for (i = 0; i < 8; i++)
363     ;     idctSparseColAdd(dest + i, line_size, block + i);
364     IDCT_1D     col, 20
365
366     ; clip/store
367     mova        m6, [pw_512]
368     mova        m3, [pw_4]
369     mova        m5, [pw_1019]
370     paddw       m8,  m6
371     paddw       m0,  m6
372     paddw       m1,  m6
373     paddw       m2,  m6
374     paddw       m4,  m6
375     paddw       m11, m6
376     paddw       m9,  m6
377     paddw       m10, m6
378     pmaxsw      m8,  m3
379     pmaxsw      m0,  m3
380     pmaxsw      m1,  m3
381     pmaxsw      m2,  m3
382     pmaxsw      m4,  m3
383     pmaxsw      m11, m3
384     pmaxsw      m9,  m3
385     pmaxsw      m10, m3
386     pminsw      m8,  m5
387     pminsw      m0,  m5
388     pminsw      m1,  m5
389     pminsw      m2,  m5
390     pminsw      m4,  m5
391     pminsw      m11, m5
392     pminsw      m9,  m5
393     pminsw      m10, m5
394
395     lea         r2, [r1*3]
396     mova  [r0     ], m8
397     mova  [r0+r1  ], m0
398     mova  [r0+r1*2], m1
399     mova  [r0+r2  ], m2
400     lea         r0, [r0+r1*4]
401     mova  [r0     ], m4
402     mova  [r0+r1  ], m11
403     mova  [r0+r1*2], m9
404     mova  [r0+r2  ], m10
405     RET
406 %endmacro
407
408 %macro SIGNEXTEND 2-3 ; dstlow, dsthigh, tmp
409 %if cpuflag(sse4)
410     movhlps     %2,  %1
411     pmovsxwd    %1,  %1
412     pmovsxwd    %2,  %2
413 %else ; sse2
414     pxor        %3,  %3
415     pcmpgtw     %3,  %1
416     mova        %2,  %1
417     punpcklwd   %1,  %3
418     punpckhwd   %2,  %3
419 %endif
420 %endmacro
421
422 INIT_XMM sse2
423 idct_put_fn 16
424 INIT_XMM sse4
425 idct_put_fn 16
426 INIT_XMM avx
427 idct_put_fn 16
428
429 %endif