avfilter/vf_convolution: add x86 SIMD for filter_3x3()
[ffmpeg.git] / libavfilter / x86 / vf_convolution.asm
1 ;*****************************************************************************
2 ;* x86-optimized functions for convolution filter
3 ;*
4 ;* This file is part of FFmpeg.
5 ;*
6 ;* FFmpeg is free software; you can redistribute it and/or
7 ;* modify it under the terms of the GNU Lesser General Public
8 ;* License as published by the Free Software Foundation; either
9 ;* version 2.1 of the License, or (at your option) any later version.
10 ;*
11 ;* FFmpeg is distributed in the hope that it will be useful,
12 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
13 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14 ;* Lesser General Public License for more details.
15 ;*
16 ;* You should have received a copy of the GNU Lesser General Public
17 ;* License along with FFmpeg; if not, write to the Free Software
18 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19 ;******************************************************************************
20
21 %include "libavutil/x86/x86util.asm"
22
23 SECTION_RODATA
24 half:   dd 0.5
25
26 SECTION .text
27
28 ; void filter_3x3_sse4(uint8_t *dst, int width,
29 ;                      float rdiv, float bias, const int *const matrix,
30 ;                      const uint8_t *c[], int peak, int radius,
31 ;                      int dstride, int stride)
32
33
34 %macro PROCESS_V 1
35     movss m2, [matrixq + 4 * %1]
36     VBROADCASTSS m2, m2
37     movss m3, [c%1q + xq]
38     punpcklbw m3, m6
39     punpcklwd m3, m6
40     pmulld m2, m3
41     paddd m4, m2
42 %endmacro
43
44 %macro PROCESS_S 1
45     movzx ptrd, byte [c%1q + xq]
46     imul  ptrd, [matrixq + 4 * %1]
47     add   rd, ptrd
48 %endmacro
49
50 %macro FILTER_3X3 0
51 %if UNIX64
52 cglobal filter_3x3, 4, 15, 7, dst, width, matrix, ptr, c0, c1, c2, c3, c4, c5, c6, c7, c8, r, x
53 %else
54 cglobal filter_3x3, 4, 15, 7, dst, width, rdiv, bias, matrix, ptr, c0, c1, c2, c3, c4, c5, c6, c7, c8, r, x
55 %endif
56
57 %if WIN64
58     SWAP m0, m2
59     SWAP m1, m3
60     mov  r2q, matrixmp
61     mov  r3q, ptrmp
62     DEFINE_ARGS dst, width, matrix, ptr, c0, c1, c2, c3, c4, c5, c6, c7, c8, r, x
63 %endif
64     movsxdifnidn widthq, widthd
65     VBROADCASTSS m0, m0
66     VBROADCASTSS m1, m1
67     pxor  m6, m6
68     movss m5, [half]
69     VBROADCASTSS m5, m5
70     mov   c0q, [ptrq + 0*gprsize]
71     mov   c1q, [ptrq + 1*gprsize]
72     mov   c2q, [ptrq + 2*gprsize]
73     mov   c3q, [ptrq + 3*gprsize]
74     mov   c4q, [ptrq + 4*gprsize]
75     mov   c5q, [ptrq + 5*gprsize]
76     mov   c6q, [ptrq + 6*gprsize]
77     mov   c7q, [ptrq + 7*gprsize]
78     mov   c8q, [ptrq + 8*gprsize]
79
80     xor   xq, xq
81     cmp   widthq, mmsize/4
82     jl .loop2
83
84     mov   rq, widthq
85     and   rq, mmsize/4-1
86     sub   widthq, rq
87
88 .loop1:
89     pxor m4, m4         ; sum = 0;
90
91     PROCESS_V 0
92     PROCESS_V 1
93     PROCESS_V 2
94     PROCESS_V 3
95     PROCESS_V 4
96     PROCESS_V 5
97     PROCESS_V 6
98     PROCESS_V 7
99     PROCESS_V 8
100
101     cvtdq2ps  m4, m4
102     mulps     m4, m0     ; sum *= rdiv
103     addps     m4, m1     ; sum += bias
104     addps     m4, m5     ; sum += 0.5
105     cvttps2dq m4, m4
106     packssdw  m4, m4
107     packuswb  m4, m4
108     movss     [dstq + xq], m4
109
110     add xq, mmsize/4
111     cmp xq, widthq
112     jl .loop1
113
114     add widthq, rq
115     cmp xq, widthq
116     jge .end
117
118 .loop2:
119     ; reuse r to hold sum, init with zero
120     xor rd, rd
121
122     PROCESS_S 0
123     PROCESS_S 1
124     PROCESS_S 2
125     PROCESS_S 3
126     PROCESS_S 4
127     PROCESS_S 5
128     PROCESS_S 6
129     PROCESS_S 7
130     PROCESS_S 8
131
132     pxor      m4, m4
133     cvtsi2ss  m4, rd
134     mulss     m4, m0     ; sum *= rdiv
135     addss     m4, m1     ; sum += bias
136     addss     m4, m5     ; sum += 0.5
137     ; we don't have simple scalar instructions to convert
138     ; from 32bit to 8bit with saturation, so here
139     ; just use packed version SSE instructions for simplicity.
140     cvttps2dq m4, m4     ; trunc to integer
141     packssdw  m4, m4
142     packuswb  m4, m4
143     movd      rd, m4
144     mov       [dstq + xq], rb
145
146     add xq, 1
147     cmp xq, widthq
148     jl .loop2
149 .end:
150     RET
151 %endmacro
152
153 %if ARCH_X86_64
154 INIT_XMM sse4
155 FILTER_3X3
156 %endif