Merge commit '5b6f42da98c26a8aee8d2c2edfcbd0633ad1c607'
[ffmpeg.git] / libswresample / arm / audio_convert_neon.S
1 /*
2  * Copyright (c) 2008 Mans Rullgard <mans@mansr.com>
3  *
4  * This file is part of libswresample.
5  *
6  * libswresample is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * libswresample is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with libswresample; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20
21 #include "config.h"
22 #include "libavutil/arm/asm.S"
23
24 function swri_oldapi_conv_flt_to_s16_neon, export=1
25         subs            r2,  r2,  #8
26         vld1.32         {q0},     [r1,:128]!
27         vcvt.s32.f32    q8,  q0,  #31
28         vld1.32         {q1},     [r1,:128]!
29         vcvt.s32.f32    q9,  q1,  #31
30         beq             3f
31         bics            r12, r2,  #15
32         beq             2f
33 1:      subs            r12, r12, #16
34         vqrshrn.s32     d4,  q8,  #16
35         vld1.32         {q0},     [r1,:128]!
36         vcvt.s32.f32    q0,  q0,  #31
37         vqrshrn.s32     d5,  q9,  #16
38         vld1.32         {q1},     [r1,:128]!
39         vcvt.s32.f32    q1,  q1,  #31
40         vqrshrn.s32     d6,  q0,  #16
41         vst1.16         {q2},     [r0,:128]!
42         vqrshrn.s32     d7,  q1,  #16
43         vld1.32         {q8},     [r1,:128]!
44         vcvt.s32.f32    q8,  q8,  #31
45         vld1.32         {q9},     [r1,:128]!
46         vcvt.s32.f32    q9,  q9,  #31
47         vst1.16         {q3},     [r0,:128]!
48         bne             1b
49         ands            r2,  r2,  #15
50         beq             3f
51 2:      vld1.32         {q0},     [r1,:128]!
52         vqrshrn.s32     d4,  q8,  #16
53         vcvt.s32.f32    q0,  q0,  #31
54         vld1.32         {q1},     [r1,:128]!
55         vqrshrn.s32     d5,  q9,  #16
56         vcvt.s32.f32    q1,  q1,  #31
57         vqrshrn.s32     d6,  q0,  #16
58         vst1.16         {q2},     [r0,:128]!
59         vqrshrn.s32     d7,  q1,  #16
60         vst1.16         {q3},     [r0,:128]!
61         bx              lr
62 3:      vqrshrn.s32     d4,  q8,  #16
63         vqrshrn.s32     d5,  q9,  #16
64         vst1.16         {q2},     [r0,:128]!
65         bx              lr
66 endfunc
67
68 function swri_oldapi_conv_fltp_to_s16_2ch_neon, export=1
69         ldm             r1,  {r1, r3}
70         subs            r2,  r2,  #8
71         vld1.32         {q0},     [r1,:128]!
72         vcvt.s32.f32    q8,  q0,  #31
73         vld1.32         {q1},     [r1,:128]!
74         vcvt.s32.f32    q9,  q1,  #31
75         vld1.32         {q10},    [r3,:128]!
76         vcvt.s32.f32    q10, q10, #31
77         vld1.32         {q11},    [r3,:128]!
78         vcvt.s32.f32    q11, q11, #31
79         beq             3f
80         bics            r12, r2,  #15
81         beq             2f
82 1:      subs            r12, r12, #16
83         vld1.32         {q0},     [r1,:128]!
84         vcvt.s32.f32    q0,  q0,  #31
85         vsri.32         q10, q8,  #16
86         vld1.32         {q1},     [r1,:128]!
87         vcvt.s32.f32    q1,  q1,  #31
88         vld1.32         {q12},    [r3,:128]!
89         vcvt.s32.f32    q12, q12, #31
90         vld1.32         {q13},    [r3,:128]!
91         vsri.32         q11, q9,  #16
92         vst1.16         {q10},    [r0,:128]!
93         vcvt.s32.f32    q13, q13, #31
94         vst1.16         {q11},    [r0,:128]!
95         vsri.32         q12, q0,  #16
96         vld1.32         {q8},     [r1,:128]!
97         vsri.32         q13, q1,  #16
98         vst1.16         {q12},    [r0,:128]!
99         vcvt.s32.f32    q8,  q8,  #31
100         vld1.32         {q9},     [r1,:128]!
101         vcvt.s32.f32    q9,  q9,  #31
102         vld1.32         {q10},    [r3,:128]!
103         vcvt.s32.f32    q10, q10, #31
104         vld1.32         {q11},    [r3,:128]!
105         vcvt.s32.f32    q11, q11, #31
106         vst1.16         {q13},    [r0,:128]!
107         bne             1b
108         ands            r2,  r2,  #15
109         beq             3f
110 2:      vsri.32         q10, q8,  #16
111         vld1.32         {q0},     [r1,:128]!
112         vcvt.s32.f32    q0,  q0,  #31
113         vld1.32         {q1},     [r1,:128]!
114         vcvt.s32.f32    q1,  q1,  #31
115         vld1.32         {q12},    [r3,:128]!
116         vcvt.s32.f32    q12, q12, #31
117         vsri.32         q11, q9,  #16
118         vld1.32         {q13},    [r3,:128]!
119         vcvt.s32.f32    q13, q13, #31
120         vst1.16         {q10},    [r0,:128]!
121         vsri.32         q12, q0,  #16
122         vst1.16         {q11},    [r0,:128]!
123         vsri.32         q13, q1,  #16
124         vst1.16         {q12-q13},[r0,:128]!
125         bx              lr
126 3:      vsri.32         q10, q8,  #16
127         vsri.32         q11, q9,  #16
128         vst1.16         {q10-q11},[r0,:128]!
129         bx              lr
130 endfunc
131
132 function swri_oldapi_conv_fltp_to_s16_nch_neon, export=1
133         cmp             r3,  #2
134         itt             lt
135         ldrlt           r1,  [r1]
136         blt             X(swri_oldapi_conv_flt_to_s16_neon)
137         beq             X(swri_oldapi_conv_fltp_to_s16_2ch_neon)
138
139         push            {r4-r8, lr}
140         cmp             r3,  #4
141         lsl             r12, r3,  #1
142         blt             4f
143
144         @ 4 channels
145 5:      ldm             r1!, {r4-r7}
146         mov             lr,  r2
147         mov             r8,  r0
148         vld1.32         {q8},     [r4,:128]!
149         vcvt.s32.f32    q8,  q8,  #31
150         vld1.32         {q9},     [r5,:128]!
151         vcvt.s32.f32    q9,  q9,  #31
152         vld1.32         {q10},    [r6,:128]!
153         vcvt.s32.f32    q10, q10, #31
154         vld1.32         {q11},    [r7,:128]!
155         vcvt.s32.f32    q11, q11, #31
156 6:      subs            lr,  lr,  #8
157         vld1.32         {q0},     [r4,:128]!
158         vcvt.s32.f32    q0,  q0,  #31
159         vsri.32         q9,  q8,  #16
160         vld1.32         {q1},     [r5,:128]!
161         vcvt.s32.f32    q1,  q1,  #31
162         vsri.32         q11, q10, #16
163         vld1.32         {q2},     [r6,:128]!
164         vcvt.s32.f32    q2,  q2,  #31
165         vzip.32         d18, d22
166         vld1.32         {q3},     [r7,:128]!
167         vcvt.s32.f32    q3,  q3,  #31
168         vzip.32         d19, d23
169         vst1.16         {d18},    [r8], r12
170         vsri.32         q1,  q0,  #16
171         vst1.16         {d22},    [r8], r12
172         vsri.32         q3,  q2,  #16
173         vst1.16         {d19},    [r8], r12
174         vzip.32         d2,  d6
175         vst1.16         {d23},    [r8], r12
176         vzip.32         d3,  d7
177         beq             7f
178         vld1.32         {q8},     [r4,:128]!
179         vcvt.s32.f32    q8,  q8,  #31
180         vst1.16         {d2},     [r8], r12
181         vld1.32         {q9},     [r5,:128]!
182         vcvt.s32.f32    q9,  q9,  #31
183         vst1.16         {d6},     [r8], r12
184         vld1.32         {q10},    [r6,:128]!
185         vcvt.s32.f32    q10, q10, #31
186         vst1.16         {d3},     [r8], r12
187         vld1.32         {q11},    [r7,:128]!
188         vcvt.s32.f32    q11, q11, #31
189         vst1.16         {d7},     [r8], r12
190         b               6b
191 7:      vst1.16         {d2},     [r8], r12
192         vst1.16         {d6},     [r8], r12
193         vst1.16         {d3},     [r8], r12
194         vst1.16         {d7},     [r8], r12
195         subs            r3,  r3,  #4
196         it              eq
197         popeq           {r4-r8, pc}
198         cmp             r3,  #4
199         add             r0,  r0,  #8
200         bge             5b
201
202         @ 2 channels
203 4:      cmp             r3,  #2
204         blt             4f
205         ldm             r1!, {r4-r5}
206         mov             lr,  r2
207         mov             r8,  r0
208         tst             lr,  #8
209         vld1.32         {q8},     [r4,:128]!
210         vcvt.s32.f32    q8,  q8,  #31
211         vld1.32         {q9},     [r5,:128]!
212         vcvt.s32.f32    q9,  q9,  #31
213         vld1.32         {q10},    [r4,:128]!
214         vcvt.s32.f32    q10, q10, #31
215         vld1.32         {q11},    [r5,:128]!
216         vcvt.s32.f32    q11, q11, #31
217         beq             6f
218         subs            lr,  lr,  #8
219         beq             7f
220         vsri.32         d18, d16, #16
221         vsri.32         d19, d17, #16
222         vld1.32         {q8},     [r4,:128]!
223         vcvt.s32.f32    q8,  q8,  #31
224         vst1.32         {d18[0]}, [r8], r12
225         vsri.32         d22, d20, #16
226         vst1.32         {d18[1]}, [r8], r12
227         vsri.32         d23, d21, #16
228         vst1.32         {d19[0]}, [r8], r12
229         vst1.32         {d19[1]}, [r8], r12
230         vld1.32         {q9},     [r5,:128]!
231         vcvt.s32.f32    q9,  q9,  #31
232         vst1.32         {d22[0]}, [r8], r12
233         vst1.32         {d22[1]}, [r8], r12
234         vld1.32         {q10},    [r4,:128]!
235         vcvt.s32.f32    q10, q10, #31
236         vst1.32         {d23[0]}, [r8], r12
237         vst1.32         {d23[1]}, [r8], r12
238         vld1.32         {q11},    [r5,:128]!
239         vcvt.s32.f32    q11, q11, #31
240 6:      subs            lr,  lr,  #16
241         vld1.32         {q0},     [r4,:128]!
242         vcvt.s32.f32    q0,  q0,  #31
243         vsri.32         d18, d16, #16
244         vld1.32         {q1},     [r5,:128]!
245         vcvt.s32.f32    q1,  q1,  #31
246         vsri.32         d19, d17, #16
247         vld1.32         {q2},     [r4,:128]!
248         vcvt.s32.f32    q2,  q2,  #31
249         vld1.32         {q3},     [r5,:128]!
250         vcvt.s32.f32    q3,  q3,  #31
251         vst1.32         {d18[0]}, [r8], r12
252         vsri.32         d22, d20, #16
253         vst1.32         {d18[1]}, [r8], r12
254         vsri.32         d23, d21, #16
255         vst1.32         {d19[0]}, [r8], r12
256         vsri.32         d2,  d0,  #16
257         vst1.32         {d19[1]}, [r8], r12
258         vsri.32         d3,  d1,  #16
259         vst1.32         {d22[0]}, [r8], r12
260         vsri.32         d6,  d4,  #16
261         vst1.32         {d22[1]}, [r8], r12
262         vsri.32         d7,  d5,  #16
263         vst1.32         {d23[0]}, [r8], r12
264         vst1.32         {d23[1]}, [r8], r12
265         beq             6f
266         vld1.32         {q8},     [r4,:128]!
267         vcvt.s32.f32    q8,  q8,  #31
268         vst1.32         {d2[0]},  [r8], r12
269         vst1.32         {d2[1]},  [r8], r12
270         vld1.32         {q9},     [r5,:128]!
271         vcvt.s32.f32    q9,  q9,  #31
272         vst1.32         {d3[0]},  [r8], r12
273         vst1.32         {d3[1]},  [r8], r12
274         vld1.32         {q10},    [r4,:128]!
275         vcvt.s32.f32    q10, q10, #31
276         vst1.32         {d6[0]},  [r8], r12
277         vst1.32         {d6[1]},  [r8], r12
278         vld1.32         {q11},    [r5,:128]!
279         vcvt.s32.f32    q11, q11, #31
280         vst1.32         {d7[0]},  [r8], r12
281         vst1.32         {d7[1]},  [r8], r12
282         bgt             6b
283 6:      vst1.32         {d2[0]},  [r8], r12
284         vst1.32         {d2[1]},  [r8], r12
285         vst1.32         {d3[0]},  [r8], r12
286         vst1.32         {d3[1]},  [r8], r12
287         vst1.32         {d6[0]},  [r8], r12
288         vst1.32         {d6[1]},  [r8], r12
289         vst1.32         {d7[0]},  [r8], r12
290         vst1.32         {d7[1]},  [r8], r12
291         b               8f
292 7:      vsri.32         d18, d16, #16
293         vsri.32         d19, d17, #16
294         vst1.32         {d18[0]}, [r8], r12
295         vsri.32         d22, d20, #16
296         vst1.32         {d18[1]}, [r8], r12
297         vsri.32         d23, d21, #16
298         vst1.32         {d19[0]}, [r8], r12
299         vst1.32         {d19[1]}, [r8], r12
300         vst1.32         {d22[0]}, [r8], r12
301         vst1.32         {d22[1]}, [r8], r12
302         vst1.32         {d23[0]}, [r8], r12
303         vst1.32         {d23[1]}, [r8], r12
304 8:      subs            r3,  r3,  #2
305         add             r0,  r0,  #4
306         it              eq
307         popeq           {r4-r8, pc}
308
309         @ 1 channel
310 4:      ldr             r4,  [r1]
311         tst             r2,  #8
312         mov             lr,  r2
313         mov             r5,  r0
314         vld1.32         {q0},     [r4,:128]!
315         vcvt.s32.f32    q0,  q0,  #31
316         vld1.32         {q1},     [r4,:128]!
317         vcvt.s32.f32    q1,  q1,  #31
318         bne             8f
319 6:      subs            lr,  lr,  #16
320         vld1.32         {q2},     [r4,:128]!
321         vcvt.s32.f32    q2,  q2,  #31
322         vld1.32         {q3},     [r4,:128]!
323         vcvt.s32.f32    q3,  q3,  #31
324         vst1.16         {d0[1]},  [r5,:16], r12
325         vst1.16         {d0[3]},  [r5,:16], r12
326         vst1.16         {d1[1]},  [r5,:16], r12
327         vst1.16         {d1[3]},  [r5,:16], r12
328         vst1.16         {d2[1]},  [r5,:16], r12
329         vst1.16         {d2[3]},  [r5,:16], r12
330         vst1.16         {d3[1]},  [r5,:16], r12
331         vst1.16         {d3[3]},  [r5,:16], r12
332         beq             7f
333         vld1.32         {q0},     [r4,:128]!
334         vcvt.s32.f32    q0,  q0,  #31
335         vld1.32         {q1},     [r4,:128]!
336         vcvt.s32.f32    q1,  q1,  #31
337 7:      vst1.16         {d4[1]},  [r5,:16], r12
338         vst1.16         {d4[3]},  [r5,:16], r12
339         vst1.16         {d5[1]},  [r5,:16], r12
340         vst1.16         {d5[3]},  [r5,:16], r12
341         vst1.16         {d6[1]},  [r5,:16], r12
342         vst1.16         {d6[3]},  [r5,:16], r12
343         vst1.16         {d7[1]},  [r5,:16], r12
344         vst1.16         {d7[3]},  [r5,:16], r12
345         bgt             6b
346         pop             {r4-r8, pc}
347 8:      subs            lr,  lr,  #8
348         vst1.16         {d0[1]},  [r5,:16], r12
349         vst1.16         {d0[3]},  [r5,:16], r12
350         vst1.16         {d1[1]},  [r5,:16], r12
351         vst1.16         {d1[3]},  [r5,:16], r12
352         vst1.16         {d2[1]},  [r5,:16], r12
353         vst1.16         {d2[3]},  [r5,:16], r12
354         vst1.16         {d3[1]},  [r5,:16], r12
355         vst1.16         {d3[3]},  [r5,:16], r12
356         it              eq
357         popeq           {r4-r8, pc}
358         vld1.32         {q0},     [r4,:128]!
359         vcvt.s32.f32    q0,  q0,  #31
360         vld1.32         {q1},     [r4,:128]!
361         vcvt.s32.f32    q1,  q1,  #31
362         b               6b
363 endfunc