checkasm/x86: Correctly handle variadic functions
[ffmpeg.git] / tests / checkasm / x86 / checkasm.asm
1 ;*****************************************************************************
2 ;* Assembly testing and benchmarking tool
3 ;* Copyright (c) 2008 Loren Merritt
4 ;* Copyright (c) 2012 Henrik Gramner
5 ;*
6 ;* This file is part of FFmpeg.
7 ;*
8 ;* FFmpeg is free software; you can redistribute it and/or modify
9 ;* it under the terms of the GNU General Public License as published by
10 ;* the Free Software Foundation; either version 2 of the License, or
11 ;* (at your option) any later version.
12 ;*
13 ;* FFmpeg is distributed in the hope that it will be useful,
14 ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
15 ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16 ;* GNU General Public License for more details.
17 ;*
18 ;* You should have received a copy of the GNU General Public License
19 ;* along with this program; if not, write to the Free Software
20 ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
21 ;*****************************************************************************
22
23 %define private_prefix checkasm
24 %include "libavutil/x86/x86inc.asm"
25
26 SECTION_RODATA
27
28 error_message: db "failed to preserve register", 0
29
30 %if ARCH_X86_64
31 ; just random numbers to reduce the chance of incidental match
32 ALIGN 16
33 x6:  dq 0x1a1b2550a612b48c,0x79445c159ce79064
34 x7:  dq 0x2eed899d5a28ddcd,0x86b2536fcd8cf636
35 x8:  dq 0xb0856806085e7943,0x3f2bf84fc0fcca4e
36 x9:  dq 0xacbd382dcf5b8de2,0xd229e1f5b281303f
37 x10: dq 0x71aeaff20b095fd9,0xab63e2e11fa38ed9
38 x11: dq 0x89b0c0765892729a,0x77d410d5c42c882d
39 x12: dq 0xc45ea11a955d8dd5,0x24b3c1d2a024048b
40 x13: dq 0x2e8ec680de14b47c,0xdd7b8919edd42786
41 x14: dq 0x135ce6888fa02cbf,0x11e53e2b2ac655ef
42 x15: dq 0x011ff554472a7a10,0x6de8f4c914c334d5
43 n7:  dq 0x21f86d66c8ca00ce
44 n8:  dq 0x75b6ba21077c48ad
45 n9:  dq 0xed56bb2dcb3c7736
46 n10: dq 0x8bda43d3fd1a7e06
47 n11: dq 0xb64a9c9e5d318408
48 n12: dq 0xdf9a54b303f1d3a3
49 n13: dq 0x4a75479abd64e097
50 n14: dq 0x249214109d5d1c88
51 %endif
52
53 SECTION .text
54
55 cextern fail_func
56
57 ; max number of args used by any asm function.
58 ; (max_args % 4) must equal 3 for stack alignment
59 %define max_args 15
60
61 %if ARCH_X86_64
62
63 ;-----------------------------------------------------------------------------
64 ; int checkasm_stack_clobber(uint64_t clobber, ...)
65 ;-----------------------------------------------------------------------------
66 cglobal stack_clobber, 1,2
67     ; Clobber the stack with junk below the stack pointer
68     %define size (max_args+6)*8
69     SUB  rsp, size
70     mov   r1, size-8
71 .loop:
72     mov [rsp+r1], r0
73     sub   r1, 8
74     jge .loop
75     ADD  rsp, size
76     RET
77
78 %if WIN64
79     %assign free_regs 7
80     DECLARE_REG_TMP 4
81 %else
82     %assign free_regs 9
83     DECLARE_REG_TMP 7
84 %endif
85
86 ;-----------------------------------------------------------------------------
87 ; void checkasm_checked_call(void *func, ...)
88 ;-----------------------------------------------------------------------------
89 INIT_XMM
90 cglobal checked_call, 2,15,16,max_args*8+8
91     mov  t0, r0
92
93     ; All arguments have been pushed on the stack instead of registers in order to
94     ; test for incorrect assumptions that 32-bit ints are zero-extended to 64-bit.
95     mov  r0, r6mp
96     mov  r1, r7mp
97     mov  r2, r8mp
98     mov  r3, r9mp
99 %if UNIX64
100     mov  r4, r10mp
101     mov  r5, r11mp
102     %assign i 6
103     %rep max_args-6
104         mov  r9, [rsp+stack_offset+(i+1)*8]
105         mov  [rsp+(i-6)*8], r9
106         %assign i i+1
107     %endrep
108 %else ; WIN64
109     %assign i 4
110     %rep max_args-4
111         mov  r9, [rsp+stack_offset+(i+7)*8]
112         mov  [rsp+i*8], r9
113         %assign i i+1
114     %endrep
115
116     ; Move possible floating-point arguments to the correct registers
117     movq m0, r0
118     movq m1, r1
119     movq m2, r2
120     movq m3, r3
121
122     %assign i 6
123     %rep 16-6
124         mova m %+ i, [x %+ i]
125         %assign i i+1
126     %endrep
127 %endif
128
129 %assign i 14
130 %rep 15-free_regs
131     mov r %+ i, [n %+ i]
132     %assign i i-1
133 %endrep
134     call t0
135 %assign i 14
136 %rep 15-free_regs
137     xor r %+ i, [n %+ i]
138     or  r14, r %+ i
139     %assign i i-1
140 %endrep
141
142 %if WIN64
143     %assign i 6
144     %rep 16-6
145         pxor m %+ i, [x %+ i]
146         por  m6, m %+ i
147         %assign i i+1
148     %endrep
149     packsswb m6, m6
150     movq r5, m6
151     or  r14, r5
152 %endif
153
154     ; Call fail_func() with a descriptive message to mark it as a failure
155     ; if the called function didn't preserve all callee-saved registers.
156     ; Save the return value located in rdx:rax first to prevent clobbering.
157     jz .ok
158     mov  r9, rax
159     mov r10, rdx
160     lea  r0, [error_message]
161     xor eax, eax
162     call fail_func
163     mov rdx, r10
164     mov rax, r9
165 .ok:
166     RET
167
168 %else
169
170 ; just random numbers to reduce the chance of incidental match
171 %define n3 dword 0x6549315c
172 %define n4 dword 0xe02f3e23
173 %define n5 dword 0xb78d0d1d
174 %define n6 dword 0x33627ba7
175
176 ;-----------------------------------------------------------------------------
177 ; void checkasm_checked_call(void *func, ...)
178 ;-----------------------------------------------------------------------------
179 cglobal checked_call, 1,7
180     mov  r3, n3
181     mov  r4, n4
182     mov  r5, n5
183     mov  r6, n6
184 %rep max_args
185     PUSH dword [esp+20+max_args*4]
186 %endrep
187     call r0
188     xor  r3, n3
189     xor  r4, n4
190     xor  r5, n5
191     xor  r6, n6
192     or   r3, r4
193     or   r5, r6
194     or   r3, r5
195     jz .ok
196     mov  r3, eax
197     mov  r4, edx
198     lea  r0, [error_message]
199     mov [esp], r0
200     call fail_func
201     mov  edx, r4
202     mov  eax, r3
203 .ok:
204     add  esp, max_args*4
205     REP_RET
206
207 %endif ; ARCH_X86_64