57 #define K(x0, x1, x2, x3, x4, i) \  argument
61 	pxor x4,		x0; \
67 #define LK(x0, x1, x2, x3, x4, i) \  argument
68 	movdqa x0,		x4; \
69 	pslld $13,		x0; \
71 	por x4,			x0; \
72 	pxor x0,		x1; \
82 	movdqa x0,		x4; \
92 	pxor x1,		x0; \
93 	pxor x3,		x0; \
96 	movdqa x0,		x4; \
101 	pslld $5,		x0; \
103 	por x4,			x0; \
109 	pxor RT0,		x0; \
113 #define KL(x0, x1, x2, x3, x4, i) \  argument
114 	K(x0, x1, x2, x3, x4, i); \
115 	movdqa x0,		x4; \
116 	psrld $5,		x0; \
118 	por x4,			x0; \
124 	pxor x3,		x0; \
127 	pxor x1,		x0; \
137 	pxor x0,		x1; \
138 	movdqa x0,		x4; \
141 	movdqa x0,		x4; \
142 	psrld $13,		x0; \
144 	por x4,			x0; \
152 #define S0(x0, x1, x2, x3, x4) \  argument
154 	por x0,			x3; \
155 	pxor x4,		x0; \
159 	pand x0,		x1; \
161 	pxor x0,		x2; \
162 	pxor x3,		x0; \
163 	por x0,			x4; \
164 	pxor x2,		x0; \
171 #define S1(x0, x1, x2, x3, x4) \  argument
173 	pxor x0,		x1; \
174 	pxor x3,		x0; \
177 	por x1,			x0; \
179 	pxor x3,		x0; \
184 	pand x0,		x2; \
186 	por x0,			x1; \
187 	pxor RNOT,		x0; \
188 	pxor x2,		x0; \
191 #define S2(x0, x1, x2, x3, x4) \  argument
193 	pxor x0,		x1; \
194 	movdqa x0,		x4; \
195 	pand x2,		x0; \
196 	pxor x3,		x0; \
200 	pand x0,		x1; \
201 	pxor x2,		x0; \
204 	pxor RNOT,		x0; \
205 	pxor x0,		x3; \
206 	pxor x0,		x4; \
207 	pxor x2,		x0; \
210 #define S3(x0, x1, x2, x3, x4) \  argument
213 	por x0,			x3; \
214 	pand x0,		x4; \
215 	pxor x2,		x0; \
219 	por x4,			x0; \
221 	pxor x0,		x1; \
222 	pand x3,		x0; \
228 	pxor x3,		x0; \
231 #define S4(x0, x1, x2, x3, x4) \  argument
233 	pand x0,		x3; \
234 	pxor x4,		x0; \
237 	pxor x1,		x0; \
239 	por x0,			x2; \
241 	pand x0,		x1; \
245 	pxor x0,		x4; \
248 	pxor x0,		x3;
250 #define S5(x0, x1, x2, x3, x4) \  argument
252 	por x0,			x1; \
255 	pxor x0,		x4; \
256 	pxor x2,		x0; \
259 	pxor x0,		x4; \
260 	pand x3,		x0; \
263 	pxor x1,		x0; \
266 	pand x0,		x2; \
269 #define S6(x0, x1, x2, x3, x4) \  argument
271 	pxor x0,		x3; \
273 	pxor x0,		x2; \
274 	pand x3,		x0; \
277 	pxor x1,		x0; \
280 	pxor x0,		x4; \
281 	pand x0,		x2; \
285 	pxor x0,		x3; \
288 #define S7(x0, x1, x2, x3, x4) \  argument
291 	pxor RNOT,		x0; \
297 	pxor x0,		x3; \
298 	por x1,			x0; \
299 	pand x0,		x2; \
300 	pxor x4,		x0; \
302 	pand x0,		x3; \
306 	por x0,			x4; \
309 #define SI0(x0, x1, x2, x3, x4) \  argument
311 	pxor x0,		x1; \
314 	pxor RNOT,		x0; \
316 	pxor x0,		x3; \
317 	pand x1,		x0; \
318 	pxor x2,		x0; \
323 	pand x0,		x3; \
324 	pxor x0,		x1; \
325 	pxor x2,		x0; \
328 #define SI1(x0, x1, x2, x3, x4) \  argument
330 	movdqa x0,		x4; \
331 	pxor x2,		x0; \
340 	pxor x0,		x3; \
341 	pxor x0,		x2; \
342 	por x4,			x0; \
344 	pxor x0,		x1; \
347 #define SI2(x0, x1, x2, x3, x4) \  argument
353 	pxor x0,		x4; \
356 	pxor x0,		x2; \
364 	pxor x0,		x4;
366 #define SI3(x0, x1, x2, x3, x4) \  argument
370 	pxor x0,		x1; \
371 	por x4,			x0; \
373 	pxor x3,		x0; \
377 	pxor x2,		x0; \
380 	pxor x0,		x1; \
381 	pand x2,		x0; \
383 	pxor x0,		x3; \
384 	pxor x1,		x0;
386 #define SI4(x0, x1, x2, x3, x4) \  argument
388 	movdqa x0,		x4; \
389 	pand x1,		x0; \
390 	pxor x2,		x0; \
393 	pxor x0,		x1; \
394 	pxor x2,		x0; \
396 	pxor x0,		x2; \
397 	por x4,			x0; \
398 	pxor x3,		x0; \
402 	pand x0,		x1; \
404 	pxor x3,		x0;
406 #define SI5(x0, x1, x2, x3, x4) \  argument
413 	por x0,			x3; \
414 	pxor RNOT,		x0; \
416 	por x0,			x2; \
419 	pand x0,		x4; \
420 	pxor x1,		x0; \
422 	pand x2,		x0; \
424 	pxor x2,		x0; \
428 #define SI6(x0, x1, x2, x3, x4) \  argument
429 	pxor x2,		x0; \
430 	movdqa x0,		x4; \
431 	pand x3,		x0; \
433 	pxor x2,		x0; \
437 	pand x0,		x3; \
438 	pxor RNOT,		x0; \
441 	pxor x0,		x4; \
444 	pxor x1,		x0; \
445 	pxor x0,		x2;
447 #define SI7(x0, x1, x2, x3, x4) \  argument
449 	pand x0,		x3; \
450 	pxor x2,		x0; \
453 	pxor RNOT,		x0; \
455 	pxor x0,		x4; \
456 	pand x2,		x0; \
457 	pxor x1,		x0; \
462 	por x0,			x3; \
465 	pand x0,		x4; \
468 #define transpose_4x4(x0, x1, x2, x3, t0, t1, t2) \  argument
469 	movdqa x0,		t2; \
470 	punpckldq x1,		x0; \
475 	movdqa x0,		x1; \
476 	punpcklqdq t1,		x0; \
483 #define read_blocks(in, x0, x1, x2, x3, t0, t1, t2) \  argument
484 	movdqu (0*4*4)(in),	x0; \
489 	transpose_4x4(x0, x1, x2, x3, t0, t1, t2)
491 #define write_blocks(out, x0, x1, x2, x3, t0, t1, t2) \  argument
492 	transpose_4x4(x0, x1, x2, x3, t0, t1, t2) \
494 	movdqu x0, (0*4*4)(out); \
499 #define xor_blocks(out, x0, x1, x2, x3, t0, t1, t2) \  argument
500 	transpose_4x4(x0, x1, x2, x3, t0, t1, t2) \
503 	pxor t0,		x0; \
504 	movdqu x0,		(0*4*4)(out); \