[llvm] 580b6dc - [X86] Enable custom lowering of 256/512-bit vXi32 and vXi64 CLMUL nodes (#177554)
via llvm-commits
llvm-commits at lists.llvm.org
Fri Jan 23 02:04:06 PST 2026
Author: Simon Pilgrim
Date: 2026-01-23T10:03:56Z
New Revision: 580b6dc05accfa32c0e46cc4a88787016ef7bbfe
URL: https://github.com/llvm/llvm-project/commit/580b6dc05accfa32c0e46cc4a88787016ef7bbfe
DIFF: https://github.com/llvm/llvm-project/commit/580b6dc05accfa32c0e46cc4a88787016ef7bbfe.diff
LOG: [X86] Enable custom lowering of 256/512-bit vXi32 and vXi64 CLMUL nodes (#177554)
Similar to 128-bit v4i32/v2i64 support, these are can now be efficiently
lowered to PCLMUL nodes through unrolling, shuffle combining and
concatenation
If the target only supports PCLMUL then they will remain as 128-bit
nodes, but if VPCLMULQDQ is supported then they should merge into wider
types.
Added:
Modified:
llvm/lib/Target/X86/X86ISelLowering.cpp
llvm/test/CodeGen/X86/clmul-vector-256.ll
llvm/test/CodeGen/X86/clmul-vector-512.ll
llvm/test/CodeGen/X86/clmul-vector.ll
Removed:
################################################################################
diff --git a/llvm/lib/Target/X86/X86ISelLowering.cpp b/llvm/lib/Target/X86/X86ISelLowering.cpp
index 7a661225404b1..9291bf5c20ede 100644
--- a/llvm/lib/Target/X86/X86ISelLowering.cpp
+++ b/llvm/lib/Target/X86/X86ISelLowering.cpp
@@ -1713,6 +1713,14 @@ X86TargetLowering::X86TargetLowering(const X86TargetMachine &TM,
setOperationAction(ISD::FMUL, MVT::v16f16, Expand);
setOperationAction(ISD::FDIV, MVT::v16f16, Expand);
+ // Only PCLMUL required as we always unroll clmul vectors.
+ if (Subtarget.hasPCLMUL()) {
+ for (auto VT : {MVT::v8i32, MVT::v4i64}) {
+ setOperationAction(ISD::CLMUL, VT, Custom);
+ setOperationAction(ISD::CLMULH, VT, Custom);
+ }
+ }
+
if (HasInt256) {
setOperationAction(ISD::VSELECT, MVT::v32i8, Legal);
@@ -2112,6 +2120,14 @@ X86TargetLowering::X86TargetLowering(const X86TargetMachine &TM,
setOperationAction(ISD::ROTR, MVT::v32i16, Custom);
}
+ // Only PCLMUL required as we always unroll clmul vectors.
+ if (Subtarget.hasPCLMUL()) {
+ for (auto VT : {MVT::v16i32, MVT::v8i64}) {
+ setOperationAction(ISD::CLMUL, VT, Custom);
+ setOperationAction(ISD::CLMULH, VT, Custom);
+ }
+ }
+
setOperationAction(ISD::FNEG, MVT::v32f16, Custom);
setOperationAction(ISD::FABS, MVT::v32f16, Custom);
setOperationAction(ISD::FCOPYSIGN, MVT::v32f16, Custom);
diff --git a/llvm/test/CodeGen/X86/clmul-vector-256.ll b/llvm/test/CodeGen/X86/clmul-vector-256.ll
index e4b15235761fe..b020704b63a5b 100644
--- a/llvm/test/CodeGen/X86/clmul-vector-256.ll
+++ b/llvm/test/CodeGen/X86/clmul-vector-256.ll
@@ -1,7 +1,7 @@
; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx,+pclmul | FileCheck %s --check-prefixes=AVX1
-; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx2,+pclmul | FileCheck %s --check-prefixes=AVX2
-; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx2,+vpclmulqdq | FileCheck %s --check-prefixes=AVX2
+; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx2,+pclmul | FileCheck %s --check-prefixes=AVX2,AVX2-PCLMUL
+; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx2,+vpclmulqdq | FileCheck %s --check-prefixes=AVX2,AVX2-VPCLMULQDQ
; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx512vl,+vpclmulqdq | FileCheck %s --check-prefixes=AVX512
define <32 x i8> @clmul_v32i8(<32 x i8> %a, <32 x i8> %b) nounwind {
@@ -465,413 +465,101 @@ define <16 x i16> @clmul_v16i16(<16 x i16> %a, <16 x i16> %b) nounwind {
define <8 x i32> @clmul_v8i32(<8 x i32> %a, <8 x i32> %b) nounwind {
; AVX1-LABEL: clmul_v8i32:
; AVX1: # %bb.0:
-; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
-; AVX1-NEXT: vextractf128 $1, %ymm3, %xmm4
-; AVX1-NEXT: vpmulld %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpmulld %xmm3, %xmm0, %xmm3
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpmulld %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm3, %ymm4, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpmulld %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpmulld %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpmulld %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpmulld %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpmulld %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpmulld %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpmulld %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm6
-; AVX1-NEXT: vpmulld %xmm6, %xmm2, %xmm6
-; AVX1-NEXT: vpmulld %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1
-; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm5
-; AVX1-NEXT: vpmulld %xmm5, %xmm2, %xmm2
-; AVX1-NEXT: vpmulld %xmm1, %xmm0, %xmm0
+; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
+; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm3
+; AVX1-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm4
+; AVX1-NEXT: vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
+; AVX1-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX1-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX1-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX1-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm5
+; AVX1-NEXT: vmovq %xmm5, %rax
+; AVX1-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX1-NEXT: vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
+; AVX1-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX1-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX1-NEXT: vmovq %xmm2, %rax
+; AVX1-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2
+; AVX1-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm3
+; AVX1-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
+; AVX1-NEXT: vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
+; AVX1-NEXT: vpclmulqdq $0, %xmm4, %xmm5, %xmm4
+; AVX1-NEXT: vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
+; AVX1-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm4
+; AVX1-NEXT: vmovq %xmm4, %rax
+; AVX1-NEXT: vpinsrd $2, %eax, %xmm3, %xmm3
+; AVX1-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
+; AVX1-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
+; AVX1-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX1-NEXT: vmovq %xmm0, %rax
+; AVX1-NEXT: vpinsrd $3, %eax, %xmm3, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
-; AVX1-NEXT: vxorps %ymm0, %ymm4, %ymm0
-; AVX1-NEXT: vxorps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: clmul_v8i32:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm2 = [2,2,2,2,2,2,2,2]
-; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm2
-; AVX2-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [1,1,1,1,1,1,1,1]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpxor %ymm2, %ymm3, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [4,4,4,4,4,4,4,4]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [8,8,8,8,8,8,8,8]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [16,16,16,16,16,16,16,16]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [32,32,32,32,32,32,32,32]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [64,64,64,64,64,64,64,64]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [128,128,128,128,128,128,128,128]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [256,256,256,256,256,256,256,256]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [512,512,512,512,512,512,512,512]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [1024,1024,1024,1024,1024,1024,1024,1024]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [2048,2048,2048,2048,2048,2048,2048,2048]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [4096,4096,4096,4096,4096,4096,4096,4096]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [8192,8192,8192,8192,8192,8192,8192,8192]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [16384,16384,16384,16384,16384,16384,16384,16384]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [32768,32768,32768,32768,32768,32768,32768,32768]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [65536,65536,65536,65536,65536,65536,65536,65536]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [131072,131072,131072,131072,131072,131072,131072,131072]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [262144,262144,262144,262144,262144,262144,262144,262144]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [524288,524288,524288,524288,524288,524288,524288,524288]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [1048576,1048576,1048576,1048576,1048576,1048576,1048576,1048576]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [2097152,2097152,2097152,2097152,2097152,2097152,2097152,2097152]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [4194304,4194304,4194304,4194304,4194304,4194304,4194304,4194304]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [8388608,8388608,8388608,8388608,8388608,8388608,8388608,8388608]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [16777216,16777216,16777216,16777216,16777216,16777216,16777216,16777216]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [33554432,33554432,33554432,33554432,33554432,33554432,33554432,33554432]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [67108864,67108864,67108864,67108864,67108864,67108864,67108864,67108864]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [134217728,134217728,134217728,134217728,134217728,134217728,134217728,134217728]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [268435456,268435456,268435456,268435456,268435456,268435456,268435456,268435456]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [536870912,536870912,536870912,536870912,536870912,536870912,536870912,536870912]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [1073741824,1073741824,1073741824,1073741824,1073741824,1073741824,1073741824,1073741824]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [2147483648,2147483648,2147483648,2147483648,2147483648,2147483648,2147483648,2147483648]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm1
-; AVX2-NEXT: vpmulld %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpxor %ymm0, %ymm3, %ymm0
-; AVX2-NEXT: vpxor %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
+; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm3
+; AVX2-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm4
+; AVX2-NEXT: vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX2-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX2-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX2-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm5
+; AVX2-NEXT: vmovq %xmm5, %rax
+; AVX2-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX2-NEXT: vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX2-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX2-NEXT: vmovq %xmm2, %rax
+; AVX2-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2
+; AVX2-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm3
+; AVX2-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
+; AVX2-NEXT: vpclmulqdq $0, %xmm4, %xmm5, %xmm4
+; AVX2-NEXT: vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
+; AVX2-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm4
+; AVX2-NEXT: vmovq %xmm4, %rax
+; AVX2-NEXT: vpinsrd $2, %eax, %xmm3, %xmm3
+; AVX2-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
+; AVX2-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX2-NEXT: vmovq %xmm0, %rax
+; AVX2-NEXT: vpinsrd $3, %eax, %xmm3, %xmm0
+; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; AVX512-LABEL: clmul_v8i32:
; AVX512: # %bb.0:
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpxor %ymm2, %ymm3, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm1
-; AVX512-NEXT: vpmulld %ymm1, %ymm0, %ymm0
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
+; AVX512-NEXT: vextracti128 $1, %ymm1, %xmm2
+; AVX512-NEXT: vextracti128 $1, %ymm0, %xmm3
+; AVX512-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm5
+; AVX512-NEXT: vmovq %xmm5, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX512-NEXT: vmovq %xmm2, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2
+; AVX512-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm3
+; AVX512-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm4, %xmm5, %xmm4
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm4
+; AVX512-NEXT: vmovq %xmm4, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm3, %xmm3
+; AVX512-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX512-NEXT: vmovq %xmm0, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm3, %xmm0
+; AVX512-NEXT: vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT: retq
%res = call <8 x i32> @llvm.clmul.v8i32(<8 x i32> %a, <8 x i32> %b)
ret <8 x i32> %res
@@ -880,1398 +568,42 @@ define <8 x i32> @clmul_v8i32(<8 x i32> %a, <8 x i32> %b) nounwind {
define <4 x i64> @clmul_v4i64(<4 x i64> %a, <4 x i64> %b) nounwind {
; AVX1-LABEL: clmul_v4i64:
; AVX1: # %bb.0:
-; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm2
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm6
-; AVX1-NEXT: vpsrlq $32, %xmm2, %xmm3
-; AVX1-NEXT: vpmuludq %xmm4, %xmm3, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpor %xmm4, %xmm6, %xmm6
-; AVX1-NEXT: vpmuludq %xmm5, %xmm0, %xmm7
-; AVX1-NEXT: vpsrlq $32, %xmm0, %xmm4
-; AVX1-NEXT: vpmuludq %xmm5, %xmm4, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpor %xmm5, %xmm7, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm6, %ymm5, %ymm5
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm6
-; AVX1-NEXT: vextractf128 $1, %ymm6, %xmm7
-; AVX1-NEXT: vpmuludq %xmm7, %xmm2, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm3, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm8, %xmm7
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm6, %xmm4, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vpor %xmm6, %xmm8, %xmm6
-; AVX1-NEXT: vinsertf128 $1, %xmm7, %ymm6, %ymm6
-; AVX1-NEXT: vxorps %ymm5, %ymm6, %ymm5
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm6
-; AVX1-NEXT: vextractf128 $1, %ymm6, %xmm7
-; AVX1-NEXT: vpmuludq %xmm7, %xmm2, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm3, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm8, %xmm7
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm6, %xmm4, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vpor %xmm6, %xmm8, %xmm6
-; AVX1-NEXT: vinsertf128 $1, %xmm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vxorps %ymm6, %ymm5, %ymm5
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm6
-; AVX1-NEXT: vextractf128 $1, %ymm6, %xmm7
-; AVX1-NEXT: vpmuludq %xmm7, %xmm2, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm3, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm8, %xmm7
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm6, %xmm4, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vpor %xmm6, %xmm8, %xmm6
-; AVX1-NEXT: vinsertf128 $1, %xmm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vxorps %ymm6, %ymm5, %ymm5
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm6
-; AVX1-NEXT: vextractf128 $1, %ymm6, %xmm7
-; AVX1-NEXT: vpmuludq %xmm7, %xmm2, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm3, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm8, %xmm7
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm6, %xmm4, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vpor %xmm6, %xmm8, %xmm6
-; AVX1-NEXT: vinsertf128 $1, %xmm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vxorps %ymm6, %ymm5, %ymm5
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm6
-; AVX1-NEXT: vextractf128 $1, %ymm6, %xmm7
-; AVX1-NEXT: vpmuludq %xmm7, %xmm2, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm3, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm8, %xmm7
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm6, %xmm4, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vpor %xmm6, %xmm8, %xmm6
-; AVX1-NEXT: vinsertf128 $1, %xmm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vxorps %ymm6, %ymm5, %ymm5
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm6
-; AVX1-NEXT: vextractf128 $1, %ymm6, %xmm7
-; AVX1-NEXT: vpmuludq %xmm7, %xmm2, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm3, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm8, %xmm7
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm6, %xmm4, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vpor %xmm6, %xmm8, %xmm6
-; AVX1-NEXT: vinsertf128 $1, %xmm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vxorps %ymm6, %ymm5, %ymm5
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm6
-; AVX1-NEXT: vextractf128 $1, %ymm6, %xmm7
-; AVX1-NEXT: vpmuludq %xmm7, %xmm2, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm3, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm8, %xmm7
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm6, %xmm4, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vpor %xmm6, %xmm8, %xmm6
-; AVX1-NEXT: vinsertf128 $1, %xmm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vxorps %ymm6, %ymm5, %ymm5
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm6
-; AVX1-NEXT: vextractf128 $1, %ymm6, %xmm7
-; AVX1-NEXT: vpmuludq %xmm7, %xmm2, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm3, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm8, %xmm7
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm6, %xmm4, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vpor %xmm6, %xmm8, %xmm6
-; AVX1-NEXT: vinsertf128 $1, %xmm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm8
-; AVX1-NEXT: vpsllq $32, %xmm8, %xmm8
-; AVX1-NEXT: vpor %xmm8, %xmm9, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm9
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm7
-; AVX1-NEXT: vpsllq $32, %xmm7, %xmm7
-; AVX1-NEXT: vpor %xmm7, %xmm9, %xmm7
-; AVX1-NEXT: vinsertf128 $1, %xmm8, %ymm7, %ymm7
-; AVX1-NEXT: vxorps %ymm7, %ymm6, %ymm6
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm7
-; AVX1-NEXT: vextractf128 $1, %ymm7, %xmm8
-; AVX1-NEXT: vpmuludq %xmm2, %xmm8, %xmm9
-; AVX1-NEXT: vpmuludq %xmm3, %xmm8, %xmm3
-; AVX1-NEXT: vpsllq $32, %xmm3, %xmm3
-; AVX1-NEXT: vpor %xmm3, %xmm9, %xmm3
-; AVX1-NEXT: vpmuludq %xmm7, %xmm0, %xmm8
-; AVX1-NEXT: vpmuludq %xmm7, %xmm4, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpor %xmm4, %xmm8, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vxorps %ymm3, %ymm6, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm6, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm6, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm6, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm6, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm6, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vxorps %ymm3, %ymm5, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm5, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm5, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vxorps %ymm4, %ymm3, %ymm3
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm0, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vextractf128 $1, %ymm4, %xmm4
-; AVX1-NEXT: vpsrlq $32, %xmm4, %xmm4
-; AVX1-NEXT: vpmuludq %xmm4, %xmm2, %xmm4
-; AVX1-NEXT: vpsllq $32, %xmm4, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm4, %ymm5, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm6
-; AVX1-NEXT: vpmuludq %xmm6, %xmm0, %xmm6
-; AVX1-NEXT: vpsllq $32, %xmm6, %xmm6
-; AVX1-NEXT: vextractf128 $1, %ymm5, %xmm5
-; AVX1-NEXT: vpsrlq $32, %xmm5, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm2, %xmm5
-; AVX1-NEXT: vpsllq $32, %xmm5, %xmm5
-; AVX1-NEXT: vinsertf128 $1, %xmm5, %ymm6, %ymm5
-; AVX1-NEXT: vxorps %ymm5, %ymm4, %ymm4
-; AVX1-NEXT: vandps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1
-; AVX1-NEXT: vpsrlq $32, %xmm1, %xmm5
-; AVX1-NEXT: vpmuludq %xmm5, %xmm0, %xmm0
-; AVX1-NEXT: vpsllq $32, %xmm0, %xmm0
-; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm1
-; AVX1-NEXT: vpsrlq $32, %xmm1, %xmm1
-; AVX1-NEXT: vpmuludq %xmm1, %xmm2, %xmm1
-; AVX1-NEXT: vpsllq $32, %xmm1, %xmm1
-; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vxorps %ymm0, %ymm4, %ymm0
-; AVX1-NEXT: vxorps %ymm0, %ymm3, %ymm0
+; AVX1-NEXT: vextractf128 $1, %ymm1, %xmm2
+; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm3
+; AVX1-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm4
+; AVX1-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX1-NEXT: vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm4[0]
+; AVX1-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm3
+; AVX1-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX1-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm3[0]
+; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm0, %ymm0
; AVX1-NEXT: retq
;
-; AVX2-LABEL: clmul_v4i64:
-; AVX2: # %bb.0:
-; AVX2-NEXT: subq $584, %rsp # imm = 0x248
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm2 = [2,2,2,2]
-; AVX2-NEXT: vmovdqu %ymm2, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm2
-; AVX2-NEXT: vpmuludq %ymm2, %ymm0, %ymm3
-; AVX2-NEXT: vpsrlq $32, %ymm0, %ymm6
-; AVX2-NEXT: vpmuludq %ymm2, %ymm6, %ymm2
-; AVX2-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX2-NEXT: vpor %ymm2, %ymm3, %ymm2
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [1,1,1,1]
-; AVX2-NEXT: vmovdqu %ymm3, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpmuludq %ymm3, %ymm6, %ymm3
-; AVX2-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX2-NEXT: vpor %ymm3, %ymm4, %ymm3
-; AVX2-NEXT: vpxor %ymm2, %ymm3, %ymm2
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [4,4,4,4]
-; AVX2-NEXT: vmovdqu %ymm3, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpmuludq %ymm3, %ymm6, %ymm3
-; AVX2-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX2-NEXT: vpor %ymm3, %ymm4, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [8,8,8,8]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [16,16,16,16]
-; AVX2-NEXT: vmovdqu %ymm3, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpmuludq %ymm3, %ymm6, %ymm3
-; AVX2-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX2-NEXT: vpor %ymm3, %ymm4, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [32,32,32,32]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [64,64,64,64]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [128,128,128,128]
-; AVX2-NEXT: vmovdqu %ymm3, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpmuludq %ymm3, %ymm6, %ymm3
-; AVX2-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX2-NEXT: vpor %ymm3, %ymm4, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [256,256,256,256]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [512,512,512,512]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [1024,1024,1024,1024]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [2048,2048,2048,2048]
-; AVX2-NEXT: vmovdqu %ymm3, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpmuludq %ymm3, %ymm6, %ymm3
-; AVX2-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX2-NEXT: vpor %ymm3, %ymm4, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [4096,4096,4096,4096]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [8192,8192,8192,8192]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [16384,16384,16384,16384]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [32768,32768,32768,32768]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [65536,65536,65536,65536]
-; AVX2-NEXT: vmovdqu %ymm3, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpmuludq %ymm3, %ymm6, %ymm3
-; AVX2-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX2-NEXT: vpor %ymm3, %ymm4, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [131072,131072,131072,131072]
-; AVX2-NEXT: vmovdqu %ymm4, (%rsp) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [262144,262144,262144,262144]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [524288,524288,524288,524288]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [1048576,1048576,1048576,1048576]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm4 = [2097152,2097152,2097152,2097152]
-; AVX2-NEXT: vmovdqu %ymm4, {{[-0-9]+}}(%r{{[sb]}}p) # 32-byte Spill
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm15 = [4194304,4194304,4194304,4194304]
-; AVX2-NEXT: vpand %ymm1, %ymm15, %ymm3
-; AVX2-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpmuludq %ymm3, %ymm6, %ymm3
-; AVX2-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX2-NEXT: vpor %ymm3, %ymm4, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm14 = [8388608,8388608,8388608,8388608]
-; AVX2-NEXT: vpand %ymm1, %ymm14, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm13 = [16777216,16777216,16777216,16777216]
-; AVX2-NEXT: vpand %ymm1, %ymm13, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm12 = [33554432,33554432,33554432,33554432]
-; AVX2-NEXT: vpand %ymm1, %ymm12, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm11 = [67108864,67108864,67108864,67108864]
-; AVX2-NEXT: vpand %ymm1, %ymm11, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm10 = [134217728,134217728,134217728,134217728]
-; AVX2-NEXT: vpand %ymm1, %ymm10, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm9 = [268435456,268435456,268435456,268435456]
-; AVX2-NEXT: vpand %ymm1, %ymm9, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm5
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpor %ymm4, %ymm5, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm5
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm8 = [536870912,536870912,536870912,536870912]
-; AVX2-NEXT: vpand %ymm1, %ymm8, %ymm3
-; AVX2-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpmuludq %ymm3, %ymm6, %ymm3
-; AVX2-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX2-NEXT: vpor %ymm3, %ymm4, %ymm4
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm7 = [1073741824,1073741824,1073741824,1073741824]
-; AVX2-NEXT: vpand %ymm7, %ymm1, %ymm2
-; AVX2-NEXT: vpmuludq %ymm2, %ymm0, %ymm3
-; AVX2-NEXT: vpmuludq %ymm2, %ymm6, %ymm2
-; AVX2-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX2-NEXT: vpor %ymm2, %ymm3, %ymm2
-; AVX2-NEXT: vpxor %ymm2, %ymm4, %ymm2
-; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [2147483648,2147483648,2147483648,2147483648]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm6, %ymm6
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm6, %ymm6
-; AVX2-NEXT: vpor %ymm6, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpsrlq $32, %ymm1, %ymm1
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpxor %ymm2, %ymm5, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm5 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm6
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm2 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX2-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand (%rsp), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand {{[-0-9]+}}(%r{{[sb]}}p), %ymm1, %ymm4 # 32-byte Folded Reload
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand %ymm1, %ymm15, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand %ymm1, %ymm14, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand %ymm1, %ymm13, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpand %ymm1, %ymm12, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm2
-; AVX2-NEXT: vpxor %ymm2, %ymm6, %ymm2
-; AVX2-NEXT: vpand %ymm1, %ymm11, %ymm4
-; AVX2-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX2-NEXT: vpand %ymm1, %ymm10, %ymm5
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand %ymm1, %ymm9, %ymm5
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand %ymm1, %ymm8, %ymm5
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand %ymm7, %ymm1, %ymm5
-; AVX2-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX2-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm1
-; AVX2-NEXT: vpmuludq %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpsllq $32, %ymm0, %ymm0
-; AVX2-NEXT: vpxor %ymm0, %ymm4, %ymm0
-; AVX2-NEXT: vpxor %ymm0, %ymm2, %ymm0
-; AVX2-NEXT: addq $584, %rsp # imm = 0x248
-; AVX2-NEXT: retq
+; AVX2-PCLMUL-LABEL: clmul_v4i64:
+; AVX2-PCLMUL: # %bb.0:
+; AVX2-PCLMUL-NEXT: vextracti128 $1, %ymm1, %xmm2
+; AVX2-PCLMUL-NEXT: vextracti128 $1, %ymm0, %xmm3
+; AVX2-PCLMUL-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm4
+; AVX2-PCLMUL-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm5
+; AVX2-PCLMUL-NEXT: vinserti128 $1, %xmm4, %ymm5, %ymm4
+; AVX2-PCLMUL-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX2-PCLMUL-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX2-PCLMUL-NEXT: vinserti128 $1, %xmm2, %ymm0, %ymm0
+; AVX2-PCLMUL-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm4[0],ymm0[2],ymm4[2]
+; AVX2-PCLMUL-NEXT: retq
+;
+; AVX2-VPCLMULQDQ-LABEL: clmul_v4i64:
+; AVX2-VPCLMULQDQ: # %bb.0:
+; AVX2-VPCLMULQDQ-NEXT: vpclmulqdq $17, %ymm1, %ymm0, %ymm2
+; AVX2-VPCLMULQDQ-NEXT: vpclmulqdq $0, %ymm1, %ymm0, %ymm0
+; AVX2-VPCLMULQDQ-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
+; AVX2-VPCLMULQDQ-NEXT: retq
;
; AVX512-LABEL: clmul_v4i64:
; AVX512: # %bb.0:
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm3
-; AVX512-NEXT: vpsrlq $32, %ymm0, %ymm5
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpor %ymm2, %ymm3, %ymm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm8 = [32,32,32,32]
-; AVX512-NEXT: vpand %ymm1, %ymm8, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm9 = [64,64,64,64]
-; AVX512-NEXT: vpand %ymm1, %ymm9, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm10 = [128,128,128,128]
-; AVX512-NEXT: vpand %ymm1, %ymm10, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm11 = [256,256,256,256]
-; AVX512-NEXT: vpand %ymm1, %ymm11, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm12 = [512,512,512,512]
-; AVX512-NEXT: vpand %ymm1, %ymm12, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm13 = [1024,1024,1024,1024]
-; AVX512-NEXT: vpand %ymm1, %ymm13, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm14 = [2048,2048,2048,2048]
-; AVX512-NEXT: vpand %ymm1, %ymm14, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm15 = [4096,4096,4096,4096]
-; AVX512-NEXT: vpand %ymm1, %ymm15, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm16 = [8192,8192,8192,8192]
-; AVX512-NEXT: vpandq %ymm16, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm17 = [16384,16384,16384,16384]
-; AVX512-NEXT: vpandq %ymm17, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm18 = [32768,32768,32768,32768]
-; AVX512-NEXT: vpandq %ymm18, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm19 = [65536,65536,65536,65536]
-; AVX512-NEXT: vpandq %ymm19, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm20 = [131072,131072,131072,131072]
-; AVX512-NEXT: vpandq %ymm20, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm21 = [262144,262144,262144,262144]
-; AVX512-NEXT: vpandq %ymm21, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm22 = [524288,524288,524288,524288]
-; AVX512-NEXT: vpandq %ymm22, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm23 = [1048576,1048576,1048576,1048576]
-; AVX512-NEXT: vpandq %ymm23, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm24 = [2097152,2097152,2097152,2097152]
-; AVX512-NEXT: vpandq %ymm24, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm25 = [4194304,4194304,4194304,4194304]
-; AVX512-NEXT: vpandq %ymm25, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm26 = [8388608,8388608,8388608,8388608]
-; AVX512-NEXT: vpandq %ymm26, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm27 = [16777216,16777216,16777216,16777216]
-; AVX512-NEXT: vpandq %ymm27, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm28 = [33554432,33554432,33554432,33554432]
-; AVX512-NEXT: vpandq %ymm28, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm29 = [67108864,67108864,67108864,67108864]
-; AVX512-NEXT: vpandq %ymm29, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm30 = [134217728,134217728,134217728,134217728]
-; AVX512-NEXT: vpandq %ymm30, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm31 = [268435456,268435456,268435456,268435456]
-; AVX512-NEXT: vpandq %ymm31, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm7 = [536870912,536870912,536870912,536870912]
-; AVX512-NEXT: vpand %ymm7, %ymm1, %ymm3
-; AVX512-NEXT: vpmuludq %ymm3, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm3, %ymm5, %ymm3
-; AVX512-NEXT: vpsllq $32, %ymm3, %ymm3
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm3 = ymm2 ^ (ymm3 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm6 = [1073741824,1073741824,1073741824,1073741824]
-; AVX512-NEXT: vpand %ymm6, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm4
-; AVX512-NEXT: vpmuludq %ymm2, %ymm5, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm2 = ymm3 ^ (ymm2 | ymm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} ymm3 = [2147483648,2147483648,2147483648,2147483648]
-; AVX512-NEXT: vpand %ymm3, %ymm1, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm5, %ymm5
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm5 = ymm2 ^ (ymm5 | ymm4)
-; AVX512-NEXT: vpsrlq $32, %ymm1, %ymm1
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm5 ^ ymm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm5
-; AVX512-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX512-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm5 = ymm5 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpand %ymm1, %ymm8, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm5 ^ ymm2
-; AVX512-NEXT: vpand %ymm1, %ymm9, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpand %ymm1, %ymm10, %ymm5
-; AVX512-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX512-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm5 = ymm5 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpand %ymm1, %ymm11, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpand %ymm1, %ymm12, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm5 ^ ymm2
-; AVX512-NEXT: vpand %ymm1, %ymm13, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpand %ymm1, %ymm14, %ymm5
-; AVX512-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX512-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm5 = ymm5 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpand %ymm1, %ymm15, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq %ymm16, %ymm1, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm5 ^ ymm2
-; AVX512-NEXT: vpandq %ymm17, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq %ymm18, %ymm1, %ymm5
-; AVX512-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX512-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm5 = ymm5 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandq %ymm19, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq %ymm20, %ymm1, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm5 ^ ymm2
-; AVX512-NEXT: vpandq %ymm21, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq %ymm22, %ymm1, %ymm5
-; AVX512-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX512-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm5 = ymm5 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandq %ymm23, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq %ymm24, %ymm1, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm5 ^ ymm2
-; AVX512-NEXT: vpandq %ymm25, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq %ymm26, %ymm1, %ymm5
-; AVX512-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX512-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm5 = ymm5 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandq %ymm27, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq %ymm28, %ymm1, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm5 ^ ymm2
-; AVX512-NEXT: vpandq %ymm29, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpandq %ymm30, %ymm1, %ymm5
-; AVX512-NEXT: vpmuludq %ymm5, %ymm0, %ymm5
-; AVX512-NEXT: vpsllq $32, %ymm5, %ymm5
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm5 = ymm5 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandq %ymm31, %ymm1, %ymm2
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm2
-; AVX512-NEXT: vpand %ymm7, %ymm1, %ymm4
-; AVX512-NEXT: vpmuludq %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpsllq $32, %ymm4, %ymm4
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm5 ^ ymm2
-; AVX512-NEXT: vpand %ymm6, %ymm1, %ymm2
-; AVX512-NEXT: vpand %ymm3, %ymm1, %ymm1
-; AVX512-NEXT: vpmuludq %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpmuludq %ymm1, %ymm0, %ymm0
-; AVX512-NEXT: vpsllq $32, %ymm2, %ymm1
-; AVX512-NEXT: vpsllq $32, %ymm0, %ymm0
-; AVX512-NEXT: vpternlogq {{.*#+}} ymm0 = ymm0 ^ ymm4 ^ ymm1
+; AVX512-NEXT: vpclmulqdq $17, %ymm1, %ymm0, %ymm2
+; AVX512-NEXT: vpclmulqdq $0, %ymm1, %ymm0, %ymm0
+; AVX512-NEXT: vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
; AVX512-NEXT: retq
%res = call <4 x i64> @llvm.clmul.v4i64(<4 x i64> %a, <4 x i64> %b)
ret <4 x i64> %res
diff --git a/llvm/test/CodeGen/X86/clmul-vector-512.ll b/llvm/test/CodeGen/X86/clmul-vector-512.ll
index af046871745ad..92b81de640a9c 100644
--- a/llvm/test/CodeGen/X86/clmul-vector-512.ll
+++ b/llvm/test/CodeGen/X86/clmul-vector-512.ll
@@ -223,86 +223,67 @@ define <32 x i16> @clmul_v32i16(<32 x i16> %a, <32 x i16> %b) nounwind {
define <16 x i32> @clmul_v16i32(<16 x i32> %a, <16 x i32> %b) nounwind {
; AVX512-LABEL: clmul_v16i32:
; AVX512: # %bb.0:
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpxord %zmm2, %zmm3, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm4
-; AVX512-NEXT: vpmulld %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm4 = zmm4 ^ zmm2 ^ zmm3
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm3 = zmm3 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm4
-; AVX512-NEXT: vpmulld %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm4 = zmm4 ^ zmm3 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm3 = zmm3 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm4
-; AVX512-NEXT: vpmulld %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm4 = zmm4 ^ zmm3 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm3 = zmm3 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm4
-; AVX512-NEXT: vpmulld %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm4 = zmm4 ^ zmm3 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm3 = zmm3 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm4
-; AVX512-NEXT: vpmulld %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm4 = zmm4 ^ zmm3 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm3 = zmm3 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm4
-; AVX512-NEXT: vpmulld %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm4 = zmm4 ^ zmm3 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm3 = zmm3 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm4
-; AVX512-NEXT: vpmulld %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm4 = zmm4 ^ zmm3 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm3
-; AVX512-NEXT: vpmulld %zmm3, %zmm0, %zmm3
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm3 = zmm3 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm2
-; AVX512-NEXT: vpmulld %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm1, %zmm1
-; AVX512-NEXT: vpmulld %zmm1, %zmm0, %zmm0
-; AVX512-NEXT: vpternlogd {{.*#+}} zmm0 = zmm0 ^ zmm3 ^ zmm2
+; AVX512-NEXT: vextracti32x4 $3, %zmm1, %xmm2
+; AVX512-NEXT: vextracti32x4 $3, %zmm0, %xmm3
+; AVX512-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm5
+; AVX512-NEXT: vmovq %xmm5, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX512-NEXT: vmovq %xmm2, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2
+; AVX512-NEXT: vextracti32x4 $2, %zmm1, %xmm3
+; AVX512-NEXT: vextracti32x4 $2, %zmm0, %xmm4
+; AVX512-NEXT: vpclmulqdq $0, %xmm3, %xmm4, %xmm5
+; AVX512-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm7 = xmm4[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm6, %xmm7, %xmm6
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm5 = xmm5[0],xmm6[0],xmm5[1],xmm6[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm3, %xmm4, %xmm6
+; AVX512-NEXT: vmovq %xmm6, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm5, %xmm5
+; AVX512-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm4 = xmm4[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm3, %xmm4, %xmm3
+; AVX512-NEXT: vmovq %xmm3, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm5, %xmm3
+; AVX512-NEXT: vinserti128 $1, %xmm2, %ymm3, %ymm2
+; AVX512-NEXT: vextracti128 $1, %ymm1, %xmm3
+; AVX512-NEXT: vextracti128 $1, %ymm0, %xmm4
+; AVX512-NEXT: vpclmulqdq $0, %xmm3, %xmm4, %xmm5
+; AVX512-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm7 = xmm4[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm6, %xmm7, %xmm6
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm5 = xmm5[0],xmm6[0],xmm5[1],xmm6[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm3, %xmm4, %xmm6
+; AVX512-NEXT: vmovq %xmm6, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm5, %xmm5
+; AVX512-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm4 = xmm4[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm3, %xmm4, %xmm3
+; AVX512-NEXT: vmovq %xmm3, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm5, %xmm3
+; AVX512-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm5 = xmm1[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm6 = xmm0[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm5
+; AVX512-NEXT: vmovq %xmm5, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX512-NEXT: vmovq %xmm0, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm4, %xmm0
+; AVX512-NEXT: vinserti128 $1, %xmm3, %ymm0, %ymm0
+; AVX512-NEXT: vinserti64x4 $1, %ymm2, %zmm0, %zmm0
; AVX512-NEXT: retq
%res = call <16 x i32> @llvm.clmul.v16i32(<16 x i32> %a, <16 x i32> %b)
ret <16 x i32> %res
@@ -311,307 +292,9 @@ define <16 x i32> @clmul_v16i32(<16 x i32> %a, <16 x i32> %b) nounwind {
define <8 x i64> @clmul_v8i64(<8 x i64> %a, <8 x i64> %b) nounwind {
; AVX512-LABEL: clmul_v8i64:
; AVX512: # %bb.0:
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm3
-; AVX512-NEXT: vpsrlq $32, %zmm0, %zmm5
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vporq %zmm2, %zmm3, %zmm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm8 = [32,32,32,32,32,32,32,32]
-; AVX512-NEXT: vpandq %zmm8, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm9 = [64,64,64,64,64,64,64,64]
-; AVX512-NEXT: vpandq %zmm9, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm10 = [128,128,128,128,128,128,128,128]
-; AVX512-NEXT: vpandq %zmm10, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm11 = [256,256,256,256,256,256,256,256]
-; AVX512-NEXT: vpandq %zmm11, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm12 = [512,512,512,512,512,512,512,512]
-; AVX512-NEXT: vpandq %zmm12, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm13 = [1024,1024,1024,1024,1024,1024,1024,1024]
-; AVX512-NEXT: vpandq %zmm13, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm14 = [2048,2048,2048,2048,2048,2048,2048,2048]
-; AVX512-NEXT: vpandq %zmm14, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm15 = [4096,4096,4096,4096,4096,4096,4096,4096]
-; AVX512-NEXT: vpandq %zmm15, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm16 = [8192,8192,8192,8192,8192,8192,8192,8192]
-; AVX512-NEXT: vpandq %zmm16, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm17 = [16384,16384,16384,16384,16384,16384,16384,16384]
-; AVX512-NEXT: vpandq %zmm17, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm18 = [32768,32768,32768,32768,32768,32768,32768,32768]
-; AVX512-NEXT: vpandq %zmm18, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm19 = [65536,65536,65536,65536,65536,65536,65536,65536]
-; AVX512-NEXT: vpandq %zmm19, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm20 = [131072,131072,131072,131072,131072,131072,131072,131072]
-; AVX512-NEXT: vpandq %zmm20, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm21 = [262144,262144,262144,262144,262144,262144,262144,262144]
-; AVX512-NEXT: vpandq %zmm21, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm22 = [524288,524288,524288,524288,524288,524288,524288,524288]
-; AVX512-NEXT: vpandq %zmm22, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm23 = [1048576,1048576,1048576,1048576,1048576,1048576,1048576,1048576]
-; AVX512-NEXT: vpandq %zmm23, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm24 = [2097152,2097152,2097152,2097152,2097152,2097152,2097152,2097152]
-; AVX512-NEXT: vpandq %zmm24, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm25 = [4194304,4194304,4194304,4194304,4194304,4194304,4194304,4194304]
-; AVX512-NEXT: vpandq %zmm25, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm26 = [8388608,8388608,8388608,8388608,8388608,8388608,8388608,8388608]
-; AVX512-NEXT: vpandq %zmm26, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm27 = [16777216,16777216,16777216,16777216,16777216,16777216,16777216,16777216]
-; AVX512-NEXT: vpandq %zmm27, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm28 = [33554432,33554432,33554432,33554432,33554432,33554432,33554432,33554432]
-; AVX512-NEXT: vpandq %zmm28, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm29 = [67108864,67108864,67108864,67108864,67108864,67108864,67108864,67108864]
-; AVX512-NEXT: vpandq %zmm29, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm30 = [134217728,134217728,134217728,134217728,134217728,134217728,134217728,134217728]
-; AVX512-NEXT: vpandq %zmm30, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm31 = [268435456,268435456,268435456,268435456,268435456,268435456,268435456,268435456]
-; AVX512-NEXT: vpandq %zmm31, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm7 = [536870912,536870912,536870912,536870912,536870912,536870912,536870912,536870912]
-; AVX512-NEXT: vpandq %zmm7, %zmm1, %zmm3
-; AVX512-NEXT: vpmuludq %zmm3, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm3, %zmm5, %zmm3
-; AVX512-NEXT: vpsllq $32, %zmm3, %zmm3
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm6 = [1073741824,1073741824,1073741824,1073741824,1073741824,1073741824,1073741824,1073741824]
-; AVX512-NEXT: vpandq %zmm6, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm4
-; AVX512-NEXT: vpmuludq %zmm2, %zmm5, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm3 ^ (zmm2 | zmm4)
-; AVX512-NEXT: vpbroadcastq {{.*#+}} zmm3 = [2147483648,2147483648,2147483648,2147483648,2147483648,2147483648,2147483648,2147483648]
-; AVX512-NEXT: vpandq %zmm3, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm5, %zmm5
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm5, %zmm5
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm5 = zmm2 ^ (zmm5 | zmm4)
-; AVX512-NEXT: vpsrlq $32, %zmm1, %zmm1
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm4, %zmm4
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm4 ^ zmm5 ^ zmm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm5
-; AVX512-NEXT: vpmuludq %zmm5, %zmm0, %zmm5
-; AVX512-NEXT: vpsllq $32, %zmm5, %zmm5
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm5 = zmm5 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm8, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm4, %zmm4
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm4 ^ zmm5 ^ zmm2
-; AVX512-NEXT: vpandq %zmm9, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm10, %zmm1, %zmm5
-; AVX512-NEXT: vpmuludq %zmm5, %zmm0, %zmm5
-; AVX512-NEXT: vpsllq $32, %zmm5, %zmm5
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm5 = zmm5 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandq %zmm11, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm12, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm4, %zmm4
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm4 ^ zmm5 ^ zmm2
-; AVX512-NEXT: vpandq %zmm13, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm14, %zmm1, %zmm5
-; AVX512-NEXT: vpmuludq %zmm5, %zmm0, %zmm5
-; AVX512-NEXT: vpsllq $32, %zmm5, %zmm5
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm5 = zmm5 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandq %zmm15, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm16, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm4, %zmm4
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm4 ^ zmm5 ^ zmm2
-; AVX512-NEXT: vpandq %zmm17, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm18, %zmm1, %zmm5
-; AVX512-NEXT: vpmuludq %zmm5, %zmm0, %zmm5
-; AVX512-NEXT: vpsllq $32, %zmm5, %zmm5
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm5 = zmm5 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandq %zmm19, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm20, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm4, %zmm4
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm4 ^ zmm5 ^ zmm2
-; AVX512-NEXT: vpandq %zmm21, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm22, %zmm1, %zmm5
-; AVX512-NEXT: vpmuludq %zmm5, %zmm0, %zmm5
-; AVX512-NEXT: vpsllq $32, %zmm5, %zmm5
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm5 = zmm5 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandq %zmm23, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm24, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm4, %zmm4
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm4 ^ zmm5 ^ zmm2
-; AVX512-NEXT: vpandq %zmm25, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm26, %zmm1, %zmm5
-; AVX512-NEXT: vpmuludq %zmm5, %zmm0, %zmm5
-; AVX512-NEXT: vpsllq $32, %zmm5, %zmm5
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm5 = zmm5 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandq %zmm27, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm28, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm4, %zmm4
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm4 ^ zmm5 ^ zmm2
-; AVX512-NEXT: vpandq %zmm29, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm30, %zmm1, %zmm5
-; AVX512-NEXT: vpmuludq %zmm5, %zmm0, %zmm5
-; AVX512-NEXT: vpsllq $32, %zmm5, %zmm5
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm5 = zmm5 ^ zmm4 ^ zmm2
-; AVX512-NEXT: vpandq %zmm31, %zmm1, %zmm2
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm2
-; AVX512-NEXT: vpandq %zmm7, %zmm1, %zmm4
-; AVX512-NEXT: vpmuludq %zmm4, %zmm0, %zmm4
-; AVX512-NEXT: vpsllq $32, %zmm4, %zmm4
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm4 ^ zmm5 ^ zmm2
-; AVX512-NEXT: vpandq %zmm6, %zmm1, %zmm2
-; AVX512-NEXT: vpandq %zmm3, %zmm1, %zmm1
-; AVX512-NEXT: vpmuludq %zmm2, %zmm0, %zmm2
-; AVX512-NEXT: vpmuludq %zmm1, %zmm0, %zmm0
-; AVX512-NEXT: vpsllq $32, %zmm2, %zmm1
-; AVX512-NEXT: vpsllq $32, %zmm0, %zmm0
-; AVX512-NEXT: vpternlogq {{.*#+}} zmm0 = zmm0 ^ zmm4 ^ zmm1
+; AVX512-NEXT: vpclmulqdq $17, %zmm1, %zmm0, %zmm2
+; AVX512-NEXT: vpclmulqdq $0, %zmm1, %zmm0, %zmm0
+; AVX512-NEXT: vpunpcklqdq {{.*#+}} zmm0 = zmm0[0],zmm2[0],zmm0[2],zmm2[2],zmm0[4],zmm2[4],zmm0[6],zmm2[6]
; AVX512-NEXT: retq
%res = call <8 x i64> @llvm.clmul.v8i64(<8 x i64> %a, <8 x i64> %b)
ret <8 x i64> %res
diff --git a/llvm/test/CodeGen/X86/clmul-vector.ll b/llvm/test/CodeGen/X86/clmul-vector.ll
index 1e76077c97d61..dc0d2bc0fa20f 100644
--- a/llvm/test/CodeGen/X86/clmul-vector.ll
+++ b/llvm/test/CodeGen/X86/clmul-vector.ll
@@ -1958,70 +1958,36 @@ define <8 x i16> @clmulr_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; AVX2-LABEL: clmulr_v8i16:
; AVX2: # %bb.0:
; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm2 = [2,2,2,2,2,2,2,2]
-; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm2
+; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
-; AVX2-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [1,1,1,1,1,1,1,1]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpxor %ymm2, %ymm3, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [4,4,4,4,4,4,4,4]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [8,8,8,8,8,8,8,8]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [16,16,16,16,16,16,16,16]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [32,32,32,32,32,32,32,32]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [64,64,64,64,64,64,64,64]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [128,128,128,128,128,128,128,128]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [256,256,256,256,256,256,256,256]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [512,512,512,512,512,512,512,512]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [1024,1024,1024,1024,1024,1024,1024,1024]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [2048,2048,2048,2048,2048,2048,2048,2048]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [4096,4096,4096,4096,4096,4096,4096,4096]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [8192,8192,8192,8192,8192,8192,8192,8192]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [16384,16384,16384,16384,16384,16384,16384,16384]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [32768,32768,32768,32768,32768,32768,32768,32768]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm1
-; AVX2-NEXT: vpmulld %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpxor %ymm0, %ymm3, %ymm0
-; AVX2-NEXT: vpxor %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm3
+; AVX2-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm4
+; AVX2-NEXT: vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX2-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX2-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX2-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm5
+; AVX2-NEXT: vmovq %xmm5, %rax
+; AVX2-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX2-NEXT: vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX2-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX2-NEXT: vmovq %xmm2, %rax
+; AVX2-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2
+; AVX2-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm3
+; AVX2-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
+; AVX2-NEXT: vpclmulqdq $0, %xmm4, %xmm5, %xmm4
+; AVX2-NEXT: vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
+; AVX2-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm4
+; AVX2-NEXT: vmovq %xmm4, %rax
+; AVX2-NEXT: vpinsrd $2, %eax, %xmm3, %xmm3
+; AVX2-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
+; AVX2-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX2-NEXT: vmovq %xmm0, %rax
+; AVX2-NEXT: vpinsrd $3, %eax, %xmm3, %xmm0
+; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT: vpsrld $15, %ymm0, %ymm0
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpackusdw %xmm1, %xmm0, %xmm0
@@ -2030,48 +1996,37 @@ define <8 x i16> @clmulr_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
;
; AVX512-LABEL: clmulr_v8i16:
; AVX512: # %bb.0:
-; AVX512-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpxor %ymm2, %ymm3, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm1
-; AVX512-NEXT: vpmulld %ymm1, %ymm0, %ymm0
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
+; AVX512-NEXT: vextracti128 $1, %ymm1, %xmm2
+; AVX512-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
+; AVX512-NEXT: vextracti128 $1, %ymm0, %xmm3
+; AVX512-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm5
+; AVX512-NEXT: vmovq %xmm5, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX512-NEXT: vmovq %xmm2, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2
+; AVX512-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm3
+; AVX512-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm4, %xmm5, %xmm4
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm4
+; AVX512-NEXT: vmovq %xmm4, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm3, %xmm3
+; AVX512-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX512-NEXT: vmovq %xmm0, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm3, %xmm0
+; AVX512-NEXT: vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT: vpsrld $15, %ymm0, %ymm0
; AVX512-NEXT: vpmovdw %ymm0, %xmm0
; AVX512-NEXT: vzeroupper
@@ -3909,70 +3864,36 @@ define <8 x i16> @clmulh_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; AVX2-LABEL: clmulh_v8i16:
; AVX2: # %bb.0:
; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm2 = [2,2,2,2,2,2,2,2]
-; AVX2-NEXT: vpand %ymm2, %ymm1, %ymm2
+; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
-; AVX2-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [1,1,1,1,1,1,1,1]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpxor %ymm2, %ymm3, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [4,4,4,4,4,4,4,4]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [8,8,8,8,8,8,8,8]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [16,16,16,16,16,16,16,16]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [32,32,32,32,32,32,32,32]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [64,64,64,64,64,64,64,64]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [128,128,128,128,128,128,128,128]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [256,256,256,256,256,256,256,256]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [512,512,512,512,512,512,512,512]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [1024,1024,1024,1024,1024,1024,1024,1024]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [2048,2048,2048,2048,2048,2048,2048,2048]
-; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm3
-; AVX2-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [4096,4096,4096,4096,4096,4096,4096,4096]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [8192,8192,8192,8192,8192,8192,8192,8192]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [16384,16384,16384,16384,16384,16384,16384,16384]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm4
-; AVX2-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm3
-; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [32768,32768,32768,32768,32768,32768,32768,32768]
-; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm1
-; AVX2-NEXT: vpmulld %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpxor %ymm0, %ymm3, %ymm0
-; AVX2-NEXT: vpxor %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm3
+; AVX2-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm4
+; AVX2-NEXT: vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX2-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX2-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX2-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm5
+; AVX2-NEXT: vmovq %xmm5, %rax
+; AVX2-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX2-NEXT: vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX2-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX2-NEXT: vmovq %xmm2, %rax
+; AVX2-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2
+; AVX2-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm3
+; AVX2-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
+; AVX2-NEXT: vpclmulqdq $0, %xmm4, %xmm5, %xmm4
+; AVX2-NEXT: vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
+; AVX2-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm4
+; AVX2-NEXT: vmovq %xmm4, %rax
+; AVX2-NEXT: vpinsrd $2, %eax, %xmm3, %xmm3
+; AVX2-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
+; AVX2-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
+; AVX2-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX2-NEXT: vmovq %xmm0, %rax
+; AVX2-NEXT: vpinsrd $3, %eax, %xmm3, %xmm0
+; AVX2-NEXT: vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT: vpsrld $16, %ymm0, %ymm0
; AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT: vpackusdw %xmm1, %xmm0, %xmm0
@@ -3981,48 +3902,37 @@ define <8 x i16> @clmulh_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
;
; AVX512-LABEL: clmulh_v8i16:
; AVX512: # %bb.0:
-; AVX512-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpxor %ymm2, %ymm3, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
-; AVX512-NEXT: vpmulld %ymm4, %ymm0, %ymm4
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm4 = ymm4 ^ ymm3 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
-; AVX512-NEXT: vpmulld %ymm3, %ymm0, %ymm3
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
-; AVX512-NEXT: vpmulld %ymm2, %ymm0, %ymm2
-; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm1
-; AVX512-NEXT: vpmulld %ymm1, %ymm0, %ymm0
-; AVX512-NEXT: vpternlogd {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
+; AVX512-NEXT: vextracti128 $1, %ymm1, %xmm2
+; AVX512-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
+; AVX512-NEXT: vextracti128 $1, %ymm0, %xmm3
+; AVX512-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm5, %xmm6, %xmm5
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm2, %xmm3, %xmm5
+; AVX512-NEXT: vmovq %xmm5, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4
+; AVX512-NEXT: vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm2, %xmm3, %xmm2
+; AVX512-NEXT: vmovq %xmm2, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2
+; AVX512-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm3
+; AVX512-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
+; AVX512-NEXT: vpclmulqdq $0, %xmm4, %xmm5, %xmm4
+; AVX512-NEXT: vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
+; AVX512-NEXT: vpclmulqdq $17, %xmm1, %xmm0, %xmm4
+; AVX512-NEXT: vmovq %xmm4, %rax
+; AVX512-NEXT: vpinsrd $2, %eax, %xmm3, %xmm3
+; AVX512-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
+; AVX512-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
+; AVX512-NEXT: vpclmulqdq $0, %xmm1, %xmm0, %xmm0
+; AVX512-NEXT: vmovq %xmm0, %rax
+; AVX512-NEXT: vpinsrd $3, %eax, %xmm3, %xmm0
+; AVX512-NEXT: vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT: vpsrld $16, %ymm0, %ymm0
; AVX512-NEXT: vpmovdw %ymm0, %xmm0
; AVX512-NEXT: vzeroupper
More information about the llvm-commits
mailing list