[llvm] [SDAG] Simplify is-power-of-2 codegen (PR #72275)
Tavian Barnes via llvm-commits
llvm-commits at lists.llvm.org
Tue Nov 14 07:54:47 PST 2023
https://github.com/tavianator created https://github.com/llvm/llvm-project/pull/72275
When x is not known to be nonzero, ctpop(x) == 1 is expanded to
x != 0 && (x & (x - 1)) == 0
resulting in codegen like
leal -1(%rdi), %eax
testl %eax, %edi
sete %cl
testl %edi, %edi
setne %al
andb %cl, %al
But another expression that works is
(x ^ (x - 1)) > x - 1
which has nicer codegen:
leal -1(%rdi), %eax
xorl %eax, %edi
cmpl %eax, %edi
seta %al
>From 365a4af5a2d10f3e31fa3469e31959ec31cb0c15 Mon Sep 17 00:00:00 2001
From: Tavian Barnes <tavianator at tavianator.com>
Date: Tue, 14 Nov 2023 10:42:39 -0500
Subject: [PATCH] [SDAG] Simplify is-power-of-2 codegen
When x is not known to be nonzero, ctpop(x) == 1 is expanded to
x != 0 && (x & (x - 1)) == 0
resulting in codegen like
leal -1(%rdi), %eax
testl %eax, %edi
sete %cl
testl %edi, %edi
setne %al
andb %cl, %al
But another expression that works is
(x ^ (x - 1)) > x - 1
which has nicer codegen:
leal -1(%rdi), %eax
xorl %eax, %edi
cmpl %eax, %edi
seta %al
---
.../CodeGen/SelectionDAG/TargetLowering.cpp | 25 +-
llvm/test/CodeGen/X86/ctpop-combine.ll | 67 +-
llvm/test/CodeGen/X86/ispow2.ll | 89 +-
llvm/test/CodeGen/X86/vector-popcnt-128.ll | 784 ++++++++----------
llvm/test/CodeGen/X86/vector-popcnt-256.ll | 610 ++++++--------
llvm/test/CodeGen/X86/vector-popcnt-512.ll | 258 +++---
6 files changed, 815 insertions(+), 1018 deletions(-)
diff --git a/llvm/lib/CodeGen/SelectionDAG/TargetLowering.cpp b/llvm/lib/CodeGen/SelectionDAG/TargetLowering.cpp
index ed352c86eca06e5..c47e2ad418a0e8e 100644
--- a/llvm/lib/CodeGen/SelectionDAG/TargetLowering.cpp
+++ b/llvm/lib/CodeGen/SelectionDAG/TargetLowering.cpp
@@ -4237,9 +4237,7 @@ static SDValue simplifySetCCWithCTPOP(const TargetLowering &TLI, EVT VT,
return DAG.getSetCC(dl, VT, Result, DAG.getConstant(0, dl, CTVT), CC);
}
- // Expand a power-of-2 comparison based on ctpop:
- // (ctpop x) == 1 --> (x != 0) && ((x & x-1) == 0)
- // (ctpop x) != 1 --> (x == 0) || ((x & x-1) != 0)
+ // Expand a power-of-2 comparison based on ctpop
if ((Cond == ISD::SETEQ || Cond == ISD::SETNE) && C1 == 1) {
// Keep the CTPOP if it is cheap.
if (TLI.isCtpopFast(CTVT))
@@ -4248,17 +4246,22 @@ static SDValue simplifySetCCWithCTPOP(const TargetLowering &TLI, EVT VT,
SDValue Zero = DAG.getConstant(0, dl, CTVT);
SDValue NegOne = DAG.getAllOnesConstant(dl, CTVT);
assert(CTVT.isInteger());
- ISD::CondCode InvCond = ISD::getSetCCInverse(Cond, CTVT);
SDValue Add = DAG.getNode(ISD::ADD, dl, CTVT, CTOp, NegOne);
- SDValue And = DAG.getNode(ISD::AND, dl, CTVT, CTOp, Add);
- SDValue RHS = DAG.getSetCC(dl, VT, And, Zero, Cond);
// Its not uncommon for known-never-zero X to exist in (ctpop X) eq/ne 1, so
- // check before the emit a potentially unnecessary op.
- if (DAG.isKnownNeverZero(CTOp))
+ // check before emitting a potentially unnecessary op.
+ if (DAG.isKnownNeverZero(CTOp)) {
+ // (ctpop x) == 1 --> (x & x-1) == 0
+ // (ctpop x) != 1 --> (x & x-1) != 0
+ SDValue And = DAG.getNode(ISD::AND, dl, CTVT, CTOp, Add);
+ SDValue RHS = DAG.getSetCC(dl, VT, And, Zero, Cond);
return RHS;
- SDValue LHS = DAG.getSetCC(dl, VT, CTOp, Zero, InvCond);
- unsigned LogicOpcode = Cond == ISD::SETEQ ? ISD::AND : ISD::OR;
- return DAG.getNode(LogicOpcode, dl, VT, LHS, RHS);
+ } else {
+ // (ctpop x) == 1 --> (x ^ x-1) > x-1
+ // (ctpop x) != 1 --> (x ^ x-1) <= x-1
+ SDValue Xor = DAG.getNode(ISD::XOR, dl, CTVT, CTOp, Add);
+ ISD::CondCode CmpCond = Cond == ISD::SETEQ ? ISD::SETUGT : ISD::SETULE;
+ return DAG.getSetCC(dl, VT, Xor, Add, CmpCond);
+ }
}
return SDValue();
diff --git a/llvm/test/CodeGen/X86/ctpop-combine.ll b/llvm/test/CodeGen/X86/ctpop-combine.ll
index a33319e66d5f111..fba44218e05726b 100644
--- a/llvm/test/CodeGen/X86/ctpop-combine.ll
+++ b/llvm/test/CodeGen/X86/ctpop-combine.ll
@@ -120,13 +120,11 @@ define i32 @ctpop_eq_one(i64 %x) nounwind readnone {
;
; NO-POPCOUNT-LABEL: ctpop_eq_one:
; NO-POPCOUNT: # %bb.0:
-; NO-POPCOUNT-NEXT: leaq -1(%rdi), %rax
-; NO-POPCOUNT-NEXT: testq %rax, %rdi
-; NO-POPCOUNT-NEXT: sete %al
-; NO-POPCOUNT-NEXT: testq %rdi, %rdi
-; NO-POPCOUNT-NEXT: setne %cl
-; NO-POPCOUNT-NEXT: andb %al, %cl
-; NO-POPCOUNT-NEXT: movzbl %cl, %eax
+; NO-POPCOUNT-NEXT: leaq -1(%rdi), %rcx
+; NO-POPCOUNT-NEXT: xorq %rcx, %rdi
+; NO-POPCOUNT-NEXT: xorl %eax, %eax
+; NO-POPCOUNT-NEXT: cmpq %rcx, %rdi
+; NO-POPCOUNT-NEXT: seta %al
; NO-POPCOUNT-NEXT: retq
%count = tail call i64 @llvm.ctpop.i64(i64 %x)
%cmp = icmp eq i64 %count, 1
@@ -145,13 +143,11 @@ define i32 @ctpop_ne_one(i64 %x) nounwind readnone {
;
; NO-POPCOUNT-LABEL: ctpop_ne_one:
; NO-POPCOUNT: # %bb.0:
-; NO-POPCOUNT-NEXT: leaq -1(%rdi), %rax
-; NO-POPCOUNT-NEXT: testq %rax, %rdi
-; NO-POPCOUNT-NEXT: setne %al
-; NO-POPCOUNT-NEXT: testq %rdi, %rdi
-; NO-POPCOUNT-NEXT: sete %cl
-; NO-POPCOUNT-NEXT: orb %al, %cl
-; NO-POPCOUNT-NEXT: movzbl %cl, %eax
+; NO-POPCOUNT-NEXT: leaq -1(%rdi), %rcx
+; NO-POPCOUNT-NEXT: xorq %rcx, %rdi
+; NO-POPCOUNT-NEXT: xorl %eax, %eax
+; NO-POPCOUNT-NEXT: cmpq %rcx, %rdi
+; NO-POPCOUNT-NEXT: setbe %al
; NO-POPCOUNT-NEXT: retq
%count = tail call i64 @llvm.ctpop.i64(i64 %x)
%cmp = icmp ne i64 %count, 1
@@ -162,29 +158,26 @@ define i32 @ctpop_ne_one(i64 %x) nounwind readnone {
define i1 @ctpop_trunc_non_power2(i255 %x) nounwind {
; CHECK-LABEL: ctpop_trunc_non_power2:
; CHECK: # %bb.0:
-; CHECK-NEXT: movabsq $9223372036854775807, %rax # imm = 0x7FFFFFFFFFFFFFFF
-; CHECK-NEXT: movq %rcx, %r8
-; CHECK-NEXT: andq %rax, %r8
-; CHECK-NEXT: movq %rdi, %r9
-; CHECK-NEXT: addq $-1, %r9
-; CHECK-NEXT: movq %rsi, %r10
-; CHECK-NEXT: adcq $-1, %r10
-; CHECK-NEXT: movq %rdx, %r11
-; CHECK-NEXT: adcq $-1, %r11
-; CHECK-NEXT: adcq %rax, %rcx
-; CHECK-NEXT: andq %rdi, %r9
-; CHECK-NEXT: andq %rdx, %r11
-; CHECK-NEXT: orq %r9, %r11
-; CHECK-NEXT: andq %r8, %rcx
-; CHECK-NEXT: andq %rsi, %r10
-; CHECK-NEXT: orq %rcx, %r10
-; CHECK-NEXT: orq %r11, %r10
-; CHECK-NEXT: sete %cl
-; CHECK-NEXT: orq %rdx, %rdi
-; CHECK-NEXT: orq %rsi, %r8
-; CHECK-NEXT: orq %rdi, %r8
-; CHECK-NEXT: setne %al
-; CHECK-NEXT: andb %cl, %al
+; CHECK-NEXT: movq %rdi, %rax
+; CHECK-NEXT: addq $-1, %rax
+; CHECK-NEXT: movq %rsi, %r8
+; CHECK-NEXT: adcq $-1, %r8
+; CHECK-NEXT: movq %rdx, %r9
+; CHECK-NEXT: adcq $-1, %r9
+; CHECK-NEXT: movabsq $9223372036854775807, %r10 # imm = 0x7FFFFFFFFFFFFFFF
+; CHECK-NEXT: movq %rcx, %r11
+; CHECK-NEXT: adcq %r10, %r11
+; CHECK-NEXT: xorq %r11, %rcx
+; CHECK-NEXT: andq %r10, %r11
+; CHECK-NEXT: andq %r10, %rcx
+; CHECK-NEXT: xorq %r9, %rdx
+; CHECK-NEXT: xorq %r8, %rsi
+; CHECK-NEXT: xorq %rax, %rdi
+; CHECK-NEXT: cmpq %rdi, %rax
+; CHECK-NEXT: sbbq %rsi, %r8
+; CHECK-NEXT: sbbq %rdx, %r9
+; CHECK-NEXT: sbbq %rcx, %r11
+; CHECK-NEXT: setb %al
; CHECK-NEXT: retq
%a = call i255 @llvm.ctpop.i255(i255 %x)
%b = trunc i255 %a to i8 ; largest value from ctpop is 255, fits in 8 bits.
diff --git a/llvm/test/CodeGen/X86/ispow2.ll b/llvm/test/CodeGen/X86/ispow2.ll
index 4051e4d7f5b5dc0..8723432de8b6b00 100644
--- a/llvm/test/CodeGen/X86/ispow2.ll
+++ b/llvm/test/CodeGen/X86/ispow2.ll
@@ -28,25 +28,14 @@ define i1 @is_pow2_non_zero(i32 %xin) {
}
define i1 @is_pow2_non_zero_x_maybe_z(i32 %x) {
-; CHECK-NOBMI-LABEL: is_pow2_non_zero_x_maybe_z:
-; CHECK-NOBMI: # %bb.0:
-; CHECK-NOBMI-NEXT: # kill: def $edi killed $edi def $rdi
-; CHECK-NOBMI-NEXT: leal -1(%rdi), %eax
-; CHECK-NOBMI-NEXT: testl %eax, %edi
-; CHECK-NOBMI-NEXT: sete %cl
-; CHECK-NOBMI-NEXT: testl %edi, %edi
-; CHECK-NOBMI-NEXT: setne %al
-; CHECK-NOBMI-NEXT: andb %cl, %al
-; CHECK-NOBMI-NEXT: retq
-;
-; CHECK-BMI2-LABEL: is_pow2_non_zero_x_maybe_z:
-; CHECK-BMI2: # %bb.0:
-; CHECK-BMI2-NEXT: testl %edi, %edi
-; CHECK-BMI2-NEXT: setne %cl
-; CHECK-BMI2-NEXT: blsrl %edi, %eax
-; CHECK-BMI2-NEXT: sete %al
-; CHECK-BMI2-NEXT: andb %cl, %al
-; CHECK-BMI2-NEXT: retq
+; CHECK-LABEL: is_pow2_non_zero_x_maybe_z:
+; CHECK: # %bb.0:
+; CHECK-NEXT: # kill: def $edi killed $edi def $rdi
+; CHECK-NEXT: leal -1(%rdi), %eax
+; CHECK-NEXT: xorl %eax, %edi
+; CHECK-NEXT: cmpl %eax, %edi
+; CHECK-NEXT: seta %al
+; CHECK-NEXT: retq
%cnt = call i32 @llvm.ctpop.i32(i32 %x)
%r = icmp eq i32 %cnt, 1
ret i1 %r
@@ -180,44 +169,40 @@ define <4 x i1> @neither_pow2_non_zero_4xv64(<4 x i64> %xin) {
define <4 x i1> @neither_pow2_non_zero_4xv64_x_maybe_z(<4 x i64> %x) {
; CHECK-NOBMI-LABEL: neither_pow2_non_zero_4xv64_x_maybe_z:
; CHECK-NOBMI: # %bb.0:
-; CHECK-NOBMI-NEXT: pxor %xmm2, %xmm2
-; CHECK-NOBMI-NEXT: pcmpeqd %xmm3, %xmm3
-; CHECK-NOBMI-NEXT: movdqa %xmm1, %xmm4
-; CHECK-NOBMI-NEXT: paddq %xmm3, %xmm4
-; CHECK-NOBMI-NEXT: pand %xmm1, %xmm4
-; CHECK-NOBMI-NEXT: pcmpeqd %xmm2, %xmm1
-; CHECK-NOBMI-NEXT: pshufd {{.*#+}} xmm5 = xmm1[1,0,3,2]
-; CHECK-NOBMI-NEXT: pand %xmm1, %xmm5
-; CHECK-NOBMI-NEXT: pcmpeqd %xmm2, %xmm4
-; CHECK-NOBMI-NEXT: pshufd {{.*#+}} xmm1 = xmm4[1,0,3,2]
-; CHECK-NOBMI-NEXT: pand %xmm4, %xmm1
+; CHECK-NOBMI-NEXT: pcmpeqd %xmm2, %xmm2
+; CHECK-NOBMI-NEXT: movdqa %xmm1, %xmm3
+; CHECK-NOBMI-NEXT: paddq %xmm2, %xmm3
+; CHECK-NOBMI-NEXT: movdqa {{.*#+}} xmm4 = [9223372039002259456,9223372039002259456]
+; CHECK-NOBMI-NEXT: pxor %xmm4, %xmm3
; CHECK-NOBMI-NEXT: pxor %xmm3, %xmm1
-; CHECK-NOBMI-NEXT: por %xmm5, %xmm1
-; CHECK-NOBMI-NEXT: movdqa %xmm0, %xmm4
-; CHECK-NOBMI-NEXT: pcmpeqd %xmm2, %xmm4
-; CHECK-NOBMI-NEXT: pshufd {{.*#+}} xmm5 = xmm4[1,0,3,2]
-; CHECK-NOBMI-NEXT: pand %xmm4, %xmm5
+; CHECK-NOBMI-NEXT: movdqa %xmm1, %xmm5
+; CHECK-NOBMI-NEXT: pcmpgtd %xmm3, %xmm5
+; CHECK-NOBMI-NEXT: movdqa %xmm0, %xmm6
+; CHECK-NOBMI-NEXT: paddq %xmm2, %xmm6
+; CHECK-NOBMI-NEXT: pxor %xmm4, %xmm6
+; CHECK-NOBMI-NEXT: pxor %xmm6, %xmm0
; CHECK-NOBMI-NEXT: movdqa %xmm0, %xmm4
-; CHECK-NOBMI-NEXT: paddq %xmm3, %xmm4
-; CHECK-NOBMI-NEXT: pand %xmm4, %xmm0
-; CHECK-NOBMI-NEXT: pcmpeqd %xmm2, %xmm0
-; CHECK-NOBMI-NEXT: pshufd {{.*#+}} xmm2 = xmm0[1,0,3,2]
-; CHECK-NOBMI-NEXT: pand %xmm2, %xmm0
-; CHECK-NOBMI-NEXT: pxor %xmm3, %xmm0
-; CHECK-NOBMI-NEXT: por %xmm5, %xmm0
-; CHECK-NOBMI-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[0,2]
+; CHECK-NOBMI-NEXT: pcmpgtd %xmm6, %xmm4
+; CHECK-NOBMI-NEXT: movdqa %xmm4, %xmm7
+; CHECK-NOBMI-NEXT: shufps {{.*#+}} xmm7 = xmm7[0,2],xmm5[0,2]
+; CHECK-NOBMI-NEXT: pcmpeqd %xmm3, %xmm1
+; CHECK-NOBMI-NEXT: pcmpeqd %xmm6, %xmm0
+; CHECK-NOBMI-NEXT: shufps {{.*#+}} xmm0 = xmm0[1,3],xmm1[1,3]
+; CHECK-NOBMI-NEXT: andps %xmm7, %xmm0
+; CHECK-NOBMI-NEXT: shufps {{.*#+}} xmm4 = xmm4[1,3],xmm5[1,3]
+; CHECK-NOBMI-NEXT: orps %xmm4, %xmm0
+; CHECK-NOBMI-NEXT: xorps %xmm2, %xmm0
; CHECK-NOBMI-NEXT: retq
;
; CHECK-AVX2-LABEL: neither_pow2_non_zero_4xv64_x_maybe_z:
; CHECK-AVX2: # %bb.0:
-; CHECK-AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; CHECK-AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm2
-; CHECK-AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; CHECK-AVX2-NEXT: vpaddq %ymm3, %ymm0, %ymm4
-; CHECK-AVX2-NEXT: vpand %ymm4, %ymm0, %ymm0
-; CHECK-AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0
-; CHECK-AVX2-NEXT: vpxor %ymm3, %ymm0, %ymm0
-; CHECK-AVX2-NEXT: vpor %ymm0, %ymm2, %ymm0
+; CHECK-AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; CHECK-AVX2-NEXT: vpaddq %ymm1, %ymm0, %ymm2
+; CHECK-AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
+; CHECK-AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; CHECK-AVX2-NEXT: vpxor %ymm0, %ymm2, %ymm0
+; CHECK-AVX2-NEXT: vpcmpgtq %ymm2, %ymm0, %ymm0
+; CHECK-AVX2-NEXT: vpxor %ymm1, %ymm0, %ymm0
; CHECK-AVX2-NEXT: vextracti128 $1, %ymm0, %xmm1
; CHECK-AVX2-NEXT: vpackssdw %xmm1, %xmm0, %xmm0
; CHECK-AVX2-NEXT: vzeroupper
@@ -235,5 +220,3 @@ define <4 x i1> @neither_pow2_non_zero_4xv64_x_maybe_z(<4 x i64> %x) {
%r = icmp ne <4 x i64> %cnt, <i64 1, i64 1, i64 1, i64 1>
ret <4 x i1> %r
}
-;; NOTE: These prefixes are unused and the list is autogenerated. Do not add tests below this line:
-; CHECK: {{.*}}
diff --git a/llvm/test/CodeGen/X86/vector-popcnt-128.ll b/llvm/test/CodeGen/X86/vector-popcnt-128.ll
index 61f0885c55be438..58cacfb0485ec6a 100644
--- a/llvm/test/CodeGen/X86/vector-popcnt-128.ll
+++ b/llvm/test/CodeGen/X86/vector-popcnt-128.ll
@@ -720,85 +720,37 @@ define <16 x i8> @foldv16i8() nounwind {
}
define <2 x i64> @eq_1_v2i64(<2 x i64> %0) {
-; SSE2-LABEL: eq_1_v2i64:
-; SSE2: # %bb.0:
-; SSE2-NEXT: pxor %xmm1, %xmm1
-; SSE2-NEXT: pcmpeqd %xmm2, %xmm2
-; SSE2-NEXT: paddq %xmm0, %xmm2
-; SSE2-NEXT: pand %xmm0, %xmm2
-; SSE2-NEXT: movdqa %xmm0, %xmm3
-; SSE2-NEXT: pcmpeqd %xmm1, %xmm3
-; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm3[1,0,3,2]
-; SSE2-NEXT: pand %xmm3, %xmm0
-; SSE2-NEXT: pcmpeqd %xmm1, %xmm2
-; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm2[1,0,3,2]
-; SSE2-NEXT: pand %xmm2, %xmm1
-; SSE2-NEXT: pandn %xmm1, %xmm0
-; SSE2-NEXT: retq
-;
-; SSE3-LABEL: eq_1_v2i64:
-; SSE3: # %bb.0:
-; SSE3-NEXT: pxor %xmm1, %xmm1
-; SSE3-NEXT: pcmpeqd %xmm2, %xmm2
-; SSE3-NEXT: paddq %xmm0, %xmm2
-; SSE3-NEXT: pand %xmm0, %xmm2
-; SSE3-NEXT: movdqa %xmm0, %xmm3
-; SSE3-NEXT: pcmpeqd %xmm1, %xmm3
-; SSE3-NEXT: pshufd {{.*#+}} xmm0 = xmm3[1,0,3,2]
-; SSE3-NEXT: pand %xmm3, %xmm0
-; SSE3-NEXT: pcmpeqd %xmm1, %xmm2
-; SSE3-NEXT: pshufd {{.*#+}} xmm1 = xmm2[1,0,3,2]
-; SSE3-NEXT: pand %xmm2, %xmm1
-; SSE3-NEXT: pandn %xmm1, %xmm0
-; SSE3-NEXT: retq
-;
-; SSSE3-LABEL: eq_1_v2i64:
-; SSSE3: # %bb.0:
-; SSSE3-NEXT: pxor %xmm1, %xmm1
-; SSSE3-NEXT: pcmpeqd %xmm2, %xmm2
-; SSSE3-NEXT: paddq %xmm0, %xmm2
-; SSSE3-NEXT: pand %xmm0, %xmm2
-; SSSE3-NEXT: movdqa %xmm0, %xmm3
-; SSSE3-NEXT: pcmpeqd %xmm1, %xmm3
-; SSSE3-NEXT: pshufd {{.*#+}} xmm0 = xmm3[1,0,3,2]
-; SSSE3-NEXT: pand %xmm3, %xmm0
-; SSSE3-NEXT: pcmpeqd %xmm1, %xmm2
-; SSSE3-NEXT: pshufd {{.*#+}} xmm1 = xmm2[1,0,3,2]
-; SSSE3-NEXT: pand %xmm2, %xmm1
-; SSSE3-NEXT: pandn %xmm1, %xmm0
-; SSSE3-NEXT: retq
-;
-; SSE41-LABEL: eq_1_v2i64:
-; SSE41: # %bb.0:
-; SSE41-NEXT: pxor %xmm1, %xmm1
-; SSE41-NEXT: pcmpeqd %xmm2, %xmm2
-; SSE41-NEXT: paddq %xmm0, %xmm2
-; SSE41-NEXT: pand %xmm0, %xmm2
-; SSE41-NEXT: pcmpeqq %xmm1, %xmm0
-; SSE41-NEXT: pcmpeqq %xmm1, %xmm2
-; SSE41-NEXT: pandn %xmm2, %xmm0
-; SSE41-NEXT: retq
+; SSE-LABEL: eq_1_v2i64:
+; SSE: # %bb.0:
+; SSE-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE-NEXT: paddq %xmm0, %xmm1
+; SSE-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
+; SSE-NEXT: pxor %xmm1, %xmm0
+; SSE-NEXT: movdqa %xmm0, %xmm2
+; SSE-NEXT: pcmpgtd %xmm1, %xmm2
+; SSE-NEXT: pshufd {{.*#+}} xmm3 = xmm2[0,0,2,2]
+; SSE-NEXT: pcmpeqd %xmm1, %xmm0
+; SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,1,3,3]
+; SSE-NEXT: pand %xmm3, %xmm1
+; SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm2[1,1,3,3]
+; SSE-NEXT: por %xmm1, %xmm0
+; SSE-NEXT: retq
;
; AVX1OR2-LABEL: eq_1_v2i64:
; AVX1OR2: # %bb.0:
-; AVX1OR2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX1OR2-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm2
-; AVX1OR2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX1OR2-NEXT: vpaddq %xmm3, %xmm0, %xmm3
-; AVX1OR2-NEXT: vpand %xmm3, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpandn %xmm0, %xmm2, %xmm0
+; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX1OR2-NEXT: vpaddq %xmm1, %xmm0, %xmm1
+; AVX1OR2-NEXT: vpxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
+; AVX1OR2-NEXT: vpxor %xmm0, %xmm1, %xmm0
+; AVX1OR2-NEXT: vpcmpgtq %xmm1, %xmm0, %xmm0
; AVX1OR2-NEXT: retq
;
; XOP-LABEL: eq_1_v2i64:
; XOP: # %bb.0:
-; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; XOP-NEXT: vpcomneqq %xmm1, %xmm0, %xmm2
-; XOP-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; XOP-NEXT: vpaddq %xmm3, %xmm0, %xmm3
-; XOP-NEXT: vpand %xmm3, %xmm0, %xmm0
-; XOP-NEXT: vpcomeqq %xmm1, %xmm0, %xmm0
-; XOP-NEXT: vpand %xmm0, %xmm2, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; XOP-NEXT: vpaddq %xmm1, %xmm0, %xmm1
+; XOP-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; XOP-NEXT: vpcomgtuq %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: eq_1_v2i64:
@@ -818,24 +770,24 @@ define <2 x i64> @eq_1_v2i64(<2 x i64> %0) {
;
; BITALG_NOVLX-LABEL: eq_1_v2i64:
; BITALG_NOVLX: # %bb.0:
-; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG_NOVLX-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm2
-; BITALG_NOVLX-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; BITALG_NOVLX-NEXT: vpaddq %xmm3, %xmm0, %xmm3
-; BITALG_NOVLX-NEXT: vpand %xmm3, %xmm0, %xmm0
+; BITALG_NOVLX-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; BITALG_NOVLX-NEXT: vpaddq %xmm1, %xmm0, %xmm1
+; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; BITALG_NOVLX-NEXT: vpminuq %zmm1, %zmm0, %zmm1
; BITALG_NOVLX-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0
-; BITALG_NOVLX-NEXT: vpandn %xmm0, %xmm2, %xmm0
+; BITALG_NOVLX-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
+; BITALG_NOVLX-NEXT: # kill: def $xmm0 killed $xmm0 killed $zmm0
+; BITALG_NOVLX-NEXT: vzeroupper
; BITALG_NOVLX-NEXT: retq
;
; BITALG-LABEL: eq_1_v2i64:
; BITALG: # %bb.0:
-; BITALG-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm2
-; BITALG-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; BITALG-NEXT: vpaddq %xmm3, %xmm0, %xmm3
-; BITALG-NEXT: vpand %xmm3, %xmm0, %xmm0
+; BITALG-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; BITALG-NEXT: vpaddq %xmm1, %xmm0, %xmm1
+; BITALG-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; BITALG-NEXT: vpminuq %xmm1, %xmm0, %xmm1
; BITALG-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0
-; BITALG-NEXT: vpandn %xmm0, %xmm2, %xmm0
+; BITALG-NEXT: vpternlogq $15, %xmm0, %xmm0, %xmm0
; BITALG-NEXT: retq
%2 = tail call <2 x i64> @llvm.ctpop.v2i64(<2 x i64> %0)
%3 = icmp eq <2 x i64> %2, <i64 1, i64 1>
@@ -844,95 +796,40 @@ define <2 x i64> @eq_1_v2i64(<2 x i64> %0) {
}
define <2 x i64> @ne_1_v2i64(<2 x i64> %0) {
-; SSE2-LABEL: ne_1_v2i64:
-; SSE2: # %bb.0:
-; SSE2-NEXT: pxor %xmm1, %xmm1
-; SSE2-NEXT: movdqa %xmm0, %xmm2
-; SSE2-NEXT: pcmpeqd %xmm1, %xmm2
-; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm2[1,0,3,2]
-; SSE2-NEXT: pand %xmm2, %xmm3
-; SSE2-NEXT: pcmpeqd %xmm2, %xmm2
-; SSE2-NEXT: movdqa %xmm0, %xmm4
-; SSE2-NEXT: paddq %xmm2, %xmm4
-; SSE2-NEXT: pand %xmm4, %xmm0
-; SSE2-NEXT: pcmpeqd %xmm1, %xmm0
-; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
-; SSE2-NEXT: pand %xmm1, %xmm0
-; SSE2-NEXT: pxor %xmm2, %xmm0
-; SSE2-NEXT: por %xmm3, %xmm0
-; SSE2-NEXT: retq
-;
-; SSE3-LABEL: ne_1_v2i64:
-; SSE3: # %bb.0:
-; SSE3-NEXT: pxor %xmm1, %xmm1
-; SSE3-NEXT: movdqa %xmm0, %xmm2
-; SSE3-NEXT: pcmpeqd %xmm1, %xmm2
-; SSE3-NEXT: pshufd {{.*#+}} xmm3 = xmm2[1,0,3,2]
-; SSE3-NEXT: pand %xmm2, %xmm3
-; SSE3-NEXT: pcmpeqd %xmm2, %xmm2
-; SSE3-NEXT: movdqa %xmm0, %xmm4
-; SSE3-NEXT: paddq %xmm2, %xmm4
-; SSE3-NEXT: pand %xmm4, %xmm0
-; SSE3-NEXT: pcmpeqd %xmm1, %xmm0
-; SSE3-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
-; SSE3-NEXT: pand %xmm1, %xmm0
-; SSE3-NEXT: pxor %xmm2, %xmm0
-; SSE3-NEXT: por %xmm3, %xmm0
-; SSE3-NEXT: retq
-;
-; SSSE3-LABEL: ne_1_v2i64:
-; SSSE3: # %bb.0:
-; SSSE3-NEXT: pxor %xmm1, %xmm1
-; SSSE3-NEXT: movdqa %xmm0, %xmm2
-; SSSE3-NEXT: pcmpeqd %xmm1, %xmm2
-; SSSE3-NEXT: pshufd {{.*#+}} xmm3 = xmm2[1,0,3,2]
-; SSSE3-NEXT: pand %xmm2, %xmm3
-; SSSE3-NEXT: pcmpeqd %xmm2, %xmm2
-; SSSE3-NEXT: movdqa %xmm0, %xmm4
-; SSSE3-NEXT: paddq %xmm2, %xmm4
-; SSSE3-NEXT: pand %xmm4, %xmm0
-; SSSE3-NEXT: pcmpeqd %xmm1, %xmm0
-; SSSE3-NEXT: pshufd {{.*#+}} xmm1 = xmm0[1,0,3,2]
-; SSSE3-NEXT: pand %xmm1, %xmm0
-; SSSE3-NEXT: pxor %xmm2, %xmm0
-; SSSE3-NEXT: por %xmm3, %xmm0
-; SSSE3-NEXT: retq
-;
-; SSE41-LABEL: ne_1_v2i64:
-; SSE41: # %bb.0:
-; SSE41-NEXT: pxor %xmm1, %xmm1
-; SSE41-NEXT: movdqa %xmm0, %xmm2
-; SSE41-NEXT: pcmpeqq %xmm1, %xmm2
-; SSE41-NEXT: pcmpeqd %xmm3, %xmm3
-; SSE41-NEXT: movdqa %xmm0, %xmm4
-; SSE41-NEXT: paddq %xmm3, %xmm4
-; SSE41-NEXT: pand %xmm4, %xmm0
-; SSE41-NEXT: pcmpeqq %xmm1, %xmm0
-; SSE41-NEXT: pxor %xmm3, %xmm0
-; SSE41-NEXT: por %xmm2, %xmm0
-; SSE41-NEXT: retq
+; SSE-LABEL: ne_1_v2i64:
+; SSE: # %bb.0:
+; SSE-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE-NEXT: movdqa %xmm0, %xmm2
+; SSE-NEXT: paddq %xmm1, %xmm2
+; SSE-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
+; SSE-NEXT: pxor %xmm2, %xmm0
+; SSE-NEXT: movdqa %xmm0, %xmm3
+; SSE-NEXT: pcmpgtd %xmm2, %xmm3
+; SSE-NEXT: pshufd {{.*#+}} xmm4 = xmm3[0,0,2,2]
+; SSE-NEXT: pcmpeqd %xmm2, %xmm0
+; SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
+; SSE-NEXT: pand %xmm4, %xmm2
+; SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm3[1,1,3,3]
+; SSE-NEXT: por %xmm2, %xmm0
+; SSE-NEXT: pxor %xmm1, %xmm0
+; SSE-NEXT: retq
;
; AVX1OR2-LABEL: ne_1_v2i64:
; AVX1OR2: # %bb.0:
-; AVX1OR2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX1OR2-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm2
-; AVX1OR2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX1OR2-NEXT: vpaddq %xmm3, %xmm0, %xmm4
-; AVX1OR2-NEXT: vpand %xmm4, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpxor %xmm3, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpor %xmm0, %xmm2, %xmm0
+; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX1OR2-NEXT: vpaddq %xmm1, %xmm0, %xmm2
+; AVX1OR2-NEXT: vpxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
+; AVX1OR2-NEXT: vpxor %xmm0, %xmm2, %xmm0
+; AVX1OR2-NEXT: vpcmpgtq %xmm2, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpxor %xmm1, %xmm0, %xmm0
; AVX1OR2-NEXT: retq
;
; XOP-LABEL: ne_1_v2i64:
; XOP: # %bb.0:
-; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; XOP-NEXT: vpcomeqq %xmm1, %xmm0, %xmm2
-; XOP-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; XOP-NEXT: vpaddq %xmm3, %xmm0, %xmm3
-; XOP-NEXT: vpand %xmm3, %xmm0, %xmm0
-; XOP-NEXT: vpcomneqq %xmm1, %xmm0, %xmm0
-; XOP-NEXT: vpor %xmm0, %xmm2, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; XOP-NEXT: vpaddq %xmm1, %xmm0, %xmm1
+; XOP-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; XOP-NEXT: vpcomleuq %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: ne_1_v2i64:
@@ -955,26 +852,21 @@ define <2 x i64> @ne_1_v2i64(<2 x i64> %0) {
;
; BITALG_NOVLX-LABEL: ne_1_v2i64:
; BITALG_NOVLX: # %bb.0:
-; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG_NOVLX-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm2
-; BITALG_NOVLX-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; BITALG_NOVLX-NEXT: vpaddq %xmm3, %xmm0, %xmm3
-; BITALG_NOVLX-NEXT: vpand %xmm3, %xmm0, %xmm0
+; BITALG_NOVLX-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; BITALG_NOVLX-NEXT: vpaddq %xmm1, %xmm0, %xmm1
+; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; BITALG_NOVLX-NEXT: vpminuq %zmm1, %zmm0, %zmm1
; BITALG_NOVLX-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0
-; BITALG_NOVLX-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
-; BITALG_NOVLX-NEXT: vpor %xmm0, %xmm2, %xmm0
; BITALG_NOVLX-NEXT: vzeroupper
; BITALG_NOVLX-NEXT: retq
;
; BITALG-LABEL: ne_1_v2i64:
; BITALG: # %bb.0:
-; BITALG-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm2
-; BITALG-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; BITALG-NEXT: vpaddq %xmm3, %xmm0, %xmm4
-; BITALG-NEXT: vpand %xmm4, %xmm0, %xmm0
+; BITALG-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; BITALG-NEXT: vpaddq %xmm1, %xmm0, %xmm1
+; BITALG-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; BITALG-NEXT: vpminuq %xmm1, %xmm0, %xmm1
; BITALG-NEXT: vpcmpeqq %xmm1, %xmm0, %xmm0
-; BITALG-NEXT: vpternlogq $222, %xmm3, %xmm2, %xmm0
; BITALG-NEXT: retq
%2 = tail call <2 x i64> @llvm.ctpop.v2i64(<2 x i64> %0)
%3 = icmp ne <2 x i64> %2, <i64 1, i64 1>
@@ -983,37 +875,60 @@ define <2 x i64> @ne_1_v2i64(<2 x i64> %0) {
}
define <4 x i32> @eq_1_v4i32(<4 x i32> %0) {
-; SSE-LABEL: eq_1_v4i32:
-; SSE: # %bb.0:
-; SSE-NEXT: pxor %xmm1, %xmm1
-; SSE-NEXT: pcmpeqd %xmm2, %xmm2
-; SSE-NEXT: paddd %xmm0, %xmm2
-; SSE-NEXT: pand %xmm0, %xmm2
-; SSE-NEXT: pcmpeqd %xmm1, %xmm0
-; SSE-NEXT: pcmpeqd %xmm1, %xmm2
-; SSE-NEXT: pandn %xmm2, %xmm0
-; SSE-NEXT: retq
+; SSE2-LABEL: eq_1_v4i32:
+; SSE2: # %bb.0:
+; SSE2-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE2-NEXT: paddd %xmm0, %xmm1
+; SSE2-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
+; SSE2-NEXT: pxor %xmm1, %xmm0
+; SSE2-NEXT: pcmpgtd %xmm1, %xmm0
+; SSE2-NEXT: retq
+;
+; SSE3-LABEL: eq_1_v4i32:
+; SSE3: # %bb.0:
+; SSE3-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE3-NEXT: paddd %xmm0, %xmm1
+; SSE3-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
+; SSE3-NEXT: pxor %xmm1, %xmm0
+; SSE3-NEXT: pcmpgtd %xmm1, %xmm0
+; SSE3-NEXT: retq
+;
+; SSSE3-LABEL: eq_1_v4i32:
+; SSSE3: # %bb.0:
+; SSSE3-NEXT: pcmpeqd %xmm1, %xmm1
+; SSSE3-NEXT: paddd %xmm0, %xmm1
+; SSSE3-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
+; SSSE3-NEXT: pxor %xmm1, %xmm0
+; SSSE3-NEXT: pcmpgtd %xmm1, %xmm0
+; SSSE3-NEXT: retq
+;
+; SSE41-LABEL: eq_1_v4i32:
+; SSE41: # %bb.0:
+; SSE41-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE41-NEXT: movdqa %xmm0, %xmm2
+; SSE41-NEXT: paddd %xmm1, %xmm2
+; SSE41-NEXT: pxor %xmm2, %xmm0
+; SSE41-NEXT: pminud %xmm0, %xmm2
+; SSE41-NEXT: pcmpeqd %xmm2, %xmm0
+; SSE41-NEXT: pxor %xmm1, %xmm0
+; SSE41-NEXT: retq
;
; AVX1OR2-LABEL: eq_1_v4i32:
; AVX1OR2: # %bb.0:
-; AVX1OR2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm2
-; AVX1OR2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX1OR2-NEXT: vpaddd %xmm3, %xmm0, %xmm3
-; AVX1OR2-NEXT: vpand %xmm3, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpandn %xmm0, %xmm2, %xmm0
+; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX1OR2-NEXT: vpaddd %xmm1, %xmm0, %xmm2
+; AVX1OR2-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpminud %xmm2, %xmm0, %xmm2
+; AVX1OR2-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpxor %xmm1, %xmm0, %xmm0
; AVX1OR2-NEXT: retq
;
; XOP-LABEL: eq_1_v4i32:
; XOP: # %bb.0:
-; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; XOP-NEXT: vpcomneqd %xmm1, %xmm0, %xmm2
-; XOP-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; XOP-NEXT: vpaddd %xmm3, %xmm0, %xmm3
-; XOP-NEXT: vpand %xmm3, %xmm0, %xmm0
-; XOP-NEXT: vpcomeqd %xmm1, %xmm0, %xmm0
-; XOP-NEXT: vpand %xmm0, %xmm2, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; XOP-NEXT: vpaddd %xmm1, %xmm0, %xmm1
+; XOP-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; XOP-NEXT: vpcomgtud %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: eq_1_v4i32:
@@ -1034,24 +949,24 @@ define <4 x i32> @eq_1_v4i32(<4 x i32> %0) {
;
; BITALG_NOVLX-LABEL: eq_1_v4i32:
; BITALG_NOVLX: # %bb.0:
-; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG_NOVLX-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm2
-; BITALG_NOVLX-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; BITALG_NOVLX-NEXT: vpaddd %xmm3, %xmm0, %xmm3
-; BITALG_NOVLX-NEXT: vpand %xmm3, %xmm0, %xmm0
+; BITALG_NOVLX-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; BITALG_NOVLX-NEXT: vpaddd %xmm1, %xmm0, %xmm1
+; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; BITALG_NOVLX-NEXT: vpminud %xmm1, %xmm0, %xmm1
; BITALG_NOVLX-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0
-; BITALG_NOVLX-NEXT: vpandn %xmm0, %xmm2, %xmm0
+; BITALG_NOVLX-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
+; BITALG_NOVLX-NEXT: # kill: def $xmm0 killed $xmm0 killed $zmm0
+; BITALG_NOVLX-NEXT: vzeroupper
; BITALG_NOVLX-NEXT: retq
;
; BITALG-LABEL: eq_1_v4i32:
; BITALG: # %bb.0:
-; BITALG-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm2
-; BITALG-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; BITALG-NEXT: vpaddd %xmm3, %xmm0, %xmm3
-; BITALG-NEXT: vpand %xmm3, %xmm0, %xmm0
+; BITALG-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; BITALG-NEXT: vpaddd %xmm1, %xmm0, %xmm1
+; BITALG-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; BITALG-NEXT: vpminud %xmm1, %xmm0, %xmm1
; BITALG-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0
-; BITALG-NEXT: vpandn %xmm0, %xmm2, %xmm0
+; BITALG-NEXT: vpternlogq $15, %xmm0, %xmm0, %xmm0
; BITALG-NEXT: retq
%2 = tail call <4 x i32> @llvm.ctpop.v4i32(<4 x i32> %0)
%3 = icmp eq <4 x i32> %2, <i32 1, i32 1, i32 1, i32 1>
@@ -1060,41 +975,63 @@ define <4 x i32> @eq_1_v4i32(<4 x i32> %0) {
}
define <4 x i32> @ne_1_v4i32(<4 x i32> %0) {
-; SSE-LABEL: ne_1_v4i32:
-; SSE: # %bb.0:
-; SSE-NEXT: pxor %xmm1, %xmm1
-; SSE-NEXT: movdqa %xmm0, %xmm2
-; SSE-NEXT: pcmpeqd %xmm1, %xmm2
-; SSE-NEXT: pcmpeqd %xmm3, %xmm3
-; SSE-NEXT: movdqa %xmm0, %xmm4
-; SSE-NEXT: paddd %xmm3, %xmm4
-; SSE-NEXT: pand %xmm4, %xmm0
-; SSE-NEXT: pcmpeqd %xmm1, %xmm0
-; SSE-NEXT: pxor %xmm3, %xmm0
-; SSE-NEXT: por %xmm2, %xmm0
-; SSE-NEXT: retq
+; SSE2-LABEL: ne_1_v4i32:
+; SSE2: # %bb.0:
+; SSE2-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE2-NEXT: movdqa %xmm0, %xmm2
+; SSE2-NEXT: paddd %xmm1, %xmm2
+; SSE2-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
+; SSE2-NEXT: pxor %xmm2, %xmm0
+; SSE2-NEXT: pcmpgtd %xmm2, %xmm0
+; SSE2-NEXT: pxor %xmm1, %xmm0
+; SSE2-NEXT: retq
+;
+; SSE3-LABEL: ne_1_v4i32:
+; SSE3: # %bb.0:
+; SSE3-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE3-NEXT: movdqa %xmm0, %xmm2
+; SSE3-NEXT: paddd %xmm1, %xmm2
+; SSE3-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
+; SSE3-NEXT: pxor %xmm2, %xmm0
+; SSE3-NEXT: pcmpgtd %xmm2, %xmm0
+; SSE3-NEXT: pxor %xmm1, %xmm0
+; SSE3-NEXT: retq
+;
+; SSSE3-LABEL: ne_1_v4i32:
+; SSSE3: # %bb.0:
+; SSSE3-NEXT: pcmpeqd %xmm1, %xmm1
+; SSSE3-NEXT: movdqa %xmm0, %xmm2
+; SSSE3-NEXT: paddd %xmm1, %xmm2
+; SSSE3-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
+; SSSE3-NEXT: pxor %xmm2, %xmm0
+; SSSE3-NEXT: pcmpgtd %xmm2, %xmm0
+; SSSE3-NEXT: pxor %xmm1, %xmm0
+; SSSE3-NEXT: retq
+;
+; SSE41-LABEL: ne_1_v4i32:
+; SSE41: # %bb.0:
+; SSE41-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE41-NEXT: paddd %xmm0, %xmm1
+; SSE41-NEXT: pxor %xmm1, %xmm0
+; SSE41-NEXT: pminud %xmm0, %xmm1
+; SSE41-NEXT: pcmpeqd %xmm1, %xmm0
+; SSE41-NEXT: retq
;
; AVX1OR2-LABEL: ne_1_v4i32:
; AVX1OR2: # %bb.0:
-; AVX1OR2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm2
-; AVX1OR2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX1OR2-NEXT: vpaddd %xmm3, %xmm0, %xmm4
-; AVX1OR2-NEXT: vpand %xmm4, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX1OR2-NEXT: vpaddd %xmm1, %xmm0, %xmm1
+; AVX1OR2-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpminud %xmm1, %xmm0, %xmm1
; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpxor %xmm3, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpor %xmm0, %xmm2, %xmm0
; AVX1OR2-NEXT: retq
;
; XOP-LABEL: ne_1_v4i32:
; XOP: # %bb.0:
-; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; XOP-NEXT: vpcomeqd %xmm1, %xmm0, %xmm2
-; XOP-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; XOP-NEXT: vpaddd %xmm3, %xmm0, %xmm3
-; XOP-NEXT: vpand %xmm3, %xmm0, %xmm0
-; XOP-NEXT: vpcomneqd %xmm1, %xmm0, %xmm0
-; XOP-NEXT: vpor %xmm0, %xmm2, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; XOP-NEXT: vpaddd %xmm1, %xmm0, %xmm1
+; XOP-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; XOP-NEXT: vpcomleud %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: ne_1_v4i32:
@@ -1118,26 +1055,20 @@ define <4 x i32> @ne_1_v4i32(<4 x i32> %0) {
;
; BITALG_NOVLX-LABEL: ne_1_v4i32:
; BITALG_NOVLX: # %bb.0:
-; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG_NOVLX-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm2
-; BITALG_NOVLX-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; BITALG_NOVLX-NEXT: vpaddd %xmm3, %xmm0, %xmm3
-; BITALG_NOVLX-NEXT: vpand %xmm3, %xmm0, %xmm0
+; BITALG_NOVLX-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; BITALG_NOVLX-NEXT: vpaddd %xmm1, %xmm0, %xmm1
+; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; BITALG_NOVLX-NEXT: vpminud %xmm1, %xmm0, %xmm1
; BITALG_NOVLX-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0
-; BITALG_NOVLX-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
-; BITALG_NOVLX-NEXT: vpor %xmm0, %xmm2, %xmm0
-; BITALG_NOVLX-NEXT: vzeroupper
; BITALG_NOVLX-NEXT: retq
;
; BITALG-LABEL: ne_1_v4i32:
; BITALG: # %bb.0:
-; BITALG-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm2
-; BITALG-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; BITALG-NEXT: vpaddd %xmm3, %xmm0, %xmm4
-; BITALG-NEXT: vpand %xmm4, %xmm0, %xmm0
+; BITALG-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; BITALG-NEXT: vpaddd %xmm1, %xmm0, %xmm1
+; BITALG-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; BITALG-NEXT: vpminud %xmm1, %xmm0, %xmm1
; BITALG-NEXT: vpcmpeqd %xmm1, %xmm0, %xmm0
-; BITALG-NEXT: vpternlogd $222, %xmm3, %xmm2, %xmm0
; BITALG-NEXT: retq
%2 = tail call <4 x i32> @llvm.ctpop.v4i32(<4 x i32> %0)
%3 = icmp ne <4 x i32> %2, <i32 1, i32 1, i32 1, i32 1>
@@ -1146,49 +1077,83 @@ define <4 x i32> @ne_1_v4i32(<4 x i32> %0) {
}
define <8 x i16> @eq_1_v8i16(<8 x i16> %0) {
-; SSE-LABEL: eq_1_v8i16:
-; SSE: # %bb.0:
-; SSE-NEXT: pxor %xmm1, %xmm1
-; SSE-NEXT: pcmpeqd %xmm2, %xmm2
-; SSE-NEXT: paddw %xmm0, %xmm2
-; SSE-NEXT: pand %xmm0, %xmm2
-; SSE-NEXT: pcmpeqw %xmm1, %xmm0
-; SSE-NEXT: pcmpeqw %xmm1, %xmm2
-; SSE-NEXT: pandn %xmm2, %xmm0
-; SSE-NEXT: retq
+; SSE2-LABEL: eq_1_v8i16:
+; SSE2: # %bb.0:
+; SSE2-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE2-NEXT: paddw %xmm0, %xmm1
+; SSE2-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
+; SSE2-NEXT: pxor %xmm1, %xmm0
+; SSE2-NEXT: pcmpgtw %xmm1, %xmm0
+; SSE2-NEXT: retq
+;
+; SSE3-LABEL: eq_1_v8i16:
+; SSE3: # %bb.0:
+; SSE3-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE3-NEXT: paddw %xmm0, %xmm1
+; SSE3-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
+; SSE3-NEXT: pxor %xmm1, %xmm0
+; SSE3-NEXT: pcmpgtw %xmm1, %xmm0
+; SSE3-NEXT: retq
+;
+; SSSE3-LABEL: eq_1_v8i16:
+; SSSE3: # %bb.0:
+; SSSE3-NEXT: pcmpeqd %xmm1, %xmm1
+; SSSE3-NEXT: paddw %xmm0, %xmm1
+; SSSE3-NEXT: pxor {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
+; SSSE3-NEXT: pxor %xmm1, %xmm0
+; SSSE3-NEXT: pcmpgtw %xmm1, %xmm0
+; SSSE3-NEXT: retq
+;
+; SSE41-LABEL: eq_1_v8i16:
+; SSE41: # %bb.0:
+; SSE41-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE41-NEXT: movdqa %xmm0, %xmm2
+; SSE41-NEXT: paddw %xmm1, %xmm2
+; SSE41-NEXT: pxor %xmm2, %xmm0
+; SSE41-NEXT: pminuw %xmm0, %xmm2
+; SSE41-NEXT: pcmpeqw %xmm2, %xmm0
+; SSE41-NEXT: pxor %xmm1, %xmm0
+; SSE41-NEXT: retq
;
; AVX1OR2-LABEL: eq_1_v8i16:
; AVX1OR2: # %bb.0:
-; AVX1OR2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX1OR2-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm2
-; AVX1OR2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX1OR2-NEXT: vpaddw %xmm3, %xmm0, %xmm3
-; AVX1OR2-NEXT: vpand %xmm3, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpandn %xmm0, %xmm2, %xmm0
+; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX1OR2-NEXT: vpaddw %xmm1, %xmm0, %xmm2
+; AVX1OR2-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpminuw %xmm2, %xmm0, %xmm2
+; AVX1OR2-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpxor %xmm1, %xmm0, %xmm0
; AVX1OR2-NEXT: retq
;
; XOP-LABEL: eq_1_v8i16:
; XOP: # %bb.0:
-; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; XOP-NEXT: vpcomneqw %xmm1, %xmm0, %xmm2
-; XOP-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; XOP-NEXT: vpaddw %xmm3, %xmm0, %xmm3
-; XOP-NEXT: vpand %xmm3, %xmm0, %xmm0
-; XOP-NEXT: vpcomeqw %xmm1, %xmm0, %xmm0
-; XOP-NEXT: vpand %xmm0, %xmm2, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; XOP-NEXT: vpaddw %xmm1, %xmm0, %xmm1
+; XOP-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; XOP-NEXT: vpcomgtuw %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq
;
-; AVX512-LABEL: eq_1_v8i16:
-; AVX512: # %bb.0:
-; AVX512-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm2
-; AVX512-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX512-NEXT: vpaddw %xmm3, %xmm0, %xmm3
-; AVX512-NEXT: vpand %xmm3, %xmm0, %xmm0
-; AVX512-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
-; AVX512-NEXT: vpandn %xmm0, %xmm2, %xmm0
-; AVX512-NEXT: retq
+; AVX512VPOPCNTDQ-LABEL: eq_1_v8i16:
+; AVX512VPOPCNTDQ: # %bb.0:
+; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX512VPOPCNTDQ-NEXT: vpaddw %xmm1, %xmm0, %xmm1
+; AVX512VPOPCNTDQ-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX512VPOPCNTDQ-NEXT: vpminuw %xmm1, %xmm0, %xmm1
+; AVX512VPOPCNTDQ-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
+; AVX512VPOPCNTDQ-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
+; AVX512VPOPCNTDQ-NEXT: # kill: def $xmm0 killed $xmm0 killed $zmm0
+; AVX512VPOPCNTDQ-NEXT: vzeroupper
+; AVX512VPOPCNTDQ-NEXT: retq
+;
+; AVX512VPOPCNTDQVL-LABEL: eq_1_v8i16:
+; AVX512VPOPCNTDQVL: # %bb.0:
+; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX512VPOPCNTDQVL-NEXT: vpaddw %xmm1, %xmm0, %xmm1
+; AVX512VPOPCNTDQVL-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX512VPOPCNTDQVL-NEXT: vpminuw %xmm1, %xmm0, %xmm1
+; AVX512VPOPCNTDQVL-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
+; AVX512VPOPCNTDQVL-NEXT: vpternlogq $15, %xmm0, %xmm0, %xmm0
+; AVX512VPOPCNTDQVL-NEXT: retq
;
; BITALG_NOVLX-LABEL: eq_1_v8i16:
; BITALG_NOVLX: # %bb.0:
@@ -1210,66 +1175,70 @@ define <8 x i16> @eq_1_v8i16(<8 x i16> %0) {
}
define <8 x i16> @ne_1_v8i16(<8 x i16> %0) {
-; SSE-LABEL: ne_1_v8i16:
-; SSE: # %bb.0:
-; SSE-NEXT: pxor %xmm1, %xmm1
-; SSE-NEXT: movdqa %xmm0, %xmm2
-; SSE-NEXT: pcmpeqw %xmm1, %xmm2
-; SSE-NEXT: pcmpeqd %xmm3, %xmm3
-; SSE-NEXT: movdqa %xmm0, %xmm4
-; SSE-NEXT: paddw %xmm3, %xmm4
-; SSE-NEXT: pand %xmm4, %xmm0
-; SSE-NEXT: pcmpeqw %xmm1, %xmm0
-; SSE-NEXT: pxor %xmm3, %xmm0
-; SSE-NEXT: por %xmm2, %xmm0
-; SSE-NEXT: retq
+; SSE2-LABEL: ne_1_v8i16:
+; SSE2: # %bb.0:
+; SSE2-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE2-NEXT: paddw %xmm0, %xmm1
+; SSE2-NEXT: pxor %xmm1, %xmm0
+; SSE2-NEXT: psubusw %xmm1, %xmm0
+; SSE2-NEXT: pxor %xmm1, %xmm1
+; SSE2-NEXT: pcmpeqw %xmm1, %xmm0
+; SSE2-NEXT: retq
+;
+; SSE3-LABEL: ne_1_v8i16:
+; SSE3: # %bb.0:
+; SSE3-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE3-NEXT: paddw %xmm0, %xmm1
+; SSE3-NEXT: pxor %xmm1, %xmm0
+; SSE3-NEXT: psubusw %xmm1, %xmm0
+; SSE3-NEXT: pxor %xmm1, %xmm1
+; SSE3-NEXT: pcmpeqw %xmm1, %xmm0
+; SSE3-NEXT: retq
+;
+; SSSE3-LABEL: ne_1_v8i16:
+; SSSE3: # %bb.0:
+; SSSE3-NEXT: pcmpeqd %xmm1, %xmm1
+; SSSE3-NEXT: paddw %xmm0, %xmm1
+; SSSE3-NEXT: pxor %xmm1, %xmm0
+; SSSE3-NEXT: psubusw %xmm1, %xmm0
+; SSSE3-NEXT: pxor %xmm1, %xmm1
+; SSSE3-NEXT: pcmpeqw %xmm1, %xmm0
+; SSSE3-NEXT: retq
+;
+; SSE41-LABEL: ne_1_v8i16:
+; SSE41: # %bb.0:
+; SSE41-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE41-NEXT: paddw %xmm0, %xmm1
+; SSE41-NEXT: pxor %xmm1, %xmm0
+; SSE41-NEXT: pminuw %xmm0, %xmm1
+; SSE41-NEXT: pcmpeqw %xmm1, %xmm0
+; SSE41-NEXT: retq
;
; AVX1OR2-LABEL: ne_1_v8i16:
; AVX1OR2: # %bb.0:
-; AVX1OR2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX1OR2-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm2
-; AVX1OR2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX1OR2-NEXT: vpaddw %xmm3, %xmm0, %xmm4
-; AVX1OR2-NEXT: vpand %xmm4, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX1OR2-NEXT: vpaddw %xmm1, %xmm0, %xmm1
+; AVX1OR2-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpminuw %xmm1, %xmm0, %xmm1
; AVX1OR2-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpxor %xmm3, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpor %xmm0, %xmm2, %xmm0
; AVX1OR2-NEXT: retq
;
; XOP-LABEL: ne_1_v8i16:
; XOP: # %bb.0:
-; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; XOP-NEXT: vpcomeqw %xmm1, %xmm0, %xmm2
-; XOP-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; XOP-NEXT: vpaddw %xmm3, %xmm0, %xmm3
-; XOP-NEXT: vpand %xmm3, %xmm0, %xmm0
-; XOP-NEXT: vpcomneqw %xmm1, %xmm0, %xmm0
-; XOP-NEXT: vpor %xmm0, %xmm2, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; XOP-NEXT: vpaddw %xmm1, %xmm0, %xmm1
+; XOP-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; XOP-NEXT: vpcomleuw %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq
;
-; AVX512VPOPCNTDQ-LABEL: ne_1_v8i16:
-; AVX512VPOPCNTDQ: # %bb.0:
-; AVX512VPOPCNTDQ-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm2
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX512VPOPCNTDQ-NEXT: vpaddw %xmm3, %xmm0, %xmm3
-; AVX512VPOPCNTDQ-NEXT: vpand %xmm3, %xmm0, %xmm0
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
-; AVX512VPOPCNTDQ-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
-; AVX512VPOPCNTDQ-NEXT: vpor %xmm0, %xmm2, %xmm0
-; AVX512VPOPCNTDQ-NEXT: vzeroupper
-; AVX512VPOPCNTDQ-NEXT: retq
-;
-; AVX512VPOPCNTDQVL-LABEL: ne_1_v8i16:
-; AVX512VPOPCNTDQVL: # %bb.0:
-; AVX512VPOPCNTDQVL-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm2
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX512VPOPCNTDQVL-NEXT: vpaddw %xmm3, %xmm0, %xmm4
-; AVX512VPOPCNTDQVL-NEXT: vpand %xmm4, %xmm0, %xmm0
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
-; AVX512VPOPCNTDQVL-NEXT: vpternlogq $222, %xmm3, %xmm2, %xmm0
-; AVX512VPOPCNTDQVL-NEXT: retq
+; AVX512-LABEL: ne_1_v8i16:
+; AVX512: # %bb.0:
+; AVX512-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX512-NEXT: vpaddw %xmm1, %xmm0, %xmm1
+; AVX512-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX512-NEXT: vpminuw %xmm1, %xmm0, %xmm1
+; AVX512-NEXT: vpcmpeqw %xmm1, %xmm0, %xmm0
+; AVX512-NEXT: retq
;
; BITALG_NOVLX-LABEL: ne_1_v8i16:
; BITALG_NOVLX: # %bb.0:
@@ -1296,47 +1265,54 @@ define <8 x i16> @ne_1_v8i16(<8 x i16> %0) {
define <16 x i8> @eq_1_v16i8(<16 x i8> %0) {
; SSE-LABEL: eq_1_v16i8:
; SSE: # %bb.0:
-; SSE-NEXT: pxor %xmm1, %xmm1
-; SSE-NEXT: pcmpeqd %xmm2, %xmm2
-; SSE-NEXT: paddb %xmm0, %xmm2
-; SSE-NEXT: pand %xmm0, %xmm2
-; SSE-NEXT: pcmpeqb %xmm1, %xmm0
-; SSE-NEXT: pcmpeqb %xmm1, %xmm2
-; SSE-NEXT: pandn %xmm2, %xmm0
+; SSE-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE-NEXT: movdqa %xmm0, %xmm2
+; SSE-NEXT: paddb %xmm1, %xmm2
+; SSE-NEXT: pxor %xmm2, %xmm0
+; SSE-NEXT: pminub %xmm0, %xmm2
+; SSE-NEXT: pcmpeqb %xmm2, %xmm0
+; SSE-NEXT: pxor %xmm1, %xmm0
; SSE-NEXT: retq
;
; AVX1OR2-LABEL: eq_1_v16i8:
; AVX1OR2: # %bb.0:
-; AVX1OR2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX1OR2-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
-; AVX1OR2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX1OR2-NEXT: vpaddb %xmm3, %xmm0, %xmm3
-; AVX1OR2-NEXT: vpand %xmm3, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpandn %xmm0, %xmm2, %xmm0
+; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX1OR2-NEXT: vpaddb %xmm1, %xmm0, %xmm2
+; AVX1OR2-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpminub %xmm2, %xmm0, %xmm2
+; AVX1OR2-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpxor %xmm1, %xmm0, %xmm0
; AVX1OR2-NEXT: retq
;
; XOP-LABEL: eq_1_v16i8:
; XOP: # %bb.0:
-; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; XOP-NEXT: vpcomneqb %xmm1, %xmm0, %xmm2
-; XOP-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; XOP-NEXT: vpaddb %xmm3, %xmm0, %xmm3
-; XOP-NEXT: vpand %xmm3, %xmm0, %xmm0
-; XOP-NEXT: vpcomeqb %xmm1, %xmm0, %xmm0
-; XOP-NEXT: vpand %xmm0, %xmm2, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; XOP-NEXT: vpaddb %xmm1, %xmm0, %xmm1
+; XOP-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; XOP-NEXT: vpcomgtub %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq
;
-; AVX512-LABEL: eq_1_v16i8:
-; AVX512: # %bb.0:
-; AVX512-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
-; AVX512-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX512-NEXT: vpaddb %xmm3, %xmm0, %xmm3
-; AVX512-NEXT: vpand %xmm3, %xmm0, %xmm0
-; AVX512-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0
-; AVX512-NEXT: vpandn %xmm0, %xmm2, %xmm0
-; AVX512-NEXT: retq
+; AVX512VPOPCNTDQ-LABEL: eq_1_v16i8:
+; AVX512VPOPCNTDQ: # %bb.0:
+; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX512VPOPCNTDQ-NEXT: vpaddb %xmm1, %xmm0, %xmm1
+; AVX512VPOPCNTDQ-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX512VPOPCNTDQ-NEXT: vpminub %xmm1, %xmm0, %xmm1
+; AVX512VPOPCNTDQ-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0
+; AVX512VPOPCNTDQ-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
+; AVX512VPOPCNTDQ-NEXT: # kill: def $xmm0 killed $xmm0 killed $zmm0
+; AVX512VPOPCNTDQ-NEXT: vzeroupper
+; AVX512VPOPCNTDQ-NEXT: retq
+;
+; AVX512VPOPCNTDQVL-LABEL: eq_1_v16i8:
+; AVX512VPOPCNTDQVL: # %bb.0:
+; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX512VPOPCNTDQVL-NEXT: vpaddb %xmm1, %xmm0, %xmm1
+; AVX512VPOPCNTDQVL-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX512VPOPCNTDQVL-NEXT: vpminub %xmm1, %xmm0, %xmm1
+; AVX512VPOPCNTDQVL-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0
+; AVX512VPOPCNTDQVL-NEXT: vpternlogq $15, %xmm0, %xmm0, %xmm0
+; AVX512VPOPCNTDQVL-NEXT: retq
;
; BITALG_NOVLX-LABEL: eq_1_v16i8:
; BITALG_NOVLX: # %bb.0:
@@ -1360,64 +1336,38 @@ define <16 x i8> @eq_1_v16i8(<16 x i8> %0) {
define <16 x i8> @ne_1_v16i8(<16 x i8> %0) {
; SSE-LABEL: ne_1_v16i8:
; SSE: # %bb.0:
-; SSE-NEXT: pxor %xmm1, %xmm1
-; SSE-NEXT: movdqa %xmm0, %xmm2
-; SSE-NEXT: pcmpeqb %xmm1, %xmm2
-; SSE-NEXT: pcmpeqd %xmm3, %xmm3
-; SSE-NEXT: movdqa %xmm0, %xmm4
-; SSE-NEXT: paddb %xmm3, %xmm4
-; SSE-NEXT: pand %xmm4, %xmm0
+; SSE-NEXT: pcmpeqd %xmm1, %xmm1
+; SSE-NEXT: paddb %xmm0, %xmm1
+; SSE-NEXT: pxor %xmm1, %xmm0
+; SSE-NEXT: pminub %xmm0, %xmm1
; SSE-NEXT: pcmpeqb %xmm1, %xmm0
-; SSE-NEXT: pxor %xmm3, %xmm0
-; SSE-NEXT: por %xmm2, %xmm0
; SSE-NEXT: retq
;
; AVX1OR2-LABEL: ne_1_v16i8:
; AVX1OR2: # %bb.0:
-; AVX1OR2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX1OR2-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
-; AVX1OR2-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX1OR2-NEXT: vpaddb %xmm3, %xmm0, %xmm4
-; AVX1OR2-NEXT: vpand %xmm4, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX1OR2-NEXT: vpaddb %xmm1, %xmm0, %xmm1
+; AVX1OR2-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX1OR2-NEXT: vpminub %xmm1, %xmm0, %xmm1
; AVX1OR2-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpxor %xmm3, %xmm0, %xmm0
-; AVX1OR2-NEXT: vpor %xmm0, %xmm2, %xmm0
; AVX1OR2-NEXT: retq
;
; XOP-LABEL: ne_1_v16i8:
; XOP: # %bb.0:
-; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; XOP-NEXT: vpcomeqb %xmm1, %xmm0, %xmm2
-; XOP-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; XOP-NEXT: vpaddb %xmm3, %xmm0, %xmm3
-; XOP-NEXT: vpand %xmm3, %xmm0, %xmm0
-; XOP-NEXT: vpcomneqb %xmm1, %xmm0, %xmm0
-; XOP-NEXT: vpor %xmm0, %xmm2, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; XOP-NEXT: vpaddb %xmm1, %xmm0, %xmm1
+; XOP-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; XOP-NEXT: vpcomleub %xmm1, %xmm0, %xmm0
; XOP-NEXT: retq
;
-; AVX512VPOPCNTDQ-LABEL: ne_1_v16i8:
-; AVX512VPOPCNTDQ: # %bb.0:
-; AVX512VPOPCNTDQ-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX512VPOPCNTDQ-NEXT: vpaddb %xmm3, %xmm0, %xmm3
-; AVX512VPOPCNTDQ-NEXT: vpand %xmm3, %xmm0, %xmm0
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0
-; AVX512VPOPCNTDQ-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
-; AVX512VPOPCNTDQ-NEXT: vpor %xmm0, %xmm2, %xmm0
-; AVX512VPOPCNTDQ-NEXT: vzeroupper
-; AVX512VPOPCNTDQ-NEXT: retq
-;
-; AVX512VPOPCNTDQVL-LABEL: ne_1_v16i8:
-; AVX512VPOPCNTDQVL: # %bb.0:
-; AVX512VPOPCNTDQVL-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm2
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %xmm3, %xmm3, %xmm3
-; AVX512VPOPCNTDQVL-NEXT: vpaddb %xmm3, %xmm0, %xmm4
-; AVX512VPOPCNTDQVL-NEXT: vpand %xmm4, %xmm0, %xmm0
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0
-; AVX512VPOPCNTDQVL-NEXT: vpternlogq $222, %xmm3, %xmm2, %xmm0
-; AVX512VPOPCNTDQVL-NEXT: retq
+; AVX512-LABEL: ne_1_v16i8:
+; AVX512: # %bb.0:
+; AVX512-NEXT: vpcmpeqd %xmm1, %xmm1, %xmm1
+; AVX512-NEXT: vpaddb %xmm1, %xmm0, %xmm1
+; AVX512-NEXT: vpxor %xmm1, %xmm0, %xmm0
+; AVX512-NEXT: vpminub %xmm1, %xmm0, %xmm1
+; AVX512-NEXT: vpcmpeqb %xmm1, %xmm0, %xmm0
+; AVX512-NEXT: retq
;
; BITALG_NOVLX-LABEL: ne_1_v16i8:
; BITALG_NOVLX: # %bb.0:
diff --git a/llvm/test/CodeGen/X86/vector-popcnt-256.ll b/llvm/test/CodeGen/X86/vector-popcnt-256.ll
index e4da7dbadadbdb0..a5ca4affdbc6b1c 100644
--- a/llvm/test/CodeGen/X86/vector-popcnt-256.ll
+++ b/llvm/test/CodeGen/X86/vector-popcnt-256.ll
@@ -448,48 +448,41 @@ define <4 x i64> @eq_1_v4i64(<4 x i64> %0) {
; AVX1-LABEL: eq_1_v4i64:
; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
-; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX1-NEXT: vpcmpeqq %xmm2, %xmm1, %xmm3
-; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; AVX1-NEXT: vpaddq %xmm4, %xmm1, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm1, %xmm1
-; AVX1-NEXT: vpcmpeqq %xmm2, %xmm1, %xmm1
-; AVX1-NEXT: vpaddq %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vpand %xmm4, %xmm0, %xmm0
-; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; AVX1-NEXT: vpaddq %xmm2, %xmm1, %xmm3
+; AVX1-NEXT: vmovddup {{.*#+}} xmm4 = [9223372036854775808,9223372036854775808]
+; AVX1-NEXT: # xmm4 = mem[0,0]
+; AVX1-NEXT: vpxor %xmm4, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm1, %xmm3, %xmm1
+; AVX1-NEXT: vpcmpgtq %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpaddq %xmm2, %xmm0, %xmm2
+; AVX1-NEXT: vpxor %xmm4, %xmm2, %xmm2
+; AVX1-NEXT: vpxor %xmm0, %xmm2, %xmm0
+; AVX1-NEXT: vpcmpgtq %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vandnps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: eq_1_v4i64:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX2-NEXT: vpaddq %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpand %ymm3, %ymm0, %ymm0
-; AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX2-NEXT: vpaddq %ymm1, %ymm0, %ymm1
+; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm2 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
+; AVX2-NEXT: vpxor %ymm2, %ymm1, %ymm1
+; AVX2-NEXT: vpxor %ymm0, %ymm1, %ymm0
+; AVX2-NEXT: vpcmpgtq %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; XOP-LABEL: eq_1_v4i64:
; XOP: # %bb.0:
; XOP-NEXT: vextractf128 $1, %ymm0, %xmm1
-; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; XOP-NEXT: vpcomneqq %xmm2, %xmm1, %xmm3
-; XOP-NEXT: vpcomneqq %xmm2, %xmm0, %xmm4
-; XOP-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; XOP-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; XOP-NEXT: vpaddq %xmm4, %xmm1, %xmm5
-; XOP-NEXT: vpand %xmm5, %xmm1, %xmm1
-; XOP-NEXT: vpcomeqq %xmm2, %xmm1, %xmm1
-; XOP-NEXT: vpaddq %xmm4, %xmm0, %xmm4
-; XOP-NEXT: vpand %xmm4, %xmm0, %xmm0
-; XOP-NEXT: vpcomeqq %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; XOP-NEXT: vpaddq %xmm2, %xmm1, %xmm3
+; XOP-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpcomgtuq %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpaddq %xmm2, %xmm0, %xmm2
+; XOP-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcomgtuq %xmm2, %xmm0, %xmm0
; XOP-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; XOP-NEXT: vandps %ymm0, %ymm3, %ymm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: eq_1_v4i64:
@@ -509,24 +502,23 @@ define <4 x i64> @eq_1_v4i64(<4 x i64> %0) {
;
; BITALG_NOVLX-LABEL: eq_1_v4i64:
; BITALG_NOVLX: # %bb.0:
-; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG_NOVLX-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm2
-; BITALG_NOVLX-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; BITALG_NOVLX-NEXT: vpaddq %ymm3, %ymm0, %ymm3
-; BITALG_NOVLX-NEXT: vpand %ymm3, %ymm0, %ymm0
+; BITALG_NOVLX-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; BITALG_NOVLX-NEXT: vpaddq %ymm1, %ymm0, %ymm1
+; BITALG_NOVLX-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; BITALG_NOVLX-NEXT: vpminuq %zmm1, %zmm0, %zmm1
; BITALG_NOVLX-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0
-; BITALG_NOVLX-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; BITALG_NOVLX-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
+; BITALG_NOVLX-NEXT: # kill: def $ymm0 killed $ymm0 killed $zmm0
; BITALG_NOVLX-NEXT: retq
;
; BITALG-LABEL: eq_1_v4i64:
; BITALG: # %bb.0:
-; BITALG-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm2
-; BITALG-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; BITALG-NEXT: vpaddq %ymm3, %ymm0, %ymm3
-; BITALG-NEXT: vpand %ymm3, %ymm0, %ymm0
+; BITALG-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; BITALG-NEXT: vpaddq %ymm1, %ymm0, %ymm1
+; BITALG-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; BITALG-NEXT: vpminuq %ymm1, %ymm0, %ymm1
; BITALG-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0
-; BITALG-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; BITALG-NEXT: vpternlogq $15, %ymm0, %ymm0, %ymm0
; BITALG-NEXT: retq
%2 = tail call <4 x i64> @llvm.ctpop.v4i64(<4 x i64> %0)
%3 = icmp eq <4 x i64> %2, <i64 1, i64 1, i64 1, i64 1>
@@ -538,51 +530,44 @@ define <4 x i64> @ne_1_v4i64(<4 x i64> %0) {
; AVX1-LABEL: ne_1_v4i64:
; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
-; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX1-NEXT: vpcmpeqq %xmm2, %xmm1, %xmm3
-; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; AVX1-NEXT: vpaddq %xmm4, %xmm1, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm1, %xmm1
-; AVX1-NEXT: vpcmpeqq %xmm2, %xmm1, %xmm1
-; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
-; AVX1-NEXT: vpaddq %xmm4, %xmm0, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm0, %xmm0
-; AVX1-NEXT: vpcmpeqq %xmm2, %xmm0, %xmm0
-; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; AVX1-NEXT: vpaddq %xmm2, %xmm1, %xmm3
+; AVX1-NEXT: vmovddup {{.*#+}} xmm4 = [9223372036854775808,9223372036854775808]
+; AVX1-NEXT: # xmm4 = mem[0,0]
+; AVX1-NEXT: vpxor %xmm4, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm1, %xmm3, %xmm1
+; AVX1-NEXT: vpcmpgtq %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpxor %xmm2, %xmm1, %xmm1
+; AVX1-NEXT: vpaddq %xmm2, %xmm0, %xmm3
+; AVX1-NEXT: vpxor %xmm4, %xmm3, %xmm3
+; AVX1-NEXT: vpxor %xmm0, %xmm3, %xmm0
+; AVX1-NEXT: vpcmpgtq %xmm3, %xmm0, %xmm0
+; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vorps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: ne_1_v4i64:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX2-NEXT: vpaddq %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpand %ymm4, %ymm0, %ymm0
-; AVX2-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpxor %ymm3, %ymm0, %ymm0
-; AVX2-NEXT: vpor %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX2-NEXT: vpaddq %ymm1, %ymm0, %ymm2
+; AVX2-NEXT: vpbroadcastq {{.*#+}} ymm3 = [9223372036854775808,9223372036854775808,9223372036854775808,9223372036854775808]
+; AVX2-NEXT: vpxor %ymm3, %ymm2, %ymm2
+; AVX2-NEXT: vpxor %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vpcmpgtq %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; XOP-LABEL: ne_1_v4i64:
; XOP: # %bb.0:
; XOP-NEXT: vextractf128 $1, %ymm0, %xmm1
-; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; XOP-NEXT: vpcomeqq %xmm2, %xmm1, %xmm3
-; XOP-NEXT: vpcomeqq %xmm2, %xmm0, %xmm4
-; XOP-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; XOP-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; XOP-NEXT: vpaddq %xmm4, %xmm1, %xmm5
-; XOP-NEXT: vpand %xmm5, %xmm1, %xmm1
-; XOP-NEXT: vpcomneqq %xmm2, %xmm1, %xmm1
-; XOP-NEXT: vpaddq %xmm4, %xmm0, %xmm4
-; XOP-NEXT: vpand %xmm4, %xmm0, %xmm0
-; XOP-NEXT: vpcomneqq %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; XOP-NEXT: vpaddq %xmm2, %xmm1, %xmm3
+; XOP-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpcomleuq %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpaddq %xmm2, %xmm0, %xmm2
+; XOP-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcomleuq %xmm2, %xmm0, %xmm0
; XOP-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; XOP-NEXT: vorps %ymm0, %ymm3, %ymm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: ne_1_v4i64:
@@ -605,25 +590,20 @@ define <4 x i64> @ne_1_v4i64(<4 x i64> %0) {
;
; BITALG_NOVLX-LABEL: ne_1_v4i64:
; BITALG_NOVLX: # %bb.0:
-; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG_NOVLX-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm2
-; BITALG_NOVLX-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; BITALG_NOVLX-NEXT: vpaddq %ymm3, %ymm0, %ymm3
-; BITALG_NOVLX-NEXT: vpand %ymm3, %ymm0, %ymm0
+; BITALG_NOVLX-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; BITALG_NOVLX-NEXT: vpaddq %ymm1, %ymm0, %ymm1
+; BITALG_NOVLX-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; BITALG_NOVLX-NEXT: vpminuq %zmm1, %zmm0, %zmm1
; BITALG_NOVLX-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0
-; BITALG_NOVLX-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
-; BITALG_NOVLX-NEXT: vpor %ymm0, %ymm2, %ymm0
; BITALG_NOVLX-NEXT: retq
;
; BITALG-LABEL: ne_1_v4i64:
; BITALG: # %bb.0:
-; BITALG-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm2
-; BITALG-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; BITALG-NEXT: vpaddq %ymm3, %ymm0, %ymm4
-; BITALG-NEXT: vpand %ymm4, %ymm0, %ymm0
+; BITALG-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; BITALG-NEXT: vpaddq %ymm1, %ymm0, %ymm1
+; BITALG-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; BITALG-NEXT: vpminuq %ymm1, %ymm0, %ymm1
; BITALG-NEXT: vpcmpeqq %ymm1, %ymm0, %ymm0
-; BITALG-NEXT: vpternlogq $222, %ymm3, %ymm2, %ymm0
; BITALG-NEXT: retq
%2 = tail call <4 x i64> @llvm.ctpop.v4i64(<4 x i64> %0)
%3 = icmp ne <4 x i64> %2, <i64 1, i64 1, i64 1, i64 1>
@@ -635,48 +615,41 @@ define <8 x i32> @eq_1_v8i32(<8 x i32> %0) {
; AVX1-LABEL: eq_1_v8i32:
; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
-; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX1-NEXT: vpcmpeqd %xmm2, %xmm1, %xmm3
-; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; AVX1-NEXT: vpaddd %xmm4, %xmm1, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm1, %xmm1
-; AVX1-NEXT: vpcmpeqd %xmm2, %xmm1, %xmm1
-; AVX1-NEXT: vpaddd %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vpand %xmm4, %xmm0, %xmm0
-; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; AVX1-NEXT: vpaddd %xmm2, %xmm1, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpminud %xmm3, %xmm1, %xmm3
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpxor %xmm2, %xmm1, %xmm1
+; AVX1-NEXT: vpaddd %xmm2, %xmm0, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0
+; AVX1-NEXT: vpminud %xmm3, %xmm0, %xmm3
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm0, %xmm0
+; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vandnps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: eq_1_v8i32:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX2-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX2-NEXT: vpaddd %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpand %ymm3, %ymm0, %ymm0
-; AVX2-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX2-NEXT: vpaddd %ymm1, %ymm0, %ymm2
+; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vpminud %ymm2, %ymm0, %ymm2
+; AVX2-NEXT: vpcmpeqd %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; XOP-LABEL: eq_1_v8i32:
; XOP: # %bb.0:
; XOP-NEXT: vextractf128 $1, %ymm0, %xmm1
-; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; XOP-NEXT: vpcomneqd %xmm2, %xmm1, %xmm3
-; XOP-NEXT: vpcomneqd %xmm2, %xmm0, %xmm4
-; XOP-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; XOP-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; XOP-NEXT: vpaddd %xmm4, %xmm1, %xmm5
-; XOP-NEXT: vpand %xmm5, %xmm1, %xmm1
-; XOP-NEXT: vpcomeqd %xmm2, %xmm1, %xmm1
-; XOP-NEXT: vpaddd %xmm4, %xmm0, %xmm4
-; XOP-NEXT: vpand %xmm4, %xmm0, %xmm0
-; XOP-NEXT: vpcomeqd %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; XOP-NEXT: vpaddd %xmm2, %xmm1, %xmm3
+; XOP-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpcomgtud %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpaddd %xmm2, %xmm0, %xmm2
+; XOP-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcomgtud %xmm2, %xmm0, %xmm0
; XOP-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; XOP-NEXT: vandps %ymm0, %ymm3, %ymm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: eq_1_v8i32:
@@ -696,24 +669,23 @@ define <8 x i32> @eq_1_v8i32(<8 x i32> %0) {
;
; BITALG_NOVLX-LABEL: eq_1_v8i32:
; BITALG_NOVLX: # %bb.0:
-; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG_NOVLX-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm2
-; BITALG_NOVLX-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; BITALG_NOVLX-NEXT: vpaddd %ymm3, %ymm0, %ymm3
-; BITALG_NOVLX-NEXT: vpand %ymm3, %ymm0, %ymm0
+; BITALG_NOVLX-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; BITALG_NOVLX-NEXT: vpaddd %ymm1, %ymm0, %ymm1
+; BITALG_NOVLX-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; BITALG_NOVLX-NEXT: vpminud %ymm1, %ymm0, %ymm1
; BITALG_NOVLX-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0
-; BITALG_NOVLX-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; BITALG_NOVLX-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
+; BITALG_NOVLX-NEXT: # kill: def $ymm0 killed $ymm0 killed $zmm0
; BITALG_NOVLX-NEXT: retq
;
; BITALG-LABEL: eq_1_v8i32:
; BITALG: # %bb.0:
-; BITALG-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm2
-; BITALG-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; BITALG-NEXT: vpaddd %ymm3, %ymm0, %ymm3
-; BITALG-NEXT: vpand %ymm3, %ymm0, %ymm0
+; BITALG-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; BITALG-NEXT: vpaddd %ymm1, %ymm0, %ymm1
+; BITALG-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; BITALG-NEXT: vpminud %ymm1, %ymm0, %ymm1
; BITALG-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0
-; BITALG-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; BITALG-NEXT: vpternlogq $15, %ymm0, %ymm0, %ymm0
; BITALG-NEXT: retq
%2 = tail call <8 x i32> @llvm.ctpop.v8i32(<8 x i32> %0)
%3 = icmp eq <8 x i32> %2, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
@@ -725,51 +697,38 @@ define <8 x i32> @ne_1_v8i32(<8 x i32> %0) {
; AVX1-LABEL: ne_1_v8i32:
; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
-; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX1-NEXT: vpcmpeqd %xmm2, %xmm1, %xmm3
-; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; AVX1-NEXT: vpaddd %xmm4, %xmm1, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm1, %xmm1
-; AVX1-NEXT: vpcmpeqd %xmm2, %xmm1, %xmm1
-; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
-; AVX1-NEXT: vpaddd %xmm4, %xmm0, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; AVX1-NEXT: vpaddd %xmm2, %xmm1, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpminud %xmm3, %xmm1, %xmm3
+; AVX1-NEXT: vpcmpeqd %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpaddd %xmm2, %xmm0, %xmm2
+; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; AVX1-NEXT: vpminud %xmm2, %xmm0, %xmm2
; AVX1-NEXT: vpcmpeqd %xmm2, %xmm0, %xmm0
-; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vorps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: ne_1_v8i32:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX2-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX2-NEXT: vpaddd %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX2-NEXT: vpaddd %ymm1, %ymm0, %ymm1
+; AVX2-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpminud %ymm1, %ymm0, %ymm1
; AVX2-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpxor %ymm3, %ymm0, %ymm0
-; AVX2-NEXT: vpor %ymm0, %ymm2, %ymm0
; AVX2-NEXT: retq
;
; XOP-LABEL: ne_1_v8i32:
; XOP: # %bb.0:
; XOP-NEXT: vextractf128 $1, %ymm0, %xmm1
-; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; XOP-NEXT: vpcomeqd %xmm2, %xmm1, %xmm3
-; XOP-NEXT: vpcomeqd %xmm2, %xmm0, %xmm4
-; XOP-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; XOP-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; XOP-NEXT: vpaddd %xmm4, %xmm1, %xmm5
-; XOP-NEXT: vpand %xmm5, %xmm1, %xmm1
-; XOP-NEXT: vpcomneqd %xmm2, %xmm1, %xmm1
-; XOP-NEXT: vpaddd %xmm4, %xmm0, %xmm4
-; XOP-NEXT: vpand %xmm4, %xmm0, %xmm0
-; XOP-NEXT: vpcomneqd %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; XOP-NEXT: vpaddd %xmm2, %xmm1, %xmm3
+; XOP-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpcomleud %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpaddd %xmm2, %xmm0, %xmm2
+; XOP-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcomleud %xmm2, %xmm0, %xmm0
; XOP-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; XOP-NEXT: vorps %ymm0, %ymm3, %ymm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: ne_1_v8i32:
@@ -792,25 +751,20 @@ define <8 x i32> @ne_1_v8i32(<8 x i32> %0) {
;
; BITALG_NOVLX-LABEL: ne_1_v8i32:
; BITALG_NOVLX: # %bb.0:
-; BITALG_NOVLX-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG_NOVLX-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm2
-; BITALG_NOVLX-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; BITALG_NOVLX-NEXT: vpaddd %ymm3, %ymm0, %ymm3
-; BITALG_NOVLX-NEXT: vpand %ymm3, %ymm0, %ymm0
+; BITALG_NOVLX-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; BITALG_NOVLX-NEXT: vpaddd %ymm1, %ymm0, %ymm1
+; BITALG_NOVLX-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; BITALG_NOVLX-NEXT: vpminud %ymm1, %ymm0, %ymm1
; BITALG_NOVLX-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0
-; BITALG_NOVLX-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
-; BITALG_NOVLX-NEXT: vpor %ymm0, %ymm2, %ymm0
; BITALG_NOVLX-NEXT: retq
;
; BITALG-LABEL: ne_1_v8i32:
; BITALG: # %bb.0:
-; BITALG-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; BITALG-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm2
-; BITALG-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; BITALG-NEXT: vpaddd %ymm3, %ymm0, %ymm4
-; BITALG-NEXT: vpand %ymm4, %ymm0, %ymm0
+; BITALG-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; BITALG-NEXT: vpaddd %ymm1, %ymm0, %ymm1
+; BITALG-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; BITALG-NEXT: vpminud %ymm1, %ymm0, %ymm1
; BITALG-NEXT: vpcmpeqd %ymm1, %ymm0, %ymm0
-; BITALG-NEXT: vpternlogd $222, %ymm3, %ymm2, %ymm0
; BITALG-NEXT: retq
%2 = tail call <8 x i32> @llvm.ctpop.v8i32(<8 x i32> %0)
%3 = icmp ne <8 x i32> %2, <i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1, i32 1>
@@ -822,70 +776,62 @@ define <16 x i16> @eq_1_v16i16(<16 x i16> %0) {
; AVX1-LABEL: eq_1_v16i16:
; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
-; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX1-NEXT: vpcmpeqw %xmm2, %xmm1, %xmm3
-; AVX1-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; AVX1-NEXT: vpaddw %xmm4, %xmm1, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm1, %xmm1
-; AVX1-NEXT: vpcmpeqw %xmm2, %xmm1, %xmm1
-; AVX1-NEXT: vpaddw %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vpand %xmm4, %xmm0, %xmm0
-; AVX1-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; AVX1-NEXT: vpaddw %xmm2, %xmm1, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpminuw %xmm3, %xmm1, %xmm3
+; AVX1-NEXT: vpcmpeqw %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpxor %xmm2, %xmm1, %xmm1
+; AVX1-NEXT: vpaddw %xmm2, %xmm0, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0
+; AVX1-NEXT: vpminuw %xmm3, %xmm0, %xmm3
+; AVX1-NEXT: vpcmpeqw %xmm3, %xmm0, %xmm0
+; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vandnps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: eq_1_v16i16:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX2-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX2-NEXT: vpaddw %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpand %ymm3, %ymm0, %ymm0
-; AVX2-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX2-NEXT: vpaddw %ymm1, %ymm0, %ymm2
+; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vpminuw %ymm2, %ymm0, %ymm2
+; AVX2-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; XOP-LABEL: eq_1_v16i16:
; XOP: # %bb.0:
; XOP-NEXT: vextractf128 $1, %ymm0, %xmm1
-; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; XOP-NEXT: vpcomneqw %xmm2, %xmm1, %xmm3
-; XOP-NEXT: vpcomneqw %xmm2, %xmm0, %xmm4
-; XOP-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; XOP-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; XOP-NEXT: vpaddw %xmm4, %xmm1, %xmm5
-; XOP-NEXT: vpand %xmm5, %xmm1, %xmm1
-; XOP-NEXT: vpcomeqw %xmm2, %xmm1, %xmm1
-; XOP-NEXT: vpaddw %xmm4, %xmm0, %xmm4
-; XOP-NEXT: vpand %xmm4, %xmm0, %xmm0
-; XOP-NEXT: vpcomeqw %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; XOP-NEXT: vpaddw %xmm2, %xmm1, %xmm3
+; XOP-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpcomgtuw %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpaddw %xmm2, %xmm0, %xmm2
+; XOP-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcomgtuw %xmm2, %xmm0, %xmm0
; XOP-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; XOP-NEXT: vandps %ymm0, %ymm3, %ymm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: eq_1_v16i16:
; AVX512VPOPCNTDQ: # %bb.0:
-; AVX512VPOPCNTDQ-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm2
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX512VPOPCNTDQ-NEXT: vpaddw %ymm3, %ymm0, %ymm3
-; AVX512VPOPCNTDQ-NEXT: vpand %ymm3, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NEXT: vpaddw %ymm1, %ymm0, %ymm1
+; AVX512VPOPCNTDQ-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpminuw %ymm1, %ymm0, %ymm1
; AVX512VPOPCNTDQ-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
-; AVX512VPOPCNTDQ-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
+; AVX512VPOPCNTDQ-NEXT: # kill: def $ymm0 killed $ymm0 killed $zmm0
; AVX512VPOPCNTDQ-NEXT: retq
;
; AVX512VPOPCNTDQVL-LABEL: eq_1_v16i16:
; AVX512VPOPCNTDQVL: # %bb.0:
-; AVX512VPOPCNTDQVL-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm2
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX512VPOPCNTDQVL-NEXT: vpaddw %ymm3, %ymm0, %ymm3
-; AVX512VPOPCNTDQVL-NEXT: vpand %ymm3, %ymm0, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX512VPOPCNTDQVL-NEXT: vpaddw %ymm1, %ymm0, %ymm1
+; AVX512VPOPCNTDQVL-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpminuw %ymm1, %ymm0, %ymm1
; AVX512VPOPCNTDQVL-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
-; AVX512VPOPCNTDQVL-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpternlogq $15, %ymm0, %ymm0, %ymm0
; AVX512VPOPCNTDQVL-NEXT: retq
;
; BITALG_NOVLX-LABEL: eq_1_v16i16:
@@ -910,74 +856,56 @@ define <16 x i16> @ne_1_v16i16(<16 x i16> %0) {
; AVX1-LABEL: ne_1_v16i16:
; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
-; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX1-NEXT: vpcmpeqw %xmm2, %xmm1, %xmm3
-; AVX1-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; AVX1-NEXT: vpaddw %xmm4, %xmm1, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm1, %xmm1
-; AVX1-NEXT: vpcmpeqw %xmm2, %xmm1, %xmm1
-; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
-; AVX1-NEXT: vpaddw %xmm4, %xmm0, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; AVX1-NEXT: vpaddw %xmm2, %xmm1, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpminuw %xmm3, %xmm1, %xmm3
+; AVX1-NEXT: vpcmpeqw %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpaddw %xmm2, %xmm0, %xmm2
+; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; AVX1-NEXT: vpminuw %xmm2, %xmm0, %xmm2
; AVX1-NEXT: vpcmpeqw %xmm2, %xmm0, %xmm0
-; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vorps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: ne_1_v16i16:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX2-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX2-NEXT: vpaddw %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX2-NEXT: vpaddw %ymm1, %ymm0, %ymm1
+; AVX2-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpminuw %ymm1, %ymm0, %ymm1
; AVX2-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpxor %ymm3, %ymm0, %ymm0
-; AVX2-NEXT: vpor %ymm0, %ymm2, %ymm0
; AVX2-NEXT: retq
;
; XOP-LABEL: ne_1_v16i16:
; XOP: # %bb.0:
; XOP-NEXT: vextractf128 $1, %ymm0, %xmm1
-; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; XOP-NEXT: vpcomeqw %xmm2, %xmm1, %xmm3
-; XOP-NEXT: vpcomeqw %xmm2, %xmm0, %xmm4
-; XOP-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; XOP-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; XOP-NEXT: vpaddw %xmm4, %xmm1, %xmm5
-; XOP-NEXT: vpand %xmm5, %xmm1, %xmm1
-; XOP-NEXT: vpcomneqw %xmm2, %xmm1, %xmm1
-; XOP-NEXT: vpaddw %xmm4, %xmm0, %xmm4
-; XOP-NEXT: vpand %xmm4, %xmm0, %xmm0
-; XOP-NEXT: vpcomneqw %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; XOP-NEXT: vpaddw %xmm2, %xmm1, %xmm3
+; XOP-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpcomleuw %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpaddw %xmm2, %xmm0, %xmm2
+; XOP-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcomleuw %xmm2, %xmm0, %xmm0
; XOP-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; XOP-NEXT: vorps %ymm0, %ymm3, %ymm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: ne_1_v16i16:
; AVX512VPOPCNTDQ: # %bb.0:
-; AVX512VPOPCNTDQ-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm2
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX512VPOPCNTDQ-NEXT: vpaddw %ymm3, %ymm0, %ymm3
-; AVX512VPOPCNTDQ-NEXT: vpand %ymm3, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NEXT: vpaddw %ymm1, %ymm0, %ymm1
+; AVX512VPOPCNTDQ-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpminuw %ymm1, %ymm0, %ymm1
; AVX512VPOPCNTDQ-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
-; AVX512VPOPCNTDQ-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
-; AVX512VPOPCNTDQ-NEXT: vpor %ymm0, %ymm2, %ymm0
; AVX512VPOPCNTDQ-NEXT: retq
;
; AVX512VPOPCNTDQVL-LABEL: ne_1_v16i16:
; AVX512VPOPCNTDQVL: # %bb.0:
-; AVX512VPOPCNTDQVL-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm2
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX512VPOPCNTDQVL-NEXT: vpaddw %ymm3, %ymm0, %ymm4
-; AVX512VPOPCNTDQVL-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX512VPOPCNTDQVL-NEXT: vpaddw %ymm1, %ymm0, %ymm1
+; AVX512VPOPCNTDQVL-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpminuw %ymm1, %ymm0, %ymm1
; AVX512VPOPCNTDQVL-NEXT: vpcmpeqw %ymm1, %ymm0, %ymm0
-; AVX512VPOPCNTDQVL-NEXT: vpternlogq $222, %ymm3, %ymm2, %ymm0
; AVX512VPOPCNTDQVL-NEXT: retq
;
; BITALG_NOVLX-LABEL: ne_1_v16i16:
@@ -1005,70 +933,62 @@ define <32 x i8> @eq_1_v32i8(<32 x i8> %0) {
; AVX1-LABEL: eq_1_v32i8:
; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
-; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX1-NEXT: vpcmpeqb %xmm2, %xmm1, %xmm3
-; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; AVX1-NEXT: vpaddb %xmm4, %xmm1, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm1, %xmm1
-; AVX1-NEXT: vpcmpeqb %xmm2, %xmm1, %xmm1
-; AVX1-NEXT: vpaddb %xmm4, %xmm0, %xmm4
-; AVX1-NEXT: vpand %xmm4, %xmm0, %xmm0
-; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; AVX1-NEXT: vpaddb %xmm2, %xmm1, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpminub %xmm3, %xmm1, %xmm3
+; AVX1-NEXT: vpcmpeqb %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpxor %xmm2, %xmm1, %xmm1
+; AVX1-NEXT: vpaddb %xmm2, %xmm0, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm0, %xmm0
+; AVX1-NEXT: vpminub %xmm3, %xmm0, %xmm3
+; AVX1-NEXT: vpcmpeqb %xmm3, %xmm0, %xmm0
+; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vandnps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: eq_1_v32i8:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX2-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX2-NEXT: vpaddb %ymm3, %ymm0, %ymm3
-; AVX2-NEXT: vpand %ymm3, %ymm0, %ymm0
-; AVX2-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX2-NEXT: vpaddb %ymm1, %ymm0, %ymm2
+; AVX2-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vpminub %ymm2, %ymm0, %ymm2
+; AVX2-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0
+; AVX2-NEXT: vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT: retq
;
; XOP-LABEL: eq_1_v32i8:
; XOP: # %bb.0:
; XOP-NEXT: vextractf128 $1, %ymm0, %xmm1
-; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; XOP-NEXT: vpcomneqb %xmm2, %xmm1, %xmm3
-; XOP-NEXT: vpcomneqb %xmm2, %xmm0, %xmm4
-; XOP-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; XOP-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; XOP-NEXT: vpaddb %xmm4, %xmm1, %xmm5
-; XOP-NEXT: vpand %xmm5, %xmm1, %xmm1
-; XOP-NEXT: vpcomeqb %xmm2, %xmm1, %xmm1
-; XOP-NEXT: vpaddb %xmm4, %xmm0, %xmm4
-; XOP-NEXT: vpand %xmm4, %xmm0, %xmm0
-; XOP-NEXT: vpcomeqb %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; XOP-NEXT: vpaddb %xmm2, %xmm1, %xmm3
+; XOP-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpcomgtub %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpaddb %xmm2, %xmm0, %xmm2
+; XOP-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcomgtub %xmm2, %xmm0, %xmm0
; XOP-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; XOP-NEXT: vandps %ymm0, %ymm3, %ymm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: eq_1_v32i8:
; AVX512VPOPCNTDQ: # %bb.0:
-; AVX512VPOPCNTDQ-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm2
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX512VPOPCNTDQ-NEXT: vpaddb %ymm3, %ymm0, %ymm3
-; AVX512VPOPCNTDQ-NEXT: vpand %ymm3, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NEXT: vpaddb %ymm1, %ymm0, %ymm1
+; AVX512VPOPCNTDQ-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpminub %ymm1, %ymm0, %ymm1
; AVX512VPOPCNTDQ-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0
-; AVX512VPOPCNTDQ-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
+; AVX512VPOPCNTDQ-NEXT: # kill: def $ymm0 killed $ymm0 killed $zmm0
; AVX512VPOPCNTDQ-NEXT: retq
;
; AVX512VPOPCNTDQVL-LABEL: eq_1_v32i8:
; AVX512VPOPCNTDQVL: # %bb.0:
-; AVX512VPOPCNTDQVL-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm2
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX512VPOPCNTDQVL-NEXT: vpaddb %ymm3, %ymm0, %ymm3
-; AVX512VPOPCNTDQVL-NEXT: vpand %ymm3, %ymm0, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX512VPOPCNTDQVL-NEXT: vpaddb %ymm1, %ymm0, %ymm1
+; AVX512VPOPCNTDQVL-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpminub %ymm1, %ymm0, %ymm1
; AVX512VPOPCNTDQVL-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0
-; AVX512VPOPCNTDQVL-NEXT: vpandn %ymm0, %ymm2, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpternlogq $15, %ymm0, %ymm0, %ymm0
; AVX512VPOPCNTDQVL-NEXT: retq
;
; BITALG_NOVLX-LABEL: eq_1_v32i8:
@@ -1093,74 +1013,56 @@ define <32 x i8> @ne_1_v32i8(<32 x i8> %0) {
; AVX1-LABEL: ne_1_v32i8:
; AVX1: # %bb.0:
; AVX1-NEXT: vextractf128 $1, %ymm0, %xmm1
-; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX1-NEXT: vpcmpeqb %xmm2, %xmm1, %xmm3
-; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm4
-; AVX1-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; AVX1-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; AVX1-NEXT: vpaddb %xmm4, %xmm1, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm1, %xmm1
-; AVX1-NEXT: vpcmpeqb %xmm2, %xmm1, %xmm1
-; AVX1-NEXT: vpxor %xmm4, %xmm1, %xmm1
-; AVX1-NEXT: vpaddb %xmm4, %xmm0, %xmm5
-; AVX1-NEXT: vpand %xmm5, %xmm0, %xmm0
+; AVX1-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; AVX1-NEXT: vpaddb %xmm2, %xmm1, %xmm3
+; AVX1-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpminub %xmm3, %xmm1, %xmm3
+; AVX1-NEXT: vpcmpeqb %xmm3, %xmm1, %xmm1
+; AVX1-NEXT: vpaddb %xmm2, %xmm0, %xmm2
+; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; AVX1-NEXT: vpminub %xmm2, %xmm0, %xmm2
; AVX1-NEXT: vpcmpeqb %xmm2, %xmm0, %xmm0
-; AVX1-NEXT: vpxor %xmm4, %xmm0, %xmm0
; AVX1-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; AVX1-NEXT: vorps %ymm0, %ymm3, %ymm0
; AVX1-NEXT: retq
;
; AVX2-LABEL: ne_1_v32i8:
; AVX2: # %bb.0:
-; AVX2-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX2-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm2
-; AVX2-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX2-NEXT: vpaddb %ymm3, %ymm0, %ymm4
-; AVX2-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX2-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX2-NEXT: vpaddb %ymm1, %ymm0, %ymm1
+; AVX2-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX2-NEXT: vpminub %ymm1, %ymm0, %ymm1
; AVX2-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0
-; AVX2-NEXT: vpxor %ymm3, %ymm0, %ymm0
-; AVX2-NEXT: vpor %ymm0, %ymm2, %ymm0
; AVX2-NEXT: retq
;
; XOP-LABEL: ne_1_v32i8:
; XOP: # %bb.0:
; XOP-NEXT: vextractf128 $1, %ymm0, %xmm1
-; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; XOP-NEXT: vpcomeqb %xmm2, %xmm1, %xmm3
-; XOP-NEXT: vpcomeqb %xmm2, %xmm0, %xmm4
-; XOP-NEXT: vinsertf128 $1, %xmm3, %ymm4, %ymm3
-; XOP-NEXT: vpcmpeqd %xmm4, %xmm4, %xmm4
-; XOP-NEXT: vpaddb %xmm4, %xmm1, %xmm5
-; XOP-NEXT: vpand %xmm5, %xmm1, %xmm1
-; XOP-NEXT: vpcomneqb %xmm2, %xmm1, %xmm1
-; XOP-NEXT: vpaddb %xmm4, %xmm0, %xmm4
-; XOP-NEXT: vpand %xmm4, %xmm0, %xmm0
-; XOP-NEXT: vpcomneqb %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcmpeqd %xmm2, %xmm2, %xmm2
+; XOP-NEXT: vpaddb %xmm2, %xmm1, %xmm3
+; XOP-NEXT: vpxor %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpcomleub %xmm3, %xmm1, %xmm1
+; XOP-NEXT: vpaddb %xmm2, %xmm0, %xmm2
+; XOP-NEXT: vpxor %xmm2, %xmm0, %xmm0
+; XOP-NEXT: vpcomleub %xmm2, %xmm0, %xmm0
; XOP-NEXT: vinsertf128 $1, %xmm1, %ymm0, %ymm0
-; XOP-NEXT: vorps %ymm0, %ymm3, %ymm0
; XOP-NEXT: retq
;
; AVX512VPOPCNTDQ-LABEL: ne_1_v32i8:
; AVX512VPOPCNTDQ: # %bb.0:
-; AVX512VPOPCNTDQ-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm2
-; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX512VPOPCNTDQ-NEXT: vpaddb %ymm3, %ymm0, %ymm3
-; AVX512VPOPCNTDQ-NEXT: vpand %ymm3, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NEXT: vpaddb %ymm1, %ymm0, %ymm1
+; AVX512VPOPCNTDQ-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NEXT: vpminub %ymm1, %ymm0, %ymm1
; AVX512VPOPCNTDQ-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0
-; AVX512VPOPCNTDQ-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
-; AVX512VPOPCNTDQ-NEXT: vpor %ymm0, %ymm2, %ymm0
; AVX512VPOPCNTDQ-NEXT: retq
;
; AVX512VPOPCNTDQVL-LABEL: ne_1_v32i8:
; AVX512VPOPCNTDQVL: # %bb.0:
-; AVX512VPOPCNTDQVL-NEXT: vpxor %xmm1, %xmm1, %xmm1
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm2
-; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %ymm3, %ymm3, %ymm3
-; AVX512VPOPCNTDQVL-NEXT: vpaddb %ymm3, %ymm0, %ymm4
-; AVX512VPOPCNTDQVL-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpcmpeqd %ymm1, %ymm1, %ymm1
+; AVX512VPOPCNTDQVL-NEXT: vpaddb %ymm1, %ymm0, %ymm1
+; AVX512VPOPCNTDQVL-NEXT: vpxor %ymm1, %ymm0, %ymm0
+; AVX512VPOPCNTDQVL-NEXT: vpminub %ymm1, %ymm0, %ymm1
; AVX512VPOPCNTDQVL-NEXT: vpcmpeqb %ymm1, %ymm0, %ymm0
-; AVX512VPOPCNTDQVL-NEXT: vpternlogq $222, %ymm3, %ymm2, %ymm0
; AVX512VPOPCNTDQVL-NEXT: retq
;
; BITALG_NOVLX-LABEL: ne_1_v32i8:
diff --git a/llvm/test/CodeGen/X86/vector-popcnt-512.ll b/llvm/test/CodeGen/X86/vector-popcnt-512.ll
index 1c1caf8ee468130..efe3985d98d9e75 100644
--- a/llvm/test/CodeGen/X86/vector-popcnt-512.ll
+++ b/llvm/test/CodeGen/X86/vector-popcnt-512.ll
@@ -293,8 +293,8 @@ define <8 x i64> @eq_1_v8i64(<8 x i64> %0) {
; AVX512F: # %bb.0:
; AVX512F-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512F-NEXT: vpaddq %zmm1, %zmm0, %zmm1
-; AVX512F-NEXT: vptestnmq %zmm1, %zmm0, %k1
-; AVX512F-NEXT: vptestmq %zmm0, %zmm0, %k1 {%k1}
+; AVX512F-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512F-NEXT: vpcmpnleuq %zmm1, %zmm0, %k1
; AVX512F-NEXT: vpternlogq $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; AVX512F-NEXT: retq
;
@@ -302,8 +302,8 @@ define <8 x i64> @eq_1_v8i64(<8 x i64> %0) {
; AVX512BW: # %bb.0:
; AVX512BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512BW-NEXT: vpaddq %zmm1, %zmm0, %zmm1
-; AVX512BW-NEXT: vptestnmq %zmm1, %zmm0, %k1
-; AVX512BW-NEXT: vptestmq %zmm0, %zmm0, %k1 {%k1}
+; AVX512BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512BW-NEXT: vpcmpnleuq %zmm1, %zmm0, %k1
; AVX512BW-NEXT: vpternlogq $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; AVX512BW-NEXT: retq
;
@@ -318,8 +318,8 @@ define <8 x i64> @eq_1_v8i64(<8 x i64> %0) {
; BITALG: # %bb.0:
; BITALG-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; BITALG-NEXT: vpaddq %zmm1, %zmm0, %zmm1
-; BITALG-NEXT: vptestnmq %zmm1, %zmm0, %k1
-; BITALG-NEXT: vptestmq %zmm0, %zmm0, %k1 {%k1}
+; BITALG-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; BITALG-NEXT: vpcmpnleuq %zmm1, %zmm0, %k1
; BITALG-NEXT: vpternlogq $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; BITALG-NEXT: retq
%2 = tail call <8 x i64> @llvm.ctpop.v8i64(<8 x i64> %0)
@@ -333,9 +333,8 @@ define <8 x i64> @ne_1_v8i64(<8 x i64> %0) {
; AVX512F: # %bb.0:
; AVX512F-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512F-NEXT: vpaddq %zmm1, %zmm0, %zmm1
-; AVX512F-NEXT: vptestmq %zmm1, %zmm0, %k0
-; AVX512F-NEXT: vptestnmq %zmm0, %zmm0, %k1
-; AVX512F-NEXT: korw %k0, %k1, %k1
+; AVX512F-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512F-NEXT: vpcmpleuq %zmm1, %zmm0, %k1
; AVX512F-NEXT: vpternlogq $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; AVX512F-NEXT: retq
;
@@ -343,9 +342,8 @@ define <8 x i64> @ne_1_v8i64(<8 x i64> %0) {
; AVX512BW: # %bb.0:
; AVX512BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512BW-NEXT: vpaddq %zmm1, %zmm0, %zmm1
-; AVX512BW-NEXT: vptestmq %zmm1, %zmm0, %k0
-; AVX512BW-NEXT: vptestnmq %zmm0, %zmm0, %k1
-; AVX512BW-NEXT: korw %k0, %k1, %k1
+; AVX512BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512BW-NEXT: vpcmpleuq %zmm1, %zmm0, %k1
; AVX512BW-NEXT: vpternlogq $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; AVX512BW-NEXT: retq
;
@@ -360,9 +358,8 @@ define <8 x i64> @ne_1_v8i64(<8 x i64> %0) {
; BITALG: # %bb.0:
; BITALG-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; BITALG-NEXT: vpaddq %zmm1, %zmm0, %zmm1
-; BITALG-NEXT: vptestmq %zmm1, %zmm0, %k0
-; BITALG-NEXT: vptestnmq %zmm0, %zmm0, %k1
-; BITALG-NEXT: korw %k0, %k1, %k1
+; BITALG-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; BITALG-NEXT: vpcmpleuq %zmm1, %zmm0, %k1
; BITALG-NEXT: vpternlogq $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; BITALG-NEXT: retq
%2 = tail call <8 x i64> @llvm.ctpop.v8i64(<8 x i64> %0)
@@ -376,8 +373,8 @@ define <16 x i32> @eq_1_v16i32(<16 x i32> %0) {
; AVX512F: # %bb.0:
; AVX512F-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512F-NEXT: vpaddd %zmm1, %zmm0, %zmm1
-; AVX512F-NEXT: vptestnmd %zmm1, %zmm0, %k1
-; AVX512F-NEXT: vptestmd %zmm0, %zmm0, %k1 {%k1}
+; AVX512F-NEXT: vpxord %zmm1, %zmm0, %zmm0
+; AVX512F-NEXT: vpcmpnleud %zmm1, %zmm0, %k1
; AVX512F-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; AVX512F-NEXT: retq
;
@@ -385,8 +382,8 @@ define <16 x i32> @eq_1_v16i32(<16 x i32> %0) {
; AVX512BW: # %bb.0:
; AVX512BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512BW-NEXT: vpaddd %zmm1, %zmm0, %zmm1
-; AVX512BW-NEXT: vptestnmd %zmm1, %zmm0, %k1
-; AVX512BW-NEXT: vptestmd %zmm0, %zmm0, %k1 {%k1}
+; AVX512BW-NEXT: vpxord %zmm1, %zmm0, %zmm0
+; AVX512BW-NEXT: vpcmpnleud %zmm1, %zmm0, %k1
; AVX512BW-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; AVX512BW-NEXT: retq
;
@@ -401,8 +398,8 @@ define <16 x i32> @eq_1_v16i32(<16 x i32> %0) {
; BITALG: # %bb.0:
; BITALG-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; BITALG-NEXT: vpaddd %zmm1, %zmm0, %zmm1
-; BITALG-NEXT: vptestnmd %zmm1, %zmm0, %k1
-; BITALG-NEXT: vptestmd %zmm0, %zmm0, %k1 {%k1}
+; BITALG-NEXT: vpxord %zmm1, %zmm0, %zmm0
+; BITALG-NEXT: vpcmpnleud %zmm1, %zmm0, %k1
; BITALG-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; BITALG-NEXT: retq
%2 = tail call <16 x i32> @llvm.ctpop.v16i32(<16 x i32> %0)
@@ -416,9 +413,8 @@ define <16 x i32> @ne_1_v16i32(<16 x i32> %0) {
; AVX512F: # %bb.0:
; AVX512F-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512F-NEXT: vpaddd %zmm1, %zmm0, %zmm1
-; AVX512F-NEXT: vptestmd %zmm1, %zmm0, %k0
-; AVX512F-NEXT: vptestnmd %zmm0, %zmm0, %k1
-; AVX512F-NEXT: korw %k0, %k1, %k1
+; AVX512F-NEXT: vpxord %zmm1, %zmm0, %zmm0
+; AVX512F-NEXT: vpcmpleud %zmm1, %zmm0, %k1
; AVX512F-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; AVX512F-NEXT: retq
;
@@ -426,9 +422,8 @@ define <16 x i32> @ne_1_v16i32(<16 x i32> %0) {
; AVX512BW: # %bb.0:
; AVX512BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512BW-NEXT: vpaddd %zmm1, %zmm0, %zmm1
-; AVX512BW-NEXT: vptestmd %zmm1, %zmm0, %k0
-; AVX512BW-NEXT: vptestnmd %zmm0, %zmm0, %k1
-; AVX512BW-NEXT: korw %k0, %k1, %k1
+; AVX512BW-NEXT: vpxord %zmm1, %zmm0, %zmm0
+; AVX512BW-NEXT: vpcmpleud %zmm1, %zmm0, %k1
; AVX512BW-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; AVX512BW-NEXT: retq
;
@@ -443,9 +438,8 @@ define <16 x i32> @ne_1_v16i32(<16 x i32> %0) {
; BITALG: # %bb.0:
; BITALG-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; BITALG-NEXT: vpaddd %zmm1, %zmm0, %zmm1
-; BITALG-NEXT: vptestmd %zmm1, %zmm0, %k0
-; BITALG-NEXT: vptestnmd %zmm0, %zmm0, %k1
-; BITALG-NEXT: korw %k0, %k1, %k1
+; BITALG-NEXT: vpxord %zmm1, %zmm0, %zmm0
+; BITALG-NEXT: vpcmpleud %zmm1, %zmm0, %k1
; BITALG-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0 {%k1} {z}
; BITALG-NEXT: retq
%2 = tail call <16 x i32> @llvm.ctpop.v16i32(<16 x i32> %0)
@@ -458,54 +452,50 @@ define <32 x i16> @eq_1_v32i16(<32 x i16> %0) {
; AVX512F-LABEL: eq_1_v32i16:
; AVX512F: # %bb.0:
; AVX512F-NEXT: vextracti64x4 $1, %zmm0, %ymm1
-; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX512F-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm3
-; AVX512F-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm4
-; AVX512F-NEXT: vinserti64x4 $1, %ymm3, %zmm4, %zmm3
-; AVX512F-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4
-; AVX512F-NEXT: vpaddw %ymm4, %ymm1, %ymm5
-; AVX512F-NEXT: vpand %ymm5, %ymm1, %ymm1
-; AVX512F-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm1
-; AVX512F-NEXT: vpaddw %ymm4, %ymm0, %ymm4
-; AVX512F-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512F-NEXT: vpcmpeqd %ymm2, %ymm2, %ymm2
+; AVX512F-NEXT: vpaddw %ymm2, %ymm1, %ymm3
+; AVX512F-NEXT: vpxor %ymm3, %ymm1, %ymm1
+; AVX512F-NEXT: vpminuw %ymm3, %ymm1, %ymm3
+; AVX512F-NEXT: vpcmpeqw %ymm3, %ymm1, %ymm1
+; AVX512F-NEXT: vpaddw %ymm2, %ymm0, %ymm2
+; AVX512F-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX512F-NEXT: vpminuw %ymm2, %ymm0, %ymm2
; AVX512F-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; AVX512F-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm0
-; AVX512F-NEXT: vpandnq %zmm0, %zmm3, %zmm0
+; AVX512F-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
; AVX512F-NEXT: retq
;
; AVX512BW-LABEL: eq_1_v32i16:
; AVX512BW: # %bb.0:
; AVX512BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512BW-NEXT: vpaddw %zmm1, %zmm0, %zmm1
-; AVX512BW-NEXT: vptestnmw %zmm1, %zmm0, %k1
-; AVX512BW-NEXT: vptestmw %zmm0, %zmm0, %k0 {%k1}
+; AVX512BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512BW-NEXT: vpcmpnleuw %zmm1, %zmm0, %k0
; AVX512BW-NEXT: vpmovm2w %k0, %zmm0
; AVX512BW-NEXT: retq
;
; AVX512VPOPCNTDQ-NOBW-LABEL: eq_1_v32i16:
; AVX512VPOPCNTDQ-NOBW: # %bb.0:
; AVX512VPOPCNTDQ-NOBW-NEXT: vextracti64x4 $1, %zmm0, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm3
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm3, %zmm4, %zmm3
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddw %ymm4, %ymm1, %ymm5
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpand %ymm5, %ymm1, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddw %ymm4, %ymm0, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqd %ymm2, %ymm2, %ymm2
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddw %ymm2, %ymm1, %ymm3
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %ymm3, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpminuw %ymm3, %ymm1, %ymm3
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm3, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddw %ymm2, %ymm0, %ymm2
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpminuw %ymm2, %ymm0, %ymm2
; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm0
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpandnq %zmm0, %zmm3, %zmm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
; AVX512VPOPCNTDQ-NOBW-NEXT: retq
;
; AVX512VPOPCNTDQ-BW-LABEL: eq_1_v32i16:
; AVX512VPOPCNTDQ-BW: # %bb.0:
; AVX512VPOPCNTDQ-BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512VPOPCNTDQ-BW-NEXT: vpaddw %zmm1, %zmm0, %zmm1
-; AVX512VPOPCNTDQ-BW-NEXT: vptestnmw %zmm1, %zmm0, %k1
-; AVX512VPOPCNTDQ-BW-NEXT: vptestmw %zmm0, %zmm0, %k0 {%k1}
+; AVX512VPOPCNTDQ-BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512VPOPCNTDQ-BW-NEXT: vpcmpnleuw %zmm1, %zmm0, %k0
; AVX512VPOPCNTDQ-BW-NEXT: vpmovm2w %k0, %zmm0
; AVX512VPOPCNTDQ-BW-NEXT: retq
;
@@ -525,58 +515,48 @@ define <32 x i16> @ne_1_v32i16(<32 x i16> %0) {
; AVX512F-LABEL: ne_1_v32i16:
; AVX512F: # %bb.0:
; AVX512F-NEXT: vextracti64x4 $1, %zmm0, %ymm1
-; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX512F-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm3
-; AVX512F-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm4
-; AVX512F-NEXT: vinserti64x4 $1, %ymm3, %zmm4, %zmm3
-; AVX512F-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4
-; AVX512F-NEXT: vpaddw %ymm4, %ymm1, %ymm5
-; AVX512F-NEXT: vpand %ymm5, %ymm1, %ymm1
-; AVX512F-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm1
-; AVX512F-NEXT: vpaddw %ymm4, %ymm0, %ymm4
-; AVX512F-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512F-NEXT: vpcmpeqd %ymm2, %ymm2, %ymm2
+; AVX512F-NEXT: vpaddw %ymm2, %ymm1, %ymm3
+; AVX512F-NEXT: vpxor %ymm3, %ymm1, %ymm1
+; AVX512F-NEXT: vpminuw %ymm3, %ymm1, %ymm3
+; AVX512F-NEXT: vpcmpeqw %ymm3, %ymm1, %ymm1
+; AVX512F-NEXT: vpaddw %ymm2, %ymm0, %ymm2
+; AVX512F-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX512F-NEXT: vpminuw %ymm2, %ymm0, %ymm2
; AVX512F-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
-; AVX512F-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm1
-; AVX512F-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0
-; AVX512F-NEXT: vpternlogq $222, %zmm1, %zmm3, %zmm0
+; AVX512F-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm0
; AVX512F-NEXT: retq
;
; AVX512BW-LABEL: ne_1_v32i16:
; AVX512BW: # %bb.0:
; AVX512BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512BW-NEXT: vpaddw %zmm1, %zmm0, %zmm1
-; AVX512BW-NEXT: vptestmw %zmm1, %zmm0, %k0
-; AVX512BW-NEXT: vptestnmw %zmm0, %zmm0, %k1
-; AVX512BW-NEXT: kord %k0, %k1, %k0
+; AVX512BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512BW-NEXT: vpcmpleuw %zmm1, %zmm0, %k0
; AVX512BW-NEXT: vpmovm2w %k0, %zmm0
; AVX512BW-NEXT: retq
;
; AVX512VPOPCNTDQ-NOBW-LABEL: ne_1_v32i16:
; AVX512VPOPCNTDQ-NOBW: # %bb.0:
; AVX512VPOPCNTDQ-NOBW-NEXT: vextracti64x4 $1, %zmm0, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm3
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm3, %zmm4, %zmm3
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddw %ymm4, %ymm1, %ymm5
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpand %ymm5, %ymm1, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm2, %ymm1, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddw %ymm4, %ymm0, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqd %ymm2, %ymm2, %ymm2
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddw %ymm2, %ymm1, %ymm3
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %ymm3, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpminuw %ymm3, %ymm1, %ymm3
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm3, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddw %ymm2, %ymm0, %ymm2
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpminuw %ymm2, %ymm0, %ymm2
; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqw %ymm2, %ymm0, %ymm0
-; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpternlogq $222, %zmm1, %zmm3, %zmm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm0
; AVX512VPOPCNTDQ-NOBW-NEXT: retq
;
; AVX512VPOPCNTDQ-BW-LABEL: ne_1_v32i16:
; AVX512VPOPCNTDQ-BW: # %bb.0:
; AVX512VPOPCNTDQ-BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512VPOPCNTDQ-BW-NEXT: vpaddw %zmm1, %zmm0, %zmm1
-; AVX512VPOPCNTDQ-BW-NEXT: vptestmw %zmm1, %zmm0, %k0
-; AVX512VPOPCNTDQ-BW-NEXT: vptestnmw %zmm0, %zmm0, %k1
-; AVX512VPOPCNTDQ-BW-NEXT: kord %k0, %k1, %k0
+; AVX512VPOPCNTDQ-BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512VPOPCNTDQ-BW-NEXT: vpcmpleuw %zmm1, %zmm0, %k0
; AVX512VPOPCNTDQ-BW-NEXT: vpmovm2w %k0, %zmm0
; AVX512VPOPCNTDQ-BW-NEXT: retq
;
@@ -596,54 +576,50 @@ define <64 x i8> @eq_1_v64i8(<64 x i8> %0) {
; AVX512F-LABEL: eq_1_v64i8:
; AVX512F: # %bb.0:
; AVX512F-NEXT: vextracti64x4 $1, %zmm0, %ymm1
-; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX512F-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm3
-; AVX512F-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm4
-; AVX512F-NEXT: vinserti64x4 $1, %ymm3, %zmm4, %zmm3
-; AVX512F-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4
-; AVX512F-NEXT: vpaddb %ymm4, %ymm1, %ymm5
-; AVX512F-NEXT: vpand %ymm5, %ymm1, %ymm1
-; AVX512F-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm1
-; AVX512F-NEXT: vpaddb %ymm4, %ymm0, %ymm4
-; AVX512F-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512F-NEXT: vpcmpeqd %ymm2, %ymm2, %ymm2
+; AVX512F-NEXT: vpaddb %ymm2, %ymm1, %ymm3
+; AVX512F-NEXT: vpxor %ymm3, %ymm1, %ymm1
+; AVX512F-NEXT: vpminub %ymm3, %ymm1, %ymm3
+; AVX512F-NEXT: vpcmpeqb %ymm3, %ymm1, %ymm1
+; AVX512F-NEXT: vpaddb %ymm2, %ymm0, %ymm2
+; AVX512F-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX512F-NEXT: vpminub %ymm2, %ymm0, %ymm2
; AVX512F-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0
; AVX512F-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm0
-; AVX512F-NEXT: vpandnq %zmm0, %zmm3, %zmm0
+; AVX512F-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
; AVX512F-NEXT: retq
;
; AVX512BW-LABEL: eq_1_v64i8:
; AVX512BW: # %bb.0:
; AVX512BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512BW-NEXT: vpaddb %zmm1, %zmm0, %zmm1
-; AVX512BW-NEXT: vptestnmb %zmm1, %zmm0, %k1
-; AVX512BW-NEXT: vptestmb %zmm0, %zmm0, %k0 {%k1}
+; AVX512BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512BW-NEXT: vpcmpnleub %zmm1, %zmm0, %k0
; AVX512BW-NEXT: vpmovm2b %k0, %zmm0
; AVX512BW-NEXT: retq
;
; AVX512VPOPCNTDQ-NOBW-LABEL: eq_1_v64i8:
; AVX512VPOPCNTDQ-NOBW: # %bb.0:
; AVX512VPOPCNTDQ-NOBW-NEXT: vextracti64x4 $1, %zmm0, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm3
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm3, %zmm4, %zmm3
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddb %ymm4, %ymm1, %ymm5
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpand %ymm5, %ymm1, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddb %ymm4, %ymm0, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqd %ymm2, %ymm2, %ymm2
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddb %ymm2, %ymm1, %ymm3
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %ymm3, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpminub %ymm3, %ymm1, %ymm3
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm3, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddb %ymm2, %ymm0, %ymm2
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpminub %ymm2, %ymm0, %ymm2
; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0
; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm0
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpandnq %zmm0, %zmm3, %zmm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpternlogq $15, %zmm0, %zmm0, %zmm0
; AVX512VPOPCNTDQ-NOBW-NEXT: retq
;
; AVX512VPOPCNTDQ-BW-LABEL: eq_1_v64i8:
; AVX512VPOPCNTDQ-BW: # %bb.0:
; AVX512VPOPCNTDQ-BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512VPOPCNTDQ-BW-NEXT: vpaddb %zmm1, %zmm0, %zmm1
-; AVX512VPOPCNTDQ-BW-NEXT: vptestnmb %zmm1, %zmm0, %k1
-; AVX512VPOPCNTDQ-BW-NEXT: vptestmb %zmm0, %zmm0, %k0 {%k1}
+; AVX512VPOPCNTDQ-BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512VPOPCNTDQ-BW-NEXT: vpcmpnleub %zmm1, %zmm0, %k0
; AVX512VPOPCNTDQ-BW-NEXT: vpmovm2b %k0, %zmm0
; AVX512VPOPCNTDQ-BW-NEXT: retq
;
@@ -663,58 +639,48 @@ define <64 x i8> @ne_1_v64i8(<64 x i8> %0) {
; AVX512F-LABEL: ne_1_v64i8:
; AVX512F: # %bb.0:
; AVX512F-NEXT: vextracti64x4 $1, %zmm0, %ymm1
-; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX512F-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm3
-; AVX512F-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm4
-; AVX512F-NEXT: vinserti64x4 $1, %ymm3, %zmm4, %zmm3
-; AVX512F-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4
-; AVX512F-NEXT: vpaddb %ymm4, %ymm1, %ymm5
-; AVX512F-NEXT: vpand %ymm5, %ymm1, %ymm1
-; AVX512F-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm1
-; AVX512F-NEXT: vpaddb %ymm4, %ymm0, %ymm4
-; AVX512F-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512F-NEXT: vpcmpeqd %ymm2, %ymm2, %ymm2
+; AVX512F-NEXT: vpaddb %ymm2, %ymm1, %ymm3
+; AVX512F-NEXT: vpxor %ymm3, %ymm1, %ymm1
+; AVX512F-NEXT: vpminub %ymm3, %ymm1, %ymm3
+; AVX512F-NEXT: vpcmpeqb %ymm3, %ymm1, %ymm1
+; AVX512F-NEXT: vpaddb %ymm2, %ymm0, %ymm2
+; AVX512F-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX512F-NEXT: vpminub %ymm2, %ymm0, %ymm2
; AVX512F-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0
-; AVX512F-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm1
-; AVX512F-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0
-; AVX512F-NEXT: vpternlogq $222, %zmm1, %zmm3, %zmm0
+; AVX512F-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm0
; AVX512F-NEXT: retq
;
; AVX512BW-LABEL: ne_1_v64i8:
; AVX512BW: # %bb.0:
; AVX512BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512BW-NEXT: vpaddb %zmm1, %zmm0, %zmm1
-; AVX512BW-NEXT: vptestmb %zmm1, %zmm0, %k0
-; AVX512BW-NEXT: vptestnmb %zmm0, %zmm0, %k1
-; AVX512BW-NEXT: korq %k0, %k1, %k0
+; AVX512BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512BW-NEXT: vpcmpleub %zmm1, %zmm0, %k0
; AVX512BW-NEXT: vpmovm2b %k0, %zmm0
; AVX512BW-NEXT: retq
;
; AVX512VPOPCNTDQ-NOBW-LABEL: ne_1_v64i8:
; AVX512VPOPCNTDQ-NOBW: # %bb.0:
; AVX512VPOPCNTDQ-NOBW-NEXT: vextracti64x4 $1, %zmm0, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %xmm2, %xmm2, %xmm2
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm3
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm3, %zmm4, %zmm3
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddb %ymm4, %ymm1, %ymm5
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpand %ymm5, %ymm1, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm2, %ymm1, %ymm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddb %ymm4, %ymm0, %ymm4
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpand %ymm4, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqd %ymm2, %ymm2, %ymm2
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddb %ymm2, %ymm1, %ymm3
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %ymm3, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpminub %ymm3, %ymm1, %ymm3
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm3, %ymm1, %ymm1
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpaddb %ymm2, %ymm0, %ymm2
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpxor %ymm2, %ymm0, %ymm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vpminub %ymm2, %ymm0, %ymm2
; AVX512VPOPCNTDQ-NOBW-NEXT: vpcmpeqb %ymm2, %ymm0, %ymm0
-; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm1
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpternlogd $255, %zmm0, %zmm0, %zmm0
-; AVX512VPOPCNTDQ-NOBW-NEXT: vpternlogq $222, %zmm1, %zmm3, %zmm0
+; AVX512VPOPCNTDQ-NOBW-NEXT: vinserti64x4 $1, %ymm1, %zmm0, %zmm0
; AVX512VPOPCNTDQ-NOBW-NEXT: retq
;
; AVX512VPOPCNTDQ-BW-LABEL: ne_1_v64i8:
; AVX512VPOPCNTDQ-BW: # %bb.0:
; AVX512VPOPCNTDQ-BW-NEXT: vpternlogd $255, %zmm1, %zmm1, %zmm1
; AVX512VPOPCNTDQ-BW-NEXT: vpaddb %zmm1, %zmm0, %zmm1
-; AVX512VPOPCNTDQ-BW-NEXT: vptestmb %zmm1, %zmm0, %k0
-; AVX512VPOPCNTDQ-BW-NEXT: vptestnmb %zmm0, %zmm0, %k1
-; AVX512VPOPCNTDQ-BW-NEXT: korq %k0, %k1, %k0
+; AVX512VPOPCNTDQ-BW-NEXT: vpxorq %zmm1, %zmm0, %zmm0
+; AVX512VPOPCNTDQ-BW-NEXT: vpcmpleub %zmm1, %zmm0, %k0
; AVX512VPOPCNTDQ-BW-NEXT: vpmovm2b %k0, %zmm0
; AVX512VPOPCNTDQ-BW-NEXT: retq
;
More information about the llvm-commits
mailing list