[llvm] 3533e0a - [ARM] Add patterns for select(p, BinOp(x, y), z) -> BinOpT(x, y,p z)
David Green via llvm-commits
llvm-commits at lists.llvm.org
Wed Jul 22 05:24:58 PDT 2020
Author: David Green
Date: 2020-07-22T13:24:01+01:00
New Revision: 3533e0a08d00458efc28cf7d3faabb5a1721d245
URL: https://github.com/llvm/llvm-project/commit/3533e0a08d00458efc28cf7d3faabb5a1721d245
DIFF: https://github.com/llvm/llvm-project/commit/3533e0a08d00458efc28cf7d3faabb5a1721d245.diff
LOG: [ARM] Add patterns for select(p, BinOp(x, y), z) -> BinOpT(x, y,p z)
Most MVE instructions can be predicated to fold a select into the
instruction, using the predicate and the selects else as a passthough.
This adds tablegen patterns for most two operand instructions using the
newly added TwoOpPattern from 1030e82598da.
Differential Revision: https://reviews.llvm.org/D83222
Added:
Modified:
llvm/lib/Target/ARM/ARMInstrMVE.td
llvm/test/CodeGen/Thumb2/LowOverheadLoops/cond-vector-reduce-mve-codegen.ll
llvm/test/CodeGen/Thumb2/mve-pred-selectop.ll
llvm/test/CodeGen/Thumb2/mve-pred-selectop2.ll
llvm/test/CodeGen/Thumb2/mve-pred-selectop3.ll
llvm/test/CodeGen/Thumb2/mve-vecreduce-addpred.ll
llvm/test/CodeGen/Thumb2/mve-vecreduce-mlapred.ll
Removed:
################################################################################
diff --git a/llvm/lib/Target/ARM/ARMInstrMVE.td b/llvm/lib/Target/ARM/ARMInstrMVE.td
index f109d0223576..95f41abf308b 100644
--- a/llvm/lib/Target/ARM/ARMInstrMVE.td
+++ b/llvm/lib/Target/ARM/ARMInstrMVE.td
@@ -325,7 +325,18 @@ multiclass MVE_TwoOpPattern<MVEVectorVTInfo VTI, PatFrag Op, Intrinsic PredInt,
def : Pat<(VTI.Vec (Op (VTI.Vec MQPR:$Qm), (VTI.Vec MQPR:$Qn))),
(VTI.Vec (Inst (VTI.Vec MQPR:$Qm), (VTI.Vec MQPR:$Qn)))>;
- // Predicated
+ // Predicated with select
+ if !ne(VTI.Size, 0b11) then {
+ def : Pat<(VTI.Vec (vselect (VTI.Pred VCCR:$mask),
+ (VTI.Vec (Op (VTI.Vec MQPR:$Qm),
+ (VTI.Vec MQPR:$Qn))),
+ (VTI.Vec MQPR:$inactive))),
+ (VTI.Vec (Inst (VTI.Vec MQPR:$Qm), (VTI.Vec MQPR:$Qn),
+ ARMVCCThen, (VTI.Pred VCCR:$mask),
+ (VTI.Vec MQPR:$inactive)))>;
+ }
+
+ // Predicated with intrinsic
def : Pat<(VTI.Vec !con((PredInt (VTI.Vec MQPR:$Qm), (VTI.Vec MQPR:$Qn)),
PredOperands,
(? (VTI.Pred VCCR:$mask), (VTI.Vec MQPR:$inactive)))),
@@ -340,7 +351,18 @@ multiclass MVE_TwoOpPatternDup<MVEVectorVTInfo VTI, PatFrag Op, Intrinsic PredIn
def : Pat<(VTI.Vec (Op (VTI.Vec MQPR:$Qm), (VTI.Vec (ARMvdup rGPR:$Rn)))),
(VTI.Vec (Inst (VTI.Vec MQPR:$Qm), rGPR:$Rn))>;
- // Predicated
+ // Predicated with select
+ if !ne(VTI.Size, 0b11) then {
+ def : Pat<(VTI.Vec (vselect (VTI.Pred VCCR:$mask),
+ (VTI.Vec (Op (VTI.Vec MQPR:$Qm),
+ (VTI.Vec (ARMvdup rGPR:$Rn)))),
+ (VTI.Vec MQPR:$inactive))),
+ (VTI.Vec (Inst (VTI.Vec MQPR:$Qm), rGPR:$Rn,
+ ARMVCCThen, (VTI.Pred VCCR:$mask),
+ (VTI.Vec MQPR:$inactive)))>;
+ }
+
+ // Predicated with intrinsic
def : Pat<(VTI.Vec !con((PredInt (VTI.Vec MQPR:$Qm), (VTI.Vec (ARMvdup rGPR:$Rn))),
PredOperands,
(? (VTI.Pred VCCR:$mask), (VTI.Vec MQPR:$inactive)))),
diff --git a/llvm/test/CodeGen/Thumb2/LowOverheadLoops/cond-vector-reduce-mve-codegen.ll b/llvm/test/CodeGen/Thumb2/LowOverheadLoops/cond-vector-reduce-mve-codegen.ll
index e98276e258ab..eff56a041ee2 100644
--- a/llvm/test/CodeGen/Thumb2/LowOverheadLoops/cond-vector-reduce-mve-codegen.ll
+++ b/llvm/test/CodeGen/Thumb2/LowOverheadLoops/cond-vector-reduce-mve-codegen.ll
@@ -99,8 +99,9 @@ define dso_local i32 @vpsel_mul_reduce_add_2(i32* noalias nocapture readonly %a,
; CHECK-LABEL: vpsel_mul_reduce_add_2:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: push {r4, r5, r7, lr}
-; CHECK-NEXT: sub sp, #4
-; CHECK-NEXT: ldr.w r12, [sp, #20]
+; CHECK-NEXT: vpush {d8, d9}
+; CHECK-NEXT: sub sp, #8
+; CHECK-NEXT: ldr.w r12, [sp, #40]
; CHECK-NEXT: cmp.w r12, #0
; CHECK-NEXT: beq .LBB1_4
; CHECK-NEXT: @ %bb.1: @ %vector.ph
@@ -116,19 +117,17 @@ define dso_local i32 @vpsel_mul_reduce_add_2(i32* noalias nocapture readonly %a,
; CHECK-NEXT: @ =>This Inner Loop Header: Depth=1
; CHECK-NEXT: vctp.32 r12
; CHECK-NEXT: and r5, r4, #15
-; CHECK-NEXT: vstr p0, [sp] @ 4-byte Spill
+; CHECK-NEXT: vstr p0, [sp, #4] @ 4-byte Spill
; CHECK-NEXT: vmov q0, q1
-; CHECK-NEXT: vpstt
-; CHECK-NEXT: vldrwt.u32 q1, [r3], #16
-; CHECK-NEXT: vldrwt.u32 q2, [r2], #16
-; CHECK-NEXT: vdup.32 q3, r5
-; CHECK-NEXT: vsub.i32 q1, q2, q1
-; CHECK-NEXT: vpst
-; CHECK-NEXT: vldrwt.u32 q2, [r1], #16
-; CHECK-NEXT: vcmp.i32 eq, q3, zr
+; CHECK-NEXT: vpsttt
+; CHECK-NEXT: vldrwt.u32 q1, [r1], #16
+; CHECK-NEXT: vldrwt.u32 q2, [r3], #16
+; CHECK-NEXT: vldrwt.u32 q3, [r2], #16
+; CHECK-NEXT: vdup.32 q4, r5
+; CHECK-NEXT: vpt.i32 eq, q4, zr
+; CHECK-NEXT: vsubt.i32 q1, q3, q2
; CHECK-NEXT: adds r4, #4
-; CHECK-NEXT: vpsel q1, q1, q2
-; CHECK-NEXT: vldr p0, [sp] @ 4-byte Reload
+; CHECK-NEXT: vldr p0, [sp, #4] @ 4-byte Reload
; CHECK-NEXT: vpst
; CHECK-NEXT: vldrwt.u32 q2, [r0], #16
; CHECK-NEXT: vmul.i32 q1, q1, q2
@@ -138,11 +137,12 @@ define dso_local i32 @vpsel_mul_reduce_add_2(i32* noalias nocapture readonly %a,
; CHECK-NEXT: @ %bb.3: @ %middle.block
; CHECK-NEXT: vpsel q0, q1, q0
; CHECK-NEXT: vaddv.u32 r0, q0
-; CHECK-NEXT: add sp, #4
-; CHECK-NEXT: pop {r4, r5, r7, pc}
+; CHECK-NEXT: b .LBB1_5
; CHECK-NEXT: .LBB1_4:
; CHECK-NEXT: movs r0, #0
-; CHECK-NEXT: add sp, #4
+; CHECK-NEXT: .LBB1_5: @ %for.cond.cleanup
+; CHECK-NEXT: add sp, #8
+; CHECK-NEXT: vpop {d8, d9}
; CHECK-NEXT: pop {r4, r5, r7, pc}
i32* noalias nocapture readonly %c, i32* noalias nocapture readonly %d, i32 %N) {
entry:
diff --git a/llvm/test/CodeGen/Thumb2/mve-pred-selectop.ll b/llvm/test/CodeGen/Thumb2/mve-pred-selectop.ll
index f1deae09fa60..51a25b261746 100644
--- a/llvm/test/CodeGen/Thumb2/mve-pred-selectop.ll
+++ b/llvm/test/CodeGen/Thumb2/mve-pred-selectop.ll
@@ -4,9 +4,8 @@
define arm_aapcs_vfpcc <4 x i32> @add_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: add_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vaddt.i32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -18,9 +17,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @add_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: add_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vaddt.i16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -32,9 +30,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @add_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: add_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vaddt.i8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -46,9 +43,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sub_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: sub_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vsubt.i32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -60,9 +56,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sub_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: sub_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vsubt.i16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -74,9 +69,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sub_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: sub_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vsubt.i8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -88,9 +82,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @mul_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: mul_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vmult.i32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -102,9 +95,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @mul_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: mul_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vmult.i16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -116,9 +108,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @mul_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: mul_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vmult.i8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -130,9 +121,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @and_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: and_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vandt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -144,9 +134,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @and_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: and_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vandt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -158,9 +147,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @and_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: and_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vandt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -172,9 +160,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @or_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: or_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vorrt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -186,9 +173,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @or_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: or_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vorrt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -200,9 +186,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @or_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: or_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vorrt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -214,9 +199,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @xor_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: xor_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: veort q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -228,9 +212,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @xor_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: xor_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: veort q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -242,9 +225,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @xor_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: xor_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: veort q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -256,9 +238,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @andnot_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: andnot_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vbict q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -271,9 +252,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @andnot_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: andnot_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vbict q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -286,9 +266,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @andnot_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: andnot_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vbict q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -301,9 +280,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ornot_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: ornot_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vornt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -316,9 +294,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ornot_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: ornot_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vornt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -331,9 +308,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ornot_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: ornot_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vornt q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -346,9 +322,8 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fadd_v4f32(<4 x float> %z, <4 x float> %x, <4 x float> %y) {
; CHECK-LABEL: fadd_v4f32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f32 q1, q1, q2
-; CHECK-NEXT: vcmp.f32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f32 eq, q0, zr
+; CHECK-NEXT: vaddt.f32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <4 x float> %z, zeroinitializer
@@ -360,9 +335,8 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fadd_v8f16(<8 x half> %z, <8 x half> %x, <8 x half> %y) {
; CHECK-LABEL: fadd_v8f16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f16 q1, q1, q2
-; CHECK-NEXT: vcmp.f16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f16 eq, q0, zr
+; CHECK-NEXT: vaddt.f16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <8 x half> %z, zeroinitializer
@@ -374,9 +348,8 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fsub_v4f32(<4 x float> %z, <4 x float> %x, <4 x float> %y) {
; CHECK-LABEL: fsub_v4f32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f32 q1, q1, q2
-; CHECK-NEXT: vcmp.f32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f32 eq, q0, zr
+; CHECK-NEXT: vsubt.f32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <4 x float> %z, zeroinitializer
@@ -388,9 +361,8 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fsub_v8f16(<8 x half> %z, <8 x half> %x, <8 x half> %y) {
; CHECK-LABEL: fsub_v8f16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f16 q1, q1, q2
-; CHECK-NEXT: vcmp.f16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f16 eq, q0, zr
+; CHECK-NEXT: vsubt.f16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <8 x half> %z, zeroinitializer
@@ -402,9 +374,8 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fmul_v4f32(<4 x float> %z, <4 x float> %x, <4 x float> %y) {
; CHECK-LABEL: fmul_v4f32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f32 q1, q1, q2
-; CHECK-NEXT: vcmp.f32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f32 eq, q0, zr
+; CHECK-NEXT: vmult.f32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <4 x float> %z, zeroinitializer
@@ -416,9 +387,8 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fmul_v8f16(<8 x half> %z, <8 x half> %x, <8 x half> %y) {
; CHECK-LABEL: fmul_v8f16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f16 q1, q1, q2
-; CHECK-NEXT: vcmp.f16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f16 eq, q0, zr
+; CHECK-NEXT: vmult.f16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <8 x half> %z, zeroinitializer
@@ -430,9 +400,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_slt_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: icmp_slt_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vmint.s32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -445,9 +414,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_slt_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: icmp_slt_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vmint.s16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -460,9 +428,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_slt_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: icmp_slt_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vmint.s8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -475,9 +442,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_sgt_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: icmp_sgt_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vmaxt.s32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -490,9 +456,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_sgt_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: icmp_sgt_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vmaxt.s16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -505,9 +470,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_sgt_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: icmp_sgt_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vmaxt.s8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -520,9 +484,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_ult_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: icmp_ult_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vmint.u32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -535,9 +498,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_ult_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: icmp_ult_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vmint.u16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -550,9 +512,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_ult_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: icmp_ult_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vmint.u8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -565,9 +526,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_ugt_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: icmp_ugt_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vmaxt.u32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -580,9 +540,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_ugt_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: icmp_ugt_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vmaxt.u16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -595,9 +554,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_ugt_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: icmp_ugt_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vmaxt.u8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -610,9 +568,8 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fcmp_fast_olt_v4f32(<4 x float> %z, <4 x float> %x, <4 x float> %y) {
; CHECK-LABEL: fcmp_fast_olt_v4f32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vminnm.f32 q1, q1, q2
-; CHECK-NEXT: vcmp.f32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f32 eq, q0, zr
+; CHECK-NEXT: vminnmt.f32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <4 x float> %z, zeroinitializer
@@ -625,9 +582,8 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fcmp_fast_olt_v8f16(<8 x half> %z, <8 x half> %x, <8 x half> %y) {
; CHECK-LABEL: fcmp_fast_olt_v8f16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vminnm.f16 q1, q1, q2
-; CHECK-NEXT: vcmp.f16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f16 eq, q0, zr
+; CHECK-NEXT: vminnmt.f16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <8 x half> %z, zeroinitializer
@@ -640,9 +596,8 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fcmp_fast_ogt_v4f32(<4 x float> %z, <4 x float> %x, <4 x float> %y) {
; CHECK-LABEL: fcmp_fast_ogt_v4f32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmaxnm.f32 q1, q1, q2
-; CHECK-NEXT: vcmp.f32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f32 eq, q0, zr
+; CHECK-NEXT: vmaxnmt.f32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <4 x float> %z, zeroinitializer
@@ -655,9 +610,8 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fcmp_fast_ogt_v8f16(<8 x half> %z, <8 x half> %x, <8 x half> %y) {
; CHECK-LABEL: fcmp_fast_ogt_v8f16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmaxnm.f16 q1, q1, q2
-; CHECK-NEXT: vcmp.f16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f16 eq, q0, zr
+; CHECK-NEXT: vmaxnmt.f16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <8 x half> %z, zeroinitializer
@@ -670,9 +624,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_sat_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: sadd_sat_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vqaddt.s32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -684,9 +637,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_sat_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: sadd_sat_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vqaddt.s16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -698,9 +650,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_sat_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: sadd_sat_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vqaddt.s8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -712,9 +663,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_sat_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: uadd_sat_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vqaddt.u32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -726,9 +676,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_sat_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: uadd_sat_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vqaddt.u16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -740,9 +689,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_sat_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: uadd_sat_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vqaddt.u8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -754,9 +702,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_sat_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: ssub_sat_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vqsubt.s32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -768,9 +715,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_sat_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: ssub_sat_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vqsubt.s16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -782,9 +728,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_sat_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: ssub_sat_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vqsubt.s8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -796,9 +741,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_sat_v4i32(<4 x i32> %z, <4 x i32> %x, <4 x i32> %y) {
; CHECK-LABEL: usub_sat_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q1, q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vqsubt.u32 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -810,9 +754,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_sat_v8i16(<8 x i16> %z, <8 x i16> %x, <8 x i16> %y) {
; CHECK-LABEL: usub_sat_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q1, q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vqsubt.u16 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -824,9 +767,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_sat_v16i8(<16 x i8> %z, <16 x i8> %x, <16 x i8> %y) {
; CHECK-LABEL: usub_sat_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q1, q1, q2
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vqsubt.u8 q0, q1, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -838,9 +780,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @addqr_v4i32(<4 x i32> %z, <4 x i32> %x, i32 %y) {
; CHECK-LABEL: addqr_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i32 q1, q1, r0
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vaddt.i32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -854,9 +795,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @addqr_v8i16(<8 x i16> %z, <8 x i16> %x, i16 %y) {
; CHECK-LABEL: addqr_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i16 q1, q1, r0
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vaddt.i16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -870,9 +810,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @addqr_v16i8(<16 x i8> %z, <16 x i8> %x, i8 %y) {
; CHECK-LABEL: addqr_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i8 q1, q1, r0
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vaddt.i8 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -886,9 +825,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @subqr_v4i32(<4 x i32> %z, <4 x i32> %x, i32 %y) {
; CHECK-LABEL: subqr_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i32 q1, q1, r0
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vsubt.i32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -902,9 +840,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @subqr_v8i16(<8 x i16> %z, <8 x i16> %x, i16 %y) {
; CHECK-LABEL: subqr_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i16 q1, q1, r0
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vsubt.i16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -918,9 +855,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @subqr_v16i8(<16 x i8> %z, <16 x i8> %x, i8 %y) {
; CHECK-LABEL: subqr_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i8 q1, q1, r0
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vsubt.i8 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -934,9 +870,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @mulqr_v4i32(<4 x i32> %z, <4 x i32> %x, i32 %y) {
; CHECK-LABEL: mulqr_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i32 q1, q1, r0
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vmult.i32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -950,9 +885,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @mulqr_v8i16(<8 x i16> %z, <8 x i16> %x, i16 %y) {
; CHECK-LABEL: mulqr_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i16 q1, q1, r0
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vmult.i16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -966,9 +900,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @mulqr_v16i8(<16 x i8> %z, <16 x i8> %x, i8 %y) {
; CHECK-LABEL: mulqr_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i8 q1, q1, r0
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vmult.i8 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -983,9 +916,8 @@ define arm_aapcs_vfpcc <4 x float> @faddqr_v4f32(<4 x float> %z, <4 x float> %x,
; CHECK-LABEL: faddqr_v4f32:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r0, s8
-; CHECK-NEXT: vcmp.f32 eq, q0, zr
-; CHECK-NEXT: vadd.f32 q1, q1, r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f32 eq, q0, zr
+; CHECK-NEXT: vaddt.f32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <4 x float> %z, zeroinitializer
@@ -1000,9 +932,8 @@ define arm_aapcs_vfpcc <8 x half> @faddqr_v8f16(<8 x half> %z, <8 x half> %x, ha
; CHECK-LABEL: faddqr_v8f16:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r0, s8
-; CHECK-NEXT: vcmp.f16 eq, q0, zr
-; CHECK-NEXT: vadd.f16 q1, q1, r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f16 eq, q0, zr
+; CHECK-NEXT: vaddt.f16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <8 x half> %z, zeroinitializer
@@ -1017,9 +948,8 @@ define arm_aapcs_vfpcc <4 x float> @fsubqr_v4f32(<4 x float> %z, <4 x float> %x,
; CHECK-LABEL: fsubqr_v4f32:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r0, s8
-; CHECK-NEXT: vcmp.f32 eq, q0, zr
-; CHECK-NEXT: vsub.f32 q1, q1, r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f32 eq, q0, zr
+; CHECK-NEXT: vsubt.f32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <4 x float> %z, zeroinitializer
@@ -1034,9 +964,8 @@ define arm_aapcs_vfpcc <8 x half> @fsubqr_v8f16(<8 x half> %z, <8 x half> %x, ha
; CHECK-LABEL: fsubqr_v8f16:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r0, s8
-; CHECK-NEXT: vcmp.f16 eq, q0, zr
-; CHECK-NEXT: vsub.f16 q1, q1, r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f16 eq, q0, zr
+; CHECK-NEXT: vsubt.f16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <8 x half> %z, zeroinitializer
@@ -1051,9 +980,8 @@ define arm_aapcs_vfpcc <4 x float> @fmulqr_v4f32(<4 x float> %z, <4 x float> %x,
; CHECK-LABEL: fmulqr_v4f32:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r0, s8
-; CHECK-NEXT: vcmp.f32 eq, q0, zr
-; CHECK-NEXT: vmul.f32 q1, q1, r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f32 eq, q0, zr
+; CHECK-NEXT: vmult.f32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <4 x float> %z, zeroinitializer
@@ -1068,9 +996,8 @@ define arm_aapcs_vfpcc <8 x half> @fmulqr_v8f16(<8 x half> %z, <8 x half> %x, ha
; CHECK-LABEL: fmulqr_v8f16:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r0, s8
-; CHECK-NEXT: vcmp.f16 eq, q0, zr
-; CHECK-NEXT: vmul.f16 q1, q1, r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.f16 eq, q0, zr
+; CHECK-NEXT: vmult.f16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = fcmp oeq <8 x half> %z, zeroinitializer
@@ -1084,9 +1011,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_satqr_v4i32(<4 x i32> %z, <4 x i32> %x, i32 %y) {
; CHECK-LABEL: sadd_satqr_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q1, q1, r0
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vqaddt.s32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -1100,9 +1026,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_satqr_v8i16(<8 x i16> %z, <8 x i16> %x, i16 %y) {
; CHECK-LABEL: sadd_satqr_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q1, q1, r0
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vqaddt.s16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -1116,9 +1041,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_satqr_v16i8(<16 x i8> %z, <16 x i8> %x, i8 %y) {
; CHECK-LABEL: sadd_satqr_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q1, q1, r0
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vqaddt.s8 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -1132,9 +1056,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_satqr_v4i32(<4 x i32> %z, <4 x i32> %x, i32 %y) {
; CHECK-LABEL: uadd_satqr_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q1, q1, r0
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vqaddt.u32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -1148,9 +1071,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_satqr_v8i16(<8 x i16> %z, <8 x i16> %x, i16 %y) {
; CHECK-LABEL: uadd_satqr_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q1, q1, r0
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vqaddt.u16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -1164,9 +1086,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_satqr_v16i8(<16 x i8> %z, <16 x i8> %x, i8 %y) {
; CHECK-LABEL: uadd_satqr_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q1, q1, r0
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vqaddt.u8 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -1180,9 +1101,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_satqr_v4i32(<4 x i32> %z, <4 x i32> %x, i32 %y) {
; CHECK-LABEL: ssub_satqr_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q1, q1, r0
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vqsubt.s32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -1196,9 +1116,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_satqr_v8i16(<8 x i16> %z, <8 x i16> %x, i16 %y) {
; CHECK-LABEL: ssub_satqr_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q1, q1, r0
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vqsubt.s16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -1212,9 +1131,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_satqr_v16i8(<16 x i8> %z, <16 x i8> %x, i8 %y) {
; CHECK-LABEL: ssub_satqr_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q1, q1, r0
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vqsubt.s8 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
@@ -1228,9 +1146,8 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_satqr_v4i32(<4 x i32> %z, <4 x i32> %x, i32 %y) {
; CHECK-LABEL: usub_satqr_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q1, q1, r0
-; CHECK-NEXT: vcmp.i32 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i32 eq, q0, zr
+; CHECK-NEXT: vqsubt.u32 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %z, zeroinitializer
@@ -1244,9 +1161,8 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_satqr_v8i16(<8 x i16> %z, <8 x i16> %x, i16 %y) {
; CHECK-LABEL: usub_satqr_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q1, q1, r0
-; CHECK-NEXT: vcmp.i16 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i16 eq, q0, zr
+; CHECK-NEXT: vqsubt.u16 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %z, zeroinitializer
@@ -1260,9 +1176,8 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_satqr_v16i8(<16 x i8> %z, <16 x i8> %x, i8 %y) {
; CHECK-LABEL: usub_satqr_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q1, q1, r0
-; CHECK-NEXT: vcmp.i8 eq, q0, zr
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpt.i8 eq, q0, zr
+; CHECK-NEXT: vqsubt.u8 q0, q1, r0
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %z, zeroinitializer
diff --git a/llvm/test/CodeGen/Thumb2/mve-pred-selectop2.ll b/llvm/test/CodeGen/Thumb2/mve-pred-selectop2.ll
index 58377ee61987..62271a250ac2 100644
--- a/llvm/test/CodeGen/Thumb2/mve-pred-selectop2.ll
+++ b/llvm/test/CodeGen/Thumb2/mve-pred-selectop2.ll
@@ -4,9 +4,9 @@
define arm_aapcs_vfpcc <4 x i32> @add_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: add_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -18,9 +18,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @add_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: add_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -32,9 +32,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @add_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: add_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -46,9 +46,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sub_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: sub_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -60,9 +60,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sub_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: sub_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -74,9 +74,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sub_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: sub_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -88,9 +88,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @mul_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: mul_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -102,9 +102,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @mul_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: mul_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -116,9 +116,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @mul_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: mul_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -130,9 +130,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @and_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: and_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -144,9 +144,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @and_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: and_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -158,9 +158,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @and_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: and_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -172,9 +172,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @or_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: or_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vorrt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -186,9 +186,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @or_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: or_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vorrt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -200,9 +200,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @or_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: or_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vorrt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -214,9 +214,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @xor_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: xor_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -228,9 +228,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @xor_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: xor_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -242,9 +242,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @xor_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: xor_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -256,9 +256,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @andnot_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: andnot_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -271,9 +271,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @andnot_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: andnot_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -286,9 +286,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @andnot_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: andnot_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -301,9 +301,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ornot_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: ornot_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -316,9 +316,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ornot_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: ornot_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -331,9 +331,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ornot_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: ornot_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -346,9 +346,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fadd_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fadd_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -360,9 +360,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fadd_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fadd_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -374,9 +374,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fsub_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fsub_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -388,9 +388,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fsub_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fsub_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -402,9 +402,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fmul_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fmul_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -416,9 +416,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fmul_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fmul_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -430,9 +430,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_slt_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -445,9 +445,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_slt_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -460,9 +460,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_slt_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -475,9 +475,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_sgt_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -490,9 +490,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_sgt_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -505,9 +505,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_sgt_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -520,9 +520,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_ult_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -535,9 +535,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_ult_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -550,9 +550,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_ult_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -565,9 +565,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_ugt_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -580,9 +580,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_ugt_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -595,9 +595,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_ugt_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -610,9 +610,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fcmp_fast_olt_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_olt_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vminnm.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vminnmt.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -625,9 +625,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fcmp_fast_olt_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_olt_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vminnm.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vminnmt.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -640,9 +640,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fcmp_fast_ogt_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_ogt_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmaxnm.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxnmt.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -655,9 +655,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fcmp_fast_ogt_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_ogt_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmaxnm.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxnmt.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -670,9 +670,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_sat_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -684,9 +684,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_sat_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -698,9 +698,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_sat_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -712,9 +712,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_sat_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -726,9 +726,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_sat_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -740,9 +740,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_sat_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -754,9 +754,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_sat_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -768,9 +768,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_sat_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -782,9 +782,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_sat_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -796,9 +796,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_sat_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -810,9 +810,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_sat_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -824,9 +824,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_sat_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -838,9 +838,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @addqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: addqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -854,9 +854,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @addqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: addqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -870,9 +870,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @addqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: addqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -886,9 +886,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @subqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: subqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -902,9 +902,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @subqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: subqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -918,9 +918,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @subqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: subqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -934,9 +934,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @mulqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: mulqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -950,9 +950,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @mulqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: mulqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -966,9 +966,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @mulqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: mulqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -984,8 +984,8 @@ define arm_aapcs_vfpcc <4 x float> @faddqr_v4f32_x(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vadd.f32 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f32 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1001,8 +1001,8 @@ define arm_aapcs_vfpcc <8 x half> @faddqr_v8f16_x(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vadd.f16 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f16 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1018,8 +1018,8 @@ define arm_aapcs_vfpcc <4 x float> @fsubqr_v4f32_x(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vsub.f32 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f32 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1035,8 +1035,8 @@ define arm_aapcs_vfpcc <8 x half> @fsubqr_v8f16_x(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vsub.f16 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f16 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1052,8 +1052,8 @@ define arm_aapcs_vfpcc <4 x float> @fmulqr_v4f32_x(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vmul.f32 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f32 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1069,8 +1069,8 @@ define arm_aapcs_vfpcc <8 x half> @fmulqr_v8f16_x(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vmul.f16 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f16 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1084,9 +1084,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_satqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1100,9 +1100,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_satqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1116,9 +1116,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_satqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1132,9 +1132,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_satqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1148,9 +1148,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_satqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1164,9 +1164,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_satqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1180,9 +1180,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_satqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1196,9 +1196,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_satqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1212,9 +1212,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_satqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1228,9 +1228,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_satqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1244,9 +1244,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_satqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1260,9 +1260,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_satqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1276,9 +1276,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @add_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: add_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1290,9 +1291,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @add_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: add_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1304,9 +1306,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @add_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: add_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1318,9 +1321,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sub_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: sub_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1332,9 +1336,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sub_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: sub_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1346,9 +1351,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sub_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: sub_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1360,9 +1366,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @mul_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: mul_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1374,9 +1381,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @mul_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: mul_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1388,9 +1396,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @mul_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: mul_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1402,9 +1411,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @and_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: and_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1416,9 +1426,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @and_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: and_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1430,9 +1441,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @and_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: and_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vand q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1444,9 +1456,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @or_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: or_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vorrt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1458,9 +1471,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @or_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: or_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vorrt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1472,9 +1486,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @or_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: or_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorr q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vorrt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1486,9 +1501,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @xor_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: xor_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1500,9 +1516,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @xor_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: xor_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1514,9 +1531,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @xor_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: xor_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: veor q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1528,9 +1546,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @andnot_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: andnot_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1543,9 +1562,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @andnot_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: andnot_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1558,9 +1578,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @andnot_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: andnot_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1573,9 +1594,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ornot_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: ornot_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1588,9 +1610,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ornot_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: ornot_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1603,9 +1626,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ornot_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: ornot_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1618,9 +1642,10 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fadd_v4f32_y(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fadd_v4f32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1632,9 +1657,10 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fadd_v8f16_y(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fadd_v8f16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1646,9 +1672,10 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fsub_v4f32_y(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fsub_v4f32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1660,9 +1687,10 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fsub_v8f16_y(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fsub_v8f16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1674,9 +1702,10 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fmul_v4f32_y(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fmul_v4f32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1688,9 +1717,10 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fmul_v8f16_y(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fmul_v8f16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1702,9 +1732,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_slt_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1717,9 +1748,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_slt_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1732,9 +1764,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_slt_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1747,9 +1780,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_sgt_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1762,9 +1796,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_sgt_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1777,9 +1812,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_sgt_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1792,9 +1828,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_ult_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1807,9 +1844,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_ult_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1822,9 +1860,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_ult_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1837,9 +1876,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_ugt_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1852,9 +1892,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_ugt_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1867,9 +1908,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_ugt_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1882,9 +1924,10 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fcmp_fast_olt_v4f32_y(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_olt_v4f32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vminnm.f32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vminnmt.f32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1897,9 +1940,10 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fcmp_fast_olt_v8f16_y(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_olt_v8f16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vminnm.f16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vminnmt.f16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1912,9 +1956,10 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fcmp_fast_ogt_v4f32_y(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_ogt_v4f32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmaxnm.f32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxnmt.f32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1927,9 +1972,10 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fcmp_fast_ogt_v8f16_y(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_ogt_v8f16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmaxnm.f16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxnmt.f16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1942,9 +1988,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_sat_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1956,9 +2003,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_sat_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1970,9 +2018,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_sat_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1984,9 +2033,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_sat_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1998,9 +2048,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_sat_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2012,9 +2063,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_sat_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2026,9 +2078,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_sat_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2040,9 +2093,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_sat_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2054,9 +2108,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_sat_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2068,9 +2123,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_sat_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2082,9 +2138,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_sat_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2096,9 +2153,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_sat_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2110,10 +2168,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @addqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: addqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2127,10 +2186,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @addqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: addqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2144,10 +2204,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @addqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: addqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.i8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.i8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2161,10 +2222,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @subqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: subqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2178,10 +2240,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @subqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: subqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2195,10 +2258,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @subqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: subqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2212,10 +2276,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @mulqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: mulqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2229,10 +2294,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @mulqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: mulqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2246,10 +2312,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @mulqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: mulqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2265,9 +2332,10 @@ define arm_aapcs_vfpcc <4 x float> @faddqr_v4f32_y(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vadd.f32 q0, q0, r1
; CHECK-NEXT: vdup.32 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f32 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2283,9 +2351,10 @@ define arm_aapcs_vfpcc <8 x half> @faddqr_v8f16_y(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vadd.f16 q0, q0, r1
; CHECK-NEXT: vdup.16 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f16 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2301,9 +2370,10 @@ define arm_aapcs_vfpcc <4 x float> @fsubqr_v4f32_y(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vsub.f32 q0, q0, r1
; CHECK-NEXT: vdup.32 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f32 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2319,9 +2389,10 @@ define arm_aapcs_vfpcc <8 x half> @fsubqr_v8f16_y(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vsub.f16 q0, q0, r1
; CHECK-NEXT: vdup.16 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f16 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2337,9 +2408,10 @@ define arm_aapcs_vfpcc <4 x float> @fmulqr_v4f32_y(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vmul.f32 q0, q0, r1
; CHECK-NEXT: vdup.32 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f32 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2355,9 +2427,10 @@ define arm_aapcs_vfpcc <8 x half> @fmulqr_v8f16_y(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vmul.f16 q0, q0, r1
; CHECK-NEXT: vdup.16 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f16 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2371,10 +2444,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_satqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2388,10 +2462,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_satqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2405,10 +2480,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_satqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2422,10 +2498,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_satqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2439,10 +2516,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_satqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2456,10 +2534,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_satqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2473,10 +2552,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_satqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2490,10 +2570,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_satqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2507,10 +2588,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_satqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2524,10 +2606,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_satqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2541,10 +2624,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_satqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2558,10 +2642,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_satqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
diff --git a/llvm/test/CodeGen/Thumb2/mve-pred-selectop3.ll b/llvm/test/CodeGen/Thumb2/mve-pred-selectop3.ll
index e856e5d3f9e2..00b6b8b5e5d9 100644
--- a/llvm/test/CodeGen/Thumb2/mve-pred-selectop3.ll
+++ b/llvm/test/CodeGen/Thumb2/mve-pred-selectop3.ll
@@ -275,10 +275,10 @@ define arm_aapcs_vfpcc <4 x i32> @andnot_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32
; CHECK-LABEL: andnot_v4i32_x:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i8 q2, #0xff
-; CHECK-NEXT: vmvn q1, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q1, q1, q2
-; CHECK-NEXT: vand q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q2, q1, q2
+; CHECK-NEXT: vand q0, q2, q0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -292,10 +292,10 @@ define arm_aapcs_vfpcc <8 x i16> @andnot_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32
; CHECK-LABEL: andnot_v8i16_x:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i8 q2, #0xff
-; CHECK-NEXT: vmvn q1, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q1, q1, q2
-; CHECK-NEXT: vand q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q2, q1, q2
+; CHECK-NEXT: vand q0, q2, q0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -309,10 +309,10 @@ define arm_aapcs_vfpcc <16 x i8> @andnot_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32
; CHECK-LABEL: andnot_v16i8_x:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i8 q2, #0xff
-; CHECK-NEXT: vmvn q1, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q1, q1, q2
-; CHECK-NEXT: vand q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q2, q1, q2
+; CHECK-NEXT: vand q0, q2, q0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -326,10 +326,11 @@ define arm_aapcs_vfpcc <4 x i32> @ornot_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32
; CHECK-LABEL: ornot_v4i32_x:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i32 q2, #0x0
-; CHECK-NEXT: vmvn q1, q1
+; CHECK-NEXT: vmov.i8 q3, #0xff
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q1, q1, q2
-; CHECK-NEXT: vorr q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q2, q1, q3
+; CHECK-NEXT: vorr q0, q2, q0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -343,10 +344,11 @@ define arm_aapcs_vfpcc <8 x i16> @ornot_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32
; CHECK-LABEL: ornot_v8i16_x:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i32 q2, #0x0
-; CHECK-NEXT: vmvn q1, q1
+; CHECK-NEXT: vmov.i8 q3, #0xff
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q1, q1, q2
-; CHECK-NEXT: vorr q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q2, q1, q3
+; CHECK-NEXT: vorr q0, q2, q0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -360,10 +362,11 @@ define arm_aapcs_vfpcc <16 x i8> @ornot_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32
; CHECK-LABEL: ornot_v16i8_x:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i32 q2, #0x0
-; CHECK-NEXT: vmvn q1, q1
+; CHECK-NEXT: vmov.i8 q3, #0xff
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q1, q1, q2
-; CHECK-NEXT: vorr q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: veort q2, q1, q3
+; CHECK-NEXT: vorr q0, q2, q0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -376,9 +379,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fadd_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fadd_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -390,9 +393,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fadd_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fadd_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -404,9 +407,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fsub_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fsub_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -418,9 +421,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fsub_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fsub_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -432,9 +435,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fmul_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fmul_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -446,9 +449,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fmul_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fmul_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -460,9 +463,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_slt_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -475,9 +478,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_slt_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -490,9 +493,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_slt_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_slt_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.s8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.s8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -505,9 +508,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_sgt_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -520,9 +523,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_sgt_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -535,9 +538,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_sgt_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_sgt_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.s8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.s8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -550,9 +553,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_ult_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -565,9 +568,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_ult_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -580,9 +583,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_ult_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_ult_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmin.u8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmint.u8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -595,9 +598,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @icmp_ugt_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -610,9 +613,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @icmp_ugt_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -625,9 +628,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @icmp_ugt_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: icmp_ugt_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmax.u8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxt.u8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -640,9 +643,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fcmp_fast_olt_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_olt_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vminnm.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vminnmt.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -655,9 +658,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fcmp_fast_olt_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_olt_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vminnm.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vminnmt.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -670,9 +673,9 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fcmp_fast_ogt_v4f32_x(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_ogt_v4f32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmaxnm.f32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxnmt.f32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -685,9 +688,9 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fcmp_fast_ogt_v8f16_x(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fcmp_fast_ogt_v8f16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmaxnm.f16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmaxnmt.f16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -700,9 +703,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_sat_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -714,9 +717,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_sat_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -728,9 +731,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_sat_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -742,9 +745,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_sat_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -756,9 +759,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_sat_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -770,9 +773,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_sat_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -784,9 +787,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_sat_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -798,9 +801,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_sat_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -812,9 +815,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_sat_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -826,9 +829,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_sat_v4i32_x(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q1, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u32 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -840,9 +843,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_sat_v8i16_x(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q1, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u16 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -854,9 +857,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_sat_v16i8_x(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q1, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u8 q0, q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1032,8 +1035,8 @@ define arm_aapcs_vfpcc <4 x float> @faddqr_v4f32_x(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vadd.f32 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f32 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1049,8 +1052,8 @@ define arm_aapcs_vfpcc <8 x half> @faddqr_v8f16_x(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vadd.f16 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f16 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1066,8 +1069,8 @@ define arm_aapcs_vfpcc <4 x float> @fsubqr_v4f32_x(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vsub.f32 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f32 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1083,8 +1086,8 @@ define arm_aapcs_vfpcc <8 x half> @fsubqr_v8f16_x(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vsub.f16 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f16 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1100,8 +1103,8 @@ define arm_aapcs_vfpcc <4 x float> @fmulqr_v4f32_x(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vmul.f32 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f32 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1117,8 +1120,8 @@ define arm_aapcs_vfpcc <8 x half> @fmulqr_v8f16_x(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vmul.f16 q1, q0, r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f16 q0, q0, r1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1132,9 +1135,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_satqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1148,9 +1151,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_satqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1164,9 +1167,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_satqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1180,9 +1183,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_satqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1196,9 +1199,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_satqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1212,9 +1215,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_satqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1228,9 +1231,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_satqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1244,9 +1247,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_satqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1260,9 +1263,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_satqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1276,9 +1279,9 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_satqr_v4i32_x(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v4i32_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q1, q0, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u32 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1292,9 +1295,9 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_satqr_v8i16_x(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v8i16_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q1, q0, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u16 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1308,9 +1311,9 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_satqr_v16i8_x(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v16i8_x:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q1, q0, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q1, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u8 q0, q0, r0
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1369,9 +1372,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sub_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: sub_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1383,9 +1387,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sub_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: sub_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1397,9 +1402,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sub_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: sub_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1591,9 +1597,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @andnot_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: andnot_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1606,9 +1613,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @andnot_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: andnot_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1621,9 +1629,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @andnot_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: andnot_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vbic q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vbict q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1636,9 +1645,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ornot_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: ornot_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1651,9 +1661,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ornot_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: ornot_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1666,9 +1677,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ornot_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: ornot_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vorn q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vornt q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -1681,9 +1693,10 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fadd_v4f32_y(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fadd_v4f32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1695,9 +1708,10 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fadd_v8f16_y(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fadd_v8f16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vadd.f16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1709,9 +1723,10 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fsub_v4f32_y(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fsub_v4f32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1723,9 +1738,10 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fsub_v8f16_y(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fsub_v8f16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.f16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -1737,9 +1753,10 @@ entry:
define arm_aapcs_vfpcc <4 x float> @fmul_v4f32_y(<4 x float> %x, <4 x float> %y, i32 %n) {
; CHECK-LABEL: fmul_v4f32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -1751,9 +1768,10 @@ entry:
define arm_aapcs_vfpcc <8 x half> @fmul_v8f16_y(<8 x half> %x, <8 x half> %y, i32 %n) {
; CHECK-LABEL: fmul_v8f16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.f16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2021,9 +2039,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_sat_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2035,9 +2054,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_sat_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2049,9 +2069,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_sat_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: sadd_sat_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2063,9 +2084,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_sat_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2077,9 +2099,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_sat_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2091,9 +2114,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_sat_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: uadd_sat_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2105,9 +2129,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_sat_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2119,9 +2144,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_sat_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2133,9 +2159,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_sat_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: ssub_sat_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2147,9 +2174,10 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_sat_v4i32_y(<4 x i32> %x, <4 x i32> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q0, q0, q1
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u32 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2161,9 +2189,10 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_sat_v8i16_y(<8 x i16> %x, <8 x i16> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q0, q0, q1
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u16 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2175,9 +2204,10 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_sat_v16i8_y(<16 x i8> %x, <16 x i8> %y, i32 %n) {
; CHECK-LABEL: usub_sat_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q0, q0, q1
; CHECK-NEXT: vctp.8 r0
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u8 q1, q0, q1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2240,10 +2270,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @subqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: subqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2257,10 +2288,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @subqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: subqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2274,10 +2306,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @subqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: subqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vsub.i8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.i8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2344,9 +2377,10 @@ define arm_aapcs_vfpcc <4 x float> @faddqr_v4f32_y(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vadd.f32 q0, q0, r1
; CHECK-NEXT: vdup.32 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f32 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2362,9 +2396,10 @@ define arm_aapcs_vfpcc <8 x half> @faddqr_v8f16_y(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vadd.f16 q0, q0, r1
; CHECK-NEXT: vdup.16 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vaddt.f16 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2380,9 +2415,10 @@ define arm_aapcs_vfpcc <4 x float> @fsubqr_v4f32_y(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vsub.f32 q0, q0, r1
; CHECK-NEXT: vdup.32 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f32 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2398,9 +2434,10 @@ define arm_aapcs_vfpcc <8 x half> @fsubqr_v8f16_y(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vsub.f16 q0, q0, r1
; CHECK-NEXT: vdup.16 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vsubt.f16 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2416,9 +2453,10 @@ define arm_aapcs_vfpcc <4 x float> @fmulqr_v4f32_y(<4 x float> %x, float %y, i32
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov r1, s4
; CHECK-NEXT: vctp.32 r0
-; CHECK-NEXT: vmul.f32 q0, q0, r1
; CHECK-NEXT: vdup.32 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f32 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2434,9 +2472,10 @@ define arm_aapcs_vfpcc <8 x half> @fmulqr_v8f16_y(<8 x half> %x, half %y, i32 %n
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.f16 r1, s4
; CHECK-NEXT: vctp.16 r0
-; CHECK-NEXT: vmul.f16 q0, q0, r1
; CHECK-NEXT: vdup.16 q1, r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.f16 q1, q0, r1
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2450,10 +2489,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @sadd_satqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2467,10 +2507,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @sadd_satqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2484,10 +2525,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @sadd_satqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: sadd_satqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.s8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.s8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2501,10 +2543,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @uadd_satqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2518,10 +2561,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @uadd_satqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2535,10 +2579,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @uadd_satqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: uadd_satqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqadd.u8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqaddt.u8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2552,10 +2597,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @ssub_satqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2569,10 +2615,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @ssub_satqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2586,10 +2633,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @ssub_satqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: ssub_satqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.s8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.s8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
@@ -2603,10 +2651,11 @@ entry:
define arm_aapcs_vfpcc <4 x i32> @usub_satqr_v4i32_y(<4 x i32> %x, i32 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v4i32_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u32 q0, q0, r0
; CHECK-NEXT: vdup.32 q1, r0
; CHECK-NEXT: vctp.32 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u32 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <4 x i1> @llvm.arm.mve.vctp32(i32 %n)
@@ -2620,10 +2669,11 @@ entry:
define arm_aapcs_vfpcc <8 x i16> @usub_satqr_v8i16_y(<8 x i16> %x, i16 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v8i16_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u16 q0, q0, r0
; CHECK-NEXT: vdup.16 q1, r0
; CHECK-NEXT: vctp.16 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u16 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <8 x i1> @llvm.arm.mve.vctp16(i32 %n)
@@ -2637,10 +2687,11 @@ entry:
define arm_aapcs_vfpcc <16 x i8> @usub_satqr_v16i8_y(<16 x i8> %x, i8 %y, i32 %n) {
; CHECK-LABEL: usub_satqr_v16i8_y:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vqsub.u8 q0, q0, r0
; CHECK-NEXT: vdup.8 q1, r0
; CHECK-NEXT: vctp.8 r1
-; CHECK-NEXT: vpsel q0, q0, q1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vqsubt.u8 q1, q0, r0
+; CHECK-NEXT: vmov q0, q1
; CHECK-NEXT: bx lr
entry:
%c = call <16 x i1> @llvm.arm.mve.vctp8(i32 %n)
diff --git a/llvm/test/CodeGen/Thumb2/mve-vecreduce-addpred.ll b/llvm/test/CodeGen/Thumb2/mve-vecreduce-addpred.ll
index b137f139a99c..918e2db6e96e 100644
--- a/llvm/test/CodeGen/Thumb2/mve-vecreduce-addpred.ll
+++ b/llvm/test/CodeGen/Thumb2/mve-vecreduce-addpred.ll
@@ -214,12 +214,13 @@ entry:
define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_zext(<8 x i16> %x, <8 x i16> %b) {
; CHECK-LABEL: add_v8i16_v8i32_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9}
-; CHECK-NEXT: vpush {d8, d9}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11}
+; CHECK-NEXT: vpush {d8, d9, d10, d11}
; CHECK-NEXT: vmov.i8 q2, #0x0
; CHECK-NEXT: vmov.i8 q3, #0xff
; CHECK-NEXT: vcmp.i16 eq, q1, zr
; CHECK-NEXT: vpsel q1, q3, q2
+; CHECK-NEXT: vmov.i32 q3, #0xffff
; CHECK-NEXT: vmov.u16 r0, q1[4]
; CHECK-NEXT: vmov.32 q2[0], r0
; CHECK-NEXT: vmov.u16 r0, q1[5]
@@ -229,22 +230,26 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_zext(<8 x i16> %x, <8 x i16> %b) {
; CHECK-NEXT: vmov.u16 r0, q1[7]
; CHECK-NEXT: vmov.32 q2[3], r0
; CHECK-NEXT: vmov.u16 r0, q0[4]
-; CHECK-NEXT: vcmp.i32 ne, q2, zr
-; CHECK-NEXT: vmov.32 q2[0], r0
+; CHECK-NEXT: vmov.32 q5[0], r0
; CHECK-NEXT: vmov.u16 r0, q0[5]
-; CHECK-NEXT: vmov.32 q2[1], r0
+; CHECK-NEXT: vmov.32 q5[1], r0
; CHECK-NEXT: vmov.u16 r0, q0[6]
-; CHECK-NEXT: vmov.32 q2[2], r0
+; CHECK-NEXT: vcmp.i32 ne, q2, zr
+; CHECK-NEXT: vmov.32 q5[2], r0
; CHECK-NEXT: vmov.u16 r0, q0[7]
-; CHECK-NEXT: vmov.32 q2[3], r0
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmov.32 q5[3], r0
+; CHECK-NEXT: vmov q4, q2
; CHECK-NEXT: vmov.u16 r0, q1[0]
-; CHECK-NEXT: vmov.32 q4[0], r0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q4, q5, q3
+; CHECK-NEXT: vmov.32 q5[0], r0
; CHECK-NEXT: vmov.u16 r0, q1[1]
-; CHECK-NEXT: vmov.32 q4[1], r0
+; CHECK-NEXT: vmov.32 q5[1], r0
; CHECK-NEXT: vmov.u16 r0, q1[2]
-; CHECK-NEXT: vmov.32 q4[2], r0
+; CHECK-NEXT: vmov.32 q5[2], r0
; CHECK-NEXT: vmov.u16 r0, q1[3]
-; CHECK-NEXT: vmov.32 q4[3], r0
+; CHECK-NEXT: vmov.32 q5[3], r0
; CHECK-NEXT: vmov.u16 r0, q0[0]
; CHECK-NEXT: vmov.32 q1[0], r0
; CHECK-NEXT: vmov.u16 r0, q0[1]
@@ -252,16 +257,12 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_zext(<8 x i16> %x, <8 x i16> %b) {
; CHECK-NEXT: vmov.u16 r0, q0[2]
; CHECK-NEXT: vmov.32 q1[2], r0
; CHECK-NEXT: vmov.u16 r0, q0[3]
-; CHECK-NEXT: vmovlb.u16 q3, q2
-; CHECK-NEXT: vmov.i32 q2, #0x0
; CHECK-NEXT: vmov.32 q1[3], r0
-; CHECK-NEXT: vpsel q3, q3, q2
-; CHECK-NEXT: vcmp.i32 ne, q4, zr
-; CHECK-NEXT: vmovlb.u16 q0, q1
-; CHECK-NEXT: vpsel q0, q0, q2
-; CHECK-NEXT: vadd.i32 q0, q0, q3
+; CHECK-NEXT: vpt.i32 ne, q5, zr
+; CHECK-NEXT: vandt q2, q1, q3
+; CHECK-NEXT: vadd.i32 q0, q2, q4
; CHECK-NEXT: vaddv.u32 r0, q0
-; CHECK-NEXT: vpop {d8, d9}
+; CHECK-NEXT: vpop {d8, d9, d10, d11}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %b, zeroinitializer
@@ -335,11 +336,12 @@ define arm_aapcs_vfpcc i32 @add_v4i16_v4i32_zext(<4 x i16> %x, <4 x i16> %b) {
; CHECK-LABEL: add_v4i16_v4i32_zext:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmovlb.u16 q1, q1
-; CHECK-NEXT: vmovlb.u16 q0, q0
+; CHECK-NEXT: vmov.i32 q2, #0xffff
; CHECK-NEXT: vcmp.i32 eq, q1, zr
; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u32 r0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q1, q0, q2
+; CHECK-NEXT: vaddv.u32 r0, q1
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i16> %b, zeroinitializer
@@ -739,13 +741,14 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %b) {
; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: .pad #16
; CHECK-NEXT: sub sp, #16
+; CHECK-NEXT: vmov q2, q0
+; CHECK-NEXT: vmov.i8 q0, #0x0
; CHECK-NEXT: vcmp.i8 eq, q1, zr
-; CHECK-NEXT: vmov.i8 q7, #0x0
; CHECK-NEXT: vmov.i8 q4, #0xff
-; CHECK-NEXT: vmov q2, q0
-; CHECK-NEXT: vpsel q6, q4, q7
-; CHECK-NEXT: vmov.i32 q5, #0xff
+; CHECK-NEXT: vpsel q6, q4, q0
+; CHECK-NEXT: vstrw.32 q0, [sp] @ 16-byte Spill
; CHECK-NEXT: vmov.u8 r0, q6[8]
+; CHECK-NEXT: vmov.i32 q5, #0xff
; CHECK-NEXT: vmov.16 q1[0], r0
; CHECK-NEXT: vmov.u8 r0, q6[9]
; CHECK-NEXT: vmov.16 q1[1], r0
@@ -763,7 +766,8 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %b) {
; CHECK-NEXT: vmov.16 q1[7], r0
; CHECK-NEXT: vcmp.i16 ne, q1, zr
; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q3, q4, q7
+; CHECK-NEXT: vpsel q3, q4, q0
+; CHECK-NEXT: vmov q7, q1
; CHECK-NEXT: vmov.u16 r0, q3[4]
; CHECK-NEXT: vmov.32 q0[0], r0
; CHECK-NEXT: vmov.u16 r0, q3[5]
@@ -782,9 +786,8 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %b) {
; CHECK-NEXT: vmov.u8 r0, q2[15]
; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u8 r0, q6[0]
-; CHECK-NEXT: vand q0, q0, q5
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vstrw.32 q0, [sp] @ 16-byte Spill
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q7, q0, q5
; CHECK-NEXT: vmov.16 q0[0], r0
; CHECK-NEXT: vmov.u8 r0, q6[1]
; CHECK-NEXT: vmov.16 q0[1], r0
@@ -800,9 +803,10 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %b) {
; CHECK-NEXT: vmov.16 q0[6], r0
; CHECK-NEXT: vmov.u8 r0, q6[7]
; CHECK-NEXT: vmov.16 q0[7], r0
-; CHECK-NEXT: vldrw.u32 q6, [sp] @ 16-byte Reload
+; CHECK-NEXT: vmov q6, q1
; CHECK-NEXT: vcmp.i16 ne, q0, zr
-; CHECK-NEXT: vpsel q4, q4, q7
+; CHECK-NEXT: vldrw.u32 q0, [sp] @ 16-byte Reload
+; CHECK-NEXT: vpsel q4, q4, q0
; CHECK-NEXT: vmov.u16 r0, q4[4]
; CHECK-NEXT: vmov.32 q0[0], r0
; CHECK-NEXT: vmov.u16 r0, q4[5]
@@ -820,10 +824,10 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %b) {
; CHECK-NEXT: vmov.32 q0[2], r0
; CHECK-NEXT: vmov.u8 r0, q2[7]
; CHECK-NEXT: vmov.32 q0[3], r0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q6, q0, q5
; CHECK-NEXT: vmov.u16 r0, q3[0]
-; CHECK-NEXT: vand q0, q0, q5
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vadd.i32 q0, q0, q6
+; CHECK-NEXT: vadd.i32 q0, q6, q7
; CHECK-NEXT: vmov.32 q6[0], r0
; CHECK-NEXT: vmov.u16 r0, q3[1]
; CHECK-NEXT: vmov.32 q6[1], r0
@@ -832,18 +836,20 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %b) {
; CHECK-NEXT: vmov.u16 r0, q3[3]
; CHECK-NEXT: vmov.32 q6[3], r0
; CHECK-NEXT: vmov.u8 r0, q2[8]
-; CHECK-NEXT: vmov.32 q3[0], r0
+; CHECK-NEXT: vcmp.i32 ne, q6, zr
+; CHECK-NEXT: vmov.32 q6[0], r0
; CHECK-NEXT: vmov.u8 r0, q2[9]
-; CHECK-NEXT: vmov.32 q3[1], r0
+; CHECK-NEXT: vmov q3, q1
+; CHECK-NEXT: vmov.32 q6[1], r0
; CHECK-NEXT: vmov.u8 r0, q2[10]
-; CHECK-NEXT: vmov.32 q3[2], r0
+; CHECK-NEXT: vmov.32 q6[2], r0
; CHECK-NEXT: vmov.u8 r0, q2[11]
-; CHECK-NEXT: vmov.32 q3[3], r0
+; CHECK-NEXT: vmov.32 q6[3], r0
; CHECK-NEXT: vmov.u16 r0, q4[0]
-; CHECK-NEXT: vcmp.i32 ne, q6, zr
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q3, q6, q5
; CHECK-NEXT: vmov.32 q6[0], r0
; CHECK-NEXT: vmov.u16 r0, q4[1]
-; CHECK-NEXT: vand q3, q3, q5
; CHECK-NEXT: vmov.32 q6[1], r0
; CHECK-NEXT: vmov.u16 r0, q4[2]
; CHECK-NEXT: vmov.32 q6[2], r0
@@ -857,10 +863,8 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %b) {
; CHECK-NEXT: vmov.32 q4[2], r0
; CHECK-NEXT: vmov.u8 r0, q2[3]
; CHECK-NEXT: vmov.32 q4[3], r0
-; CHECK-NEXT: vpsel q3, q3, q1
-; CHECK-NEXT: vcmp.i32 ne, q6, zr
-; CHECK-NEXT: vand q2, q4, q5
-; CHECK-NEXT: vpsel q1, q2, q1
+; CHECK-NEXT: vpt.i32 ne, q6, zr
+; CHECK-NEXT: vandt q1, q4, q5
; CHECK-NEXT: vadd.i32 q1, q1, q3
; CHECK-NEXT: vadd.i32 q0, q1, q0
; CHECK-NEXT: vaddv.u32 r0, q0
@@ -1020,11 +1024,11 @@ define arm_aapcs_vfpcc i32 @add_v4i8_v4i32_zext(<4 x i8> %x, <4 x i8> %b) {
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i32 q2, #0xff
; CHECK-NEXT: vand q1, q1, q2
-; CHECK-NEXT: vand q0, q0, q2
; CHECK-NEXT: vcmp.i32 eq, q1, zr
; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u32 r0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q1, q0, q2
+; CHECK-NEXT: vaddv.u32 r0, q1
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i8> %b, zeroinitializer
@@ -2222,12 +2226,13 @@ entry:
define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_zext(<8 x i16> %x, <8 x i16> %b, i32 %a) {
; CHECK-LABEL: add_v8i16_v8i32_acc_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9}
-; CHECK-NEXT: vpush {d8, d9}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11}
+; CHECK-NEXT: vpush {d8, d9, d10, d11}
; CHECK-NEXT: vmov.i8 q2, #0x0
; CHECK-NEXT: vmov.i8 q3, #0xff
; CHECK-NEXT: vcmp.i16 eq, q1, zr
; CHECK-NEXT: vpsel q1, q3, q2
+; CHECK-NEXT: vmov.i32 q3, #0xffff
; CHECK-NEXT: vmov.u16 r1, q1[4]
; CHECK-NEXT: vmov.32 q2[0], r1
; CHECK-NEXT: vmov.u16 r1, q1[5]
@@ -2237,22 +2242,26 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_zext(<8 x i16> %x, <8 x i16> %b,
; CHECK-NEXT: vmov.u16 r1, q1[7]
; CHECK-NEXT: vmov.32 q2[3], r1
; CHECK-NEXT: vmov.u16 r1, q0[4]
-; CHECK-NEXT: vcmp.i32 ne, q2, zr
-; CHECK-NEXT: vmov.32 q2[0], r1
+; CHECK-NEXT: vmov.32 q5[0], r1
; CHECK-NEXT: vmov.u16 r1, q0[5]
-; CHECK-NEXT: vmov.32 q2[1], r1
+; CHECK-NEXT: vmov.32 q5[1], r1
; CHECK-NEXT: vmov.u16 r1, q0[6]
-; CHECK-NEXT: vmov.32 q2[2], r1
+; CHECK-NEXT: vcmp.i32 ne, q2, zr
+; CHECK-NEXT: vmov.32 q5[2], r1
; CHECK-NEXT: vmov.u16 r1, q0[7]
-; CHECK-NEXT: vmov.32 q2[3], r1
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmov.32 q5[3], r1
+; CHECK-NEXT: vmov q4, q2
; CHECK-NEXT: vmov.u16 r1, q1[0]
-; CHECK-NEXT: vmov.32 q4[0], r1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q4, q5, q3
+; CHECK-NEXT: vmov.32 q5[0], r1
; CHECK-NEXT: vmov.u16 r1, q1[1]
-; CHECK-NEXT: vmov.32 q4[1], r1
+; CHECK-NEXT: vmov.32 q5[1], r1
; CHECK-NEXT: vmov.u16 r1, q1[2]
-; CHECK-NEXT: vmov.32 q4[2], r1
+; CHECK-NEXT: vmov.32 q5[2], r1
; CHECK-NEXT: vmov.u16 r1, q1[3]
-; CHECK-NEXT: vmov.32 q4[3], r1
+; CHECK-NEXT: vmov.32 q5[3], r1
; CHECK-NEXT: vmov.u16 r1, q0[0]
; CHECK-NEXT: vmov.32 q1[0], r1
; CHECK-NEXT: vmov.u16 r1, q0[1]
@@ -2260,16 +2269,12 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_zext(<8 x i16> %x, <8 x i16> %b,
; CHECK-NEXT: vmov.u16 r1, q0[2]
; CHECK-NEXT: vmov.32 q1[2], r1
; CHECK-NEXT: vmov.u16 r1, q0[3]
-; CHECK-NEXT: vmovlb.u16 q3, q2
-; CHECK-NEXT: vmov.i32 q2, #0x0
; CHECK-NEXT: vmov.32 q1[3], r1
-; CHECK-NEXT: vpsel q3, q3, q2
-; CHECK-NEXT: vcmp.i32 ne, q4, zr
-; CHECK-NEXT: vmovlb.u16 q0, q1
-; CHECK-NEXT: vpsel q0, q0, q2
-; CHECK-NEXT: vadd.i32 q0, q0, q3
+; CHECK-NEXT: vpt.i32 ne, q5, zr
+; CHECK-NEXT: vandt q2, q1, q3
+; CHECK-NEXT: vadd.i32 q0, q2, q4
; CHECK-NEXT: vaddva.u32 r0, q0
-; CHECK-NEXT: vpop {d8, d9}
+; CHECK-NEXT: vpop {d8, d9, d10, d11}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %b, zeroinitializer
@@ -2345,11 +2350,12 @@ define arm_aapcs_vfpcc i32 @add_v4i16_v4i32_acc_zext(<4 x i16> %x, <4 x i16> %b,
; CHECK-LABEL: add_v4i16_v4i32_acc_zext:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmovlb.u16 q1, q1
-; CHECK-NEXT: vmovlb.u16 q0, q0
+; CHECK-NEXT: vmov.i32 q2, #0xffff
; CHECK-NEXT: vcmp.i32 eq, q1, zr
; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u32 r0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q1, q0, q2
+; CHECK-NEXT: vaddva.u32 r0, q1
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i16> %b, zeroinitializer
@@ -2770,13 +2776,14 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %b
; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: .pad #16
; CHECK-NEXT: sub sp, #16
+; CHECK-NEXT: vmov q2, q0
+; CHECK-NEXT: vmov.i8 q0, #0x0
; CHECK-NEXT: vcmp.i8 eq, q1, zr
-; CHECK-NEXT: vmov.i8 q7, #0x0
; CHECK-NEXT: vmov.i8 q4, #0xff
-; CHECK-NEXT: vmov q2, q0
-; CHECK-NEXT: vpsel q6, q4, q7
-; CHECK-NEXT: vmov.i32 q5, #0xff
+; CHECK-NEXT: vpsel q6, q4, q0
+; CHECK-NEXT: vstrw.32 q0, [sp] @ 16-byte Spill
; CHECK-NEXT: vmov.u8 r1, q6[8]
+; CHECK-NEXT: vmov.i32 q5, #0xff
; CHECK-NEXT: vmov.16 q1[0], r1
; CHECK-NEXT: vmov.u8 r1, q6[9]
; CHECK-NEXT: vmov.16 q1[1], r1
@@ -2794,7 +2801,8 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %b
; CHECK-NEXT: vmov.16 q1[7], r1
; CHECK-NEXT: vcmp.i16 ne, q1, zr
; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q3, q4, q7
+; CHECK-NEXT: vpsel q3, q4, q0
+; CHECK-NEXT: vmov q7, q1
; CHECK-NEXT: vmov.u16 r1, q3[4]
; CHECK-NEXT: vmov.32 q0[0], r1
; CHECK-NEXT: vmov.u16 r1, q3[5]
@@ -2813,9 +2821,8 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %b
; CHECK-NEXT: vmov.u8 r1, q2[15]
; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u8 r1, q6[0]
-; CHECK-NEXT: vand q0, q0, q5
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vstrw.32 q0, [sp] @ 16-byte Spill
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q7, q0, q5
; CHECK-NEXT: vmov.16 q0[0], r1
; CHECK-NEXT: vmov.u8 r1, q6[1]
; CHECK-NEXT: vmov.16 q0[1], r1
@@ -2831,9 +2838,10 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %b
; CHECK-NEXT: vmov.16 q0[6], r1
; CHECK-NEXT: vmov.u8 r1, q6[7]
; CHECK-NEXT: vmov.16 q0[7], r1
-; CHECK-NEXT: vldrw.u32 q6, [sp] @ 16-byte Reload
+; CHECK-NEXT: vmov q6, q1
; CHECK-NEXT: vcmp.i16 ne, q0, zr
-; CHECK-NEXT: vpsel q4, q4, q7
+; CHECK-NEXT: vldrw.u32 q0, [sp] @ 16-byte Reload
+; CHECK-NEXT: vpsel q4, q4, q0
; CHECK-NEXT: vmov.u16 r1, q4[4]
; CHECK-NEXT: vmov.32 q0[0], r1
; CHECK-NEXT: vmov.u16 r1, q4[5]
@@ -2851,10 +2859,10 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %b
; CHECK-NEXT: vmov.32 q0[2], r1
; CHECK-NEXT: vmov.u8 r1, q2[7]
; CHECK-NEXT: vmov.32 q0[3], r1
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q6, q0, q5
; CHECK-NEXT: vmov.u16 r1, q3[0]
-; CHECK-NEXT: vand q0, q0, q5
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vadd.i32 q0, q0, q6
+; CHECK-NEXT: vadd.i32 q0, q6, q7
; CHECK-NEXT: vmov.32 q6[0], r1
; CHECK-NEXT: vmov.u16 r1, q3[1]
; CHECK-NEXT: vmov.32 q6[1], r1
@@ -2863,18 +2871,20 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %b
; CHECK-NEXT: vmov.u16 r1, q3[3]
; CHECK-NEXT: vmov.32 q6[3], r1
; CHECK-NEXT: vmov.u8 r1, q2[8]
-; CHECK-NEXT: vmov.32 q3[0], r1
+; CHECK-NEXT: vcmp.i32 ne, q6, zr
+; CHECK-NEXT: vmov.32 q6[0], r1
; CHECK-NEXT: vmov.u8 r1, q2[9]
-; CHECK-NEXT: vmov.32 q3[1], r1
+; CHECK-NEXT: vmov q3, q1
+; CHECK-NEXT: vmov.32 q6[1], r1
; CHECK-NEXT: vmov.u8 r1, q2[10]
-; CHECK-NEXT: vmov.32 q3[2], r1
+; CHECK-NEXT: vmov.32 q6[2], r1
; CHECK-NEXT: vmov.u8 r1, q2[11]
-; CHECK-NEXT: vmov.32 q3[3], r1
+; CHECK-NEXT: vmov.32 q6[3], r1
; CHECK-NEXT: vmov.u16 r1, q4[0]
-; CHECK-NEXT: vcmp.i32 ne, q6, zr
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q3, q6, q5
; CHECK-NEXT: vmov.32 q6[0], r1
; CHECK-NEXT: vmov.u16 r1, q4[1]
-; CHECK-NEXT: vand q3, q3, q5
; CHECK-NEXT: vmov.32 q6[1], r1
; CHECK-NEXT: vmov.u16 r1, q4[2]
; CHECK-NEXT: vmov.32 q6[2], r1
@@ -2888,10 +2898,8 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %b
; CHECK-NEXT: vmov.32 q4[2], r1
; CHECK-NEXT: vmov.u8 r1, q2[3]
; CHECK-NEXT: vmov.32 q4[3], r1
-; CHECK-NEXT: vpsel q3, q3, q1
-; CHECK-NEXT: vcmp.i32 ne, q6, zr
-; CHECK-NEXT: vand q2, q4, q5
-; CHECK-NEXT: vpsel q1, q2, q1
+; CHECK-NEXT: vpt.i32 ne, q6, zr
+; CHECK-NEXT: vandt q1, q4, q5
; CHECK-NEXT: vadd.i32 q1, q1, q3
; CHECK-NEXT: vadd.i32 q0, q1, q0
; CHECK-NEXT: vaddva.u32 r0, q0
@@ -3053,11 +3061,11 @@ define arm_aapcs_vfpcc i32 @add_v4i8_v4i32_acc_zext(<4 x i8> %x, <4 x i8> %b, i3
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i32 q2, #0xff
; CHECK-NEXT: vand q1, q1, q2
-; CHECK-NEXT: vand q0, q0, q2
; CHECK-NEXT: vcmp.i32 eq, q1, zr
; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u32 r0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vandt q1, q0, q2
+; CHECK-NEXT: vaddva.u32 r0, q1
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i8> %b, zeroinitializer
diff --git a/llvm/test/CodeGen/Thumb2/mve-vecreduce-mlapred.ll b/llvm/test/CodeGen/Thumb2/mve-vecreduce-mlapred.ll
index e75e75e30600..e02f3f64dce8 100644
--- a/llvm/test/CodeGen/Thumb2/mve-vecreduce-mlapred.ll
+++ b/llvm/test/CodeGen/Thumb2/mve-vecreduce-mlapred.ll
@@ -4,11 +4,10 @@
define arm_aapcs_vfpcc i32 @add_v4i32_v4i32(<4 x i32> %x, <4 x i32> %y, <4 x i32> %b) {
; CHECK-LABEL: add_v4i32_v4i32:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i32 q0, q0, q1
-; CHECK-NEXT: vcmp.i32 eq, q2, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u32 r0, q0
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vpt.i32 eq, q2, zr
+; CHECK-NEXT: vmult.i32 q3, q0, q1
+; CHECK-NEXT: vaddv.u32 r0, q3
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %b, zeroinitializer
@@ -224,8 +223,8 @@ entry:
define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_zext(<8 x i16> %x, <8 x i16> %y, <8 x i16> %b) {
; CHECK-LABEL: add_v8i16_v8i32_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9, d10, d11}
-; CHECK-NEXT: vpush {d8, d9, d10, d11}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13}
+; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: vmov.i8 q3, #0x0
; CHECK-NEXT: vmov.i8 q4, #0xff
; CHECK-NEXT: vcmp.i16 eq, q2, zr
@@ -248,14 +247,20 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_zext(<8 x i16> %x, <8 x i16> %y, <8
; CHECK-NEXT: vmov.u16 r0, q1[7]
; CHECK-NEXT: vmov.32 q3[3], r0
; CHECK-NEXT: vmov.u16 r0, q0[4]
-; CHECK-NEXT: vmov.32 q4[0], r0
+; CHECK-NEXT: vmovlb.u16 q5, q3
+; CHECK-NEXT: vmov.32 q3[0], r0
; CHECK-NEXT: vmov.u16 r0, q0[5]
-; CHECK-NEXT: vmov.32 q4[1], r0
+; CHECK-NEXT: vmov.32 q3[1], r0
; CHECK-NEXT: vmov.u16 r0, q0[6]
-; CHECK-NEXT: vmov.32 q4[2], r0
+; CHECK-NEXT: vmov.32 q3[2], r0
; CHECK-NEXT: vmov.u16 r0, q0[7]
-; CHECK-NEXT: vmov.32 q4[3], r0
+; CHECK-NEXT: vmov.32 q3[3], r0
; CHECK-NEXT: vmov.u16 r0, q2[0]
+; CHECK-NEXT: vmovlb.u16 q6, q3
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vmov q4, q3
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q4, q6, q5
; CHECK-NEXT: vmov.32 q5[0], r0
; CHECK-NEXT: vmov.u16 r0, q2[1]
; CHECK-NEXT: vmov.32 q5[1], r0
@@ -272,22 +277,20 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_zext(<8 x i16> %x, <8 x i16> %y, <8
; CHECK-NEXT: vmov.u16 r0, q1[3]
; CHECK-NEXT: vmov.32 q2[3], r0
; CHECK-NEXT: vmov.u16 r0, q0[0]
-; CHECK-NEXT: vmov.32 q1[0], r0
+; CHECK-NEXT: vmovlb.u16 q1, q2
+; CHECK-NEXT: vmov.32 q2[0], r0
; CHECK-NEXT: vmov.u16 r0, q0[1]
-; CHECK-NEXT: vmov.32 q1[1], r0
+; CHECK-NEXT: vmov.32 q2[1], r0
; CHECK-NEXT: vmov.u16 r0, q0[2]
-; CHECK-NEXT: vmov.32 q1[2], r0
+; CHECK-NEXT: vmov.32 q2[2], r0
; CHECK-NEXT: vmov.u16 r0, q0[3]
-; CHECK-NEXT: vmullb.u16 q4, q4, q3
-; CHECK-NEXT: vmov.i32 q3, #0x0
-; CHECK-NEXT: vmov.32 q1[3], r0
-; CHECK-NEXT: vpsel q4, q4, q3
-; CHECK-NEXT: vcmp.i32 ne, q5, zr
-; CHECK-NEXT: vmullb.u16 q0, q1, q2
-; CHECK-NEXT: vpsel q0, q0, q3
-; CHECK-NEXT: vadd.i32 q0, q0, q4
+; CHECK-NEXT: vmov.32 q2[3], r0
+; CHECK-NEXT: vmovlb.u16 q0, q2
+; CHECK-NEXT: vpt.i32 ne, q5, zr
+; CHECK-NEXT: vmult.i32 q3, q0, q1
+; CHECK-NEXT: vadd.i32 q0, q3, q4
; CHECK-NEXT: vaddv.u32 r0, q0
-; CHECK-NEXT: vpop {d8, d9, d10, d11}
+; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %b, zeroinitializer
@@ -302,8 +305,8 @@ entry:
define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_sext(<8 x i16> %x, <8 x i16> %y, <8 x i16> %b) {
; CHECK-LABEL: add_v8i16_v8i32_sext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9, d10, d11}
-; CHECK-NEXT: vpush {d8, d9, d10, d11}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13}
+; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: vmov.i8 q3, #0x0
; CHECK-NEXT: vmov.i8 q4, #0xff
; CHECK-NEXT: vcmp.i16 eq, q2, zr
@@ -326,14 +329,20 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_sext(<8 x i16> %x, <8 x i16> %y, <8
; CHECK-NEXT: vmov.u16 r0, q1[7]
; CHECK-NEXT: vmov.32 q3[3], r0
; CHECK-NEXT: vmov.u16 r0, q0[4]
-; CHECK-NEXT: vmov.32 q4[0], r0
+; CHECK-NEXT: vmovlb.s16 q5, q3
+; CHECK-NEXT: vmov.32 q3[0], r0
; CHECK-NEXT: vmov.u16 r0, q0[5]
-; CHECK-NEXT: vmov.32 q4[1], r0
+; CHECK-NEXT: vmov.32 q3[1], r0
; CHECK-NEXT: vmov.u16 r0, q0[6]
-; CHECK-NEXT: vmov.32 q4[2], r0
+; CHECK-NEXT: vmov.32 q3[2], r0
; CHECK-NEXT: vmov.u16 r0, q0[7]
-; CHECK-NEXT: vmov.32 q4[3], r0
+; CHECK-NEXT: vmov.32 q3[3], r0
; CHECK-NEXT: vmov.u16 r0, q2[0]
+; CHECK-NEXT: vmovlb.s16 q6, q3
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vmov q4, q3
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q4, q6, q5
; CHECK-NEXT: vmov.32 q5[0], r0
; CHECK-NEXT: vmov.u16 r0, q2[1]
; CHECK-NEXT: vmov.32 q5[1], r0
@@ -350,22 +359,20 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_sext(<8 x i16> %x, <8 x i16> %y, <8
; CHECK-NEXT: vmov.u16 r0, q1[3]
; CHECK-NEXT: vmov.32 q2[3], r0
; CHECK-NEXT: vmov.u16 r0, q0[0]
-; CHECK-NEXT: vmov.32 q1[0], r0
+; CHECK-NEXT: vmovlb.s16 q1, q2
+; CHECK-NEXT: vmov.32 q2[0], r0
; CHECK-NEXT: vmov.u16 r0, q0[1]
-; CHECK-NEXT: vmov.32 q1[1], r0
+; CHECK-NEXT: vmov.32 q2[1], r0
; CHECK-NEXT: vmov.u16 r0, q0[2]
-; CHECK-NEXT: vmov.32 q1[2], r0
+; CHECK-NEXT: vmov.32 q2[2], r0
; CHECK-NEXT: vmov.u16 r0, q0[3]
-; CHECK-NEXT: vmullb.s16 q4, q4, q3
-; CHECK-NEXT: vmov.i32 q3, #0x0
-; CHECK-NEXT: vmov.32 q1[3], r0
-; CHECK-NEXT: vpsel q4, q4, q3
-; CHECK-NEXT: vcmp.i32 ne, q5, zr
-; CHECK-NEXT: vmullb.s16 q0, q1, q2
-; CHECK-NEXT: vpsel q0, q0, q3
-; CHECK-NEXT: vadd.i32 q0, q0, q4
+; CHECK-NEXT: vmov.32 q2[3], r0
+; CHECK-NEXT: vmovlb.s16 q0, q2
+; CHECK-NEXT: vpt.i32 ne, q5, zr
+; CHECK-NEXT: vmult.i32 q3, q0, q1
+; CHECK-NEXT: vadd.i32 q0, q3, q4
; CHECK-NEXT: vaddv.u32 r0, q0
-; CHECK-NEXT: vpop {d8, d9, d10, d11}
+; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %b, zeroinitializer
@@ -380,12 +387,14 @@ entry:
define arm_aapcs_vfpcc i32 @add_v4i16_v4i32_zext(<4 x i16> %x, <4 x i16> %y, <4 x i16> %b) {
; CHECK-LABEL: add_v4i16_v4i32_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmullb.u16 q0, q0, q1
-; CHECK-NEXT: vmovlb.u16 q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u32 r0, q0
+; CHECK-NEXT: vmovlb.u16 q2, q2
+; CHECK-NEXT: vmovlb.u16 q1, q1
+; CHECK-NEXT: vcmp.i32 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmovlb.u16 q0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q2, q0, q1
+; CHECK-NEXT: vaddv.u32 r0, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i16> %b, zeroinitializer
@@ -400,12 +409,14 @@ entry:
define arm_aapcs_vfpcc i32 @add_v4i16_v4i32_sext(<4 x i16> %x, <4 x i16> %y, <4 x i16> %b) {
; CHECK-LABEL: add_v4i16_v4i32_sext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmullb.s16 q0, q0, q1
-; CHECK-NEXT: vmovlb.u16 q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u32 r0, q0
+; CHECK-NEXT: vmovlb.u16 q2, q2
+; CHECK-NEXT: vmovlb.s16 q1, q1
+; CHECK-NEXT: vcmp.i32 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmovlb.s16 q0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q2, q0, q1
+; CHECK-NEXT: vaddv.u32 r0, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i16> %b, zeroinitializer
@@ -420,11 +431,10 @@ entry:
define arm_aapcs_vfpcc zeroext i16 @add_v8i16_v8i16(<8 x i16> %x, <8 x i16> %y, <8 x i16> %b) {
; CHECK-LABEL: add_v8i16_v8i16:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i16 q0, q0, q1
-; CHECK-NEXT: vcmp.i16 eq, q2, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u16 r0, q0
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vpt.i16 eq, q2, zr
+; CHECK-NEXT: vmult.i16 q3, q0, q1
+; CHECK-NEXT: vaddv.u16 r0, q3
; CHECK-NEXT: uxth r0, r0
; CHECK-NEXT: bx lr
entry:
@@ -896,16 +906,16 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13, d14, d15}
-; CHECK-NEXT: .pad #48
-; CHECK-NEXT: sub sp, #48
+; CHECK-NEXT: .pad #64
+; CHECK-NEXT: sub sp, #64
; CHECK-NEXT: vmov q3, q0
-; CHECK-NEXT: vmov.i8 q0, #0x0
; CHECK-NEXT: vcmp.i8 eq, q2, zr
-; CHECK-NEXT: vmov.i8 q5, #0xff
-; CHECK-NEXT: vpsel q7, q5, q0
-; CHECK-NEXT: vstrw.32 q0, [sp, #32] @ 16-byte Spill
+; CHECK-NEXT: vmov.i8 q2, #0xff
+; CHECK-NEXT: vmov.i8 q0, #0x0
+; CHECK-NEXT: vpsel q7, q2, q0
+; CHECK-NEXT: vmov q4, q2
; CHECK-NEXT: vmov.u8 r0, q7[8]
-; CHECK-NEXT: vmov.i32 q6, #0xff
+; CHECK-NEXT: vstrw.32 q2, [sp, #16] @ 16-byte Spill
; CHECK-NEXT: vmov.16 q2[0], r0
; CHECK-NEXT: vmov.u8 r0, q7[9]
; CHECK-NEXT: vmov.16 q2[1], r0
@@ -921,8 +931,10 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.16 q2[6], r0
; CHECK-NEXT: vmov.u8 r0, q7[15]
; CHECK-NEXT: vmov.16 q2[7], r0
+; CHECK-NEXT: vstrw.32 q0, [sp, #32] @ 16-byte Spill
; CHECK-NEXT: vcmp.i16 ne, q2, zr
-; CHECK-NEXT: vpsel q4, q5, q0
+; CHECK-NEXT: vmov.i32 q2, #0xff
+; CHECK-NEXT: vpsel q4, q4, q0
; CHECK-NEXT: vmov.u16 r0, q4[4]
; CHECK-NEXT: vmov.32 q0[0], r0
; CHECK-NEXT: vmov.u16 r0, q4[5]
@@ -941,23 +953,23 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.u8 r0, q1[15]
; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u8 r0, q3[12]
-; CHECK-NEXT: vand q2, q0, q6
-; CHECK-NEXT: vmov.32 q0[0], r0
+; CHECK-NEXT: vmov.32 q6[0], r0
; CHECK-NEXT: vmov.u8 r0, q3[13]
-; CHECK-NEXT: vmov.32 q0[1], r0
+; CHECK-NEXT: vmov.32 q6[1], r0
; CHECK-NEXT: vmov.u8 r0, q3[14]
-; CHECK-NEXT: vmov.32 q0[2], r0
+; CHECK-NEXT: vmov.32 q6[2], r0
; CHECK-NEXT: vmov.u8 r0, q3[15]
-; CHECK-NEXT: vmov.32 q0[3], r0
+; CHECK-NEXT: vmov.32 q6[3], r0
+; CHECK-NEXT: vand q5, q0, q2
+; CHECK-NEXT: vand q0, q6, q2
+; CHECK-NEXT: vmov.i32 q6, #0x0
; CHECK-NEXT: vmov.u8 r0, q7[0]
-; CHECK-NEXT: vand q0, q0, q6
-; CHECK-NEXT: vmul.i32 q0, q0, q2
-; CHECK-NEXT: vmov.i32 q2, #0x0
-; CHECK-NEXT: vpsel q0, q0, q2
-; CHECK-NEXT: vstrw.32 q2, [sp] @ 16-byte Spill
-; CHECK-NEXT: vstrw.32 q0, [sp, #16] @ 16-byte Spill
+; CHECK-NEXT: vstrw.32 q6, [sp, #48] @ 16-byte Spill
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q6, q0, q5
; CHECK-NEXT: vmov.16 q0[0], r0
; CHECK-NEXT: vmov.u8 r0, q7[1]
+; CHECK-NEXT: vldrw.u32 q5, [sp, #16] @ 16-byte Reload
; CHECK-NEXT: vmov.16 q0[1], r0
; CHECK-NEXT: vmov.u8 r0, q7[2]
; CHECK-NEXT: vmov.16 q0[2], r0
@@ -971,9 +983,10 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.16 q0[6], r0
; CHECK-NEXT: vmov.u8 r0, q7[7]
; CHECK-NEXT: vmov.16 q0[7], r0
-; CHECK-NEXT: vldrw.u32 q7, [sp] @ 16-byte Reload
+; CHECK-NEXT: vstrw.32 q6, [sp] @ 16-byte Spill
; CHECK-NEXT: vcmp.i16 ne, q0, zr
; CHECK-NEXT: vldrw.u32 q0, [sp, #32] @ 16-byte Reload
+; CHECK-NEXT: vldrw.u32 q6, [sp, #48] @ 16-byte Reload
; CHECK-NEXT: vpsel q5, q5, q0
; CHECK-NEXT: vmov.u16 r0, q5[4]
; CHECK-NEXT: vmov.32 q0[0], r0
@@ -993,81 +1006,84 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_zext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.u8 r0, q1[7]
; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u8 r0, q3[4]
-; CHECK-NEXT: vmov.32 q2[0], r0
+; CHECK-NEXT: vmov.32 q7[0], r0
; CHECK-NEXT: vmov.u8 r0, q3[5]
-; CHECK-NEXT: vmov.32 q2[1], r0
+; CHECK-NEXT: vmov.32 q7[1], r0
; CHECK-NEXT: vmov.u8 r0, q3[6]
-; CHECK-NEXT: vmov.32 q2[2], r0
+; CHECK-NEXT: vmov.32 q7[2], r0
; CHECK-NEXT: vmov.u8 r0, q3[7]
-; CHECK-NEXT: vmov.32 q2[3], r0
-; CHECK-NEXT: vand q0, q0, q6
-; CHECK-NEXT: vand q2, q2, q6
+; CHECK-NEXT: vmov.32 q7[3], r0
+; CHECK-NEXT: vand q0, q0, q2
+; CHECK-NEXT: vand q7, q7, q2
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q6, q7, q0
+; CHECK-NEXT: vldrw.u32 q0, [sp] @ 16-byte Reload
; CHECK-NEXT: vmov.u16 r0, q4[0]
-; CHECK-NEXT: vmul.i32 q0, q2, q0
-; CHECK-NEXT: vldrw.u32 q2, [sp, #16] @ 16-byte Reload
-; CHECK-NEXT: vpsel q0, q0, q7
-; CHECK-NEXT: vadd.i32 q0, q0, q2
-; CHECK-NEXT: vmov.32 q2[0], r0
+; CHECK-NEXT: vadd.i32 q0, q6, q0
+; CHECK-NEXT: vmov.32 q6[0], r0
; CHECK-NEXT: vmov.u16 r0, q4[1]
-; CHECK-NEXT: vmov.32 q2[1], r0
+; CHECK-NEXT: vstrw.32 q0, [sp, #32] @ 16-byte Spill
+; CHECK-NEXT: vmov.32 q6[1], r0
; CHECK-NEXT: vmov.u16 r0, q4[2]
-; CHECK-NEXT: vmov.32 q2[2], r0
+; CHECK-NEXT: vmov.32 q6[2], r0
; CHECK-NEXT: vmov.u16 r0, q4[3]
-; CHECK-NEXT: vmov.32 q2[3], r0
+; CHECK-NEXT: vmov.32 q6[3], r0
; CHECK-NEXT: vmov.u8 r0, q1[8]
-; CHECK-NEXT: vcmp.i32 ne, q2, zr
-; CHECK-NEXT: vmov.32 q2[0], r0
+; CHECK-NEXT: vmov.32 q4[0], r0
; CHECK-NEXT: vmov.u8 r0, q1[9]
-; CHECK-NEXT: vmov.32 q2[1], r0
+; CHECK-NEXT: vmov.32 q4[1], r0
; CHECK-NEXT: vmov.u8 r0, q1[10]
-; CHECK-NEXT: vmov.32 q2[2], r0
+; CHECK-NEXT: vmov.32 q4[2], r0
; CHECK-NEXT: vmov.u8 r0, q1[11]
-; CHECK-NEXT: vmov.32 q2[3], r0
+; CHECK-NEXT: vmov.32 q4[3], r0
; CHECK-NEXT: vmov.u8 r0, q3[8]
+; CHECK-NEXT: vcmp.i32 ne, q6, zr
+; CHECK-NEXT: vand q6, q4, q2
; CHECK-NEXT: vmov.32 q4[0], r0
; CHECK-NEXT: vmov.u8 r0, q3[9]
; CHECK-NEXT: vmov.32 q4[1], r0
; CHECK-NEXT: vmov.u8 r0, q3[10]
; CHECK-NEXT: vmov.32 q4[2], r0
; CHECK-NEXT: vmov.u8 r0, q3[11]
+; CHECK-NEXT: vldrw.u32 q0, [sp, #48] @ 16-byte Reload
; CHECK-NEXT: vmov.32 q4[3], r0
-; CHECK-NEXT: vand q2, q2, q6
-; CHECK-NEXT: vand q4, q4, q6
+; CHECK-NEXT: vand q7, q4, q2
; CHECK-NEXT: vmov.u16 r0, q5[0]
-; CHECK-NEXT: vmul.i32 q2, q4, q2
-; CHECK-NEXT: vpsel q4, q2, q7
-; CHECK-NEXT: vmov.32 q2[0], r0
+; CHECK-NEXT: vmov q4, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q4, q7, q6
+; CHECK-NEXT: vmov.32 q6[0], r0
; CHECK-NEXT: vmov.u16 r0, q5[1]
-; CHECK-NEXT: vmov.32 q2[1], r0
+; CHECK-NEXT: vmov.32 q6[1], r0
; CHECK-NEXT: vmov.u16 r0, q5[2]
-; CHECK-NEXT: vmov.32 q2[2], r0
+; CHECK-NEXT: vmov.32 q6[2], r0
; CHECK-NEXT: vmov.u16 r0, q5[3]
-; CHECK-NEXT: vmov.32 q2[3], r0
+; CHECK-NEXT: vmov.32 q6[3], r0
; CHECK-NEXT: vmov.u8 r0, q1[0]
-; CHECK-NEXT: vcmp.i32 ne, q2, zr
-; CHECK-NEXT: vmov.32 q2[0], r0
+; CHECK-NEXT: vmov.32 q5[0], r0
; CHECK-NEXT: vmov.u8 r0, q1[1]
-; CHECK-NEXT: vmov.32 q2[1], r0
+; CHECK-NEXT: vmov.32 q5[1], r0
; CHECK-NEXT: vmov.u8 r0, q1[2]
-; CHECK-NEXT: vmov.32 q2[2], r0
+; CHECK-NEXT: vmov.32 q5[2], r0
; CHECK-NEXT: vmov.u8 r0, q1[3]
-; CHECK-NEXT: vmov.32 q2[3], r0
+; CHECK-NEXT: vmov.32 q5[3], r0
; CHECK-NEXT: vmov.u8 r0, q3[0]
-; CHECK-NEXT: vand q1, q2, q6
-; CHECK-NEXT: vmov.32 q2[0], r0
+; CHECK-NEXT: vand q1, q5, q2
+; CHECK-NEXT: vmov.32 q5[0], r0
; CHECK-NEXT: vmov.u8 r0, q3[1]
-; CHECK-NEXT: vmov.32 q2[1], r0
+; CHECK-NEXT: vmov.32 q5[1], r0
; CHECK-NEXT: vmov.u8 r0, q3[2]
-; CHECK-NEXT: vmov.32 q2[2], r0
+; CHECK-NEXT: vmov.32 q5[2], r0
; CHECK-NEXT: vmov.u8 r0, q3[3]
-; CHECK-NEXT: vmov.32 q2[3], r0
-; CHECK-NEXT: vand q2, q2, q6
-; CHECK-NEXT: vmul.i32 q1, q2, q1
-; CHECK-NEXT: vpsel q1, q1, q7
-; CHECK-NEXT: vadd.i32 q1, q1, q4
+; CHECK-NEXT: vmov.32 q5[3], r0
+; CHECK-NEXT: vand q2, q5, q2
+; CHECK-NEXT: vpt.i32 ne, q6, zr
+; CHECK-NEXT: vmult.i32 q0, q2, q1
+; CHECK-NEXT: vadd.i32 q1, q0, q4
+; CHECK-NEXT: vldrw.u32 q0, [sp, #32] @ 16-byte Reload
; CHECK-NEXT: vadd.i32 q0, q1, q0
; CHECK-NEXT: vaddv.u32 r0, q0
-; CHECK-NEXT: add sp, #48
+; CHECK-NEXT: add sp, #64
; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: bx lr
entry:
@@ -1085,14 +1101,16 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_sext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13, d14, d15}
-; CHECK-NEXT: .pad #16
-; CHECK-NEXT: sub sp, #16
-; CHECK-NEXT: vcmp.i8 eq, q2, zr
-; CHECK-NEXT: vmov.i8 q4, #0x0
-; CHECK-NEXT: vmov.i8 q5, #0xff
+; CHECK-NEXT: .pad #64
+; CHECK-NEXT: sub sp, #64
; CHECK-NEXT: vmov q3, q0
-; CHECK-NEXT: vpsel q6, q5, q4
+; CHECK-NEXT: vcmp.i8 eq, q2, zr
+; CHECK-NEXT: vmov.i8 q2, #0x0
+; CHECK-NEXT: vmov.i8 q0, #0xff
+; CHECK-NEXT: vpsel q6, q0, q2
+; CHECK-NEXT: vmov q4, q2
; CHECK-NEXT: vmov.u8 r0, q6[8]
+; CHECK-NEXT: vstrw.32 q2, [sp, #32] @ 16-byte Spill
; CHECK-NEXT: vmov.16 q2[0], r0
; CHECK-NEXT: vmov.u8 r0, q6[9]
; CHECK-NEXT: vmov.16 q2[1], r0
@@ -1108,15 +1126,16 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_sext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.16 q2[6], r0
; CHECK-NEXT: vmov.u8 r0, q6[15]
; CHECK-NEXT: vmov.16 q2[7], r0
+; CHECK-NEXT: vstrw.32 q0, [sp, #16] @ 16-byte Spill
; CHECK-NEXT: vcmp.i16 ne, q2, zr
-; CHECK-NEXT: vpsel q2, q5, q4
-; CHECK-NEXT: vmov.u16 r0, q2[4]
+; CHECK-NEXT: vpsel q7, q0, q4
+; CHECK-NEXT: vmov.u16 r0, q7[4]
; CHECK-NEXT: vmov.32 q0[0], r0
-; CHECK-NEXT: vmov.u16 r0, q2[5]
+; CHECK-NEXT: vmov.u16 r0, q7[5]
; CHECK-NEXT: vmov.32 q0[1], r0
-; CHECK-NEXT: vmov.u16 r0, q2[6]
+; CHECK-NEXT: vmov.u16 r0, q7[6]
; CHECK-NEXT: vmov.32 q0[2], r0
-; CHECK-NEXT: vmov.u16 r0, q2[7]
+; CHECK-NEXT: vmov.u16 r0, q7[7]
; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u8 r0, q1[12]
; CHECK-NEXT: vcmp.i32 ne, q0, zr
@@ -1128,21 +1147,22 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_sext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.u8 r0, q1[15]
; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u8 r0, q3[12]
-; CHECK-NEXT: vmov.32 q7[0], r0
+; CHECK-NEXT: vmov.32 q5[0], r0
; CHECK-NEXT: vmov.u8 r0, q3[13]
-; CHECK-NEXT: vmov.32 q7[1], r0
+; CHECK-NEXT: vmov.32 q5[1], r0
; CHECK-NEXT: vmov.u8 r0, q3[14]
-; CHECK-NEXT: vmov.32 q7[2], r0
+; CHECK-NEXT: vmov.32 q5[2], r0
; CHECK-NEXT: vmov.u8 r0, q3[15]
-; CHECK-NEXT: vmov.32 q7[3], r0
+; CHECK-NEXT: vmov.32 q5[3], r0
; CHECK-NEXT: vmovlb.s8 q0, q0
-; CHECK-NEXT: vmovlb.s8 q7, q7
-; CHECK-NEXT: vmovlb.s16 q0, q0
-; CHECK-NEXT: vmovlb.s16 q7, q7
+; CHECK-NEXT: vmovlb.s16 q4, q0
+; CHECK-NEXT: vmovlb.s8 q5, q5
+; CHECK-NEXT: vmov.i32 q0, #0x0
+; CHECK-NEXT: vmovlb.s16 q2, q5
+; CHECK-NEXT: vstrw.32 q0, [sp, #48] @ 16-byte Spill
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q0, q2, q4
; CHECK-NEXT: vmov.u8 r0, q6[0]
-; CHECK-NEXT: vmul.i32 q0, q7, q0
-; CHECK-NEXT: vmov.i32 q7, #0x0
-; CHECK-NEXT: vpsel q0, q0, q7
; CHECK-NEXT: vstrw.32 q0, [sp] @ 16-byte Spill
; CHECK-NEXT: vmov.16 q0[0], r0
; CHECK-NEXT: vmov.u8 r0, q6[1]
@@ -1159,8 +1179,11 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_sext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.16 q0[6], r0
; CHECK-NEXT: vmov.u8 r0, q6[7]
; CHECK-NEXT: vmov.16 q0[7], r0
+; CHECK-NEXT: vldrw.u32 q2, [sp, #16] @ 16-byte Reload
; CHECK-NEXT: vcmp.i16 ne, q0, zr
-; CHECK-NEXT: vpsel q4, q5, q4
+; CHECK-NEXT: vldrw.u32 q0, [sp, #32] @ 16-byte Reload
+; CHECK-NEXT: vldrw.u32 q5, [sp, #48] @ 16-byte Reload
+; CHECK-NEXT: vpsel q4, q2, q0
; CHECK-NEXT: vmov.u16 r0, q4[4]
; CHECK-NEXT: vmov.32 q0[0], r0
; CHECK-NEXT: vmov.u16 r0, q4[5]
@@ -1179,55 +1202,57 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_sext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.u8 r0, q1[7]
; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u8 r0, q3[4]
-; CHECK-NEXT: vmov.32 q5[0], r0
+; CHECK-NEXT: vmov.32 q6[0], r0
; CHECK-NEXT: vmov.u8 r0, q3[5]
-; CHECK-NEXT: vmov.32 q5[1], r0
+; CHECK-NEXT: vmov.32 q6[1], r0
; CHECK-NEXT: vmov.u8 r0, q3[6]
-; CHECK-NEXT: vmov.32 q5[2], r0
+; CHECK-NEXT: vmov.32 q6[2], r0
; CHECK-NEXT: vmov.u8 r0, q3[7]
-; CHECK-NEXT: vmov.32 q5[3], r0
+; CHECK-NEXT: vmov.32 q6[3], r0
; CHECK-NEXT: vmovlb.s8 q0, q0
-; CHECK-NEXT: vmovlb.s8 q5, q5
+; CHECK-NEXT: vmovlb.s8 q6, q6
; CHECK-NEXT: vmovlb.s16 q0, q0
-; CHECK-NEXT: vmovlb.s16 q5, q5
-; CHECK-NEXT: vmov.u16 r0, q2[0]
-; CHECK-NEXT: vmul.i32 q0, q5, q0
-; CHECK-NEXT: vldrw.u32 q5, [sp] @ 16-byte Reload
-; CHECK-NEXT: vpsel q0, q0, q7
-; CHECK-NEXT: vadd.i32 q5, q0, q5
+; CHECK-NEXT: vmovlb.s16 q6, q6
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q5, q6, q0
+; CHECK-NEXT: vldrw.u32 q0, [sp] @ 16-byte Reload
+; CHECK-NEXT: vmov.u16 r0, q7[0]
+; CHECK-NEXT: vadd.i32 q6, q5, q0
; CHECK-NEXT: vmov.32 q0[0], r0
-; CHECK-NEXT: vmov.u16 r0, q2[1]
+; CHECK-NEXT: vmov.u16 r0, q7[1]
; CHECK-NEXT: vmov.32 q0[1], r0
-; CHECK-NEXT: vmov.u16 r0, q2[2]
+; CHECK-NEXT: vmov.u16 r0, q7[2]
; CHECK-NEXT: vmov.32 q0[2], r0
-; CHECK-NEXT: vmov.u16 r0, q2[3]
+; CHECK-NEXT: vmov.u16 r0, q7[3]
; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u8 r0, q1[8]
; CHECK-NEXT: vcmp.i32 ne, q0, zr
; CHECK-NEXT: vmov.32 q0[0], r0
; CHECK-NEXT: vmov.u8 r0, q1[9]
+; CHECK-NEXT: vldrw.u32 q7, [sp, #48] @ 16-byte Reload
; CHECK-NEXT: vmov.32 q0[1], r0
; CHECK-NEXT: vmov.u8 r0, q1[10]
; CHECK-NEXT: vmov.32 q0[2], r0
; CHECK-NEXT: vmov.u8 r0, q1[11]
; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u8 r0, q3[8]
-; CHECK-NEXT: vmov.32 q2[0], r0
+; CHECK-NEXT: vmovlb.s8 q0, q0
+; CHECK-NEXT: vmovlb.s16 q2, q0
+; CHECK-NEXT: vmov.32 q0[0], r0
; CHECK-NEXT: vmov.u8 r0, q3[9]
-; CHECK-NEXT: vmov.32 q2[1], r0
+; CHECK-NEXT: vmov.32 q0[1], r0
; CHECK-NEXT: vmov.u8 r0, q3[10]
-; CHECK-NEXT: vmov.32 q2[2], r0
+; CHECK-NEXT: vmov.32 q0[2], r0
; CHECK-NEXT: vmov.u8 r0, q3[11]
-; CHECK-NEXT: vmov.32 q2[3], r0
-; CHECK-NEXT: vmovlb.s8 q0, q0
-; CHECK-NEXT: vmovlb.s8 q2, q2
-; CHECK-NEXT: vmovlb.s16 q0, q0
-; CHECK-NEXT: vmovlb.s16 q2, q2
+; CHECK-NEXT: vmov.32 q0[3], r0
; CHECK-NEXT: vmov.u16 r0, q4[0]
-; CHECK-NEXT: vmul.i32 q0, q2, q0
+; CHECK-NEXT: vmovlb.s8 q0, q0
+; CHECK-NEXT: vmovlb.s16 q5, q0
+; CHECK-NEXT: vmov q0, q7
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q0, q5, q2
; CHECK-NEXT: vmov.32 q2[0], r0
; CHECK-NEXT: vmov.u16 r0, q4[1]
-; CHECK-NEXT: vpsel q0, q0, q7
; CHECK-NEXT: vmov.32 q2[1], r0
; CHECK-NEXT: vmov.u16 r0, q4[2]
; CHECK-NEXT: vmov.32 q2[2], r0
@@ -1252,14 +1277,15 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_sext(<16 x i8> %x, <16 x i8> %y, <1
; CHECK-NEXT: vmov.32 q2[2], r0
; CHECK-NEXT: vmov.u8 r0, q3[3]
; CHECK-NEXT: vmov.32 q2[3], r0
+; CHECK-NEXT: vmov q3, q7
; CHECK-NEXT: vmovlb.s8 q2, q2
; CHECK-NEXT: vmovlb.s16 q2, q2
-; CHECK-NEXT: vmul.i32 q1, q2, q1
-; CHECK-NEXT: vpsel q1, q1, q7
-; CHECK-NEXT: vadd.i32 q0, q1, q0
-; CHECK-NEXT: vadd.i32 q0, q0, q5
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q3, q2, q1
+; CHECK-NEXT: vadd.i32 q0, q3, q0
+; CHECK-NEXT: vadd.i32 q0, q0, q6
; CHECK-NEXT: vaddv.u32 r0, q0
-; CHECK-NEXT: add sp, #16
+; CHECK-NEXT: add sp, #64
; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: bx lr
entry:
@@ -1276,14 +1302,14 @@ define arm_aapcs_vfpcc i32 @add_v4i8_v4i32_zext(<4 x i8> %x, <4 x i8> %y, <4 x i
; CHECK-LABEL: add_v4i8_v4i32_zext:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i32 q3, #0xff
+; CHECK-NEXT: vand q2, q2, q3
; CHECK-NEXT: vand q1, q1, q3
+; CHECK-NEXT: vcmp.i32 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
; CHECK-NEXT: vand q0, q0, q3
-; CHECK-NEXT: vmul.i32 q0, q0, q1
-; CHECK-NEXT: vand q1, q2, q3
-; CHECK-NEXT: vcmp.i32 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u32 r0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q2, q0, q1
+; CHECK-NEXT: vaddv.u32 r0, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i8> %b, zeroinitializer
@@ -1298,17 +1324,17 @@ entry:
define arm_aapcs_vfpcc i32 @add_v4i8_v4i32_sext(<4 x i8> %x, <4 x i8> %y, <4 x i8> %b) {
; CHECK-LABEL: add_v4i8_v4i32_sext:
; CHECK: @ %bb.0: @ %entry
+; CHECK-NEXT: vmov.i32 q3, #0xff
; CHECK-NEXT: vmovlb.s8 q1, q1
+; CHECK-NEXT: vand q2, q2, q3
; CHECK-NEXT: vmovlb.s8 q0, q0
+; CHECK-NEXT: vcmp.i32 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
; CHECK-NEXT: vmovlb.s16 q1, q1
; CHECK-NEXT: vmovlb.s16 q0, q0
-; CHECK-NEXT: vmul.i32 q0, q0, q1
-; CHECK-NEXT: vmov.i32 q1, #0xff
-; CHECK-NEXT: vand q1, q2, q1
-; CHECK-NEXT: vcmp.i32 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u32 r0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q2, q0, q1
+; CHECK-NEXT: vaddv.u32 r0, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i8> %b, zeroinitializer
@@ -1323,8 +1349,8 @@ entry:
define arm_aapcs_vfpcc zeroext i16 @add_v16i8_v16i16_zext(<16 x i8> %x, <16 x i8> %y, <16 x i8> %b) {
; CHECK-LABEL: add_v16i8_v16i16_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9, d10, d11}
-; CHECK-NEXT: vpush {d8, d9, d10, d11}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13}
+; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: vcmp.i8 eq, q2, zr
; CHECK-NEXT: vmov.i8 q2, #0x0
; CHECK-NEXT: vmov.i8 q3, #0xff
@@ -1363,22 +1389,28 @@ define arm_aapcs_vfpcc zeroext i16 @add_v16i8_v16i16_zext(<16 x i8> %x, <16 x i8
; CHECK-NEXT: vmov.u8 r0, q1[15]
; CHECK-NEXT: vmov.16 q3[7], r0
; CHECK-NEXT: vmov.u8 r0, q0[8]
-; CHECK-NEXT: vmov.16 q4[0], r0
+; CHECK-NEXT: vmovlb.u8 q5, q3
+; CHECK-NEXT: vmov.16 q3[0], r0
; CHECK-NEXT: vmov.u8 r0, q0[9]
-; CHECK-NEXT: vmov.16 q4[1], r0
+; CHECK-NEXT: vmov.16 q3[1], r0
; CHECK-NEXT: vmov.u8 r0, q0[10]
-; CHECK-NEXT: vmov.16 q4[2], r0
+; CHECK-NEXT: vmov.16 q3[2], r0
; CHECK-NEXT: vmov.u8 r0, q0[11]
-; CHECK-NEXT: vmov.16 q4[3], r0
+; CHECK-NEXT: vmov.16 q3[3], r0
; CHECK-NEXT: vmov.u8 r0, q0[12]
-; CHECK-NEXT: vmov.16 q4[4], r0
+; CHECK-NEXT: vmov.16 q3[4], r0
; CHECK-NEXT: vmov.u8 r0, q0[13]
-; CHECK-NEXT: vmov.16 q4[5], r0
+; CHECK-NEXT: vmov.16 q3[5], r0
; CHECK-NEXT: vmov.u8 r0, q0[14]
-; CHECK-NEXT: vmov.16 q4[6], r0
+; CHECK-NEXT: vmov.16 q3[6], r0
; CHECK-NEXT: vmov.u8 r0, q0[15]
-; CHECK-NEXT: vmov.16 q4[7], r0
+; CHECK-NEXT: vmov.16 q3[7], r0
; CHECK-NEXT: vmov.u8 r0, q2[0]
+; CHECK-NEXT: vmovlb.u8 q6, q3
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vmov q4, q3
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q4, q6, q5
; CHECK-NEXT: vmov.16 q5[0], r0
; CHECK-NEXT: vmov.u8 r0, q2[1]
; CHECK-NEXT: vmov.16 q5[1], r0
@@ -1411,31 +1443,29 @@ define arm_aapcs_vfpcc zeroext i16 @add_v16i8_v16i16_zext(<16 x i8> %x, <16 x i8
; CHECK-NEXT: vmov.u8 r0, q1[7]
; CHECK-NEXT: vmov.16 q2[7], r0
; CHECK-NEXT: vmov.u8 r0, q0[0]
-; CHECK-NEXT: vmov.16 q1[0], r0
+; CHECK-NEXT: vmovlb.u8 q1, q2
+; CHECK-NEXT: vmov.16 q2[0], r0
; CHECK-NEXT: vmov.u8 r0, q0[1]
-; CHECK-NEXT: vmov.16 q1[1], r0
+; CHECK-NEXT: vmov.16 q2[1], r0
; CHECK-NEXT: vmov.u8 r0, q0[2]
-; CHECK-NEXT: vmov.16 q1[2], r0
+; CHECK-NEXT: vmov.16 q2[2], r0
; CHECK-NEXT: vmov.u8 r0, q0[3]
-; CHECK-NEXT: vmov.16 q1[3], r0
+; CHECK-NEXT: vmov.16 q2[3], r0
; CHECK-NEXT: vmov.u8 r0, q0[4]
-; CHECK-NEXT: vmov.16 q1[4], r0
+; CHECK-NEXT: vmov.16 q2[4], r0
; CHECK-NEXT: vmov.u8 r0, q0[5]
-; CHECK-NEXT: vmov.16 q1[5], r0
+; CHECK-NEXT: vmov.16 q2[5], r0
; CHECK-NEXT: vmov.u8 r0, q0[6]
-; CHECK-NEXT: vmov.16 q1[6], r0
+; CHECK-NEXT: vmov.16 q2[6], r0
; CHECK-NEXT: vmov.u8 r0, q0[7]
-; CHECK-NEXT: vmullb.u8 q4, q4, q3
-; CHECK-NEXT: vmov.i32 q3, #0x0
-; CHECK-NEXT: vmov.16 q1[7], r0
-; CHECK-NEXT: vpsel q4, q4, q3
-; CHECK-NEXT: vcmp.i16 ne, q5, zr
-; CHECK-NEXT: vmullb.u8 q0, q1, q2
-; CHECK-NEXT: vpsel q0, q0, q3
-; CHECK-NEXT: vadd.i16 q0, q0, q4
+; CHECK-NEXT: vmov.16 q2[7], r0
+; CHECK-NEXT: vmovlb.u8 q0, q2
+; CHECK-NEXT: vpt.i16 ne, q5, zr
+; CHECK-NEXT: vmult.i16 q3, q0, q1
+; CHECK-NEXT: vadd.i16 q0, q3, q4
; CHECK-NEXT: vaddv.u16 r0, q0
; CHECK-NEXT: uxth r0, r0
-; CHECK-NEXT: vpop {d8, d9, d10, d11}
+; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %b, zeroinitializer
@@ -1450,8 +1480,8 @@ entry:
define arm_aapcs_vfpcc signext i16 @add_v16i8_v16i16_sext(<16 x i8> %x, <16 x i8> %y, <16 x i8> %b) {
; CHECK-LABEL: add_v16i8_v16i16_sext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9, d10, d11}
-; CHECK-NEXT: vpush {d8, d9, d10, d11}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13}
+; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: vcmp.i8 eq, q2, zr
; CHECK-NEXT: vmov.i8 q2, #0x0
; CHECK-NEXT: vmov.i8 q3, #0xff
@@ -1490,22 +1520,28 @@ define arm_aapcs_vfpcc signext i16 @add_v16i8_v16i16_sext(<16 x i8> %x, <16 x i8
; CHECK-NEXT: vmov.u8 r0, q1[15]
; CHECK-NEXT: vmov.16 q3[7], r0
; CHECK-NEXT: vmov.u8 r0, q0[8]
-; CHECK-NEXT: vmov.16 q4[0], r0
+; CHECK-NEXT: vmovlb.s8 q5, q3
+; CHECK-NEXT: vmov.16 q3[0], r0
; CHECK-NEXT: vmov.u8 r0, q0[9]
-; CHECK-NEXT: vmov.16 q4[1], r0
+; CHECK-NEXT: vmov.16 q3[1], r0
; CHECK-NEXT: vmov.u8 r0, q0[10]
-; CHECK-NEXT: vmov.16 q4[2], r0
+; CHECK-NEXT: vmov.16 q3[2], r0
; CHECK-NEXT: vmov.u8 r0, q0[11]
-; CHECK-NEXT: vmov.16 q4[3], r0
+; CHECK-NEXT: vmov.16 q3[3], r0
; CHECK-NEXT: vmov.u8 r0, q0[12]
-; CHECK-NEXT: vmov.16 q4[4], r0
+; CHECK-NEXT: vmov.16 q3[4], r0
; CHECK-NEXT: vmov.u8 r0, q0[13]
-; CHECK-NEXT: vmov.16 q4[5], r0
+; CHECK-NEXT: vmov.16 q3[5], r0
; CHECK-NEXT: vmov.u8 r0, q0[14]
-; CHECK-NEXT: vmov.16 q4[6], r0
+; CHECK-NEXT: vmov.16 q3[6], r0
; CHECK-NEXT: vmov.u8 r0, q0[15]
-; CHECK-NEXT: vmov.16 q4[7], r0
+; CHECK-NEXT: vmov.16 q3[7], r0
; CHECK-NEXT: vmov.u8 r0, q2[0]
+; CHECK-NEXT: vmovlb.s8 q6, q3
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vmov q4, q3
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q4, q6, q5
; CHECK-NEXT: vmov.16 q5[0], r0
; CHECK-NEXT: vmov.u8 r0, q2[1]
; CHECK-NEXT: vmov.16 q5[1], r0
@@ -1538,31 +1574,29 @@ define arm_aapcs_vfpcc signext i16 @add_v16i8_v16i16_sext(<16 x i8> %x, <16 x i8
; CHECK-NEXT: vmov.u8 r0, q1[7]
; CHECK-NEXT: vmov.16 q2[7], r0
; CHECK-NEXT: vmov.u8 r0, q0[0]
-; CHECK-NEXT: vmov.16 q1[0], r0
+; CHECK-NEXT: vmovlb.s8 q1, q2
+; CHECK-NEXT: vmov.16 q2[0], r0
; CHECK-NEXT: vmov.u8 r0, q0[1]
-; CHECK-NEXT: vmov.16 q1[1], r0
+; CHECK-NEXT: vmov.16 q2[1], r0
; CHECK-NEXT: vmov.u8 r0, q0[2]
-; CHECK-NEXT: vmov.16 q1[2], r0
+; CHECK-NEXT: vmov.16 q2[2], r0
; CHECK-NEXT: vmov.u8 r0, q0[3]
-; CHECK-NEXT: vmov.16 q1[3], r0
+; CHECK-NEXT: vmov.16 q2[3], r0
; CHECK-NEXT: vmov.u8 r0, q0[4]
-; CHECK-NEXT: vmov.16 q1[4], r0
+; CHECK-NEXT: vmov.16 q2[4], r0
; CHECK-NEXT: vmov.u8 r0, q0[5]
-; CHECK-NEXT: vmov.16 q1[5], r0
+; CHECK-NEXT: vmov.16 q2[5], r0
; CHECK-NEXT: vmov.u8 r0, q0[6]
-; CHECK-NEXT: vmov.16 q1[6], r0
+; CHECK-NEXT: vmov.16 q2[6], r0
; CHECK-NEXT: vmov.u8 r0, q0[7]
-; CHECK-NEXT: vmullb.s8 q4, q4, q3
-; CHECK-NEXT: vmov.i32 q3, #0x0
-; CHECK-NEXT: vmov.16 q1[7], r0
-; CHECK-NEXT: vpsel q4, q4, q3
-; CHECK-NEXT: vcmp.i16 ne, q5, zr
-; CHECK-NEXT: vmullb.s8 q0, q1, q2
-; CHECK-NEXT: vpsel q0, q0, q3
-; CHECK-NEXT: vadd.i16 q0, q0, q4
+; CHECK-NEXT: vmov.16 q2[7], r0
+; CHECK-NEXT: vmovlb.s8 q0, q2
+; CHECK-NEXT: vpt.i16 ne, q5, zr
+; CHECK-NEXT: vmult.i16 q3, q0, q1
+; CHECK-NEXT: vadd.i16 q0, q3, q4
; CHECK-NEXT: vaddv.u16 r0, q0
; CHECK-NEXT: sxth r0, r0
-; CHECK-NEXT: vpop {d8, d9, d10, d11}
+; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %b, zeroinitializer
@@ -1577,12 +1611,14 @@ entry:
define arm_aapcs_vfpcc zeroext i16 @add_v8i8_v8i16_zext(<8 x i8> %x, <8 x i8> %y, <8 x i8> %b) {
; CHECK-LABEL: add_v8i8_v8i16_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmullb.u8 q0, q0, q1
-; CHECK-NEXT: vmovlb.u8 q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u16 r0, q0
+; CHECK-NEXT: vmovlb.u8 q2, q2
+; CHECK-NEXT: vmovlb.u8 q1, q1
+; CHECK-NEXT: vcmp.i16 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmovlb.u8 q0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q2, q0, q1
+; CHECK-NEXT: vaddv.u16 r0, q2
; CHECK-NEXT: uxth r0, r0
; CHECK-NEXT: bx lr
entry:
@@ -1598,12 +1634,14 @@ entry:
define arm_aapcs_vfpcc signext i16 @add_v8i8_v8i16_sext(<8 x i8> %x, <8 x i8> %y, <8 x i8> %b) {
; CHECK-LABEL: add_v8i8_v8i16_sext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmullb.s8 q0, q0, q1
-; CHECK-NEXT: vmovlb.u8 q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u16 r0, q0
+; CHECK-NEXT: vmovlb.u8 q2, q2
+; CHECK-NEXT: vmovlb.s8 q1, q1
+; CHECK-NEXT: vcmp.i16 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmovlb.s8 q0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q2, q0, q1
+; CHECK-NEXT: vaddv.u16 r0, q2
; CHECK-NEXT: sxth r0, r0
; CHECK-NEXT: bx lr
entry:
@@ -1619,11 +1657,10 @@ entry:
define arm_aapcs_vfpcc zeroext i8 @add_v16i8_v16i8(<16 x i8> %x, <16 x i8> %y, <16 x i8> %b) {
; CHECK-LABEL: add_v16i8_v16i8:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i8 q0, q0, q1
-; CHECK-NEXT: vcmp.i8 eq, q2, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddv.u8 r0, q0
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vpt.i8 eq, q2, zr
+; CHECK-NEXT: vmult.i8 q3, q0, q1
+; CHECK-NEXT: vaddv.u8 r0, q3
; CHECK-NEXT: uxtb r0, r0
; CHECK-NEXT: bx lr
entry:
@@ -2548,11 +2585,10 @@ entry:
define arm_aapcs_vfpcc i32 @add_v4i32_v4i32_acc(<4 x i32> %x, <4 x i32> %y, <4 x i32> %b, i32 %a) {
; CHECK-LABEL: add_v4i32_v4i32_acc:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i32 q0, q0, q1
-; CHECK-NEXT: vcmp.i32 eq, q2, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u32 r0, q0
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vpt.i32 eq, q2, zr
+; CHECK-NEXT: vmult.i32 q3, q0, q1
+; CHECK-NEXT: vaddva.u32 r0, q3
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i32> %b, zeroinitializer
@@ -2789,8 +2825,8 @@ entry:
define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_zext(<8 x i16> %x, <8 x i16> %y, <8 x i16> %b, i32 %a) {
; CHECK-LABEL: add_v8i16_v8i32_acc_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9, d10, d11}
-; CHECK-NEXT: vpush {d8, d9, d10, d11}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13}
+; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: vmov.i8 q3, #0x0
; CHECK-NEXT: vmov.i8 q4, #0xff
; CHECK-NEXT: vcmp.i16 eq, q2, zr
@@ -2813,14 +2849,20 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_zext(<8 x i16> %x, <8 x i16> %y,
; CHECK-NEXT: vmov.u16 r1, q1[7]
; CHECK-NEXT: vmov.32 q3[3], r1
; CHECK-NEXT: vmov.u16 r1, q0[4]
-; CHECK-NEXT: vmov.32 q4[0], r1
+; CHECK-NEXT: vmovlb.u16 q5, q3
+; CHECK-NEXT: vmov.32 q3[0], r1
; CHECK-NEXT: vmov.u16 r1, q0[5]
-; CHECK-NEXT: vmov.32 q4[1], r1
+; CHECK-NEXT: vmov.32 q3[1], r1
; CHECK-NEXT: vmov.u16 r1, q0[6]
-; CHECK-NEXT: vmov.32 q4[2], r1
+; CHECK-NEXT: vmov.32 q3[2], r1
; CHECK-NEXT: vmov.u16 r1, q0[7]
-; CHECK-NEXT: vmov.32 q4[3], r1
+; CHECK-NEXT: vmov.32 q3[3], r1
; CHECK-NEXT: vmov.u16 r1, q2[0]
+; CHECK-NEXT: vmovlb.u16 q6, q3
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vmov q4, q3
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q4, q6, q5
; CHECK-NEXT: vmov.32 q5[0], r1
; CHECK-NEXT: vmov.u16 r1, q2[1]
; CHECK-NEXT: vmov.32 q5[1], r1
@@ -2837,22 +2879,20 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_zext(<8 x i16> %x, <8 x i16> %y,
; CHECK-NEXT: vmov.u16 r1, q1[3]
; CHECK-NEXT: vmov.32 q2[3], r1
; CHECK-NEXT: vmov.u16 r1, q0[0]
-; CHECK-NEXT: vmov.32 q1[0], r1
+; CHECK-NEXT: vmovlb.u16 q1, q2
+; CHECK-NEXT: vmov.32 q2[0], r1
; CHECK-NEXT: vmov.u16 r1, q0[1]
-; CHECK-NEXT: vmov.32 q1[1], r1
+; CHECK-NEXT: vmov.32 q2[1], r1
; CHECK-NEXT: vmov.u16 r1, q0[2]
-; CHECK-NEXT: vmov.32 q1[2], r1
+; CHECK-NEXT: vmov.32 q2[2], r1
; CHECK-NEXT: vmov.u16 r1, q0[3]
-; CHECK-NEXT: vmullb.u16 q4, q4, q3
-; CHECK-NEXT: vmov.i32 q3, #0x0
-; CHECK-NEXT: vmov.32 q1[3], r1
-; CHECK-NEXT: vpsel q4, q4, q3
-; CHECK-NEXT: vcmp.i32 ne, q5, zr
-; CHECK-NEXT: vmullb.u16 q0, q1, q2
-; CHECK-NEXT: vpsel q0, q0, q3
-; CHECK-NEXT: vadd.i32 q0, q0, q4
+; CHECK-NEXT: vmov.32 q2[3], r1
+; CHECK-NEXT: vmovlb.u16 q0, q2
+; CHECK-NEXT: vpt.i32 ne, q5, zr
+; CHECK-NEXT: vmult.i32 q3, q0, q1
+; CHECK-NEXT: vadd.i32 q0, q3, q4
; CHECK-NEXT: vaddva.u32 r0, q0
-; CHECK-NEXT: vpop {d8, d9, d10, d11}
+; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %b, zeroinitializer
@@ -2868,8 +2908,8 @@ entry:
define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_sext(<8 x i16> %x, <8 x i16> %y, <8 x i16> %b, i32 %a) {
; CHECK-LABEL: add_v8i16_v8i32_acc_sext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9, d10, d11}
-; CHECK-NEXT: vpush {d8, d9, d10, d11}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13}
+; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: vmov.i8 q3, #0x0
; CHECK-NEXT: vmov.i8 q4, #0xff
; CHECK-NEXT: vcmp.i16 eq, q2, zr
@@ -2892,14 +2932,20 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_sext(<8 x i16> %x, <8 x i16> %y,
; CHECK-NEXT: vmov.u16 r1, q1[7]
; CHECK-NEXT: vmov.32 q3[3], r1
; CHECK-NEXT: vmov.u16 r1, q0[4]
-; CHECK-NEXT: vmov.32 q4[0], r1
+; CHECK-NEXT: vmovlb.s16 q5, q3
+; CHECK-NEXT: vmov.32 q3[0], r1
; CHECK-NEXT: vmov.u16 r1, q0[5]
-; CHECK-NEXT: vmov.32 q4[1], r1
+; CHECK-NEXT: vmov.32 q3[1], r1
; CHECK-NEXT: vmov.u16 r1, q0[6]
-; CHECK-NEXT: vmov.32 q4[2], r1
+; CHECK-NEXT: vmov.32 q3[2], r1
; CHECK-NEXT: vmov.u16 r1, q0[7]
-; CHECK-NEXT: vmov.32 q4[3], r1
+; CHECK-NEXT: vmov.32 q3[3], r1
; CHECK-NEXT: vmov.u16 r1, q2[0]
+; CHECK-NEXT: vmovlb.s16 q6, q3
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vmov q4, q3
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q4, q6, q5
; CHECK-NEXT: vmov.32 q5[0], r1
; CHECK-NEXT: vmov.u16 r1, q2[1]
; CHECK-NEXT: vmov.32 q5[1], r1
@@ -2916,22 +2962,20 @@ define arm_aapcs_vfpcc i32 @add_v8i16_v8i32_acc_sext(<8 x i16> %x, <8 x i16> %y,
; CHECK-NEXT: vmov.u16 r1, q1[3]
; CHECK-NEXT: vmov.32 q2[3], r1
; CHECK-NEXT: vmov.u16 r1, q0[0]
-; CHECK-NEXT: vmov.32 q1[0], r1
+; CHECK-NEXT: vmovlb.s16 q1, q2
+; CHECK-NEXT: vmov.32 q2[0], r1
; CHECK-NEXT: vmov.u16 r1, q0[1]
-; CHECK-NEXT: vmov.32 q1[1], r1
+; CHECK-NEXT: vmov.32 q2[1], r1
; CHECK-NEXT: vmov.u16 r1, q0[2]
-; CHECK-NEXT: vmov.32 q1[2], r1
+; CHECK-NEXT: vmov.32 q2[2], r1
; CHECK-NEXT: vmov.u16 r1, q0[3]
-; CHECK-NEXT: vmullb.s16 q4, q4, q3
-; CHECK-NEXT: vmov.i32 q3, #0x0
-; CHECK-NEXT: vmov.32 q1[3], r1
-; CHECK-NEXT: vpsel q4, q4, q3
-; CHECK-NEXT: vcmp.i32 ne, q5, zr
-; CHECK-NEXT: vmullb.s16 q0, q1, q2
-; CHECK-NEXT: vpsel q0, q0, q3
-; CHECK-NEXT: vadd.i32 q0, q0, q4
+; CHECK-NEXT: vmov.32 q2[3], r1
+; CHECK-NEXT: vmovlb.s16 q0, q2
+; CHECK-NEXT: vpt.i32 ne, q5, zr
+; CHECK-NEXT: vmult.i32 q3, q0, q1
+; CHECK-NEXT: vadd.i32 q0, q3, q4
; CHECK-NEXT: vaddva.u32 r0, q0
-; CHECK-NEXT: vpop {d8, d9, d10, d11}
+; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <8 x i16> %b, zeroinitializer
@@ -2947,12 +2991,14 @@ entry:
define arm_aapcs_vfpcc i32 @add_v4i16_v4i32_acc_zext(<4 x i16> %x, <4 x i16> %y, <4 x i16> %b, i32 %a) {
; CHECK-LABEL: add_v4i16_v4i32_acc_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmullb.u16 q0, q0, q1
-; CHECK-NEXT: vmovlb.u16 q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u32 r0, q0
+; CHECK-NEXT: vmovlb.u16 q2, q2
+; CHECK-NEXT: vmovlb.u16 q1, q1
+; CHECK-NEXT: vcmp.i32 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmovlb.u16 q0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q2, q0, q1
+; CHECK-NEXT: vaddva.u32 r0, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i16> %b, zeroinitializer
@@ -2968,12 +3014,14 @@ entry:
define arm_aapcs_vfpcc i32 @add_v4i16_v4i32_acc_sext(<4 x i16> %x, <4 x i16> %y, <4 x i16> %b, i32 %a) {
; CHECK-LABEL: add_v4i16_v4i32_acc_sext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmullb.s16 q0, q0, q1
-; CHECK-NEXT: vmovlb.u16 q1, q2
-; CHECK-NEXT: vcmp.i32 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u32 r0, q0
+; CHECK-NEXT: vmovlb.u16 q2, q2
+; CHECK-NEXT: vmovlb.s16 q1, q1
+; CHECK-NEXT: vcmp.i32 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmovlb.s16 q0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q2, q0, q1
+; CHECK-NEXT: vaddva.u32 r0, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i16> %b, zeroinitializer
@@ -2989,11 +3037,10 @@ entry:
define arm_aapcs_vfpcc zeroext i16 @add_v8i16_v8i16_acc(<8 x i16> %x, <8 x i16> %y, <8 x i16> %b, i16 %a) {
; CHECK-LABEL: add_v8i16_v8i16_acc:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i16 q0, q0, q1
-; CHECK-NEXT: vcmp.i16 eq, q2, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u16 r0, q0
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vpt.i16 eq, q2, zr
+; CHECK-NEXT: vmult.i16 q3, q0, q1
+; CHECK-NEXT: vaddva.u16 r0, q3
; CHECK-NEXT: uxth r0, r0
; CHECK-NEXT: bx lr
entry:
@@ -3484,16 +3531,16 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %y
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13, d14, d15}
-; CHECK-NEXT: .pad #48
-; CHECK-NEXT: sub sp, #48
+; CHECK-NEXT: .pad #64
+; CHECK-NEXT: sub sp, #64
; CHECK-NEXT: vmov q3, q0
-; CHECK-NEXT: vmov.i8 q0, #0x0
; CHECK-NEXT: vcmp.i8 eq, q2, zr
-; CHECK-NEXT: vmov.i8 q5, #0xff
-; CHECK-NEXT: vpsel q7, q5, q0
-; CHECK-NEXT: vstrw.32 q0, [sp, #32] @ 16-byte Spill
+; CHECK-NEXT: vmov.i8 q2, #0xff
+; CHECK-NEXT: vmov.i8 q0, #0x0
+; CHECK-NEXT: vpsel q7, q2, q0
+; CHECK-NEXT: vmov q4, q2
; CHECK-NEXT: vmov.u8 r1, q7[8]
-; CHECK-NEXT: vmov.i32 q6, #0xff
+; CHECK-NEXT: vstrw.32 q2, [sp, #16] @ 16-byte Spill
; CHECK-NEXT: vmov.16 q2[0], r1
; CHECK-NEXT: vmov.u8 r1, q7[9]
; CHECK-NEXT: vmov.16 q2[1], r1
@@ -3509,8 +3556,10 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.16 q2[6], r1
; CHECK-NEXT: vmov.u8 r1, q7[15]
; CHECK-NEXT: vmov.16 q2[7], r1
+; CHECK-NEXT: vstrw.32 q0, [sp, #32] @ 16-byte Spill
; CHECK-NEXT: vcmp.i16 ne, q2, zr
-; CHECK-NEXT: vpsel q4, q5, q0
+; CHECK-NEXT: vmov.i32 q2, #0xff
+; CHECK-NEXT: vpsel q4, q4, q0
; CHECK-NEXT: vmov.u16 r1, q4[4]
; CHECK-NEXT: vmov.32 q0[0], r1
; CHECK-NEXT: vmov.u16 r1, q4[5]
@@ -3529,23 +3578,23 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.u8 r1, q1[15]
; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u8 r1, q3[12]
-; CHECK-NEXT: vand q2, q0, q6
-; CHECK-NEXT: vmov.32 q0[0], r1
+; CHECK-NEXT: vmov.32 q6[0], r1
; CHECK-NEXT: vmov.u8 r1, q3[13]
-; CHECK-NEXT: vmov.32 q0[1], r1
+; CHECK-NEXT: vmov.32 q6[1], r1
; CHECK-NEXT: vmov.u8 r1, q3[14]
-; CHECK-NEXT: vmov.32 q0[2], r1
+; CHECK-NEXT: vmov.32 q6[2], r1
; CHECK-NEXT: vmov.u8 r1, q3[15]
-; CHECK-NEXT: vmov.32 q0[3], r1
+; CHECK-NEXT: vmov.32 q6[3], r1
+; CHECK-NEXT: vand q5, q0, q2
+; CHECK-NEXT: vand q0, q6, q2
+; CHECK-NEXT: vmov.i32 q6, #0x0
; CHECK-NEXT: vmov.u8 r1, q7[0]
-; CHECK-NEXT: vand q0, q0, q6
-; CHECK-NEXT: vmul.i32 q0, q0, q2
-; CHECK-NEXT: vmov.i32 q2, #0x0
-; CHECK-NEXT: vpsel q0, q0, q2
-; CHECK-NEXT: vstrw.32 q2, [sp] @ 16-byte Spill
-; CHECK-NEXT: vstrw.32 q0, [sp, #16] @ 16-byte Spill
+; CHECK-NEXT: vstrw.32 q6, [sp, #48] @ 16-byte Spill
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q6, q0, q5
; CHECK-NEXT: vmov.16 q0[0], r1
; CHECK-NEXT: vmov.u8 r1, q7[1]
+; CHECK-NEXT: vldrw.u32 q5, [sp, #16] @ 16-byte Reload
; CHECK-NEXT: vmov.16 q0[1], r1
; CHECK-NEXT: vmov.u8 r1, q7[2]
; CHECK-NEXT: vmov.16 q0[2], r1
@@ -3559,9 +3608,10 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.16 q0[6], r1
; CHECK-NEXT: vmov.u8 r1, q7[7]
; CHECK-NEXT: vmov.16 q0[7], r1
-; CHECK-NEXT: vldrw.u32 q7, [sp] @ 16-byte Reload
+; CHECK-NEXT: vstrw.32 q6, [sp] @ 16-byte Spill
; CHECK-NEXT: vcmp.i16 ne, q0, zr
; CHECK-NEXT: vldrw.u32 q0, [sp, #32] @ 16-byte Reload
+; CHECK-NEXT: vldrw.u32 q6, [sp, #48] @ 16-byte Reload
; CHECK-NEXT: vpsel q5, q5, q0
; CHECK-NEXT: vmov.u16 r1, q5[4]
; CHECK-NEXT: vmov.32 q0[0], r1
@@ -3581,81 +3631,84 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_zext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.u8 r1, q1[7]
; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u8 r1, q3[4]
-; CHECK-NEXT: vmov.32 q2[0], r1
+; CHECK-NEXT: vmov.32 q7[0], r1
; CHECK-NEXT: vmov.u8 r1, q3[5]
-; CHECK-NEXT: vmov.32 q2[1], r1
+; CHECK-NEXT: vmov.32 q7[1], r1
; CHECK-NEXT: vmov.u8 r1, q3[6]
-; CHECK-NEXT: vmov.32 q2[2], r1
+; CHECK-NEXT: vmov.32 q7[2], r1
; CHECK-NEXT: vmov.u8 r1, q3[7]
-; CHECK-NEXT: vmov.32 q2[3], r1
-; CHECK-NEXT: vand q0, q0, q6
-; CHECK-NEXT: vand q2, q2, q6
+; CHECK-NEXT: vmov.32 q7[3], r1
+; CHECK-NEXT: vand q0, q0, q2
+; CHECK-NEXT: vand q7, q7, q2
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q6, q7, q0
+; CHECK-NEXT: vldrw.u32 q0, [sp] @ 16-byte Reload
; CHECK-NEXT: vmov.u16 r1, q4[0]
-; CHECK-NEXT: vmul.i32 q0, q2, q0
-; CHECK-NEXT: vldrw.u32 q2, [sp, #16] @ 16-byte Reload
-; CHECK-NEXT: vpsel q0, q0, q7
-; CHECK-NEXT: vadd.i32 q0, q0, q2
-; CHECK-NEXT: vmov.32 q2[0], r1
+; CHECK-NEXT: vadd.i32 q0, q6, q0
+; CHECK-NEXT: vmov.32 q6[0], r1
; CHECK-NEXT: vmov.u16 r1, q4[1]
-; CHECK-NEXT: vmov.32 q2[1], r1
+; CHECK-NEXT: vstrw.32 q0, [sp, #32] @ 16-byte Spill
+; CHECK-NEXT: vmov.32 q6[1], r1
; CHECK-NEXT: vmov.u16 r1, q4[2]
-; CHECK-NEXT: vmov.32 q2[2], r1
+; CHECK-NEXT: vmov.32 q6[2], r1
; CHECK-NEXT: vmov.u16 r1, q4[3]
-; CHECK-NEXT: vmov.32 q2[3], r1
+; CHECK-NEXT: vmov.32 q6[3], r1
; CHECK-NEXT: vmov.u8 r1, q1[8]
-; CHECK-NEXT: vcmp.i32 ne, q2, zr
-; CHECK-NEXT: vmov.32 q2[0], r1
+; CHECK-NEXT: vmov.32 q4[0], r1
; CHECK-NEXT: vmov.u8 r1, q1[9]
-; CHECK-NEXT: vmov.32 q2[1], r1
+; CHECK-NEXT: vmov.32 q4[1], r1
; CHECK-NEXT: vmov.u8 r1, q1[10]
-; CHECK-NEXT: vmov.32 q2[2], r1
+; CHECK-NEXT: vmov.32 q4[2], r1
; CHECK-NEXT: vmov.u8 r1, q1[11]
-; CHECK-NEXT: vmov.32 q2[3], r1
+; CHECK-NEXT: vmov.32 q4[3], r1
; CHECK-NEXT: vmov.u8 r1, q3[8]
+; CHECK-NEXT: vcmp.i32 ne, q6, zr
+; CHECK-NEXT: vand q6, q4, q2
; CHECK-NEXT: vmov.32 q4[0], r1
; CHECK-NEXT: vmov.u8 r1, q3[9]
; CHECK-NEXT: vmov.32 q4[1], r1
; CHECK-NEXT: vmov.u8 r1, q3[10]
; CHECK-NEXT: vmov.32 q4[2], r1
; CHECK-NEXT: vmov.u8 r1, q3[11]
+; CHECK-NEXT: vldrw.u32 q0, [sp, #48] @ 16-byte Reload
; CHECK-NEXT: vmov.32 q4[3], r1
-; CHECK-NEXT: vand q2, q2, q6
-; CHECK-NEXT: vand q4, q4, q6
+; CHECK-NEXT: vand q7, q4, q2
; CHECK-NEXT: vmov.u16 r1, q5[0]
-; CHECK-NEXT: vmul.i32 q2, q4, q2
-; CHECK-NEXT: vpsel q4, q2, q7
-; CHECK-NEXT: vmov.32 q2[0], r1
+; CHECK-NEXT: vmov q4, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q4, q7, q6
+; CHECK-NEXT: vmov.32 q6[0], r1
; CHECK-NEXT: vmov.u16 r1, q5[1]
-; CHECK-NEXT: vmov.32 q2[1], r1
+; CHECK-NEXT: vmov.32 q6[1], r1
; CHECK-NEXT: vmov.u16 r1, q5[2]
-; CHECK-NEXT: vmov.32 q2[2], r1
+; CHECK-NEXT: vmov.32 q6[2], r1
; CHECK-NEXT: vmov.u16 r1, q5[3]
-; CHECK-NEXT: vmov.32 q2[3], r1
+; CHECK-NEXT: vmov.32 q6[3], r1
; CHECK-NEXT: vmov.u8 r1, q1[0]
-; CHECK-NEXT: vcmp.i32 ne, q2, zr
-; CHECK-NEXT: vmov.32 q2[0], r1
+; CHECK-NEXT: vmov.32 q5[0], r1
; CHECK-NEXT: vmov.u8 r1, q1[1]
-; CHECK-NEXT: vmov.32 q2[1], r1
+; CHECK-NEXT: vmov.32 q5[1], r1
; CHECK-NEXT: vmov.u8 r1, q1[2]
-; CHECK-NEXT: vmov.32 q2[2], r1
+; CHECK-NEXT: vmov.32 q5[2], r1
; CHECK-NEXT: vmov.u8 r1, q1[3]
-; CHECK-NEXT: vmov.32 q2[3], r1
+; CHECK-NEXT: vmov.32 q5[3], r1
; CHECK-NEXT: vmov.u8 r1, q3[0]
-; CHECK-NEXT: vand q1, q2, q6
-; CHECK-NEXT: vmov.32 q2[0], r1
+; CHECK-NEXT: vand q1, q5, q2
+; CHECK-NEXT: vmov.32 q5[0], r1
; CHECK-NEXT: vmov.u8 r1, q3[1]
-; CHECK-NEXT: vmov.32 q2[1], r1
+; CHECK-NEXT: vmov.32 q5[1], r1
; CHECK-NEXT: vmov.u8 r1, q3[2]
-; CHECK-NEXT: vmov.32 q2[2], r1
+; CHECK-NEXT: vmov.32 q5[2], r1
; CHECK-NEXT: vmov.u8 r1, q3[3]
-; CHECK-NEXT: vmov.32 q2[3], r1
-; CHECK-NEXT: vand q2, q2, q6
-; CHECK-NEXT: vmul.i32 q1, q2, q1
-; CHECK-NEXT: vpsel q1, q1, q7
-; CHECK-NEXT: vadd.i32 q1, q1, q4
+; CHECK-NEXT: vmov.32 q5[3], r1
+; CHECK-NEXT: vand q2, q5, q2
+; CHECK-NEXT: vpt.i32 ne, q6, zr
+; CHECK-NEXT: vmult.i32 q0, q2, q1
+; CHECK-NEXT: vadd.i32 q1, q0, q4
+; CHECK-NEXT: vldrw.u32 q0, [sp, #32] @ 16-byte Reload
; CHECK-NEXT: vadd.i32 q0, q1, q0
; CHECK-NEXT: vaddva.u32 r0, q0
-; CHECK-NEXT: add sp, #48
+; CHECK-NEXT: add sp, #64
; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: bx lr
entry:
@@ -3674,14 +3727,16 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_sext(<16 x i8> %x, <16 x i8> %y
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13, d14, d15}
-; CHECK-NEXT: .pad #16
-; CHECK-NEXT: sub sp, #16
-; CHECK-NEXT: vcmp.i8 eq, q2, zr
-; CHECK-NEXT: vmov.i8 q4, #0x0
-; CHECK-NEXT: vmov.i8 q5, #0xff
+; CHECK-NEXT: .pad #64
+; CHECK-NEXT: sub sp, #64
; CHECK-NEXT: vmov q3, q0
-; CHECK-NEXT: vpsel q6, q5, q4
+; CHECK-NEXT: vcmp.i8 eq, q2, zr
+; CHECK-NEXT: vmov.i8 q2, #0x0
+; CHECK-NEXT: vmov.i8 q0, #0xff
+; CHECK-NEXT: vpsel q6, q0, q2
+; CHECK-NEXT: vmov q4, q2
; CHECK-NEXT: vmov.u8 r1, q6[8]
+; CHECK-NEXT: vstrw.32 q2, [sp, #32] @ 16-byte Spill
; CHECK-NEXT: vmov.16 q2[0], r1
; CHECK-NEXT: vmov.u8 r1, q6[9]
; CHECK-NEXT: vmov.16 q2[1], r1
@@ -3697,15 +3752,16 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_sext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.16 q2[6], r1
; CHECK-NEXT: vmov.u8 r1, q6[15]
; CHECK-NEXT: vmov.16 q2[7], r1
+; CHECK-NEXT: vstrw.32 q0, [sp, #16] @ 16-byte Spill
; CHECK-NEXT: vcmp.i16 ne, q2, zr
-; CHECK-NEXT: vpsel q2, q5, q4
-; CHECK-NEXT: vmov.u16 r1, q2[4]
+; CHECK-NEXT: vpsel q7, q0, q4
+; CHECK-NEXT: vmov.u16 r1, q7[4]
; CHECK-NEXT: vmov.32 q0[0], r1
-; CHECK-NEXT: vmov.u16 r1, q2[5]
+; CHECK-NEXT: vmov.u16 r1, q7[5]
; CHECK-NEXT: vmov.32 q0[1], r1
-; CHECK-NEXT: vmov.u16 r1, q2[6]
+; CHECK-NEXT: vmov.u16 r1, q7[6]
; CHECK-NEXT: vmov.32 q0[2], r1
-; CHECK-NEXT: vmov.u16 r1, q2[7]
+; CHECK-NEXT: vmov.u16 r1, q7[7]
; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u8 r1, q1[12]
; CHECK-NEXT: vcmp.i32 ne, q0, zr
@@ -3717,21 +3773,22 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_sext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.u8 r1, q1[15]
; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u8 r1, q3[12]
-; CHECK-NEXT: vmov.32 q7[0], r1
+; CHECK-NEXT: vmov.32 q5[0], r1
; CHECK-NEXT: vmov.u8 r1, q3[13]
-; CHECK-NEXT: vmov.32 q7[1], r1
+; CHECK-NEXT: vmov.32 q5[1], r1
; CHECK-NEXT: vmov.u8 r1, q3[14]
-; CHECK-NEXT: vmov.32 q7[2], r1
+; CHECK-NEXT: vmov.32 q5[2], r1
; CHECK-NEXT: vmov.u8 r1, q3[15]
-; CHECK-NEXT: vmov.32 q7[3], r1
+; CHECK-NEXT: vmov.32 q5[3], r1
; CHECK-NEXT: vmovlb.s8 q0, q0
-; CHECK-NEXT: vmovlb.s8 q7, q7
-; CHECK-NEXT: vmovlb.s16 q0, q0
-; CHECK-NEXT: vmovlb.s16 q7, q7
+; CHECK-NEXT: vmovlb.s16 q4, q0
+; CHECK-NEXT: vmovlb.s8 q5, q5
+; CHECK-NEXT: vmov.i32 q0, #0x0
+; CHECK-NEXT: vmovlb.s16 q2, q5
+; CHECK-NEXT: vstrw.32 q0, [sp, #48] @ 16-byte Spill
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q0, q2, q4
; CHECK-NEXT: vmov.u8 r1, q6[0]
-; CHECK-NEXT: vmul.i32 q0, q7, q0
-; CHECK-NEXT: vmov.i32 q7, #0x0
-; CHECK-NEXT: vpsel q0, q0, q7
; CHECK-NEXT: vstrw.32 q0, [sp] @ 16-byte Spill
; CHECK-NEXT: vmov.16 q0[0], r1
; CHECK-NEXT: vmov.u8 r1, q6[1]
@@ -3748,8 +3805,11 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_sext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.16 q0[6], r1
; CHECK-NEXT: vmov.u8 r1, q6[7]
; CHECK-NEXT: vmov.16 q0[7], r1
+; CHECK-NEXT: vldrw.u32 q2, [sp, #16] @ 16-byte Reload
; CHECK-NEXT: vcmp.i16 ne, q0, zr
-; CHECK-NEXT: vpsel q4, q5, q4
+; CHECK-NEXT: vldrw.u32 q0, [sp, #32] @ 16-byte Reload
+; CHECK-NEXT: vldrw.u32 q5, [sp, #48] @ 16-byte Reload
+; CHECK-NEXT: vpsel q4, q2, q0
; CHECK-NEXT: vmov.u16 r1, q4[4]
; CHECK-NEXT: vmov.32 q0[0], r1
; CHECK-NEXT: vmov.u16 r1, q4[5]
@@ -3768,55 +3828,57 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_sext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.u8 r1, q1[7]
; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u8 r1, q3[4]
-; CHECK-NEXT: vmov.32 q5[0], r1
+; CHECK-NEXT: vmov.32 q6[0], r1
; CHECK-NEXT: vmov.u8 r1, q3[5]
-; CHECK-NEXT: vmov.32 q5[1], r1
+; CHECK-NEXT: vmov.32 q6[1], r1
; CHECK-NEXT: vmov.u8 r1, q3[6]
-; CHECK-NEXT: vmov.32 q5[2], r1
+; CHECK-NEXT: vmov.32 q6[2], r1
; CHECK-NEXT: vmov.u8 r1, q3[7]
-; CHECK-NEXT: vmov.32 q5[3], r1
+; CHECK-NEXT: vmov.32 q6[3], r1
; CHECK-NEXT: vmovlb.s8 q0, q0
-; CHECK-NEXT: vmovlb.s8 q5, q5
+; CHECK-NEXT: vmovlb.s8 q6, q6
; CHECK-NEXT: vmovlb.s16 q0, q0
-; CHECK-NEXT: vmovlb.s16 q5, q5
-; CHECK-NEXT: vmov.u16 r1, q2[0]
-; CHECK-NEXT: vmul.i32 q0, q5, q0
-; CHECK-NEXT: vldrw.u32 q5, [sp] @ 16-byte Reload
-; CHECK-NEXT: vpsel q0, q0, q7
-; CHECK-NEXT: vadd.i32 q5, q0, q5
+; CHECK-NEXT: vmovlb.s16 q6, q6
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q5, q6, q0
+; CHECK-NEXT: vldrw.u32 q0, [sp] @ 16-byte Reload
+; CHECK-NEXT: vmov.u16 r1, q7[0]
+; CHECK-NEXT: vadd.i32 q6, q5, q0
; CHECK-NEXT: vmov.32 q0[0], r1
-; CHECK-NEXT: vmov.u16 r1, q2[1]
+; CHECK-NEXT: vmov.u16 r1, q7[1]
; CHECK-NEXT: vmov.32 q0[1], r1
-; CHECK-NEXT: vmov.u16 r1, q2[2]
+; CHECK-NEXT: vmov.u16 r1, q7[2]
; CHECK-NEXT: vmov.32 q0[2], r1
-; CHECK-NEXT: vmov.u16 r1, q2[3]
+; CHECK-NEXT: vmov.u16 r1, q7[3]
; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u8 r1, q1[8]
; CHECK-NEXT: vcmp.i32 ne, q0, zr
; CHECK-NEXT: vmov.32 q0[0], r1
; CHECK-NEXT: vmov.u8 r1, q1[9]
+; CHECK-NEXT: vldrw.u32 q7, [sp, #48] @ 16-byte Reload
; CHECK-NEXT: vmov.32 q0[1], r1
; CHECK-NEXT: vmov.u8 r1, q1[10]
; CHECK-NEXT: vmov.32 q0[2], r1
; CHECK-NEXT: vmov.u8 r1, q1[11]
; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u8 r1, q3[8]
-; CHECK-NEXT: vmov.32 q2[0], r1
+; CHECK-NEXT: vmovlb.s8 q0, q0
+; CHECK-NEXT: vmovlb.s16 q2, q0
+; CHECK-NEXT: vmov.32 q0[0], r1
; CHECK-NEXT: vmov.u8 r1, q3[9]
-; CHECK-NEXT: vmov.32 q2[1], r1
+; CHECK-NEXT: vmov.32 q0[1], r1
; CHECK-NEXT: vmov.u8 r1, q3[10]
-; CHECK-NEXT: vmov.32 q2[2], r1
+; CHECK-NEXT: vmov.32 q0[2], r1
; CHECK-NEXT: vmov.u8 r1, q3[11]
-; CHECK-NEXT: vmov.32 q2[3], r1
-; CHECK-NEXT: vmovlb.s8 q0, q0
-; CHECK-NEXT: vmovlb.s8 q2, q2
-; CHECK-NEXT: vmovlb.s16 q0, q0
-; CHECK-NEXT: vmovlb.s16 q2, q2
+; CHECK-NEXT: vmov.32 q0[3], r1
; CHECK-NEXT: vmov.u16 r1, q4[0]
-; CHECK-NEXT: vmul.i32 q0, q2, q0
+; CHECK-NEXT: vmovlb.s8 q0, q0
+; CHECK-NEXT: vmovlb.s16 q5, q0
+; CHECK-NEXT: vmov q0, q7
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q0, q5, q2
; CHECK-NEXT: vmov.32 q2[0], r1
; CHECK-NEXT: vmov.u16 r1, q4[1]
-; CHECK-NEXT: vpsel q0, q0, q7
; CHECK-NEXT: vmov.32 q2[1], r1
; CHECK-NEXT: vmov.u16 r1, q4[2]
; CHECK-NEXT: vmov.32 q2[2], r1
@@ -3841,14 +3903,15 @@ define arm_aapcs_vfpcc i32 @add_v16i8_v16i32_acc_sext(<16 x i8> %x, <16 x i8> %y
; CHECK-NEXT: vmov.32 q2[2], r1
; CHECK-NEXT: vmov.u8 r1, q3[3]
; CHECK-NEXT: vmov.32 q2[3], r1
+; CHECK-NEXT: vmov q3, q7
; CHECK-NEXT: vmovlb.s8 q2, q2
; CHECK-NEXT: vmovlb.s16 q2, q2
-; CHECK-NEXT: vmul.i32 q1, q2, q1
-; CHECK-NEXT: vpsel q1, q1, q7
-; CHECK-NEXT: vadd.i32 q0, q1, q0
-; CHECK-NEXT: vadd.i32 q0, q0, q5
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q3, q2, q1
+; CHECK-NEXT: vadd.i32 q0, q3, q0
+; CHECK-NEXT: vadd.i32 q0, q0, q6
; CHECK-NEXT: vaddva.u32 r0, q0
-; CHECK-NEXT: add sp, #16
+; CHECK-NEXT: add sp, #64
; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13, d14, d15}
; CHECK-NEXT: bx lr
entry:
@@ -3866,14 +3929,14 @@ define arm_aapcs_vfpcc i32 @add_v4i8_v4i32_acc_zext(<4 x i8> %x, <4 x i8> %y, <4
; CHECK-LABEL: add_v4i8_v4i32_acc_zext:
; CHECK: @ %bb.0: @ %entry
; CHECK-NEXT: vmov.i32 q3, #0xff
+; CHECK-NEXT: vand q2, q2, q3
; CHECK-NEXT: vand q1, q1, q3
+; CHECK-NEXT: vcmp.i32 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
; CHECK-NEXT: vand q0, q0, q3
-; CHECK-NEXT: vmul.i32 q0, q0, q1
-; CHECK-NEXT: vand q1, q2, q3
-; CHECK-NEXT: vcmp.i32 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u32 r0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q2, q0, q1
+; CHECK-NEXT: vaddva.u32 r0, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i8> %b, zeroinitializer
@@ -3889,17 +3952,17 @@ entry:
define arm_aapcs_vfpcc i32 @add_v4i8_v4i32_acc_sext(<4 x i8> %x, <4 x i8> %y, <4 x i8> %b, i32 %a) {
; CHECK-LABEL: add_v4i8_v4i32_acc_sext:
; CHECK: @ %bb.0: @ %entry
+; CHECK-NEXT: vmov.i32 q3, #0xff
; CHECK-NEXT: vmovlb.s8 q1, q1
+; CHECK-NEXT: vand q2, q2, q3
; CHECK-NEXT: vmovlb.s8 q0, q0
+; CHECK-NEXT: vcmp.i32 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
; CHECK-NEXT: vmovlb.s16 q1, q1
; CHECK-NEXT: vmovlb.s16 q0, q0
-; CHECK-NEXT: vmul.i32 q0, q0, q1
-; CHECK-NEXT: vmov.i32 q1, #0xff
-; CHECK-NEXT: vand q1, q2, q1
-; CHECK-NEXT: vcmp.i32 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u32 r0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i32 q2, q0, q1
+; CHECK-NEXT: vaddva.u32 r0, q2
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <4 x i8> %b, zeroinitializer
@@ -3915,8 +3978,8 @@ entry:
define arm_aapcs_vfpcc zeroext i16 @add_v16i8_v16i16_acc_zext(<16 x i8> %x, <16 x i8> %y, <16 x i8> %b, i16 %a) {
; CHECK-LABEL: add_v16i8_v16i16_acc_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9, d10, d11}
-; CHECK-NEXT: vpush {d8, d9, d10, d11}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13}
+; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: vcmp.i8 eq, q2, zr
; CHECK-NEXT: vmov.i8 q2, #0x0
; CHECK-NEXT: vmov.i8 q3, #0xff
@@ -3955,22 +4018,28 @@ define arm_aapcs_vfpcc zeroext i16 @add_v16i8_v16i16_acc_zext(<16 x i8> %x, <16
; CHECK-NEXT: vmov.u8 r1, q1[15]
; CHECK-NEXT: vmov.16 q3[7], r1
; CHECK-NEXT: vmov.u8 r1, q0[8]
-; CHECK-NEXT: vmov.16 q4[0], r1
+; CHECK-NEXT: vmovlb.u8 q5, q3
+; CHECK-NEXT: vmov.16 q3[0], r1
; CHECK-NEXT: vmov.u8 r1, q0[9]
-; CHECK-NEXT: vmov.16 q4[1], r1
+; CHECK-NEXT: vmov.16 q3[1], r1
; CHECK-NEXT: vmov.u8 r1, q0[10]
-; CHECK-NEXT: vmov.16 q4[2], r1
+; CHECK-NEXT: vmov.16 q3[2], r1
; CHECK-NEXT: vmov.u8 r1, q0[11]
-; CHECK-NEXT: vmov.16 q4[3], r1
+; CHECK-NEXT: vmov.16 q3[3], r1
; CHECK-NEXT: vmov.u8 r1, q0[12]
-; CHECK-NEXT: vmov.16 q4[4], r1
+; CHECK-NEXT: vmov.16 q3[4], r1
; CHECK-NEXT: vmov.u8 r1, q0[13]
-; CHECK-NEXT: vmov.16 q4[5], r1
+; CHECK-NEXT: vmov.16 q3[5], r1
; CHECK-NEXT: vmov.u8 r1, q0[14]
-; CHECK-NEXT: vmov.16 q4[6], r1
+; CHECK-NEXT: vmov.16 q3[6], r1
; CHECK-NEXT: vmov.u8 r1, q0[15]
-; CHECK-NEXT: vmov.16 q4[7], r1
+; CHECK-NEXT: vmov.16 q3[7], r1
; CHECK-NEXT: vmov.u8 r1, q2[0]
+; CHECK-NEXT: vmovlb.u8 q6, q3
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vmov q4, q3
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q4, q6, q5
; CHECK-NEXT: vmov.16 q5[0], r1
; CHECK-NEXT: vmov.u8 r1, q2[1]
; CHECK-NEXT: vmov.16 q5[1], r1
@@ -4003,31 +4072,29 @@ define arm_aapcs_vfpcc zeroext i16 @add_v16i8_v16i16_acc_zext(<16 x i8> %x, <16
; CHECK-NEXT: vmov.u8 r1, q1[7]
; CHECK-NEXT: vmov.16 q2[7], r1
; CHECK-NEXT: vmov.u8 r1, q0[0]
-; CHECK-NEXT: vmov.16 q1[0], r1
+; CHECK-NEXT: vmovlb.u8 q1, q2
+; CHECK-NEXT: vmov.16 q2[0], r1
; CHECK-NEXT: vmov.u8 r1, q0[1]
-; CHECK-NEXT: vmov.16 q1[1], r1
+; CHECK-NEXT: vmov.16 q2[1], r1
; CHECK-NEXT: vmov.u8 r1, q0[2]
-; CHECK-NEXT: vmov.16 q1[2], r1
+; CHECK-NEXT: vmov.16 q2[2], r1
; CHECK-NEXT: vmov.u8 r1, q0[3]
-; CHECK-NEXT: vmov.16 q1[3], r1
+; CHECK-NEXT: vmov.16 q2[3], r1
; CHECK-NEXT: vmov.u8 r1, q0[4]
-; CHECK-NEXT: vmov.16 q1[4], r1
+; CHECK-NEXT: vmov.16 q2[4], r1
; CHECK-NEXT: vmov.u8 r1, q0[5]
-; CHECK-NEXT: vmov.16 q1[5], r1
+; CHECK-NEXT: vmov.16 q2[5], r1
; CHECK-NEXT: vmov.u8 r1, q0[6]
-; CHECK-NEXT: vmov.16 q1[6], r1
+; CHECK-NEXT: vmov.16 q2[6], r1
; CHECK-NEXT: vmov.u8 r1, q0[7]
-; CHECK-NEXT: vmullb.u8 q4, q4, q3
-; CHECK-NEXT: vmov.i32 q3, #0x0
-; CHECK-NEXT: vmov.16 q1[7], r1
-; CHECK-NEXT: vpsel q4, q4, q3
-; CHECK-NEXT: vcmp.i16 ne, q5, zr
-; CHECK-NEXT: vmullb.u8 q0, q1, q2
-; CHECK-NEXT: vpsel q0, q0, q3
-; CHECK-NEXT: vadd.i16 q0, q0, q4
+; CHECK-NEXT: vmov.16 q2[7], r1
+; CHECK-NEXT: vmovlb.u8 q0, q2
+; CHECK-NEXT: vpt.i16 ne, q5, zr
+; CHECK-NEXT: vmult.i16 q3, q0, q1
+; CHECK-NEXT: vadd.i16 q0, q3, q4
; CHECK-NEXT: vaddva.u16 r0, q0
; CHECK-NEXT: uxth r0, r0
-; CHECK-NEXT: vpop {d8, d9, d10, d11}
+; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %b, zeroinitializer
@@ -4043,8 +4110,8 @@ entry:
define arm_aapcs_vfpcc signext i16 @add_v16i8_v16i16_acc_sext(<16 x i8> %x, <16 x i8> %y, <16 x i8> %b, i16 %a) {
; CHECK-LABEL: add_v16i8_v16i16_acc_sext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: .vsave {d8, d9, d10, d11}
-; CHECK-NEXT: vpush {d8, d9, d10, d11}
+; CHECK-NEXT: .vsave {d8, d9, d10, d11, d12, d13}
+; CHECK-NEXT: vpush {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: vcmp.i8 eq, q2, zr
; CHECK-NEXT: vmov.i8 q2, #0x0
; CHECK-NEXT: vmov.i8 q3, #0xff
@@ -4083,22 +4150,28 @@ define arm_aapcs_vfpcc signext i16 @add_v16i8_v16i16_acc_sext(<16 x i8> %x, <16
; CHECK-NEXT: vmov.u8 r1, q1[15]
; CHECK-NEXT: vmov.16 q3[7], r1
; CHECK-NEXT: vmov.u8 r1, q0[8]
-; CHECK-NEXT: vmov.16 q4[0], r1
+; CHECK-NEXT: vmovlb.s8 q5, q3
+; CHECK-NEXT: vmov.16 q3[0], r1
; CHECK-NEXT: vmov.u8 r1, q0[9]
-; CHECK-NEXT: vmov.16 q4[1], r1
+; CHECK-NEXT: vmov.16 q3[1], r1
; CHECK-NEXT: vmov.u8 r1, q0[10]
-; CHECK-NEXT: vmov.16 q4[2], r1
+; CHECK-NEXT: vmov.16 q3[2], r1
; CHECK-NEXT: vmov.u8 r1, q0[11]
-; CHECK-NEXT: vmov.16 q4[3], r1
+; CHECK-NEXT: vmov.16 q3[3], r1
; CHECK-NEXT: vmov.u8 r1, q0[12]
-; CHECK-NEXT: vmov.16 q4[4], r1
+; CHECK-NEXT: vmov.16 q3[4], r1
; CHECK-NEXT: vmov.u8 r1, q0[13]
-; CHECK-NEXT: vmov.16 q4[5], r1
+; CHECK-NEXT: vmov.16 q3[5], r1
; CHECK-NEXT: vmov.u8 r1, q0[14]
-; CHECK-NEXT: vmov.16 q4[6], r1
+; CHECK-NEXT: vmov.16 q3[6], r1
; CHECK-NEXT: vmov.u8 r1, q0[15]
-; CHECK-NEXT: vmov.16 q4[7], r1
+; CHECK-NEXT: vmov.16 q3[7], r1
; CHECK-NEXT: vmov.u8 r1, q2[0]
+; CHECK-NEXT: vmovlb.s8 q6, q3
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vmov q4, q3
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q4, q6, q5
; CHECK-NEXT: vmov.16 q5[0], r1
; CHECK-NEXT: vmov.u8 r1, q2[1]
; CHECK-NEXT: vmov.16 q5[1], r1
@@ -4131,31 +4204,29 @@ define arm_aapcs_vfpcc signext i16 @add_v16i8_v16i16_acc_sext(<16 x i8> %x, <16
; CHECK-NEXT: vmov.u8 r1, q1[7]
; CHECK-NEXT: vmov.16 q2[7], r1
; CHECK-NEXT: vmov.u8 r1, q0[0]
-; CHECK-NEXT: vmov.16 q1[0], r1
+; CHECK-NEXT: vmovlb.s8 q1, q2
+; CHECK-NEXT: vmov.16 q2[0], r1
; CHECK-NEXT: vmov.u8 r1, q0[1]
-; CHECK-NEXT: vmov.16 q1[1], r1
+; CHECK-NEXT: vmov.16 q2[1], r1
; CHECK-NEXT: vmov.u8 r1, q0[2]
-; CHECK-NEXT: vmov.16 q1[2], r1
+; CHECK-NEXT: vmov.16 q2[2], r1
; CHECK-NEXT: vmov.u8 r1, q0[3]
-; CHECK-NEXT: vmov.16 q1[3], r1
+; CHECK-NEXT: vmov.16 q2[3], r1
; CHECK-NEXT: vmov.u8 r1, q0[4]
-; CHECK-NEXT: vmov.16 q1[4], r1
+; CHECK-NEXT: vmov.16 q2[4], r1
; CHECK-NEXT: vmov.u8 r1, q0[5]
-; CHECK-NEXT: vmov.16 q1[5], r1
+; CHECK-NEXT: vmov.16 q2[5], r1
; CHECK-NEXT: vmov.u8 r1, q0[6]
-; CHECK-NEXT: vmov.16 q1[6], r1
+; CHECK-NEXT: vmov.16 q2[6], r1
; CHECK-NEXT: vmov.u8 r1, q0[7]
-; CHECK-NEXT: vmullb.s8 q4, q4, q3
-; CHECK-NEXT: vmov.i32 q3, #0x0
-; CHECK-NEXT: vmov.16 q1[7], r1
-; CHECK-NEXT: vpsel q4, q4, q3
-; CHECK-NEXT: vcmp.i16 ne, q5, zr
-; CHECK-NEXT: vmullb.s8 q0, q1, q2
-; CHECK-NEXT: vpsel q0, q0, q3
-; CHECK-NEXT: vadd.i16 q0, q0, q4
+; CHECK-NEXT: vmov.16 q2[7], r1
+; CHECK-NEXT: vmovlb.s8 q0, q2
+; CHECK-NEXT: vpt.i16 ne, q5, zr
+; CHECK-NEXT: vmult.i16 q3, q0, q1
+; CHECK-NEXT: vadd.i16 q0, q3, q4
; CHECK-NEXT: vaddva.u16 r0, q0
; CHECK-NEXT: sxth r0, r0
-; CHECK-NEXT: vpop {d8, d9, d10, d11}
+; CHECK-NEXT: vpop {d8, d9, d10, d11, d12, d13}
; CHECK-NEXT: bx lr
entry:
%c = icmp eq <16 x i8> %b, zeroinitializer
@@ -4171,12 +4242,14 @@ entry:
define arm_aapcs_vfpcc zeroext i16 @add_v8i8_v8i16_acc_zext(<8 x i8> %x, <8 x i8> %y, <8 x i8> %b, i16 %a) {
; CHECK-LABEL: add_v8i8_v8i16_acc_zext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmullb.u8 q0, q0, q1
-; CHECK-NEXT: vmovlb.u8 q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u16 r0, q0
+; CHECK-NEXT: vmovlb.u8 q2, q2
+; CHECK-NEXT: vmovlb.u8 q1, q1
+; CHECK-NEXT: vcmp.i16 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmovlb.u8 q0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q2, q0, q1
+; CHECK-NEXT: vaddva.u16 r0, q2
; CHECK-NEXT: uxth r0, r0
; CHECK-NEXT: bx lr
entry:
@@ -4193,12 +4266,14 @@ entry:
define arm_aapcs_vfpcc signext i16 @add_v8i8_v8i16_acc_sext(<8 x i8> %x, <8 x i8> %y, <8 x i8> %b, i16 %a) {
; CHECK-LABEL: add_v8i8_v8i16_acc_sext:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmullb.s8 q0, q0, q1
-; CHECK-NEXT: vmovlb.u8 q1, q2
-; CHECK-NEXT: vcmp.i16 eq, q1, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u16 r0, q0
+; CHECK-NEXT: vmovlb.u8 q2, q2
+; CHECK-NEXT: vmovlb.s8 q1, q1
+; CHECK-NEXT: vcmp.i16 eq, q2, zr
+; CHECK-NEXT: vmov.i32 q2, #0x0
+; CHECK-NEXT: vmovlb.s8 q0, q0
+; CHECK-NEXT: vpst
+; CHECK-NEXT: vmult.i16 q2, q0, q1
+; CHECK-NEXT: vaddva.u16 r0, q2
; CHECK-NEXT: sxth r0, r0
; CHECK-NEXT: bx lr
entry:
@@ -4215,11 +4290,10 @@ entry:
define arm_aapcs_vfpcc zeroext i8 @add_v16i8_v16i8_acc(<16 x i8> %x, <16 x i8> %y, <16 x i8> %b, i8 %a) {
; CHECK-LABEL: add_v16i8_v16i8_acc:
; CHECK: @ %bb.0: @ %entry
-; CHECK-NEXT: vmul.i8 q0, q0, q1
-; CHECK-NEXT: vcmp.i8 eq, q2, zr
-; CHECK-NEXT: vmov.i32 q1, #0x0
-; CHECK-NEXT: vpsel q0, q0, q1
-; CHECK-NEXT: vaddva.u8 r0, q0
+; CHECK-NEXT: vmov.i32 q3, #0x0
+; CHECK-NEXT: vpt.i8 eq, q2, zr
+; CHECK-NEXT: vmult.i8 q3, q0, q1
+; CHECK-NEXT: vaddva.u8 r0, q3
; CHECK-NEXT: uxtb r0, r0
; CHECK-NEXT: bx lr
entry:
More information about the llvm-commits
mailing list