[llvm] b3afad0 - [GlobalISel] Add a `X, Y = G_UNMERGE(G_ZEXT Z)` -> X = G_ZEXT Z; Y = 0 combine
Quentin Colombet via llvm-commits
llvm-commits at lists.llvm.org
Mon Sep 14 18:30:19 PDT 2020
Author: Quentin Colombet
Date: 2020-09-14T17:27:23-07:00
New Revision: b3afad046301d8bb1f4471aceaad704b87de3a69
URL: https://github.com/llvm/llvm-project/commit/b3afad046301d8bb1f4471aceaad704b87de3a69
DIFF: https://github.com/llvm/llvm-project/commit/b3afad046301d8bb1f4471aceaad704b87de3a69.diff
LOG: [GlobalISel] Add a `X, Y = G_UNMERGE(G_ZEXT Z)` -> X = G_ZEXT Z; Y = 0 combine
Add a combiner helper to transform unmerge of zext into one zext and
a constant 0
Differential Revision: https://reviews.llvm.org/D87427
Added:
Modified:
llvm/include/llvm/CodeGen/GlobalISel/CombinerHelper.h
llvm/include/llvm/Target/GlobalISel/Combine.td
llvm/lib/CodeGen/GlobalISel/CombinerHelper.cpp
llvm/test/CodeGen/AArch64/GlobalISel/combine-unmerge.mir
llvm/test/CodeGen/AMDGPU/GlobalISel/sdiv.i32.ll
llvm/test/CodeGen/AMDGPU/GlobalISel/shl-ext-reduce.ll
llvm/test/CodeGen/AMDGPU/GlobalISel/srem.i32.ll
llvm/test/CodeGen/AMDGPU/GlobalISel/udiv.i32.ll
llvm/test/CodeGen/AMDGPU/GlobalISel/urem.i32.ll
Removed:
################################################################################
diff --git a/llvm/include/llvm/CodeGen/GlobalISel/CombinerHelper.h b/llvm/include/llvm/CodeGen/GlobalISel/CombinerHelper.h
index d740aa07848e..3fd55386b054 100644
--- a/llvm/include/llvm/CodeGen/GlobalISel/CombinerHelper.h
+++ b/llvm/include/llvm/CodeGen/GlobalISel/CombinerHelper.h
@@ -262,6 +262,10 @@ class CombinerHelper {
bool matchCombineUnmergeWithDeadLanesToTrunc(MachineInstr &MI);
bool applyCombineUnmergeWithDeadLanesToTrunc(MachineInstr &MI);
+ /// Transform X, Y = G_UNMERGE(G_ZEXT(Z)) -> X = G_ZEXT(Z); Y = G_CONSTANT 0
+ bool matchCombineUnmergeZExtToZExt(MachineInstr &MI);
+ bool applyCombineUnmergeZExtToZExt(MachineInstr &MI);
+
/// Transform IntToPtr(PtrToInt(x)) to x if cast is in the same address space.
bool matchCombineI2PToP2I(MachineInstr &MI, Register &Reg);
bool applyCombineI2PToP2I(MachineInstr &MI, Register &Reg);
diff --git a/llvm/include/llvm/Target/GlobalISel/Combine.td b/llvm/include/llvm/Target/GlobalISel/Combine.td
index be76980b5500..fa75d7d95489 100644
--- a/llvm/include/llvm/Target/GlobalISel/Combine.td
+++ b/llvm/include/llvm/Target/GlobalISel/Combine.td
@@ -429,6 +429,14 @@ def unmerge_dead_to_trunc : GICombineRule<
(apply [{ return Helper.applyCombineUnmergeWithDeadLanesToTrunc(*${d}); }])
>;
+// Transform x,y = unmerge(zext(z)) -> x = zext z; y = 0.
+def unmerge_zext_to_zext : GICombineRule<
+ (defs root:$d),
+ (match (wip_match_opcode G_UNMERGE_VALUES): $d,
+ [{ return Helper.matchCombineUnmergeZExtToZExt(*${d}); }]),
+ (apply [{ return Helper.applyCombineUnmergeZExtToZExt(*${d}); }])
+>;
+
// FIXME: These should use the custom predicate feature once it lands.
def undef_combines : GICombineGroup<[undef_to_fp_zero, undef_to_int_zero,
undef_to_negative_one,
@@ -460,4 +468,5 @@ def all_combines : GICombineGroup<[trivial_combines, ptr_add_immed_chain,
width_reduction_combines, select_combines,
known_bits_simplifications, ext_ext_fold,
not_cmp_fold, opt_brcond_by_inverting_cond,
- unmerge_merge, fabs_fabs_fold, unmerge_cst, unmerge_dead_to_trunc]>;
+ unmerge_merge, fabs_fabs_fold, unmerge_cst, unmerge_dead_to_trunc,
+ unmerge_zext_to_zext]>;
diff --git a/llvm/lib/CodeGen/GlobalISel/CombinerHelper.cpp b/llvm/lib/CodeGen/GlobalISel/CombinerHelper.cpp
index f622b8a089fb..5eff975127d7 100644
--- a/llvm/lib/CodeGen/GlobalISel/CombinerHelper.cpp
+++ b/llvm/lib/CodeGen/GlobalISel/CombinerHelper.cpp
@@ -1687,6 +1687,67 @@ bool CombinerHelper::applyCombineUnmergeWithDeadLanesToTrunc(MachineInstr &MI) {
return true;
}
+bool CombinerHelper::matchCombineUnmergeZExtToZExt(MachineInstr &MI) {
+ assert(MI.getOpcode() == TargetOpcode::G_UNMERGE_VALUES &&
+ "Expected an unmerge");
+ Register Dst0Reg = MI.getOperand(0).getReg();
+ LLT Dst0Ty = MRI.getType(Dst0Reg);
+ // G_ZEXT on vector applies to each lane, so it will
+ // affect all destinations. Therefore we won't be able
+ // to simplify the unmerge to just the first definition.
+ if (Dst0Ty.isVector())
+ return false;
+ Register SrcReg = MI.getOperand(MI.getNumDefs()).getReg();
+ LLT SrcTy = MRI.getType(SrcReg);
+ if (SrcTy.isVector())
+ return false;
+
+ Register ZExtSrcReg;
+ if (!mi_match(SrcReg, MRI, m_GZExt(m_Reg(ZExtSrcReg))))
+ return false;
+
+ // Finally we can replace the first definition with
+ // a zext of the source if the definition is big enough to hold
+ // all of ZExtSrc bits.
+ LLT ZExtSrcTy = MRI.getType(ZExtSrcReg);
+ return ZExtSrcTy.getSizeInBits() <= Dst0Ty.getSizeInBits();
+}
+
+bool CombinerHelper::applyCombineUnmergeZExtToZExt(MachineInstr &MI) {
+ assert(MI.getOpcode() == TargetOpcode::G_UNMERGE_VALUES &&
+ "Expected an unmerge");
+
+ Register Dst0Reg = MI.getOperand(0).getReg();
+
+ MachineInstr *ZExtInstr =
+ MRI.getVRegDef(MI.getOperand(MI.getNumDefs()).getReg());
+ assert(ZExtInstr && ZExtInstr->getOpcode() == TargetOpcode::G_ZEXT &&
+ "Expecting a G_ZEXT");
+
+ Register ZExtSrcReg = ZExtInstr->getOperand(1).getReg();
+ LLT Dst0Ty = MRI.getType(Dst0Reg);
+ LLT ZExtSrcTy = MRI.getType(ZExtSrcReg);
+
+ Builder.setInstrAndDebugLoc(MI);
+
+ if (Dst0Ty.getSizeInBits() > ZExtSrcTy.getSizeInBits()) {
+ Builder.buildZExt(Dst0Reg, ZExtSrcReg);
+ } else {
+ assert(Dst0Ty.getSizeInBits() == ZExtSrcTy.getSizeInBits() &&
+ "ZExt src doesn't fit in destination");
+ replaceRegWith(MRI, Dst0Reg, ZExtSrcReg);
+ }
+
+ Register ZeroReg;
+ for (unsigned Idx = 1, EndIdx = MI.getNumDefs(); Idx != EndIdx; ++Idx) {
+ if (!ZeroReg)
+ ZeroReg = Builder.buildConstant(Dst0Ty, 0).getReg(0);
+ replaceRegWith(MRI, MI.getOperand(Idx).getReg(), ZeroReg);
+ }
+ MI.eraseFromParent();
+ return true;
+}
+
bool CombinerHelper::matchCombineShiftToUnmerge(MachineInstr &MI,
unsigned TargetShiftSize,
unsigned &ShiftVal) {
diff --git a/llvm/test/CodeGen/AArch64/GlobalISel/combine-unmerge.mir b/llvm/test/CodeGen/AArch64/GlobalISel/combine-unmerge.mir
index 64ce86227439..53c75b4d84d9 100644
--- a/llvm/test/CodeGen/AArch64/GlobalISel/combine-unmerge.mir
+++ b/llvm/test/CodeGen/AArch64/GlobalISel/combine-unmerge.mir
@@ -369,3 +369,110 @@ body: |
%1:_(<2 x s16>),%2:_(<2 x s16>) = G_UNMERGE_VALUES %0(s64)
$w0 = COPY %1(<2 x s16>)
...
+
+# Transform unmerge(zext) into zext.
+# In that test, the source of the zext is same size as the first definition
+# of the unmerge. Therefore a we can just reuse the input of the zext for
+# this definition.
+---
+name: test_combine_unmerge_zext_to_zext_same_size
+body: |
+ bb.1:
+ ; CHECK-LABEL: name: test_combine_unmerge_zext_to_zext_same_size
+ ; CHECK: [[COPY:%[0-9]+]]:_(s32) = COPY $w0
+ ; CHECK: [[C:%[0-9]+]]:_(s32) = G_CONSTANT i32 0
+ ; CHECK: $w0 = COPY [[COPY]](s32)
+ ; CHECK: $w1 = COPY [[C]](s32)
+ %0:_(s32) = COPY $w0
+ %3:_(s64) = G_ZEXT %0(s32)
+ %1:_(s32),%2:_(s32) = G_UNMERGE_VALUES %3(s64)
+ $w0 = COPY %1(s32)
+ $w1 = COPY %2(s32)
+...
+
+# Transform unmerge(zext) into zext.
+# In that test, the source of the zext is smaller than the first definition
+# of the unmerge. Therefore a G_ZEXT is required.
+---
+name: test_combine_unmerge_zext_to_zext
+body: |
+ bb.1:
+ ; CHECK-LABEL: name: test_combine_unmerge_zext_to_zext
+ ; CHECK: [[COPY:%[0-9]+]]:_(s8) = COPY $b0
+ ; CHECK: [[ZEXT:%[0-9]+]]:_(s16) = G_ZEXT [[COPY]](s8)
+ ; CHECK: [[C:%[0-9]+]]:_(s16) = G_CONSTANT i16 0
+ ; CHECK: $h0 = COPY [[ZEXT]](s16)
+ ; CHECK: $h1 = COPY [[C]](s16)
+ ; CHECK: $h2 = COPY [[C]](s16)
+ ; CHECK: $h3 = COPY [[C]](s16)
+ %0:_(s8) = COPY $b0
+ %3:_(s64) = G_ZEXT %0(s8)
+ %1:_(s16),%2:_(s16),%4:_(s16),%5:_(s16) = G_UNMERGE_VALUES %3(s64)
+ $h0 = COPY %1(s16)
+ $h1 = COPY %2(s16)
+ $h2 = COPY %4(s16)
+ $h3 = COPY %5(s16)
+...
+
+# Check that we don't apply the unmerge(zext) to zext transformation
+# when the first destination of the unmerge is smaller than the source
+# of the zext.
+---
+name: test_dont_combine_unmerge_zext_to_zext_src_bigger
+body: |
+ bb.1:
+ ; CHECK-LABEL: name: test_dont_combine_unmerge_zext_to_zext_src_bigger
+ ; CHECK: [[COPY:%[0-9]+]]:_(s32) = COPY $w0
+ ; CHECK: [[ZEXT:%[0-9]+]]:_(s64) = G_ZEXT [[COPY]](s32)
+ ; CHECK: [[UV:%[0-9]+]]:_(s16), [[UV1:%[0-9]+]]:_(s16), [[UV2:%[0-9]+]]:_(s16), [[UV3:%[0-9]+]]:_(s16) = G_UNMERGE_VALUES [[ZEXT]](s64)
+ ; CHECK: $h0 = COPY [[UV]](s16)
+ ; CHECK: $h1 = COPY [[UV1]](s16)
+ ; CHECK: $h2 = COPY [[UV2]](s16)
+ ; CHECK: $h3 = COPY [[UV3]](s16)
+ %0:_(s32) = COPY $w0
+ %3:_(s64) = G_ZEXT %0(s32)
+ %1:_(s16),%2:_(s16),%4:_(s16),%5:_(s16) = G_UNMERGE_VALUES %3(s64)
+ $h0 = COPY %1(s16)
+ $h1 = COPY %2(s16)
+ $h2 = COPY %4(s16)
+ $h3 = COPY %5(s16)
+...
+
+# Check that we don't apply the unmerge(zext) to zext transformation
+# when the input zext deals with a vector type.
+---
+name: test_dont_combine_unmerge_zext_to_zext_src_vector
+body: |
+ bb.1:
+ ; CHECK-LABEL: name: test_dont_combine_unmerge_zext_to_zext_src_vector
+ ; CHECK: [[COPY:%[0-9]+]]:_(<2 x s16>) = COPY $w0
+ ; CHECK: [[ZEXT:%[0-9]+]]:_(<2 x s32>) = G_ZEXT [[COPY]](<2 x s16>)
+ ; CHECK: [[UV:%[0-9]+]]:_(s32), [[UV1:%[0-9]+]]:_(s32) = G_UNMERGE_VALUES [[ZEXT]](<2 x s32>)
+ ; CHECK: $w0 = COPY [[UV]](s32)
+ ; CHECK: $w1 = COPY [[UV1]](s32)
+ %0:_(<2 x s16>) = COPY $w0
+ %3:_(<2 x s32>) = G_ZEXT %0(<2 x s16>)
+ %1:_(s32),%2:_(s32) = G_UNMERGE_VALUES %3(<2 x s32>)
+ $w0 = COPY %1(s32)
+ $w1 = COPY %2(s32)
+...
+
+# Check that we don't apply the unmerge(zext) to zext transformation
+# when the destination type is a vector type.
+# We could actually handle this case but we would need to insert a cast.
+---
+name: test_dont_combine_unmerge_zext_to_zext_dst_vector
+body: |
+ bb.1:
+ ; CHECK-LABEL: name: test_dont_combine_unmerge_zext_to_zext_dst_vector
+ ; CHECK: [[COPY:%[0-9]+]]:_(s32) = COPY $w0
+ ; CHECK: [[ZEXT:%[0-9]+]]:_(s64) = G_ZEXT [[COPY]](s32)
+ ; CHECK: [[UV:%[0-9]+]]:_(<2 x s16>), [[UV1:%[0-9]+]]:_(<2 x s16>) = G_UNMERGE_VALUES [[ZEXT]](s64)
+ ; CHECK: $w0 = COPY [[UV]](<2 x s16>)
+ ; CHECK: $w1 = COPY [[UV1]](<2 x s16>)
+ %0:_(s32) = COPY $w0
+ %3:_(s64) = G_ZEXT %0(s32)
+ %1:_(<2 x s16>),%2:_(<2 x s16>) = G_UNMERGE_VALUES %3(s64)
+ $w0 = COPY %1(<2 x s16>)
+ $w1 = COPY %2(<2 x s16>)
+...
diff --git a/llvm/test/CodeGen/AMDGPU/GlobalISel/sdiv.i32.ll b/llvm/test/CodeGen/AMDGPU/GlobalISel/sdiv.i32.ll
index 57737aeb886f..3aee949b5bde 100644
--- a/llvm/test/CodeGen/AMDGPU/GlobalISel/sdiv.i32.ll
+++ b/llvm/test/CodeGen/AMDGPU/GlobalISel/sdiv.i32.ll
@@ -50,20 +50,16 @@ define i32 @v_sdiv_i32(i32 %num, i32 %den) {
; CGP-NEXT: v_xor_b32_e32 v1, v1, v3
; CGP-NEXT: v_cvt_f32_u32_e32 v2, v1
; CGP-NEXT: v_sub_i32_e32 v3, vcc, 0, v1
-; CGP-NEXT: v_mul_lo_u32 v5, v0, 0
; CGP-NEXT: v_rcp_f32_e32 v2, v2
; CGP-NEXT: v_mul_f32_e32 v2, 0x4f7ffffe, v2
; CGP-NEXT: v_cvt_u32_f32_e32 v2, v2
; CGP-NEXT: v_mul_lo_u32 v3, v3, v2
-; CGP-NEXT: v_mul_lo_u32 v6, v2, 0
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v3
+; CGP-NEXT: v_mul_lo_u32 v5, 0, v3
; CGP-NEXT: v_mul_hi_u32 v3, v2, v3
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v6, v3
+; CGP-NEXT: v_add_i32_e32 v3, vcc, v5, v3
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v3
; CGP-NEXT: v_mul_lo_u32 v3, 0, v2
; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v5
; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
; CGP-NEXT: v_mul_lo_u32 v3, v2, v1
; CGP-NEXT: v_add_i32_e32 v5, vcc, 1, v2
@@ -127,34 +123,29 @@ define amdgpu_ps i32 @s_sdiv_i32(i32 inreg %num, i32 inreg %den) {
; CGP-NEXT: s_add_i32 s0, s0, s2
; CGP-NEXT: s_add_i32 s1, s1, s3
; CGP-NEXT: s_xor_b32 s0, s0, s2
-; CGP-NEXT: s_xor_b32 s5, s1, s3
-; CGP-NEXT: v_cvt_f32_u32_e32 v0, s5
-; CGP-NEXT: s_sub_i32 s1, 0, s5
-; CGP-NEXT: s_bfe_u64 s[2:3], s[0:1], 0x200000
+; CGP-NEXT: s_xor_b32 s2, s1, s3
+; CGP-NEXT: v_cvt_f32_u32_e32 v0, s2
+; CGP-NEXT: s_sub_i32 s1, 0, s2
; CGP-NEXT: v_rcp_f32_e32 v0, v0
-; CGP-NEXT: v_mul_lo_u32 v1, s2, 0
; CGP-NEXT: v_mul_f32_e32 v0, 0x4f7ffffe, v0
; CGP-NEXT: v_cvt_u32_f32_e32 v0, v0
-; CGP-NEXT: v_mul_lo_u32 v2, s1, v0
-; CGP-NEXT: v_mul_lo_u32 v3, v0, 0
-; CGP-NEXT: v_mul_lo_u32 v4, 0, v2
-; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
-; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
-; CGP-NEXT: v_add_i32_e32 v0, vcc, v0, v2
-; CGP-NEXT: v_mul_lo_u32 v2, s3, v0
-; CGP-NEXT: v_mul_hi_u32 v0, s2, v0
+; CGP-NEXT: v_mul_lo_u32 v1, s1, v0
+; CGP-NEXT: v_mul_lo_u32 v2, 0, v1
+; CGP-NEXT: v_mul_hi_u32 v1, v0, v1
; CGP-NEXT: v_add_i32_e32 v1, vcc, v2, v1
+; CGP-NEXT: v_add_i32_e32 v0, vcc, v0, v1
+; CGP-NEXT: v_mul_lo_u32 v1, 0, v0
+; CGP-NEXT: v_mul_hi_u32 v0, s0, v0
; CGP-NEXT: v_add_i32_e32 v0, vcc, v1, v0
-; CGP-NEXT: v_mul_lo_u32 v1, v0, s5
+; CGP-NEXT: v_mul_lo_u32 v1, v0, s2
; CGP-NEXT: v_add_i32_e32 v2, vcc, 1, v0
; CGP-NEXT: v_sub_i32_e32 v1, vcc, s0, v1
-; CGP-NEXT: v_cmp_le_u32_e32 vcc, s5, v1
+; CGP-NEXT: v_cmp_le_u32_e32 vcc, s2, v1
; CGP-NEXT: v_cndmask_b32_e32 v0, v0, v2, vcc
-; CGP-NEXT: v_subrev_i32_e64 v2, s[0:1], s5, v1
+; CGP-NEXT: v_subrev_i32_e64 v2, s[0:1], s2, v1
; CGP-NEXT: v_cndmask_b32_e32 v1, v1, v2, vcc
; CGP-NEXT: v_add_i32_e32 v2, vcc, 1, v0
-; CGP-NEXT: v_cmp_le_u32_e32 vcc, s5, v1
+; CGP-NEXT: v_cmp_le_u32_e32 vcc, s2, v1
; CGP-NEXT: v_cndmask_b32_e32 v0, v0, v2, vcc
; CGP-NEXT: v_xor_b32_e32 v0, s4, v0
; CGP-NEXT: v_subrev_i32_e32 v0, vcc, s4, v0
@@ -246,36 +237,28 @@ define <2 x i32> @v_sdiv_v2i32(<2 x i32> %num, <2 x i32> %den) {
; CGP-NEXT: v_xor_b32_e32 v3, v3, v7
; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
-; CGP-NEXT: v_mul_lo_u32 v6, v0, 0
-; CGP-NEXT: v_cvt_f32_u32_e32 v7, v3
-; CGP-NEXT: v_sub_i32_e32 v10, vcc, 0, v3
-; CGP-NEXT: v_mul_lo_u32 v11, v1, 0
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v4, v4
-; CGP-NEXT: v_rcp_f32_e32 v7, v7
+; CGP-NEXT: v_rcp_f32_e32 v6, v6
; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
-; CGP-NEXT: v_mul_f32_e32 v7, 0x4f7ffffe, v7
+; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
-; CGP-NEXT: v_cvt_u32_f32_e32 v7, v7
+; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
-; CGP-NEXT: v_mul_lo_u32 v12, v4, 0
-; CGP-NEXT: v_mul_lo_u32 v10, v10, v7
-; CGP-NEXT: v_mul_lo_u32 v13, v7, 0
-; CGP-NEXT: v_mul_lo_u32 v14, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
+; CGP-NEXT: v_mul_lo_u32 v10, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
-; CGP-NEXT: v_mul_lo_u32 v15, 0, v10
-; CGP-NEXT: v_mul_hi_u32 v10, v7, v10
-; CGP-NEXT: v_add_i32_e32 v12, vcc, v14, v12
-; CGP-NEXT: v_add_i32_e32 v13, vcc, v15, v13
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v12, v5
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v13, v10
+; CGP-NEXT: v_mul_lo_u32 v11, 0, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v10, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v11, v7
; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v10
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
-; CGP-NEXT: v_mul_lo_u32 v10, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v10, v11
; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v6, v4, v2
@@ -715,42 +698,34 @@ define <2 x i32> @v_sdiv_v2i32_pow2_shl_denom(<2 x i32> %x, <2 x i32> %y) {
; CGP-NEXT: v_xor_b32_e32 v1, v1, v5
; CGP-NEXT: v_xor_b32_e32 v4, v4, v6
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v6
-; CGP-NEXT: v_mul_lo_u32 v8, v0, 0
; CGP-NEXT: v_xor_b32_e32 v5, v5, v7
; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v7
-; CGP-NEXT: v_mul_lo_u32 v9, v1, 0
; CGP-NEXT: v_xor_b32_e32 v2, v2, v6
; CGP-NEXT: v_xor_b32_e32 v3, v3, v7
; CGP-NEXT: v_cvt_f32_u32_e32 v6, v2
; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v2
-; CGP-NEXT: v_cvt_f32_u32_e32 v10, v3
-; CGP-NEXT: v_sub_i32_e32 v11, vcc, 0, v3
+; CGP-NEXT: v_cvt_f32_u32_e32 v8, v3
+; CGP-NEXT: v_sub_i32_e32 v9, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v6, v6
-; CGP-NEXT: v_rcp_f32_e32 v10, v10
+; CGP-NEXT: v_rcp_f32_e32 v8, v8
; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
-; CGP-NEXT: v_mul_f32_e32 v10, 0x4f7ffffe, v10
+; CGP-NEXT: v_mul_f32_e32 v8, 0x4f7ffffe, v8
; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
-; CGP-NEXT: v_cvt_u32_f32_e32 v10, v10
+; CGP-NEXT: v_cvt_u32_f32_e32 v8, v8
; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
-; CGP-NEXT: v_mul_lo_u32 v12, v6, 0
-; CGP-NEXT: v_mul_lo_u32 v11, v11, v10
-; CGP-NEXT: v_mul_lo_u32 v13, v10, 0
-; CGP-NEXT: v_mul_lo_u32 v14, 0, v7
+; CGP-NEXT: v_mul_lo_u32 v9, v9, v8
+; CGP-NEXT: v_mul_lo_u32 v10, 0, v7
; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
-; CGP-NEXT: v_mul_lo_u32 v15, 0, v11
-; CGP-NEXT: v_mul_hi_u32 v11, v10, v11
-; CGP-NEXT: v_add_i32_e32 v12, vcc, v14, v12
-; CGP-NEXT: v_add_i32_e32 v13, vcc, v15, v13
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v12, v7
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
+; CGP-NEXT: v_mul_lo_u32 v11, 0, v9
+; CGP-NEXT: v_mul_hi_u32 v9, v8, v9
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v10, v7
+; CGP-NEXT: v_add_i32_e32 v9, vcc, v11, v9
; CGP-NEXT: v_add_i32_e32 v6, vcc, v6, v7
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v10, v11
-; CGP-NEXT: v_mul_lo_u32 v10, 0, v6
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v6
; CGP-NEXT: v_mul_hi_u32 v6, v0, v6
-; CGP-NEXT: v_mul_lo_u32 v11, 0, v7
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
; CGP-NEXT: v_mul_hi_u32 v7, v1, v7
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v10, v8
-; CGP-NEXT: v_add_i32_e32 v9, vcc, v11, v9
; CGP-NEXT: v_add_i32_e32 v6, vcc, v8, v6
; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_mul_lo_u32 v8, v6, v2
@@ -828,20 +803,16 @@ define i32 @v_sdiv_i32_24bit(i32 %num, i32 %den) {
; CGP-NEXT: v_and_b32_e32 v1, s4, v1
; CGP-NEXT: v_cvt_f32_u32_e32 v2, v1
; CGP-NEXT: v_sub_i32_e32 v3, vcc, 0, v1
-; CGP-NEXT: v_mul_lo_u32 v4, v0, 0
; CGP-NEXT: v_rcp_f32_e32 v2, v2
; CGP-NEXT: v_mul_f32_e32 v2, 0x4f7ffffe, v2
; CGP-NEXT: v_cvt_u32_f32_e32 v2, v2
; CGP-NEXT: v_mul_lo_u32 v3, v3, v2
-; CGP-NEXT: v_mul_lo_u32 v5, v2, 0
-; CGP-NEXT: v_mul_lo_u32 v6, 0, v3
+; CGP-NEXT: v_mul_lo_u32 v4, 0, v3
; CGP-NEXT: v_mul_hi_u32 v3, v2, v3
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v5
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v5, v3
+; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v3
; CGP-NEXT: v_mul_lo_u32 v3, 0, v2
; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v4
; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
; CGP-NEXT: v_mul_lo_u32 v3, v2, v1
; CGP-NEXT: v_add_i32_e32 v4, vcc, 1, v2
@@ -937,36 +908,28 @@ define <2 x i32> @v_sdiv_v2i32_24bit(<2 x i32> %num, <2 x i32> %den) {
; CGP-NEXT: v_and_b32_e32 v3, s4, v3
; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
-; CGP-NEXT: v_mul_lo_u32 v6, v0, 0
-; CGP-NEXT: v_cvt_f32_u32_e32 v7, v3
-; CGP-NEXT: v_sub_i32_e32 v8, vcc, 0, v3
-; CGP-NEXT: v_mul_lo_u32 v9, v1, 0
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v4, v4
-; CGP-NEXT: v_rcp_f32_e32 v7, v7
+; CGP-NEXT: v_rcp_f32_e32 v6, v6
; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
-; CGP-NEXT: v_mul_f32_e32 v7, 0x4f7ffffe, v7
+; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
-; CGP-NEXT: v_cvt_u32_f32_e32 v7, v7
+; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
-; CGP-NEXT: v_mul_lo_u32 v10, v4, 0
-; CGP-NEXT: v_mul_lo_u32 v8, v8, v7
-; CGP-NEXT: v_mul_lo_u32 v11, v7, 0
-; CGP-NEXT: v_mul_lo_u32 v12, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
-; CGP-NEXT: v_mul_lo_u32 v13, 0, v8
-; CGP-NEXT: v_mul_hi_u32 v8, v7, v8
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v12, v10
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v10, v5
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v11, v8
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v8
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
-; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v6, v4, v2
diff --git a/llvm/test/CodeGen/AMDGPU/GlobalISel/shl-ext-reduce.ll b/llvm/test/CodeGen/AMDGPU/GlobalISel/shl-ext-reduce.ll
index b2f3dd8b2bf4..74832a1cfb25 100644
--- a/llvm/test/CodeGen/AMDGPU/GlobalISel/shl-ext-reduce.ll
+++ b/llvm/test/CodeGen/AMDGPU/GlobalISel/shl-ext-reduce.ll
@@ -10,7 +10,7 @@ define amdgpu_ps i64 @s_shl_i64_zext_i32(i32 inreg %x) {
; GCN: ; %bb.0:
; GCN-NEXT: s_andn2_b32 s0, s0, -2.0
; GCN-NEXT: s_lshl_b32 s0, s0, 2
-; GCN-NEXT: s_bfe_u64 s[0:1], s[0:1], 0x200000
+; GCN-NEXT: s_mov_b32 s1, 0
; GCN-NEXT: ; return to shader part epilog
%and = and i32 %x, 1073741823
%ext = zext i32 %and to i64
@@ -37,7 +37,7 @@ define amdgpu_ps i64 @s_shl_i64_sext_i32(i32 inreg %x) {
; GCN: ; %bb.0:
; GCN-NEXT: s_and_b32 s0, s0, 0x1fffffff
; GCN-NEXT: s_lshl_b32 s0, s0, 2
-; GCN-NEXT: s_bfe_u64 s[0:1], s[0:1], 0x200000
+; GCN-NEXT: s_mov_b32 s1, 0
; GCN-NEXT: ; return to shader part epilog
%and = and i32 %x, 536870911
%ext = sext i32 %and to i64
diff --git a/llvm/test/CodeGen/AMDGPU/GlobalISel/srem.i32.ll b/llvm/test/CodeGen/AMDGPU/GlobalISel/srem.i32.ll
index 320d814be8a9..ec1b610fdd81 100644
--- a/llvm/test/CodeGen/AMDGPU/GlobalISel/srem.i32.ll
+++ b/llvm/test/CodeGen/AMDGPU/GlobalISel/srem.i32.ll
@@ -46,20 +46,16 @@ define i32 @v_srem_i32(i32 %num, i32 %den) {
; CGP-NEXT: v_xor_b32_e32 v1, v1, v3
; CGP-NEXT: v_cvt_f32_u32_e32 v3, v1
; CGP-NEXT: v_sub_i32_e32 v4, vcc, 0, v1
-; CGP-NEXT: v_mul_lo_u32 v5, v0, 0
; CGP-NEXT: v_rcp_f32_e32 v3, v3
; CGP-NEXT: v_mul_f32_e32 v3, 0x4f7ffffe, v3
; CGP-NEXT: v_cvt_u32_f32_e32 v3, v3
; CGP-NEXT: v_mul_lo_u32 v4, v4, v3
-; CGP-NEXT: v_mul_lo_u32 v6, v3, 0
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v4
+; CGP-NEXT: v_mul_lo_u32 v5, 0, v4
; CGP-NEXT: v_mul_hi_u32 v4, v3, v4
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
+; CGP-NEXT: v_add_i32_e32 v4, vcc, v5, v4
; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v4
; CGP-NEXT: v_mul_lo_u32 v4, 0, v3
; CGP-NEXT: v_mul_hi_u32 v3, v0, v3
-; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
; CGP-NEXT: v_mul_lo_u32 v3, v3, v1
; CGP-NEXT: v_sub_i32_e32 v0, vcc, v0, v3
@@ -112,29 +108,24 @@ define amdgpu_ps i32 @s_srem_i32(i32 inreg %num, i32 inreg %den) {
;
; CGP-LABEL: s_srem_i32:
; CGP: ; %bb.0:
-; CGP-NEXT: s_ashr_i32 s4, s0, 31
-; CGP-NEXT: s_ashr_i32 s2, s1, 31
-; CGP-NEXT: s_add_i32 s0, s0, s4
-; CGP-NEXT: s_add_i32 s1, s1, s2
-; CGP-NEXT: s_xor_b32 s0, s0, s4
-; CGP-NEXT: s_xor_b32 s1, s1, s2
+; CGP-NEXT: s_ashr_i32 s2, s0, 31
+; CGP-NEXT: s_ashr_i32 s3, s1, 31
+; CGP-NEXT: s_add_i32 s0, s0, s2
+; CGP-NEXT: s_add_i32 s1, s1, s3
+; CGP-NEXT: s_xor_b32 s0, s0, s2
+; CGP-NEXT: s_xor_b32 s1, s1, s3
; CGP-NEXT: v_cvt_f32_u32_e32 v0, s1
-; CGP-NEXT: s_sub_i32 s5, 0, s1
-; CGP-NEXT: s_bfe_u64 s[2:3], s[0:1], 0x200000
+; CGP-NEXT: s_sub_i32 s3, 0, s1
; CGP-NEXT: v_rcp_f32_e32 v0, v0
-; CGP-NEXT: v_mul_lo_u32 v1, s2, 0
; CGP-NEXT: v_mul_f32_e32 v0, 0x4f7ffffe, v0
; CGP-NEXT: v_cvt_u32_f32_e32 v0, v0
-; CGP-NEXT: v_mul_lo_u32 v2, s5, v0
-; CGP-NEXT: v_mul_lo_u32 v3, v0, 0
-; CGP-NEXT: v_mul_lo_u32 v4, 0, v2
-; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
-; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
-; CGP-NEXT: v_add_i32_e32 v0, vcc, v0, v2
-; CGP-NEXT: v_mul_lo_u32 v2, s3, v0
-; CGP-NEXT: v_mul_hi_u32 v0, s2, v0
+; CGP-NEXT: v_mul_lo_u32 v1, s3, v0
+; CGP-NEXT: v_mul_lo_u32 v2, 0, v1
+; CGP-NEXT: v_mul_hi_u32 v1, v0, v1
; CGP-NEXT: v_add_i32_e32 v1, vcc, v2, v1
+; CGP-NEXT: v_add_i32_e32 v0, vcc, v0, v1
+; CGP-NEXT: v_mul_lo_u32 v1, 0, v0
+; CGP-NEXT: v_mul_hi_u32 v0, s0, v0
; CGP-NEXT: v_add_i32_e32 v0, vcc, v1, v0
; CGP-NEXT: v_mul_lo_u32 v0, v0, s1
; CGP-NEXT: v_sub_i32_e32 v0, vcc, s0, v0
@@ -144,8 +135,8 @@ define amdgpu_ps i32 @s_srem_i32(i32 inreg %num, i32 inreg %den) {
; CGP-NEXT: v_subrev_i32_e32 v1, vcc, s1, v0
; CGP-NEXT: v_cmp_le_u32_e32 vcc, s1, v0
; CGP-NEXT: v_cndmask_b32_e32 v0, v0, v1, vcc
-; CGP-NEXT: v_xor_b32_e32 v0, s4, v0
-; CGP-NEXT: v_subrev_i32_e32 v0, vcc, s4, v0
+; CGP-NEXT: v_xor_b32_e32 v0, s2, v0
+; CGP-NEXT: v_subrev_i32_e32 v0, vcc, s2, v0
; CGP-NEXT: v_readfirstlane_b32 s0, v0
; CGP-NEXT: ; return to shader part epilog
%result = srem i32 %num, %den
@@ -226,36 +217,28 @@ define <2 x i32> @v_srem_v2i32(<2 x i32> %num, <2 x i32> %den) {
; CGP-NEXT: v_xor_b32_e32 v3, v3, v7
; CGP-NEXT: v_cvt_f32_u32_e32 v5, v2
; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v2
-; CGP-NEXT: v_mul_lo_u32 v8, v0, 0
-; CGP-NEXT: v_cvt_f32_u32_e32 v9, v3
-; CGP-NEXT: v_sub_i32_e32 v10, vcc, 0, v3
-; CGP-NEXT: v_mul_lo_u32 v11, v1, 0
+; CGP-NEXT: v_cvt_f32_u32_e32 v8, v3
+; CGP-NEXT: v_sub_i32_e32 v9, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v5, v5
-; CGP-NEXT: v_rcp_f32_e32 v9, v9
+; CGP-NEXT: v_rcp_f32_e32 v8, v8
; CGP-NEXT: v_mul_f32_e32 v5, 0x4f7ffffe, v5
-; CGP-NEXT: v_mul_f32_e32 v9, 0x4f7ffffe, v9
+; CGP-NEXT: v_mul_f32_e32 v8, 0x4f7ffffe, v8
; CGP-NEXT: v_cvt_u32_f32_e32 v5, v5
-; CGP-NEXT: v_cvt_u32_f32_e32 v9, v9
+; CGP-NEXT: v_cvt_u32_f32_e32 v8, v8
; CGP-NEXT: v_mul_lo_u32 v7, v7, v5
-; CGP-NEXT: v_mul_lo_u32 v12, v5, 0
-; CGP-NEXT: v_mul_lo_u32 v10, v10, v9
-; CGP-NEXT: v_mul_lo_u32 v13, v9, 0
-; CGP-NEXT: v_mul_lo_u32 v14, 0, v7
+; CGP-NEXT: v_mul_lo_u32 v9, v9, v8
+; CGP-NEXT: v_mul_lo_u32 v10, 0, v7
; CGP-NEXT: v_mul_hi_u32 v7, v5, v7
-; CGP-NEXT: v_mul_lo_u32 v15, 0, v10
-; CGP-NEXT: v_mul_hi_u32 v10, v9, v10
-; CGP-NEXT: v_add_i32_e32 v12, vcc, v14, v12
-; CGP-NEXT: v_add_i32_e32 v13, vcc, v15, v13
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v12, v7
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v13, v10
+; CGP-NEXT: v_mul_lo_u32 v11, 0, v9
+; CGP-NEXT: v_mul_hi_u32 v9, v8, v9
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v10, v7
+; CGP-NEXT: v_add_i32_e32 v9, vcc, v11, v9
; CGP-NEXT: v_add_i32_e32 v5, vcc, v5, v7
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v10
-; CGP-NEXT: v_mul_lo_u32 v9, 0, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v0, v5
-; CGP-NEXT: v_mul_lo_u32 v10, 0, v7
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
; CGP-NEXT: v_mul_hi_u32 v7, v1, v7
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v9, v8
-; CGP-NEXT: v_add_i32_e32 v9, vcc, v10, v11
; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_mul_lo_u32 v5, v5, v2
@@ -661,41 +644,33 @@ define <2 x i32> @v_srem_v2i32_pow2_shl_denom(<2 x i32> %x, <2 x i32> %y) {
; CGP-NEXT: v_ashrrev_i32_e32 v7, 31, v3
; CGP-NEXT: v_xor_b32_e32 v1, v1, v5
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v6
-; CGP-NEXT: v_mul_lo_u32 v8, v0, 0
; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v7
-; CGP-NEXT: v_mul_lo_u32 v9, v1, 0
; CGP-NEXT: v_xor_b32_e32 v2, v2, v6
; CGP-NEXT: v_xor_b32_e32 v3, v3, v7
; CGP-NEXT: v_cvt_f32_u32_e32 v6, v2
; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v2
-; CGP-NEXT: v_cvt_f32_u32_e32 v10, v3
-; CGP-NEXT: v_sub_i32_e32 v11, vcc, 0, v3
+; CGP-NEXT: v_cvt_f32_u32_e32 v8, v3
+; CGP-NEXT: v_sub_i32_e32 v9, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v6, v6
-; CGP-NEXT: v_rcp_f32_e32 v10, v10
+; CGP-NEXT: v_rcp_f32_e32 v8, v8
; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
-; CGP-NEXT: v_mul_f32_e32 v10, 0x4f7ffffe, v10
+; CGP-NEXT: v_mul_f32_e32 v8, 0x4f7ffffe, v8
; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
-; CGP-NEXT: v_cvt_u32_f32_e32 v10, v10
+; CGP-NEXT: v_cvt_u32_f32_e32 v8, v8
; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
-; CGP-NEXT: v_mul_lo_u32 v12, v6, 0
-; CGP-NEXT: v_mul_lo_u32 v11, v11, v10
-; CGP-NEXT: v_mul_lo_u32 v13, v10, 0
-; CGP-NEXT: v_mul_lo_u32 v14, 0, v7
+; CGP-NEXT: v_mul_lo_u32 v9, v9, v8
+; CGP-NEXT: v_mul_lo_u32 v10, 0, v7
; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
-; CGP-NEXT: v_mul_lo_u32 v15, 0, v11
-; CGP-NEXT: v_mul_hi_u32 v11, v10, v11
-; CGP-NEXT: v_add_i32_e32 v12, vcc, v14, v12
-; CGP-NEXT: v_add_i32_e32 v13, vcc, v15, v13
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v12, v7
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
+; CGP-NEXT: v_mul_lo_u32 v11, 0, v9
+; CGP-NEXT: v_mul_hi_u32 v9, v8, v9
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v10, v7
+; CGP-NEXT: v_add_i32_e32 v9, vcc, v11, v9
; CGP-NEXT: v_add_i32_e32 v6, vcc, v6, v7
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v10, v11
-; CGP-NEXT: v_mul_lo_u32 v10, 0, v6
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v6
; CGP-NEXT: v_mul_hi_u32 v6, v0, v6
-; CGP-NEXT: v_mul_lo_u32 v11, 0, v7
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
; CGP-NEXT: v_mul_hi_u32 v7, v1, v7
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v10, v8
-; CGP-NEXT: v_add_i32_e32 v9, vcc, v11, v9
; CGP-NEXT: v_add_i32_e32 v6, vcc, v8, v6
; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_mul_lo_u32 v6, v6, v2
@@ -766,20 +741,16 @@ define i32 @v_srem_i32_24bit(i32 %num, i32 %den) {
; CGP-NEXT: v_and_b32_e32 v1, s4, v1
; CGP-NEXT: v_cvt_f32_u32_e32 v2, v1
; CGP-NEXT: v_sub_i32_e32 v3, vcc, 0, v1
-; CGP-NEXT: v_mul_lo_u32 v4, v0, 0
; CGP-NEXT: v_rcp_f32_e32 v2, v2
; CGP-NEXT: v_mul_f32_e32 v2, 0x4f7ffffe, v2
; CGP-NEXT: v_cvt_u32_f32_e32 v2, v2
; CGP-NEXT: v_mul_lo_u32 v3, v3, v2
-; CGP-NEXT: v_mul_lo_u32 v5, v2, 0
-; CGP-NEXT: v_mul_lo_u32 v6, 0, v3
+; CGP-NEXT: v_mul_lo_u32 v4, 0, v3
; CGP-NEXT: v_mul_hi_u32 v3, v2, v3
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v5
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v5, v3
+; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v3
; CGP-NEXT: v_mul_lo_u32 v3, 0, v2
; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v4
; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
; CGP-NEXT: v_mul_lo_u32 v2, v2, v1
; CGP-NEXT: v_sub_i32_e32 v0, vcc, v0, v2
@@ -867,36 +838,28 @@ define <2 x i32> @v_srem_v2i32_24bit(<2 x i32> %num, <2 x i32> %den) {
; CGP-NEXT: v_and_b32_e32 v3, s4, v3
; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
-; CGP-NEXT: v_mul_lo_u32 v6, v0, 0
-; CGP-NEXT: v_cvt_f32_u32_e32 v7, v3
-; CGP-NEXT: v_sub_i32_e32 v8, vcc, 0, v3
-; CGP-NEXT: v_mul_lo_u32 v9, v1, 0
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v4, v4
-; CGP-NEXT: v_rcp_f32_e32 v7, v7
+; CGP-NEXT: v_rcp_f32_e32 v6, v6
; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
-; CGP-NEXT: v_mul_f32_e32 v7, 0x4f7ffffe, v7
+; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
-; CGP-NEXT: v_cvt_u32_f32_e32 v7, v7
+; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
-; CGP-NEXT: v_mul_lo_u32 v10, v4, 0
-; CGP-NEXT: v_mul_lo_u32 v8, v8, v7
-; CGP-NEXT: v_mul_lo_u32 v11, v7, 0
-; CGP-NEXT: v_mul_lo_u32 v12, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
-; CGP-NEXT: v_mul_lo_u32 v13, 0, v8
-; CGP-NEXT: v_mul_hi_u32 v8, v7, v8
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v12, v10
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v10, v5
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v11, v8
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v8
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
-; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v4, v4, v2
diff --git a/llvm/test/CodeGen/AMDGPU/GlobalISel/udiv.i32.ll b/llvm/test/CodeGen/AMDGPU/GlobalISel/udiv.i32.ll
index 54eebc920579..6e0ffe656dfa 100644
--- a/llvm/test/CodeGen/AMDGPU/GlobalISel/udiv.i32.ll
+++ b/llvm/test/CodeGen/AMDGPU/GlobalISel/udiv.i32.ll
@@ -34,20 +34,16 @@ define i32 @v_udiv_i32(i32 %num, i32 %den) {
; CGP-NEXT: s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
; CGP-NEXT: v_cvt_f32_u32_e32 v2, v1
; CGP-NEXT: v_sub_i32_e32 v3, vcc, 0, v1
-; CGP-NEXT: v_mul_lo_u32 v4, v0, 0
; CGP-NEXT: v_rcp_f32_e32 v2, v2
; CGP-NEXT: v_mul_f32_e32 v2, 0x4f7ffffe, v2
; CGP-NEXT: v_cvt_u32_f32_e32 v2, v2
; CGP-NEXT: v_mul_lo_u32 v3, v3, v2
-; CGP-NEXT: v_mul_lo_u32 v5, v2, 0
-; CGP-NEXT: v_mul_lo_u32 v6, 0, v3
+; CGP-NEXT: v_mul_lo_u32 v4, 0, v3
; CGP-NEXT: v_mul_hi_u32 v3, v2, v3
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v5
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v5, v3
+; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v3
; CGP-NEXT: v_mul_lo_u32 v3, 0, v2
; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v4
; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
; CGP-NEXT: v_mul_lo_u32 v3, v2, v1
; CGP-NEXT: v_add_i32_e32 v4, vcc, 1, v2
@@ -95,22 +91,17 @@ define amdgpu_ps i32 @s_udiv_i32(i32 inreg %num, i32 inreg %den) {
; CGP-LABEL: s_udiv_i32:
; CGP: ; %bb.0:
; CGP-NEXT: v_cvt_f32_u32_e32 v0, s1
-; CGP-NEXT: s_sub_i32 s4, 0, s1
-; CGP-NEXT: s_bfe_u64 s[2:3], s[0:1], 0x200000
+; CGP-NEXT: s_sub_i32 s2, 0, s1
; CGP-NEXT: v_rcp_f32_e32 v0, v0
-; CGP-NEXT: v_mul_lo_u32 v1, s2, 0
; CGP-NEXT: v_mul_f32_e32 v0, 0x4f7ffffe, v0
; CGP-NEXT: v_cvt_u32_f32_e32 v0, v0
-; CGP-NEXT: v_mul_lo_u32 v2, s4, v0
-; CGP-NEXT: v_mul_lo_u32 v3, v0, 0
-; CGP-NEXT: v_mul_lo_u32 v4, 0, v2
-; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
-; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
-; CGP-NEXT: v_add_i32_e32 v0, vcc, v0, v2
-; CGP-NEXT: v_mul_lo_u32 v2, s3, v0
-; CGP-NEXT: v_mul_hi_u32 v0, s2, v0
+; CGP-NEXT: v_mul_lo_u32 v1, s2, v0
+; CGP-NEXT: v_mul_lo_u32 v2, 0, v1
+; CGP-NEXT: v_mul_hi_u32 v1, v0, v1
; CGP-NEXT: v_add_i32_e32 v1, vcc, v2, v1
+; CGP-NEXT: v_add_i32_e32 v0, vcc, v0, v1
+; CGP-NEXT: v_mul_lo_u32 v1, 0, v0
+; CGP-NEXT: v_mul_hi_u32 v0, s0, v0
; CGP-NEXT: v_add_i32_e32 v0, vcc, v1, v0
; CGP-NEXT: v_mul_lo_u32 v1, v0, s1
; CGP-NEXT: v_add_i32_e32 v2, vcc, 1, v0
@@ -178,36 +169,28 @@ define <2 x i32> @v_udiv_v2i32(<2 x i32> %num, <2 x i32> %den) {
; CGP-NEXT: s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
-; CGP-NEXT: v_mul_lo_u32 v6, v0, 0
-; CGP-NEXT: v_cvt_f32_u32_e32 v7, v3
-; CGP-NEXT: v_sub_i32_e32 v8, vcc, 0, v3
-; CGP-NEXT: v_mul_lo_u32 v9, v1, 0
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v4, v4
-; CGP-NEXT: v_rcp_f32_e32 v7, v7
+; CGP-NEXT: v_rcp_f32_e32 v6, v6
; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
-; CGP-NEXT: v_mul_f32_e32 v7, 0x4f7ffffe, v7
+; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
-; CGP-NEXT: v_cvt_u32_f32_e32 v7, v7
+; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
-; CGP-NEXT: v_mul_lo_u32 v10, v4, 0
-; CGP-NEXT: v_mul_lo_u32 v8, v8, v7
-; CGP-NEXT: v_mul_lo_u32 v11, v7, 0
-; CGP-NEXT: v_mul_lo_u32 v12, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
-; CGP-NEXT: v_mul_lo_u32 v13, 0, v8
-; CGP-NEXT: v_mul_hi_u32 v8, v7, v8
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v12, v10
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v10, v5
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v11, v8
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v8
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
-; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v6, v4, v2
@@ -553,42 +536,34 @@ define <2 x i32> @v_udiv_v2i32_pow2_shl_denom(<2 x i32> %x, <2 x i32> %y) {
; CGP: ; %bb.0:
; CGP-NEXT: s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
; CGP-NEXT: s_movk_i32 s4, 0x1000
-; CGP-NEXT: v_mul_lo_u32 v4, v0, 0
-; CGP-NEXT: v_mul_lo_u32 v5, v1, 0
; CGP-NEXT: v_lshl_b32_e32 v2, s4, v2
; CGP-NEXT: v_lshl_b32_e32 v3, s4, v3
-; CGP-NEXT: v_cvt_f32_u32_e32 v6, v2
-; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v2
-; CGP-NEXT: v_cvt_f32_u32_e32 v8, v3
-; CGP-NEXT: v_sub_i32_e32 v9, vcc, 0, v3
+; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
+; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
+; CGP-NEXT: v_rcp_f32_e32 v4, v4
; CGP-NEXT: v_rcp_f32_e32 v6, v6
-; CGP-NEXT: v_rcp_f32_e32 v8, v8
+; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
-; CGP-NEXT: v_mul_f32_e32 v8, 0x4f7ffffe, v8
+; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
-; CGP-NEXT: v_cvt_u32_f32_e32 v8, v8
+; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
-; CGP-NEXT: v_mul_lo_u32 v10, v6, 0
-; CGP-NEXT: v_mul_lo_u32 v9, v9, v8
-; CGP-NEXT: v_mul_lo_u32 v11, v8, 0
-; CGP-NEXT: v_mul_lo_u32 v12, 0, v7
-; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
-; CGP-NEXT: v_mul_lo_u32 v13, 0, v9
-; CGP-NEXT: v_mul_hi_u32 v9, v8, v9
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v12, v10
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v10, v7
-; CGP-NEXT: v_add_i32_e32 v9, vcc, v11, v9
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v6, v7
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
-; CGP-NEXT: v_mul_lo_u32 v8, 0, v6
-; CGP-NEXT: v_mul_hi_u32 v6, v0, v6
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
+; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
-; CGP-NEXT: v_mul_hi_u32 v7, v1, v7
-; CGP-NEXT: v_add_i32_e32 v4, vcc, v8, v4
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v9, v5
-; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v6
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v5, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
+; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
+; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
+; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
+; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v6, v4, v2
; CGP-NEXT: v_add_i32_e32 v7, vcc, 1, v4
; CGP-NEXT: v_mul_lo_u32 v8, v5, v3
@@ -651,20 +626,16 @@ define i32 @v_udiv_i32_24bit(i32 %num, i32 %den) {
; CGP-NEXT: v_and_b32_e32 v1, s4, v1
; CGP-NEXT: v_cvt_f32_u32_e32 v2, v1
; CGP-NEXT: v_sub_i32_e32 v3, vcc, 0, v1
-; CGP-NEXT: v_mul_lo_u32 v4, v0, 0
; CGP-NEXT: v_rcp_f32_e32 v2, v2
; CGP-NEXT: v_mul_f32_e32 v2, 0x4f7ffffe, v2
; CGP-NEXT: v_cvt_u32_f32_e32 v2, v2
; CGP-NEXT: v_mul_lo_u32 v3, v3, v2
-; CGP-NEXT: v_mul_lo_u32 v5, v2, 0
-; CGP-NEXT: v_mul_lo_u32 v6, 0, v3
+; CGP-NEXT: v_mul_lo_u32 v4, 0, v3
; CGP-NEXT: v_mul_hi_u32 v3, v2, v3
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v5
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v5, v3
+; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v3
; CGP-NEXT: v_mul_lo_u32 v3, 0, v2
; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v4
; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
; CGP-NEXT: v_mul_lo_u32 v3, v2, v1
; CGP-NEXT: v_add_i32_e32 v4, vcc, 1, v2
@@ -742,36 +713,28 @@ define <2 x i32> @v_udiv_v2i32_24bit(<2 x i32> %num, <2 x i32> %den) {
; CGP-NEXT: v_and_b32_e32 v3, s4, v3
; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
-; CGP-NEXT: v_mul_lo_u32 v6, v0, 0
-; CGP-NEXT: v_cvt_f32_u32_e32 v7, v3
-; CGP-NEXT: v_sub_i32_e32 v8, vcc, 0, v3
-; CGP-NEXT: v_mul_lo_u32 v9, v1, 0
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v4, v4
-; CGP-NEXT: v_rcp_f32_e32 v7, v7
+; CGP-NEXT: v_rcp_f32_e32 v6, v6
; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
-; CGP-NEXT: v_mul_f32_e32 v7, 0x4f7ffffe, v7
+; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
-; CGP-NEXT: v_cvt_u32_f32_e32 v7, v7
+; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
-; CGP-NEXT: v_mul_lo_u32 v10, v4, 0
-; CGP-NEXT: v_mul_lo_u32 v8, v8, v7
-; CGP-NEXT: v_mul_lo_u32 v11, v7, 0
-; CGP-NEXT: v_mul_lo_u32 v12, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
-; CGP-NEXT: v_mul_lo_u32 v13, 0, v8
-; CGP-NEXT: v_mul_hi_u32 v8, v7, v8
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v12, v10
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v10, v5
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v11, v8
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v8
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
-; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v6, v4, v2
diff --git a/llvm/test/CodeGen/AMDGPU/GlobalISel/urem.i32.ll b/llvm/test/CodeGen/AMDGPU/GlobalISel/urem.i32.ll
index f331deea89e5..500e967c86d6 100644
--- a/llvm/test/CodeGen/AMDGPU/GlobalISel/urem.i32.ll
+++ b/llvm/test/CodeGen/AMDGPU/GlobalISel/urem.i32.ll
@@ -32,20 +32,16 @@ define i32 @v_urem_i32(i32 %num, i32 %den) {
; CGP-NEXT: s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
; CGP-NEXT: v_cvt_f32_u32_e32 v2, v1
; CGP-NEXT: v_sub_i32_e32 v3, vcc, 0, v1
-; CGP-NEXT: v_mul_lo_u32 v4, v0, 0
; CGP-NEXT: v_rcp_f32_e32 v2, v2
; CGP-NEXT: v_mul_f32_e32 v2, 0x4f7ffffe, v2
; CGP-NEXT: v_cvt_u32_f32_e32 v2, v2
; CGP-NEXT: v_mul_lo_u32 v3, v3, v2
-; CGP-NEXT: v_mul_lo_u32 v5, v2, 0
-; CGP-NEXT: v_mul_lo_u32 v6, 0, v3
+; CGP-NEXT: v_mul_lo_u32 v4, 0, v3
; CGP-NEXT: v_mul_hi_u32 v3, v2, v3
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v5
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v5, v3
+; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v3
; CGP-NEXT: v_mul_lo_u32 v3, 0, v2
; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v4
; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
; CGP-NEXT: v_mul_lo_u32 v2, v2, v1
; CGP-NEXT: v_sub_i32_e32 v0, vcc, v0, v2
@@ -89,22 +85,17 @@ define amdgpu_ps i32 @s_urem_i32(i32 inreg %num, i32 inreg %den) {
; CGP-LABEL: s_urem_i32:
; CGP: ; %bb.0:
; CGP-NEXT: v_cvt_f32_u32_e32 v0, s1
-; CGP-NEXT: s_sub_i32 s4, 0, s1
-; CGP-NEXT: s_bfe_u64 s[2:3], s[0:1], 0x200000
+; CGP-NEXT: s_sub_i32 s2, 0, s1
; CGP-NEXT: v_rcp_f32_e32 v0, v0
-; CGP-NEXT: v_mul_lo_u32 v1, s2, 0
; CGP-NEXT: v_mul_f32_e32 v0, 0x4f7ffffe, v0
; CGP-NEXT: v_cvt_u32_f32_e32 v0, v0
-; CGP-NEXT: v_mul_lo_u32 v2, s4, v0
-; CGP-NEXT: v_mul_lo_u32 v3, v0, 0
-; CGP-NEXT: v_mul_lo_u32 v4, 0, v2
-; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
-; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
-; CGP-NEXT: v_add_i32_e32 v0, vcc, v0, v2
-; CGP-NEXT: v_mul_lo_u32 v2, s3, v0
-; CGP-NEXT: v_mul_hi_u32 v0, s2, v0
+; CGP-NEXT: v_mul_lo_u32 v1, s2, v0
+; CGP-NEXT: v_mul_lo_u32 v2, 0, v1
+; CGP-NEXT: v_mul_hi_u32 v1, v0, v1
; CGP-NEXT: v_add_i32_e32 v1, vcc, v2, v1
+; CGP-NEXT: v_add_i32_e32 v0, vcc, v0, v1
+; CGP-NEXT: v_mul_lo_u32 v1, 0, v0
+; CGP-NEXT: v_mul_hi_u32 v0, s0, v0
; CGP-NEXT: v_add_i32_e32 v0, vcc, v1, v0
; CGP-NEXT: v_mul_lo_u32 v0, v0, s1
; CGP-NEXT: v_sub_i32_e32 v0, vcc, s0, v0
@@ -167,36 +158,28 @@ define <2 x i32> @v_urem_v2i32(<2 x i32> %num, <2 x i32> %den) {
; CGP-NEXT: s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
-; CGP-NEXT: v_mul_lo_u32 v6, v0, 0
-; CGP-NEXT: v_cvt_f32_u32_e32 v7, v3
-; CGP-NEXT: v_sub_i32_e32 v8, vcc, 0, v3
-; CGP-NEXT: v_mul_lo_u32 v9, v1, 0
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v4, v4
-; CGP-NEXT: v_rcp_f32_e32 v7, v7
+; CGP-NEXT: v_rcp_f32_e32 v6, v6
; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
-; CGP-NEXT: v_mul_f32_e32 v7, 0x4f7ffffe, v7
+; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
-; CGP-NEXT: v_cvt_u32_f32_e32 v7, v7
+; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
-; CGP-NEXT: v_mul_lo_u32 v10, v4, 0
-; CGP-NEXT: v_mul_lo_u32 v8, v8, v7
-; CGP-NEXT: v_mul_lo_u32 v11, v7, 0
-; CGP-NEXT: v_mul_lo_u32 v12, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
-; CGP-NEXT: v_mul_lo_u32 v13, 0, v8
-; CGP-NEXT: v_mul_hi_u32 v8, v7, v8
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v12, v10
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v10, v5
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v11, v8
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v8
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
-; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v4, v4, v2
@@ -496,42 +479,34 @@ define <2 x i32> @v_urem_v2i32_pow2_shl_denom(<2 x i32> %x, <2 x i32> %y) {
; CGP: ; %bb.0:
; CGP-NEXT: s_waitcnt vmcnt(0) expcnt(0) lgkmcnt(0)
; CGP-NEXT: s_movk_i32 s4, 0x1000
-; CGP-NEXT: v_mul_lo_u32 v4, v0, 0
-; CGP-NEXT: v_mul_lo_u32 v5, v1, 0
; CGP-NEXT: v_lshl_b32_e32 v2, s4, v2
; CGP-NEXT: v_lshl_b32_e32 v3, s4, v3
-; CGP-NEXT: v_cvt_f32_u32_e32 v6, v2
-; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v2
-; CGP-NEXT: v_cvt_f32_u32_e32 v8, v3
-; CGP-NEXT: v_sub_i32_e32 v9, vcc, 0, v3
+; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
+; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
+; CGP-NEXT: v_rcp_f32_e32 v4, v4
; CGP-NEXT: v_rcp_f32_e32 v6, v6
-; CGP-NEXT: v_rcp_f32_e32 v8, v8
+; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
-; CGP-NEXT: v_mul_f32_e32 v8, 0x4f7ffffe, v8
+; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
-; CGP-NEXT: v_cvt_u32_f32_e32 v8, v8
+; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
-; CGP-NEXT: v_mul_lo_u32 v10, v6, 0
-; CGP-NEXT: v_mul_lo_u32 v9, v9, v8
-; CGP-NEXT: v_mul_lo_u32 v11, v8, 0
-; CGP-NEXT: v_mul_lo_u32 v12, 0, v7
-; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
-; CGP-NEXT: v_mul_lo_u32 v13, 0, v9
-; CGP-NEXT: v_mul_hi_u32 v9, v8, v9
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v12, v10
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v10, v7
-; CGP-NEXT: v_add_i32_e32 v9, vcc, v11, v9
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v6, v7
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
-; CGP-NEXT: v_mul_lo_u32 v8, 0, v6
-; CGP-NEXT: v_mul_hi_u32 v6, v0, v6
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
+; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
-; CGP-NEXT: v_mul_hi_u32 v7, v1, v7
-; CGP-NEXT: v_add_i32_e32 v4, vcc, v8, v4
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v9, v5
-; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v6
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v5, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
+; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
+; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
+; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
+; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v4, v4, v2
; CGP-NEXT: v_mul_lo_u32 v5, v5, v3
; CGP-NEXT: v_sub_i32_e32 v0, vcc, v0, v4
@@ -588,20 +563,16 @@ define i32 @v_urem_i32_24bit(i32 %num, i32 %den) {
; CGP-NEXT: v_and_b32_e32 v1, s4, v1
; CGP-NEXT: v_cvt_f32_u32_e32 v2, v1
; CGP-NEXT: v_sub_i32_e32 v3, vcc, 0, v1
-; CGP-NEXT: v_mul_lo_u32 v4, v0, 0
; CGP-NEXT: v_rcp_f32_e32 v2, v2
; CGP-NEXT: v_mul_f32_e32 v2, 0x4f7ffffe, v2
; CGP-NEXT: v_cvt_u32_f32_e32 v2, v2
; CGP-NEXT: v_mul_lo_u32 v3, v3, v2
-; CGP-NEXT: v_mul_lo_u32 v5, v2, 0
-; CGP-NEXT: v_mul_lo_u32 v6, 0, v3
+; CGP-NEXT: v_mul_lo_u32 v4, 0, v3
; CGP-NEXT: v_mul_hi_u32 v3, v2, v3
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v5
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v5, v3
+; CGP-NEXT: v_add_i32_e32 v3, vcc, v4, v3
; CGP-NEXT: v_add_i32_e32 v2, vcc, v2, v3
; CGP-NEXT: v_mul_lo_u32 v3, 0, v2
; CGP-NEXT: v_mul_hi_u32 v2, v0, v2
-; CGP-NEXT: v_add_i32_e32 v3, vcc, v3, v4
; CGP-NEXT: v_add_i32_e32 v2, vcc, v3, v2
; CGP-NEXT: v_mul_lo_u32 v2, v2, v1
; CGP-NEXT: v_sub_i32_e32 v0, vcc, v0, v2
@@ -674,36 +645,28 @@ define <2 x i32> @v_urem_v2i32_24bit(<2 x i32> %num, <2 x i32> %den) {
; CGP-NEXT: v_and_b32_e32 v3, s4, v3
; CGP-NEXT: v_cvt_f32_u32_e32 v4, v2
; CGP-NEXT: v_sub_i32_e32 v5, vcc, 0, v2
-; CGP-NEXT: v_mul_lo_u32 v6, v0, 0
-; CGP-NEXT: v_cvt_f32_u32_e32 v7, v3
-; CGP-NEXT: v_sub_i32_e32 v8, vcc, 0, v3
-; CGP-NEXT: v_mul_lo_u32 v9, v1, 0
+; CGP-NEXT: v_cvt_f32_u32_e32 v6, v3
+; CGP-NEXT: v_sub_i32_e32 v7, vcc, 0, v3
; CGP-NEXT: v_rcp_f32_e32 v4, v4
-; CGP-NEXT: v_rcp_f32_e32 v7, v7
+; CGP-NEXT: v_rcp_f32_e32 v6, v6
; CGP-NEXT: v_mul_f32_e32 v4, 0x4f7ffffe, v4
-; CGP-NEXT: v_mul_f32_e32 v7, 0x4f7ffffe, v7
+; CGP-NEXT: v_mul_f32_e32 v6, 0x4f7ffffe, v6
; CGP-NEXT: v_cvt_u32_f32_e32 v4, v4
-; CGP-NEXT: v_cvt_u32_f32_e32 v7, v7
+; CGP-NEXT: v_cvt_u32_f32_e32 v6, v6
; CGP-NEXT: v_mul_lo_u32 v5, v5, v4
-; CGP-NEXT: v_mul_lo_u32 v10, v4, 0
-; CGP-NEXT: v_mul_lo_u32 v8, v8, v7
-; CGP-NEXT: v_mul_lo_u32 v11, v7, 0
-; CGP-NEXT: v_mul_lo_u32 v12, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, v7, v6
+; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v4, v5
-; CGP-NEXT: v_mul_lo_u32 v13, 0, v8
-; CGP-NEXT: v_mul_hi_u32 v8, v7, v8
-; CGP-NEXT: v_add_i32_e32 v10, vcc, v12, v10
-; CGP-NEXT: v_add_i32_e32 v11, vcc, v13, v11
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v10, v5
-; CGP-NEXT: v_add_i32_e32 v8, vcc, v11, v8
+; CGP-NEXT: v_mul_lo_u32 v9, 0, v7
+; CGP-NEXT: v_mul_hi_u32 v7, v6, v7
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v8, v5
+; CGP-NEXT: v_add_i32_e32 v7, vcc, v9, v7
; CGP-NEXT: v_add_i32_e32 v4, vcc, v4, v5
-; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v8
-; CGP-NEXT: v_mul_lo_u32 v7, 0, v4
+; CGP-NEXT: v_add_i32_e32 v5, vcc, v6, v7
+; CGP-NEXT: v_mul_lo_u32 v6, 0, v4
; CGP-NEXT: v_mul_hi_u32 v4, v0, v4
-; CGP-NEXT: v_mul_lo_u32 v8, 0, v5
+; CGP-NEXT: v_mul_lo_u32 v7, 0, v5
; CGP-NEXT: v_mul_hi_u32 v5, v1, v5
-; CGP-NEXT: v_add_i32_e32 v6, vcc, v7, v6
-; CGP-NEXT: v_add_i32_e32 v7, vcc, v8, v9
; CGP-NEXT: v_add_i32_e32 v4, vcc, v6, v4
; CGP-NEXT: v_add_i32_e32 v5, vcc, v7, v5
; CGP-NEXT: v_mul_lo_u32 v4, v4, v2
More information about the llvm-commits
mailing list