<div dir="ltr">Its helpful to preserve the title of the original commit when reverting so there's some context. Also good to say why its being reverted.<div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">~Craig</div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 6, 2020 at 10:55 AM Konstantin Pyzhov via llvm-commits <<a href="mailto:llvm-commits@lists.llvm.org">llvm-commits@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Author: Konstantin Pyzhov<br>
Date: 2020-04-06T05:56:11-04:00<br>
New Revision: 51dc0283148e07adbfe392cd73f94912594dde1a<br>
<br>
URL: <a href="https://github.com/llvm/llvm-project/commit/51dc0283148e07adbfe392cd73f94912594dde1a" rel="noreferrer" target="_blank">https://github.com/llvm/llvm-project/commit/51dc0283148e07adbfe392cd73f94912594dde1a</a><br>
DIFF: <a href="https://github.com/llvm/llvm-project/commit/51dc0283148e07adbfe392cd73f94912594dde1a.diff" rel="noreferrer" target="_blank">https://github.com/llvm/llvm-project/commit/51dc0283148e07adbfe392cd73f94912594dde1a.diff</a><br>
<br>
LOG: Revert e1730cfeb3588f20dcf4a96b181ad52761666e52<br>
<br>
Added: <br>
<br>
<br>
Modified: <br>
    llvm/lib/Target/AMDGPU/AMDGPUTargetMachine.cpp<br>
    llvm/test/CodeGen/AMDGPU/GlobalISel/divergent-control-flow.ll<br>
    llvm/test/CodeGen/AMDGPU/GlobalISel/localizer.ll<br>
    llvm/test/CodeGen/AMDGPU/branch-relaxation-debug-info.ll<br>
    llvm/test/CodeGen/AMDGPU/branch-relaxation.ll<br>
    llvm/test/CodeGen/AMDGPU/branch-uniformity.ll<br>
    llvm/test/CodeGen/AMDGPU/cf-loop-on-constant.ll<br>
    llvm/test/CodeGen/AMDGPU/cgp-bitfield-extract.ll<br>
    llvm/test/CodeGen/AMDGPU/control-flow-fastregalloc.ll<br>
    llvm/test/CodeGen/AMDGPU/control-flow-optnone.ll<br>
    llvm/test/CodeGen/AMDGPU/cross-block-use-is-not-abi-copy.ll<br>
    llvm/test/CodeGen/AMDGPU/early-if-convert.ll<br>
    llvm/test/CodeGen/AMDGPU/i1-copy-phi-uniform-branch.ll<br>
    llvm/test/CodeGen/AMDGPU/indirect-addressing-si.ll<br>
    llvm/test/CodeGen/AMDGPU/infinite-loop.ll<br>
    llvm/test/CodeGen/AMDGPU/insert_vector_elt.ll<br>
    llvm/test/CodeGen/AMDGPU/nested-loop-conditions.ll<br>
    llvm/test/CodeGen/AMDGPU/optimize-negated-cond.ll<br>
    llvm/test/CodeGen/AMDGPU/salu-to-valu.ll<br>
    llvm/test/CodeGen/AMDGPU/sdiv64.ll<br>
    llvm/test/CodeGen/AMDGPU/setcc.ll<br>
    llvm/test/CodeGen/AMDGPU/sgpr-control-flow.ll<br>
    llvm/test/CodeGen/AMDGPU/sgpr-copy.ll<br>
    llvm/test/CodeGen/AMDGPU/si-annotate-cf.ll<br>
    llvm/test/CodeGen/AMDGPU/srem64.ll<br>
    llvm/test/CodeGen/AMDGPU/udiv64.ll<br>
    llvm/test/CodeGen/AMDGPU/unhandled-loop-condition-assertion.ll<br>
    llvm/test/CodeGen/AMDGPU/uniform-cfg.ll<br>
    llvm/test/CodeGen/AMDGPU/uniform-loop-inside-nonuniform.ll<br>
    llvm/test/CodeGen/AMDGPU/urem64.ll<br>
    llvm/test/CodeGen/AMDGPU/valu-i1.ll<br>
    llvm/test/CodeGen/AMDGPU/wqm.ll<br>
<br>
Removed: <br>
<br>
<br>
<br>
################################################################################<br>
diff  --git a/llvm/lib/Target/AMDGPU/AMDGPUTargetMachine.cpp b/llvm/lib/Target/AMDGPU/AMDGPUTargetMachine.cpp<br>
index f85c088fd53f..17c48a96cd5e 100644<br>
--- a/llvm/lib/Target/AMDGPU/AMDGPUTargetMachine.cpp<br>
+++ b/llvm/lib/Target/AMDGPU/AMDGPUTargetMachine.cpp<br>
@@ -866,7 +866,7 @@ bool GCNPassConfig::addPreISel() {<br>
     if (EnableStructurizerWorkarounds) {<br>
       addPass(createUnifyLoopExitsPass());<br>
     }<br>
-    addPass(createStructurizeCFGPass(false)); // true -> SkipUniformRegions<br>
+    addPass(createStructurizeCFGPass(true)); // true -> SkipUniformRegions<br>
   }<br>
   addPass(createSinkingPass());<br>
   addPass(createAMDGPUAnnotateUniformValues());<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/GlobalISel/divergent-control-flow.ll b/llvm/test/CodeGen/AMDGPU/GlobalISel/divergent-control-flow.ll<br>
index 0be830b3965a..3f18877acd94 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/GlobalISel/divergent-control-flow.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/GlobalISel/divergent-control-flow.ll<br>
@@ -136,10 +136,9 @@ define void @constrained_if_register_class() {<br>
 ; CHECK-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; CHECK-NEXT:    s_cmp_lg_u32 s4, 0<br>
 ; CHECK-NEXT:    s_cselect_b32 s4, 1, 0<br>
-; CHECK-NEXT:    s_xor_b32 s4, s4, 1<br>
 ; CHECK-NEXT:    s_and_b32 s4, s4, 1<br>
 ; CHECK-NEXT:    s_cmp_lg_u32 s4, 0<br>
-; CHECK-NEXT:    s_cbranch_scc0 BB4_6<br>
+; CHECK-NEXT:    s_cbranch_scc1 BB4_6<br>
 ; CHECK-NEXT:  ; %bb.1: ; %bb2<br>
 ; CHECK-NEXT:    s_getpc_b64 s[6:7]<br>
 ; CHECK-NEXT:    s_add_u32 s6, s6, const.ptr@gotpcrel32@lo+4<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/GlobalISel/localizer.ll b/llvm/test/CodeGen/AMDGPU/GlobalISel/localizer.ll<br>
index 19471deb887f..9238f1e08872 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/GlobalISel/localizer.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/GlobalISel/localizer.ll<br>
@@ -7,32 +7,12 @@<br>
 define amdgpu_kernel void @localize_constants(i1 %cond) {<br>
 ; GFX9-LABEL: localize_constants:<br>
 ; GFX9:       ; %bb.0: ; %entry<br>
-; GFX9-NEXT:    s_load_dword s1, s[4:5], 0x0<br>
-; GFX9-NEXT:    s_mov_b32 s0, 1<br>
+; GFX9-NEXT:    s_load_dword s0, s[4:5], 0x0<br>
 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; GFX9-NEXT:    s_xor_b32 s1, s1, 1<br>
-; GFX9-NEXT:    s_and_b32 s1, s1, 1<br>
-; GFX9-NEXT:    s_cmp_lg_u32 s1, 0<br>
-; GFX9-NEXT:    s_cbranch_scc0 BB0_2<br>
-; GFX9-NEXT:  ; %bb.1: ; %bb1<br>
-; GFX9-NEXT:    v_mov_b32_e32 v0, 0x5be6<br>
-; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
-; GFX9-NEXT:    v_mov_b32_e32 v0, 0x1c7<br>
-; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
-; GFX9-NEXT:    v_mov_b32_e32 v0, 0x3e8<br>
-; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
-; GFX9-NEXT:    v_mov_b32_e32 v0, 0x1c8<br>
-; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
-; GFX9-NEXT:    v_mov_b32_e32 v0, 0x3e7<br>
-; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
-; GFX9-NEXT:    v_mov_b32_e32 v0, 0x7b<br>
-; GFX9-NEXT:    s_mov_b32 s0, 0<br>
-; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
-; GFX9-NEXT:  BB0_2: ; %Flow<br>
 ; GFX9-NEXT:    s_and_b32 s0, s0, 1<br>
 ; GFX9-NEXT:    s_cmp_lg_u32 s0, 0<br>
-; GFX9-NEXT:    s_cbranch_scc0 BB0_4<br>
-; GFX9-NEXT:  ; %bb.3: ; %bb0<br>
+; GFX9-NEXT:    s_cbranch_scc0 BB0_2<br>
+; GFX9-NEXT:  ; %bb.1: ; %bb0<br>
 ; GFX9-NEXT:    v_mov_b32_e32 v0, 0x7b<br>
 ; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
 ; GFX9-NEXT:    v_mov_b32_e32 v0, 0x1c8<br>
@@ -45,7 +25,20 @@ define amdgpu_kernel void @localize_constants(i1 %cond) {<br>
 ; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
 ; GFX9-NEXT:    v_mov_b32_e32 v0, 0x5be6<br>
 ; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
-; GFX9-NEXT:  BB0_4: ; %bb2<br>
+; GFX9-NEXT:    s_endpgm<br>
+; GFX9-NEXT:  BB0_2: ; %bb1<br>
+; GFX9-NEXT:    v_mov_b32_e32 v0, 0x5be6<br>
+; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
+; GFX9-NEXT:    v_mov_b32_e32 v0, 0x1c7<br>
+; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
+; GFX9-NEXT:    v_mov_b32_e32 v0, 0x3e8<br>
+; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
+; GFX9-NEXT:    v_mov_b32_e32 v0, 0x1c8<br>
+; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
+; GFX9-NEXT:    v_mov_b32_e32 v0, 0x3e7<br>
+; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
+; GFX9-NEXT:    v_mov_b32_e32 v0, 0x7b<br>
+; GFX9-NEXT:    global_store_dword v[0:1], v0, off<br>
 ; GFX9-NEXT:    s_endpgm<br>
 entry:<br>
   br i1 %cond, label %bb0, label %bb1<br>
@@ -82,46 +75,31 @@ bb2:<br>
 define amdgpu_kernel void @localize_globals(i1 %cond) {<br>
 ; GFX9-LABEL: localize_globals:<br>
 ; GFX9:       ; %bb.0: ; %entry<br>
-; GFX9-NEXT:    s_load_dword s1, s[4:5], 0x0<br>
-; GFX9-NEXT:    s_mov_b32 s0, 1<br>
-; GFX9-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; GFX9-NEXT:    s_xor_b32 s1, s1, 1<br>
-; GFX9-NEXT:    s_and_b32 s1, s1, 1<br>
-; GFX9-NEXT:    s_cmp_lg_u32 s1, 0<br>
-; GFX9-NEXT:    s_cbranch_scc0 BB1_2<br>
-; GFX9-NEXT:  ; %bb.1: ; %bb1<br>
-; GFX9-NEXT:    s_getpc_b64 s[2:3]<br>
-; GFX9-NEXT:    s_add_u32 s2, s2, gv2@gotpcrel32@lo+4<br>
-; GFX9-NEXT:    s_addc_u32 s3, s3, gv2@gotpcrel32@hi+4<br>
-; GFX9-NEXT:    s_getpc_b64 s[4:5]<br>
-; GFX9-NEXT:    s_add_u32 s4, s4, gv3@gotpcrel32@lo+4<br>
-; GFX9-NEXT:    s_addc_u32 s5, s5, gv3@gotpcrel32@hi+4<br>
-; GFX9-NEXT:    s_load_dwordx2 s[4:5], s[4:5], 0x0<br>
-; GFX9-NEXT:    s_load_dwordx2 s[2:3], s[2:3], 0x0<br>
-; GFX9-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GFX9-NEXT:    s_mov_b32 s0, 0<br>
+; GFX9-NEXT:    s_load_dword s0, s[4:5], 0x0<br>
 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; GFX9-NEXT:    v_mov_b32_e32 v0, s2<br>
-; GFX9-NEXT:    v_mov_b32_e32 v1, s3<br>
-; GFX9-NEXT:    global_store_dword v[0:1], v2, off<br>
-; GFX9-NEXT:    v_mov_b32_e32 v0, s4<br>
-; GFX9-NEXT:    v_mov_b32_e32 v2, 1<br>
-; GFX9-NEXT:    v_mov_b32_e32 v1, s5<br>
-; GFX9-NEXT:    global_store_dword v[0:1], v2, off<br>
-; GFX9-NEXT:  BB1_2: ; %Flow<br>
 ; GFX9-NEXT:    s_and_b32 s0, s0, 1<br>
 ; GFX9-NEXT:    s_cmp_lg_u32 s0, 0<br>
-; GFX9-NEXT:    s_cbranch_scc0 BB1_4<br>
-; GFX9-NEXT:  ; %bb.3: ; %bb0<br>
+; GFX9-NEXT:    s_cbranch_scc0 BB1_2<br>
+; GFX9-NEXT:  ; %bb.1: ; %bb0<br>
 ; GFX9-NEXT:    s_getpc_b64 s[0:1]<br>
 ; GFX9-NEXT:    s_add_u32 s0, s0, gv0@gotpcrel32@lo+4<br>
 ; GFX9-NEXT:    s_addc_u32 s1, s1, gv0@gotpcrel32@hi+4<br>
-; GFX9-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0<br>
+; GFX9-NEXT:    v_mov_b32_e32 v2, 0<br>
 ; GFX9-NEXT:    s_getpc_b64 s[2:3]<br>
 ; GFX9-NEXT:    s_add_u32 s2, s2, gv1@gotpcrel32@lo+4<br>
 ; GFX9-NEXT:    s_addc_u32 s3, s3, gv1@gotpcrel32@hi+4<br>
-; GFX9-NEXT:    s_load_dwordx2 s[2:3], s[2:3], 0x0<br>
+; GFX9-NEXT:    s_branch BB1_3<br>
+; GFX9-NEXT:  BB1_2: ; %bb1<br>
+; GFX9-NEXT:    s_getpc_b64 s[0:1]<br>
+; GFX9-NEXT:    s_add_u32 s0, s0, gv2@gotpcrel32@lo+4<br>
+; GFX9-NEXT:    s_addc_u32 s1, s1, gv2@gotpcrel32@hi+4<br>
 ; GFX9-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GFX9-NEXT:    s_getpc_b64 s[2:3]<br>
+; GFX9-NEXT:    s_add_u32 s2, s2, gv3@gotpcrel32@lo+4<br>
+; GFX9-NEXT:    s_addc_u32 s3, s3, gv3@gotpcrel32@hi+4<br>
+; GFX9-NEXT:  BB1_3: ; %bb2<br>
+; GFX9-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x0<br>
+; GFX9-NEXT:    s_load_dwordx2 s[2:3], s[2:3], 0x0<br>
 ; GFX9-NEXT:    v_mov_b32_e32 v3, 1<br>
 ; GFX9-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; GFX9-NEXT:    v_mov_b32_e32 v0, s0<br>
@@ -130,7 +108,6 @@ define amdgpu_kernel void @localize_globals(i1 %cond) {<br>
 ; GFX9-NEXT:    v_mov_b32_e32 v0, s2<br>
 ; GFX9-NEXT:    v_mov_b32_e32 v1, s3<br>
 ; GFX9-NEXT:    global_store_dword v[0:1], v3, off<br>
-; GFX9-NEXT:  BB1_4: ; %bb2<br>
 ; GFX9-NEXT:    s_endpgm<br>
 entry:<br>
   br i1 %cond, label %bb0, label %bb1<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/branch-relaxation-debug-info.ll b/llvm/test/CodeGen/AMDGPU/branch-relaxation-debug-info.ll<br>
index f9b705037adf..049e7533f76a 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/branch-relaxation-debug-info.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/branch-relaxation-debug-info.ll<br>
@@ -7,11 +7,11 @@ declare void @llvm.dbg.value(metadata, metadata, metadata) #0<br>
<br>
 define amdgpu_kernel void @long_branch_dbg_value(float addrspace(1)* nocapture %arg, float %arg1) #1 !dbg !5 {<br>
 ; GCN-LABEL: long_branch_dbg_value:<br>
-; GCN:  BB0_5: ; %bb<br>
+; GCN:  BB0_4: ; %bb<br>
 ; GCN-NEXT:    ;DEBUG_VALUE: test_debug_value:globalptr_arg <- [DW_OP_plus_uconst 12, DW_OP_stack_value]<br>
 ; GCN-NEXT:    .loc 1 0 42 is_stmt 0 ; /tmp/test_debug_value.cl:0:42<br>
 ; GCN-NEXT:    s_getpc_b64 s{{\[}}[[PC_LO:[0-9]+]]:[[PC_HI:[0-9]+]]{{\]}}<br>
-; GCN-NEXT:    s_add_u32 s[[PC_LO]], s[[PC_LO]], BB0_4-(BB0_5+4)<br>
+; GCN-NEXT:    s_add_u32 s[[PC_LO]], s[[PC_LO]], BB0_3-(BB0_4+4)<br>
 ; GCN-NEXT:    s_addc_u32 s[[PC_HI]], s[[PC_HI]], 0<br>
 ; GCN-NEXT:    s_setpc_b64<br>
 bb:<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/branch-relaxation.ll b/llvm/test/CodeGen/AMDGPU/branch-relaxation.ll<br>
index 8c6b94da79cf..e08b3c50cdae 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/branch-relaxation.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/branch-relaxation.ll<br>
@@ -224,7 +224,7 @@ bb3:<br>
<br>
 ; GCN-LABEL: {{^}}uniform_unconditional_min_long_forward_branch:<br>
 ; GCN: s_cmp_eq_u32<br>
-; GCN: s_cbranch_scc{{[0-1]}} [[BB2:BB[0-9]+_[0-9]+]]<br>
+; GCN-NEXT: s_cbranch_scc0 [[BB2:BB[0-9]+_[0-9]+]]<br>
<br>
 ; GCN-NEXT: [[LONG_JUMP0:BB[0-9]+_[0-9]+]]: ; %bb0<br>
 ; GCN-NEXT: s_getpc_b64 s{{\[}}[[PC0_LO:[0-9]+]]:[[PC0_HI:[0-9]+]]{{\]}}<br>
@@ -232,17 +232,24 @@ bb3:<br>
 ; GCN-NEXT: s_addc_u32 s[[PC0_HI]], s[[PC0_HI]], 0{{$}}<br>
 ; GCN-NEXT: s_setpc_b64 s{{\[}}[[PC0_LO]]:[[PC0_HI]]{{\]}}<br>
<br>
-; GCN: [[BB2]]: ; %bb3<br>
+; GCN-NEXT: [[BB2]]: ; %bb2<br>
+; GCN: v_mov_b32_e32 [[BB2_K:v[0-9]+]], 17<br>
+; GCN: buffer_store_dword [[BB2_K]]<br>
+<br>
+; GCN-NEXT: [[LONG_JUMP1:BB[0-9]+_[0-9]+]]: ; %bb2<br>
+; GCN-NEXT: s_getpc_b64 s{{\[}}[[PC1_LO:[0-9]+]]:[[PC1_HI:[0-9]+]]{{\]}}<br>
+; GCN-NEXT: s_add_u32 s[[PC1_LO]], s[[PC1_LO]], [[BB4:BB[0-9]_[0-9]+]]-([[LONG_JUMP1]]+4)<br>
+; GCN-NEXT: s_addc_u32 s[[PC1_HI]], s[[PC1_HI]], 0{{$}}<br>
+; GCN-NEXT: s_setpc_b64 s{{\[}}[[PC1_LO]]:[[PC1_HI]]{{\]}}<br>
+<br>
+; GCN: [[BB3]]: ; %bb3<br>
 ; GCN: v_nop_e64<br>
 ; GCN: v_nop_e64<br>
 ; GCN: v_nop_e64<br>
 ; GCN: v_nop_e64<br>
 ; GCN: ;;#ASMEND<br>
<br>
-; GCN: [[BB3]]:<br>
-; GCN: v_mov_b32_e32 [[BB2_K:v[0-9]+]], 17<br>
-; GCN: buffer_store_dword [[BB2_K]]<br>
-<br>
+; GCN-NEXT: [[BB4]]: ; %bb4<br>
 ; GCN: v_mov_b32_e32 [[BB4_K:v[0-9]+]], 63<br>
 ; GCN: buffer_store_dword [[BB4_K]]<br>
 ; GCN-NEXT: s_endpgm<br>
@@ -310,15 +317,23 @@ loop:<br>
 ; GCN-LABEL: {{^}}expand_requires_expand:<br>
 ; GCN-NEXT: ; %bb.0: ; %bb0<br>
 ; GCN: s_load_dword<br>
-; GCN: {{s|v}}_cmp_lt_i32<br>
-; GCN: s_cbranch<br>
+; GCN: s_cmp_lt_i32 s{{[0-9]+}}, 0{{$}}<br>
+; GCN-NEXT: s_cbranch_scc0 [[BB1:BB[0-9]+_[0-9]+]]<br>
<br>
-; GCN: s_load_dword<br>
+; GCN-NEXT: [[LONGBB0:BB[0-9]+_[0-9]+]]: ; %bb0<br>
+<br>
+; GCN-NEXT: s_getpc_b64 s{{\[}}[[PC0_LO:[0-9]+]]:[[PC0_HI:[0-9]+]]{{\]}}<br>
+; GCN-NEXT: s_add_u32 s[[PC0_LO]], s[[PC0_LO]], [[BB2:BB[0-9]_[0-9]+]]-([[LONGBB0]]+4)<br>
+; GCN-NEXT: s_addc_u32 s[[PC0_HI]], s[[PC0_HI]], 0{{$}}<br>
+; GCN-NEXT: s_setpc_b64 s{{\[}}[[PC0_LO]]:[[PC0_HI]]{{\]}}<br>
+<br>
+; GCN-NEXT: [[BB1]]: ; %bb1<br>
+; GCN-NEXT: s_load_dword<br>
 ; GCN-NEXT: s_waitcnt lgkmcnt(0)<br>
-; GCN-NEXT: v_cmp_{{eq|ne}}_u32_e64<br>
-; GCN: s_cbranch_vccz [[BB2:BB[0-9]_[0-9]+]]<br>
+; GCN-NEXT: s_cmp_eq_u32 s{{[0-9]+}}, 3{{$}}<br>
+; GCN-NEXT: s_cbranch_scc0 [[BB2:BB[0-9]_[0-9]+]]<br>
<br>
-; GCN-NEXT: [[LONGBB1:BB[0-9]+_[0-9]+]]:<br>
+; GCN-NEXT: [[LONGBB1:BB[0-9]+_[0-9]+]]: ; %bb1<br>
 ; GCN-NEXT: s_getpc_b64 s{{\[}}[[PC1_LO:[0-9]+]]:[[PC1_HI:[0-9]+]]{{\]}}<br>
 ; GCN-NEXT: s_add_u32 s[[PC1_LO]], s[[PC1_LO]], [[BB3:BB[0-9]+_[0-9]+]]-([[LONGBB1]]+4)<br>
 ; GCN-NEXT: s_addc_u32 s[[PC1_HI]], s[[PC1_HI]], 0{{$}}<br>
@@ -436,7 +451,7 @@ endif:<br>
 ; GCN: v_nop_e64<br>
 ; GCN: v_nop_e64<br>
 ; GCN: ;;#ASMEND<br>
-; GCN: s_cbranch_{{vccz|vccnz}} [[RET:BB[0-9]+_[0-9]+]]<br>
+; GCN: s_cbranch_vccz [[RET:BB[0-9]+_[0-9]+]]<br>
<br>
 ; GCN-NEXT: [[LONGBB:BB[0-9]+_[0-9]+]]: ; %loop<br>
 ; GCN-NEXT: ; in Loop: Header=[[LOOP_BODY]] Depth=1<br>
@@ -476,7 +491,7 @@ ret:<br>
<br>
 ; GCN-LABEL: {{^}}long_branch_hang:<br>
 ; GCN: s_cmp_lt_i32 s{{[0-9]+}}, 6<br>
-; GCN: s_cbranch_scc{{[0-1]}} [[LONG_BR_0:BB[0-9]+_[0-9]+]]<br>
+; GCN: s_cbranch_scc0 [[LONG_BR_0:BB[0-9]+_[0-9]+]]<br>
 ; GCN-NEXT: BB{{[0-9]+_[0-9]+}}:<br>
<br>
 ; GCN: s_add_u32 s{{[0-9]+}}, s{{[0-9]+}}, [[LONG_BR_DEST0:BB[0-9]+_[0-9]+]]-(<br>
@@ -484,14 +499,14 @@ ret:<br>
 ; GCN-NEXT: s_setpc_b64<br>
<br>
 ; GCN-NEXT: [[LONG_BR_0]]:<br>
+; GCN-DAG: v_cmp_lt_i32<br>
+; GCN-DAG: v_cmp_gt_i32<br>
+; GCN: s_cbranch_vccnz<br>
+<br>
+; GCN: s_setpc_b64<br>
 ; GCN: s_setpc_b64<br>
<br>
 ; GCN: [[LONG_BR_DEST0]]<br>
-<br>
-; GCN: s_cbranch_vccnz<br>
-; GCN-DAG: v_cmp_lt_i32<br>
-; GCN-DAG: v_cmp_ge_i32<br>
-<br>
 ; GCN: s_cbranch_vccz<br>
 ; GCN: s_setpc_b64<br>
<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/branch-uniformity.ll b/llvm/test/CodeGen/AMDGPU/branch-uniformity.ll<br>
index 685b5f0dedad..c9c801fb1911 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/branch-uniformity.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/branch-uniformity.ll<br>
@@ -8,8 +8,8 @@<br>
 ;<br>
 ; CHECK-LABEL: {{^}}main:<br>
 ; CHECK: ; %LOOP49<br>
-; CHECK: s_cmp_{{lg|eq}}_u32 s{{[0-9]+}}, 0<br>
-; CHECK: s_cbranch_scc{{[0-1]}}<br>
+; CHECK: s_cmp_lg_u32 s{{[0-9]+}}, 0<br>
+; CHECK: s_cbranch_scc1<br>
 ; CHECK: ; %ENDIF53<br>
 define amdgpu_vs float @main(i32 %in) {<br>
 main_body:<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/cf-loop-on-constant.ll b/llvm/test/CodeGen/AMDGPU/cf-loop-on-constant.ll<br>
index fa7b6f9ead31..03e7e74c7c28 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/cf-loop-on-constant.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/cf-loop-on-constant.ll<br>
@@ -102,7 +102,7 @@ for.body:<br>
 ; GCN: s_add_i32 s{{[0-9]+}}, s{{[0-9]+}}, 0x80<br>
 ; GCN: s_add_i32 s{{[0-9]+}}, s{{[0-9]+}}, 4<br>
<br>
-; GCN: s_cbranch_{{vccz|vccnz}} [[LOOPBB]]<br>
+; GCN: s_cbranch_vccnz [[LOOPBB]]<br>
 ; GCN-NEXT: ; %bb.2<br>
 ; GCN-NEXT: s_endpgm<br>
 define amdgpu_kernel void @loop_arg_0(float addrspace(3)* %ptr, i32 %n) nounwind {<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/cgp-bitfield-extract.ll b/llvm/test/CodeGen/AMDGPU/cgp-bitfield-extract.ll<br>
index f60c50cec784..f6c30f8af1c3 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/cgp-bitfield-extract.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/cgp-bitfield-extract.ll<br>
@@ -27,12 +27,13 @@<br>
<br>
 ; GCN-LABEL: {{^}}sink_ubfe_i32:<br>
 ; GCN-NOT: lshr<br>
-; GCN: s_cbranch_scc{{[0-1]}}<br>
+; GCN: s_cbranch_scc1<br>
<br>
-; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x70008<br>
-; GCN: BB0_3:<br>
 ; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x80008<br>
+; GCN: BB0_2:<br>
+; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x70008<br>
<br>
+; GCN: BB0_3:<br>
 ; GCN: buffer_store_dword<br>
 ; GCN: s_endpgm<br>
 define amdgpu_kernel void @sink_ubfe_i32(i32 addrspace(1)* %out, i32 %arg1) #0 {<br>
@@ -121,15 +122,16 @@ ret:<br>
 ; GCN-NOT: lshr<br>
 ; VI: s_load_dword [[ARG:s[0-9]+]], s[0:1], 0x2c<br>
 ; VI: s_bfe_u32 [[BFE:s[0-9]+]], [[ARG]], 0xc0004<br>
-; GCN: s_cbranch_scc{{[0-1]}}<br>
+; GCN: s_cbranch_scc1<br>
<br>
+; SI: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x80004<br>
+; VI: v_mov_b32_e32 v{{[0-9]+}}, 0xff<br>
+<br>
+; GCN: BB2_2:<br>
 ; SI: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x70004<br>
 ; VI: v_mov_b32_e32 v{{[0-9]+}}, 0x7f<br>
<br>
 ; GCN: BB2_3:<br>
-; SI: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x80004<br>
-; VI: v_mov_b32_e32 v{{[0-9]+}}, 0xff<br>
-<br>
 ; GCN: buffer_store_short<br>
 ; GCN: s_endpgm<br>
 define amdgpu_kernel void @sink_ubfe_i16(i16 addrspace(1)* %out, i16 %arg1) #0 {<br>
@@ -175,13 +177,14 @@ ret:<br>
<br>
 ; GCN-LABEL: {{^}}sink_ubfe_i64_span_midpoint:<br>
<br>
-; GCN: s_cbranch_scc{{[0-1]}} BB3_2<br>
 ; GCN: v_alignbit_b32 v[[LO:[0-9]+]], s{{[0-9]+}}, v{{[0-9]+}}, 30<br>
+; GCN: s_cbranch_scc1 BB3_2<br>
+; GCN: v_and_b32_e32 v{{[0-9]+}}, 0xff, v[[LO]]<br>
+<br>
+; GCN: BB3_2:<br>
 ; GCN: v_and_b32_e32 v{{[0-9]+}}, 0x7f, v[[LO]]<br>
<br>
 ; GCN: BB3_3:<br>
-; GCN: v_and_b32_e32 v{{[0-9]+}}, 0xff, v[[LO]]<br>
-<br>
 ; GCN: buffer_store_dwordx2<br>
 define amdgpu_kernel void @sink_ubfe_i64_span_midpoint(i64 addrspace(1)* %out, i64 %arg1) #0 {<br>
 entry:<br>
@@ -223,13 +226,14 @@ ret:<br>
<br>
 ; GCN-LABEL: {{^}}sink_ubfe_i64_low32:<br>
<br>
-; GCN: s_cbranch_scc{{[0-1]}} BB4_2<br>
+; GCN: s_cbranch_scc1 BB4_2<br>
<br>
+; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x8000f<br>
+<br>
+; GCN: BB4_2:<br>
 ; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x7000f<br>
<br>
 ; GCN: BB4_3:<br>
-; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x8000f<br>
-<br>
 ; GCN: buffer_store_dwordx2<br>
 define amdgpu_kernel void @sink_ubfe_i64_low32(i64 addrspace(1)* %out, i64 %arg1) #0 {<br>
 entry:<br>
@@ -270,12 +274,13 @@ ret:<br>
 ; OPT: ret<br>
<br>
 ; GCN-LABEL: {{^}}sink_ubfe_i64_high32:<br>
-; GCN: s_cbranch_scc{{[0-1]}} BB5_2<br>
+; GCN: s_cbranch_scc1 BB5_2<br>
+; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x80003<br>
+<br>
+; GCN: BB5_2:<br>
 ; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x70003<br>
<br>
 ; GCN: BB5_3:<br>
-; GCN: s_bfe_u32 s{{[0-9]+}}, s{{[0-9]+}}, 0x80003<br>
-<br>
 ; GCN: buffer_store_dwordx2<br>
 define amdgpu_kernel void @sink_ubfe_i64_high32(i64 addrspace(1)* %out, i64 %arg1) #0 {<br>
 entry:<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/control-flow-fastregalloc.ll b/llvm/test/CodeGen/AMDGPU/control-flow-fastregalloc.ll<br>
index 2268b4675971..2c1074ae62fc 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/control-flow-fastregalloc.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/control-flow-fastregalloc.ll<br>
@@ -89,7 +89,7 @@ endif:<br>
 }<br>
<br>
 ; GCN-LABEL: {{^}}divergent_loop:<br>
-; VGPR: workitem_private_segment_byte_size = 16{{$}}<br>
+; VGPR: workitem_private_segment_byte_size = 12{{$}}<br>
<br>
 ; GCN: {{^}}; %bb.0:<br>
<br>
@@ -123,10 +123,9 @@ endif:<br>
 ; GCN: buffer_load_dword v[[VAL_LOOP_RELOAD:[0-9]+]], off, s[0:3], 0 offset:[[LOAD0_OFFSET]] ; 4-byte Folded Reload<br>
 ; GCN: v_subrev_i32_e32 [[VAL_LOOP:v[0-9]+]], vcc, v{{[0-9]+}}, v[[VAL_LOOP_RELOAD]]<br>
 ; GCN: s_cmp_lg_u32<br>
-; GCN: buffer_store_dword [[VAL_LOOP]], off, s[0:3], 0 offset:{{[0-9]+}} ; 4-byte Folded Spill<br>
+; GCN: buffer_store_dword [[VAL_LOOP]], off, s[0:3], 0 offset:[[VAL_SUB_OFFSET:[0-9]+]] ; 4-byte Folded Spill<br>
 ; GCN-NEXT: s_cbranch_scc1 [[LOOP]]<br>
<br>
-; GCN: buffer_store_dword [[VAL_LOOP]], off, s[0:3], 0 offset:[[VAL_SUB_OFFSET:[0-9]+]] ; 4-byte Folded Spill<br>
<br>
 ; GCN: [[END]]:<br>
 ; VGPR: v_readlane_b32 s[[S_RELOAD_SAVEEXEC_LO:[0-9]+]], [[SPILL_VGPR]], [[SAVEEXEC_LO_LANE]]<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/control-flow-optnone.ll b/llvm/test/CodeGen/AMDGPU/control-flow-optnone.ll<br>
index d81d05f50f44..8dda45fee0bf 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/control-flow-optnone.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/control-flow-optnone.ll<br>
@@ -15,8 +15,8 @@<br>
 ; GCN: s_mov_b64 exec<br>
<br>
 ; GCN: s_or_b64 exec, exec<br>
-; GCN: {{[s|v]}}_cmp_eq_u32<br>
-; GCN: s_cbranch<br>
+; GCN: s_cmp_eq_u32<br>
+; GCN: s_cbranch_scc1<br>
 ; GCN-NEXT: s_branch<br>
 define amdgpu_kernel void @copytoreg_divergent_brcond(i32 %arg, i32 %arg1, i32 %arg2) #0 {<br>
 bb:<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/cross-block-use-is-not-abi-copy.ll b/llvm/test/CodeGen/AMDGPU/cross-block-use-is-not-abi-copy.ll<br>
index 4206c39caac7..007ca13d53c9 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/cross-block-use-is-not-abi-copy.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/cross-block-use-is-not-abi-copy.ll<br>
@@ -178,18 +178,18 @@ define amdgpu_kernel void @v3i16_registers(i1 %cond) #0 {<br>
 ; GCN-NEXT:    v_cmp_eq_u32_e64 s[4:5], s4, 1<br>
 ; GCN-NEXT:    s_and_b64 vcc, exec, s[4:5]<br>
 ; GCN-NEXT:    s_mov_b32 s32, 0<br>
-; GCN-NEXT:    s_cbranch_vccnz BB4_2<br>
-; GCN-NEXT:  ; %bb.1: ; %if.else<br>
-; GCN-NEXT:    s_getpc_b64 s[4:5]<br>
-; GCN-NEXT:    s_add_u32 s4, s4, func_v3i16@rel32@lo+4<br>
-; GCN-NEXT:    s_addc_u32 s5, s5, func_v3i16@rel32@hi+4<br>
-; GCN-NEXT:    s_swappc_b64 s[30:31], s[4:5]<br>
-; GCN-NEXT:    s_branch BB4_3<br>
-; GCN-NEXT:  BB4_2:<br>
+; GCN-NEXT:    s_cbranch_vccz BB4_2<br>
+; GCN-NEXT:  ; %bb.1:<br>
 ; GCN-NEXT:    s_mov_b32 s4, 0<br>
 ; GCN-NEXT:    s_mov_b32 s5, s4<br>
 ; GCN-NEXT:    v_mov_b32_e32 v0, s4<br>
 ; GCN-NEXT:    v_mov_b32_e32 v1, s5<br>
+; GCN-NEXT:    s_branch BB4_3<br>
+; GCN-NEXT:  BB4_2: ; %if.else<br>
+; GCN-NEXT:    s_getpc_b64 s[4:5]<br>
+; GCN-NEXT:    s_add_u32 s4, s4, func_v3i16@rel32@lo+4<br>
+; GCN-NEXT:    s_addc_u32 s5, s5, func_v3i16@rel32@hi+4<br>
+; GCN-NEXT:    s_swappc_b64 s[30:31], s[4:5]<br>
 ; GCN-NEXT:  BB4_3: ; %if.end<br>
 ; GCN-NEXT:    global_store_short v[0:1], v1, off<br>
 ; GCN-NEXT:    global_store_dword v[0:1], v0, off<br>
@@ -223,18 +223,18 @@ define amdgpu_kernel void @v3f16_registers(i1 %cond) #0 {<br>
 ; GCN-NEXT:    v_cmp_eq_u32_e64 s[4:5], s4, 1<br>
 ; GCN-NEXT:    s_and_b64 vcc, exec, s[4:5]<br>
 ; GCN-NEXT:    s_mov_b32 s32, 0<br>
-; GCN-NEXT:    s_cbranch_vccnz BB5_2<br>
-; GCN-NEXT:  ; %bb.1: ; %if.else<br>
-; GCN-NEXT:    s_getpc_b64 s[4:5]<br>
-; GCN-NEXT:    s_add_u32 s4, s4, func_v3f16@rel32@lo+4<br>
-; GCN-NEXT:    s_addc_u32 s5, s5, func_v3f16@rel32@hi+4<br>
-; GCN-NEXT:    s_swappc_b64 s[30:31], s[4:5]<br>
-; GCN-NEXT:    s_branch BB5_3<br>
-; GCN-NEXT:  BB5_2:<br>
+; GCN-NEXT:    s_cbranch_vccz BB5_2<br>
+; GCN-NEXT:  ; %bb.1:<br>
 ; GCN-NEXT:    s_mov_b32 s4, 0<br>
 ; GCN-NEXT:    s_mov_b32 s5, s4<br>
 ; GCN-NEXT:    v_mov_b32_e32 v0, s4<br>
 ; GCN-NEXT:    v_mov_b32_e32 v1, s5<br>
+; GCN-NEXT:    s_branch BB5_3<br>
+; GCN-NEXT:  BB5_2: ; %if.else<br>
+; GCN-NEXT:    s_getpc_b64 s[4:5]<br>
+; GCN-NEXT:    s_add_u32 s4, s4, func_v3f16@rel32@lo+4<br>
+; GCN-NEXT:    s_addc_u32 s5, s5, func_v3f16@rel32@hi+4<br>
+; GCN-NEXT:    s_swappc_b64 s[30:31], s[4:5]<br>
 ; GCN-NEXT:  BB5_3: ; %if.end<br>
 ; GCN-NEXT:    global_store_short v[0:1], v1, off<br>
 ; GCN-NEXT:    global_store_dword v[0:1], v0, off<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/early-if-convert.ll b/llvm/test/CodeGen/AMDGPU/early-if-convert.ll<br>
index 66d5411cd978..8e5aa8aa290b 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/early-if-convert.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/early-if-convert.ll<br>
@@ -30,6 +30,7 @@ endif:<br>
 ; GCN: v_cmp_neq_f32_e32 vcc, 1.0, [[VAL]]<br>
 ; GCN-DAG: v_add_f32_e32 [[ADD:v[0-9]+]], [[VAL]], [[VAL]]<br>
 ; GCN-DAG: v_mul_f32_e32 [[MUL:v[0-9]+]], [[VAL]], [[VAL]]<br>
+; GCN: v_cndmask_b32_e32 [[RESULT:v[0-9]+]], [[ADD]], [[MUL]], vcc<br>
 ; GCN: buffer_store_dword [[RESULT]]<br>
 define amdgpu_kernel void @test_vccnz_ifcvt_diamond(float addrspace(1)* %out, float addrspace(1)* %in) #0 {<br>
 entry:<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/i1-copy-phi-uniform-branch.ll b/llvm/test/CodeGen/AMDGPU/i1-copy-phi-uniform-branch.ll<br>
index 2cbe00ed80fd..c65683d4fab6 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/i1-copy-phi-uniform-branch.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/i1-copy-phi-uniform-branch.ll<br>
@@ -4,11 +4,11 @@<br>
<br>
 ; GCN: ; %entry<br>
 ; GCN:      s_cmp_eq_u32    s0, 0<br>
-; GCN:      s_cbranch_scc1  [[EXIT:BB[0-9_]+]]<br>
+; GCN:      s_cbranch_scc1  [[PREEXIT:BB[0-9_]+]]<br>
<br>
 ; GCN: ; %blocka<br>
 ; GCN:      s_cmp_eq_u32    s1, 0<br>
-; GCN:      s_cbranch_scc1  [[PREEXIT:BB[0-9_]+]]<br>
+; GCN:      s_cbranch_scc1  [[EXIT:BB[0-9_]+]]<br>
<br>
 ; GCN: [[PREEXIT]]:<br>
 ; GCN: [[EXIT]]:<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/indirect-addressing-si.ll b/llvm/test/CodeGen/AMDGPU/indirect-addressing-si.ll<br>
index 679a05c5d2ea..bde1cd5c4355 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/indirect-addressing-si.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/indirect-addressing-si.ll<br>
@@ -630,7 +630,6 @@ define amdgpu_kernel void @insertelement_v16f32_or_index(<16 x float> addrspace(<br>
 ; GCN-LABEL: {{^}}broken_phi_bb:<br>
 ; GCN: v_mov_b32_e32 [[PHIREG:v[0-9]+]], 8<br>
<br>
-; GCN: {{BB[0-9]+_[0-9]+}}:<br>
 ; GCN: [[BB2:BB[0-9]+_[0-9]+]]:<br>
 ; GCN: v_cmp_le_i32_e32 vcc, s{{[0-9]+}}, [[PHIREG]]<br>
 ; GCN: buffer_load_dword<br>
@@ -646,7 +645,7 @@ define amdgpu_kernel void @insertelement_v16f32_or_index(<16 x float> addrspace(<br>
<br>
 ; GCN: {{^; %bb.[0-9]}}:<br>
 ; GCN: s_mov_b64 exec,<br>
-; GCN: s_cbranch_vccnz [[BB2]]<br>
+; GCN: s_branch [[BB2]]<br>
<br>
 define amdgpu_kernel void @broken_phi_bb(i32 %arg, i32 %arg1) #0 {<br>
 bb:<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/infinite-loop.ll b/llvm/test/CodeGen/AMDGPU/infinite-loop.ll<br>
index db90e0c7449a..c18a076aad4e 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/infinite-loop.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/infinite-loop.ll<br>
@@ -77,36 +77,28 @@ define amdgpu_kernel void @infinite_loops(i32 addrspace(1)* %out) {<br>
 ; SI-LABEL: infinite_loops:<br>
 ; SI:       ; %bb.0: ; %entry<br>
 ; SI-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0x9<br>
-; SI-NEXT:    s_mov_b64 s[2:3], -1<br>
-; SI-NEXT:    s_cbranch_scc1 BB2_4<br>
-; SI-NEXT:  ; %bb.1:<br>
 ; SI-NEXT:    s_mov_b32 s3, 0xf000<br>
 ; SI-NEXT:    s_mov_b32 s2, -1<br>
-; SI-NEXT:    v_mov_b32_e32 v0, 0x378<br>
+; SI-NEXT:    s_cbranch_scc0 BB2_3<br>
+; SI-NEXT:  ; %bb.1: ; %loop1.preheader<br>
+; SI-NEXT:    v_mov_b32_e32 v0, 0x3e7<br>
 ; SI-NEXT:    s_and_b64 vcc, exec, -1<br>
-; SI-NEXT:  BB2_2:<br>
-; SI:         s_waitcnt lgkmcnt(0)<br>
+; SI-NEXT:  BB2_2: ; %loop1<br>
+; SI-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
+; SI-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; SI-NEXT:    buffer_store_dword v0, off, s[0:3], 0<br>
 ; SI-NEXT:    s_cbranch_vccnz BB2_2<br>
-; SI-NEXT:  ; %bb.3:<br>
-; SI-NEXT:    s_mov_b64 s[2:3], 0<br>
-; SI-NEXT:  BB2_4:<br>
-; SI-NEXT:    s_and_b64 vcc, exec, s[2:3]<br>
+; SI-NEXT:    s_branch BB2_5<br>
+; SI-NEXT:  BB2_3:<br>
+; SI-NEXT:    v_mov_b32_e32 v0, 0x378<br>
+; SI-NEXT:    s_and_b64 vcc, exec, -1<br>
+; SI-NEXT:  BB2_4: ; %loop2<br>
+; SI-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; SI-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; SI-NEXT:    s_mov_b64 vcc, vcc<br>
-; SI-NEXT:    s_cbranch_vccz BB2_7<br>
-; SI-NEXT:  ; %bb.5:<br>
-; SI-NEXT:    s_mov_b32 s3, 0xf000<br>
-; SI-NEXT:    s_mov_b32 s2, -1<br>
-; SI-NEXT:    s_waitcnt expcnt(0)<br>
-; SI-NEXT:    v_mov_b32_e32 v0, 0x3e7<br>
-; SI-NEXT:    s_and_b64 vcc, exec, 0<br>
-; SI-NEXT:  BB2_6:<br>
-; SI:         buffer_store_dword v0, off, s[0:3], 0<br>
-; SI-NEXT:    s_cbranch_vccz BB2_6<br>
-; SI-NEXT:  BB2_7:<br>
+; SI-NEXT:    buffer_store_dword v0, off, s[0:3], 0<br>
+; SI-NEXT:    s_cbranch_vccnz BB2_4<br>
+; SI-NEXT:  BB2_5: ; %DummyReturnBlock<br>
 ; SI-NEXT:    s_endpgm<br>
-<br>
 ; IR-LABEL: @infinite_loops(<br>
 ; IR-NEXT:  entry:<br>
 ; IR-NEXT:    br i1 undef, label [[LOOP1:%.*]], label [[LOOP2:%.*]]<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/insert_vector_elt.ll b/llvm/test/CodeGen/AMDGPU/insert_vector_elt.ll<br>
index 942110ccc1a7..070a36dd4a21 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/insert_vector_elt.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/insert_vector_elt.ll<br>
@@ -1334,19 +1334,10 @@ define amdgpu_kernel void @insert_split_bb(<2 x i32> addrspace(1)* %out, i32 add<br>
 ; SI-NEXT:    s_cbranch_scc0 BB26_2<br>
 ; SI-NEXT:  ; %bb.1: ; %else<br>
 ; SI-NEXT:    s_load_dword s1, s[6:7], 0x1<br>
-; SI-NEXT:    s_mov_b64 s[2:3], 0<br>
-; SI-NEXT:    s_andn2_b64 vcc, exec, s[2:3]<br>
-; SI-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; SI-NEXT:    s_mov_b64 vcc, vcc<br>
-; SI-NEXT:    s_cbranch_vccz BB26_3<br>
-; SI-NEXT:    s_branch BB26_4<br>
-; SI-NEXT:  BB26_2:<br>
-; SI-NEXT:    s_mov_b64 s[2:3], -1<br>
-; SI-NEXT:    s_andn2_b64 vcc, exec, s[2:3]<br>
-; SI-NEXT:    s_cbranch_vccnz BB26_4<br>
-; SI-NEXT:  BB26_3: ; %if<br>
+; SI-NEXT:    s_branch BB26_3<br>
+; SI-NEXT:  BB26_2: ; %if<br>
 ; SI-NEXT:    s_load_dword s1, s[6:7], 0x0<br>
-; SI-NEXT:  BB26_4: ; %endif<br>
+; SI-NEXT:  BB26_3: ; %endif<br>
 ; SI-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; SI-NEXT:    v_mov_b32_e32 v0, s0<br>
 ; SI-NEXT:    s_mov_b32 s7, 0x100f000<br>
@@ -1362,20 +1353,12 @@ define amdgpu_kernel void @insert_split_bb(<2 x i32> addrspace(1)* %out, i32 add<br>
 ; VI-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; VI-NEXT:    s_cmp_lg_u32 s0, 0<br>
 ; VI-NEXT:    s_cbranch_scc0 BB26_2<br>
-; VI-NEXT: ; %bb.1: ; %else<br>
+; VI-NEXT:  ; %bb.1: ; %else<br>
 ; VI-NEXT:    s_load_dword s1, s[6:7], 0x4<br>
-; VI-NEXT:    s_mov_b64 s[2:3], 0<br>
-; VI-NEXT:    s_andn2_b64 vcc, exec, s[2:3]<br>
-; VI-NEXT:    s_cbranch_vccz BB26_3<br>
-; VI-NEXT:    s_branch BB26_4<br>
-; VI-NEXT:  BB26_2:<br>
-; VI-NEXT:    s_mov_b64 s[2:3], -1<br>
-; VI-NEXT:    s_andn2_b64 vcc, exec, s[2:3]<br>
-; VI-NEXT:    s_cbranch_vccnz BB26_4<br>
-; VI-NEXT:  BB26_3: ; %if<br>
-; VI-NEXT:    s_waitcnt lgkmcnt(0)<br>
+; VI-NEXT:    s_branch BB26_3<br>
+; VI-NEXT:  BB26_2: ; %if<br>
 ; VI-NEXT:    s_load_dword s1, s[6:7], 0x0<br>
-; VI-NEXT:  BB26_4: ; %endif<br>
+; VI-NEXT:  BB26_3: ; %endif<br>
 ; VI-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; VI-NEXT:    v_mov_b32_e32 v0, s0<br>
 ; VI-NEXT:    s_mov_b32 s7, 0x1100f000<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/nested-loop-conditions.ll b/llvm/test/CodeGen/AMDGPU/nested-loop-conditions.ll<br>
index d17d37b5e4d0..94d273d6cc40 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/nested-loop-conditions.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/nested-loop-conditions.ll<br>
@@ -31,10 +31,10 @@ define amdgpu_kernel void @reduced_nested_loop_conditions(i64 addrspace(3)* noca<br>
 ; GCN-NEXT:  BB0_3: ; %bb8<br>
 ; GCN-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; GCN-NEXT:    ds_read_b32 v0, v0<br>
-; GCN-NEXT:    s_and_b64 vcc, exec, 0<br>
+; GCN-NEXT:    s_and_b64 vcc, exec, -1<br>
 ; GCN-NEXT:  BB0_4: ; %bb9<br>
 ; GCN-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
-; GCN-NEXT:    s_cbranch_vccz BB0_4<br>
+; GCN-NEXT:    s_cbranch_vccnz BB0_4<br>
 ; GCN-NEXT:  BB0_5: ; %DummyReturnBlock<br>
 ; GCN-NEXT:    s_endpgm<br>
 ; IR-LABEL: @reduced_nested_loop_conditions(<br>
@@ -144,39 +144,33 @@ define amdgpu_kernel void @nested_loop_conditions(i64 addrspace(1)* nocapture %a<br>
 ; GCN-NEXT:    s_waitcnt vmcnt(0)<br>
 ; GCN-NEXT:    v_cmp_lt_i32_e32 vcc, 8, v0<br>
 ; GCN-NEXT:    s_and_b64 vcc, exec, vcc<br>
-; GCN-NEXT:    s_cbranch_vccnz BB1_6<br>
-<br>
+; GCN-NEXT:    s_cbranch_vccnz BB1_5<br>
 ; GCN-NEXT:  ; %bb.1: ; %<a href="http://bb14.lr.ph" rel="noreferrer" target="_blank">bb14.lr.ph</a><br>
 ; GCN-NEXT:    buffer_load_dword v0, off, s[0:3], 0<br>
-; GCN-NEXT:    s_branch BB1_3<br>
-; GCN-NEXT:  BB1_2: ;   in Loop: Header=BB1_3 Depth=1<br>
-; GCN-NEXT:    s_mov_b64 s[0:1], -1<br>
-; GCN-NEXT:    ; implicit-def: $vgpr0<br>
-; GCN-NEXT:    s_cbranch_execnz BB1_6<br>
-; GCN-NEXT:  BB1_3: ; %bb14<br>
+; GCN-NEXT:  BB1_2: ; %bb14<br>
 ; GCN-NEXT:    ; =>This Loop Header: Depth=1<br>
-; GCN-NEXT:    ;     Child Loop BB1_4 Depth 2<br>
+; GCN-NEXT:    ; Child Loop BB1_3 Depth 2<br>
 ; GCN-NEXT:    s_waitcnt vmcnt(0)<br>
 ; GCN-NEXT:    v_cmp_ne_u32_e32 vcc, 1, v0<br>
 ; GCN-NEXT:    s_and_b64 vcc, exec, vcc<br>
-; GCN-NEXT:    s_cbranch_vccnz BB1_2<br>
-; GCN-NEXT:  BB1_4: ; %bb18<br>
-; GCN-NEXT:    ;   Parent Loop BB1_3 Depth=1<br>
-; GCN-NEXT:    ; =>  This Inner Loop Header: Depth=2<br>
+; GCN-NEXT:    s_cbranch_vccnz BB1_5<br>
+; GCN-NEXT:  BB1_3: ; %bb18<br>
+; GCN-NEXT:    ; Parent Loop BB1_2 Depth=1<br>
+; GCN-NEXT:    ; => This Inner Loop Header: Depth=2<br>
 ; GCN-NEXT:    buffer_load_dword v0, off, s[0:3], 0<br>
 ; GCN-NEXT:    s_waitcnt vmcnt(0)<br>
 ; GCN-NEXT:    v_cmp_lt_i32_e32 vcc, 8, v0<br>
 ; GCN-NEXT:    s_and_b64 vcc, exec, vcc<br>
-; GCN-NEXT:    s_cbranch_vccnz BB1_4<br>
-; GCN-NEXT:    ; %bb.5: ; %bb21<br>
-; GCN-NEXT:    ;   in Loop: Header=BB1_3 Depth=1<br>
+; GCN-NEXT:    s_cbranch_vccnz BB1_3<br>
+; GCN-NEXT:  ; %bb.4: ; %bb21<br>
+; GCN-NEXT:    ; in Loop: Header=BB1_2 Depth=1<br>
 ; GCN-NEXT:    buffer_load_dword v0, off, s[0:3], 0<br>
 ; GCN-NEXT:    buffer_load_dword v1, off, s[0:3], 0<br>
 ; GCN-NEXT:    s_waitcnt vmcnt(0)<br>
-; GCN-NEXT:    v_cmp_lt_i32_e64 s[0:1], 8, v1<br>
-; GCN-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
-; GCN-NEXT:    s_cbranch_vccz BB1_3<br>
-; GCN-NEXT:  BB1_6: ; %bb31<br>
+; GCN-NEXT:    v_cmp_gt_i32_e32 vcc, 9, v1<br>
+; GCN-NEXT:    s_and_b64 vcc, exec, vcc<br>
+; GCN-NEXT:    s_cbranch_vccnz BB1_2<br>
+; GCN-NEXT:  BB1_5: ; %bb31<br>
 ; GCN-NEXT:    v_mov_b32_e32 v0, 0<br>
 ; GCN-NEXT:    buffer_store_dword v0, off, s[0:3], 0<br>
 ; GCN-NEXT:    s_endpgm<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/optimize-negated-cond.ll b/llvm/test/CodeGen/AMDGPU/optimize-negated-cond.ll<br>
index fdfb9cd3ab19..2be99267c4e0 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/optimize-negated-cond.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/optimize-negated-cond.ll<br>
@@ -35,19 +35,12 @@ bb4:<br>
 }<br>
<br>
 ; GCN-LABEL: {{^}}negated_cond_dominated_blocks:<br>
-; GCN:   v_cmp_ne_u32_e64 [[CC1:[^,]+]],<br>
-; GCN:   s_branch [[BB1:BB[0-9]+_[0-9]+]]<br>
-; GCN: [[BB0:BB[0-9]+_[0-9]+]]<br>
+; GCN:   v_cmp_eq_u32_e64 [[CC:[^,]+]],<br>
+; GCN: %bb4<br>
 ; GCN-NOT: v_cndmask_b32<br>
 ; GCN-NOT: v_cmp<br>
-; GCN: [[BB1]]:<br>
-; GCN:   s_mov_b64 [[CC2:[^,]+]], -1<br>
-; GCN:   s_mov_b64 vcc, [[CC1]]<br>
-; GCN:   s_cbranch_vccz [[BB2:BB[0-9]+_[0-9]+]]<br>
-; GCN:   s_mov_b64 [[CC2]], 0<br>
-; GCN: [[BB2]]:<br>
-; GCN:   s_andn2_b64 vcc, exec, [[CC2]]<br>
-; GCN:   s_cbranch_vccnz [[BB0]]<br>
+; GCN:   s_andn2_b64 vcc, exec, [[CC]]<br>
+; GCN:   s_cbranch_vccnz BB1_1<br>
 define amdgpu_kernel void @negated_cond_dominated_blocks(i32 addrspace(1)* %arg1) {<br>
 bb:<br>
   br label %bb2<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/salu-to-valu.ll b/llvm/test/CodeGen/AMDGPU/salu-to-valu.ll<br>
index 14635ab7e708..bfdd5c80b269 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/salu-to-valu.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/salu-to-valu.ll<br>
@@ -55,10 +55,10 @@ done:                                             ; preds = %loop<br>
<br>
 ; GCN-LABEL: {{^}}smrd_valu:<br>
 ; SI: s_movk_i32 [[OFFSET:s[0-9]+]], 0x2ee0<br>
+; SI: s_mov_b32<br>
 ; GCN: v_readfirstlane_b32 s[[PTR_LO:[0-9]+]], v{{[0-9]+}}<br>
 ; GCN: v_readfirstlane_b32 s[[PTR_HI:[0-9]+]], v{{[0-9]+}}<br>
-; SI: s_mov_b32<br>
-; SI: s_nop 1<br>
+; SI: s_nop 3<br>
 ; SI: s_load_dword [[OUT:s[0-9]+]], s{{\[}}[[PTR_LO]]:[[PTR_HI]]{{\]}}, [[OFFSET]]<br>
<br>
 ; CI: s_load_dword [[OUT:s[0-9]+]], s{{\[}}[[PTR_LO]]:[[PTR_HI]]{{\]}}, 0xbb8<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/sdiv64.ll b/llvm/test/CodeGen/AMDGPU/sdiv64.ll<br>
index a0f61923cbd1..b066cebe5486 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/sdiv64.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/sdiv64.ll<br>
@@ -144,63 +144,72 @@ define amdgpu_kernel void @s_test_sdiv(i64 addrspace(1)* %out, i64 %x, i64 %y) {<br>
 ; GCN-IR-LABEL: s_test_sdiv:<br>
 ; GCN-IR:       ; %bb.0: ; %_udiv-special-cases<br>
 ; GCN-IR-NEXT:    s_load_dwordx4 s[4:7], s[0:1], 0x9<br>
-; GCN-IR-NEXT:    s_load_dwordx2 s[10:11], s[0:1], 0xd<br>
+; GCN-IR-NEXT:    s_load_dwordx2 s[0:1], s[0:1], 0xd<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; GCN-IR-NEXT:    s_ashr_i32 s2, s7, 31<br>
 ; GCN-IR-NEXT:    s_mov_b32 s3, s2<br>
-; GCN-IR-NEXT:    s_ashr_i32 s8, s11, 31<br>
-; GCN-IR-NEXT:    s_xor_b64 s[0:1], s[2:3], s[6:7]<br>
-; GCN-IR-NEXT:    s_sub_u32 s0, s0, s2<br>
+; GCN-IR-NEXT:    s_ashr_i32 s8, s1, 31<br>
+; GCN-IR-NEXT:    s_xor_b64 s[6:7], s[2:3], s[6:7]<br>
+; GCN-IR-NEXT:    s_sub_u32 s10, s6, s2<br>
 ; GCN-IR-NEXT:    s_mov_b32 s9, s8<br>
-; GCN-IR-NEXT:    s_subb_u32 s1, s1, s2<br>
-; GCN-IR-NEXT:    s_xor_b64 s[6:7], s[8:9], s[10:11]<br>
-; GCN-IR-NEXT:    s_sub_u32 s6, s6, s8<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s14, s6<br>
-; GCN-IR-NEXT:    s_subb_u32 s7, s7, s8<br>
-; GCN-IR-NEXT:    s_add_i32 s14, s14, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s15, s7<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s14<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s14, s0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s15<br>
+; GCN-IR-NEXT:    s_subb_u32 s11, s7, s2<br>
+; GCN-IR-NEXT:    s_xor_b64 s[0:1], s[8:9], s[0:1]<br>
+; GCN-IR-NEXT:    s_sub_u32 s6, s0, s8<br>
+; GCN-IR-NEXT:    s_subb_u32 s7, s1, s8<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[10:11], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[12:13], s[6:7], 0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
-; GCN-IR-NEXT:    s_add_i32 s14, s14, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s15, s1<br>
+; GCN-IR-NEXT:    s_or_b64 s[12:13], s[12:13], s[0:1]<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s10<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s11<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s15<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s14<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s1, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s11, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v3, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[14:15], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[10:11], s[6:7], 0<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[12:13], s[0:1], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_or_b64 s[10:11], s[10:11], s[12:13]<br>
-; GCN-IR-NEXT:    s_or_b64 s[10:11], s[10:11], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[12:13], s[10:11], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[12:13], s[12:13], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[12:13]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, v2, v3<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[12:13], s[12:13], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[12:13], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[12:13]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s10<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[12:13]<br>
+; GCN-IR-NEXT:    s_branch BB0_7<br>
+; GCN-IR-NEXT:  BB0_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v5, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[4:5], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
+; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[10:11], v0<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
 ; GCN-IR-NEXT:    s_cbranch_vccz BB0_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v6, vcc, 1, v4<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v7, vcc, 0, v5, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v4<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[6:7], v[4:5]<br>
-; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[0:1], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB0_6<br>
+; GCN-IR-NEXT:  BB0_4: ; %udiv-preheader<br>
 ; GCN-IR-NEXT:    v_not_b32_e32 v2, v2<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[10:11], v4<br>
 ; GCN-IR-NEXT:    s_add_u32 s10, s6, -1<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[0:1], v6<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
 ; GCN-IR-NEXT:    s_addc_u32 s11, s7, -1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], -1, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB0_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB0_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -225,30 +234,20 @@ define amdgpu_kernel void @s_test_sdiv(i64 addrspace(1)* %out, i64 %x, i64 %y) {<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_3<br>
-; GCN-IR-NEXT:    s_branch BB0_6<br>
-; GCN-IR-NEXT:  BB0_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[10:11]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s0<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[10:11]<br>
-; GCN-IR-NEXT:    s_branch BB0_7<br>
-; GCN-IR-NEXT:  BB0_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB0_6: ; %Flow6<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_5<br>
+; GCN-IR-NEXT:  BB0_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
-; GCN-IR-NEXT:  BB0_7: ; %Flow7<br>
+; GCN-IR-NEXT:  BB0_7: ; %udiv-end<br>
 ; GCN-IR-NEXT:    s_xor_b64 s[0:1], s[8:9], s[2:3]<br>
 ; GCN-IR-NEXT:    v_xor_b32_e32 v0, s0, v0<br>
 ; GCN-IR-NEXT:    v_xor_b32_e32 v1, s1, v1<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v2, s1<br>
 ; GCN-IR-NEXT:    v_subrev_i32_e32 v0, vcc, s0, v0<br>
-; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v1, v2, vcc<br>
 ; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
 ; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
+; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v1, v2, vcc<br>
 ; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %result = sdiv i64 %x, %y<br>
@@ -1007,71 +1006,82 @@ define amdgpu_kernel void @s_test_sdiv24_48(i48 addrspace(1)* %out, i48 %x, i48<br>
 ;<br>
 ; GCN-IR-LABEL: s_test_sdiv24_48:<br>
 ; GCN-IR:       ; %bb.0: ; %_udiv-special-cases<br>
-; GCN-IR-NEXT:    s_load_dwordx2 s[4:5], s[0:1], 0x9<br>
 ; GCN-IR-NEXT:    s_load_dword s2, s[0:1], 0xb<br>
 ; GCN-IR-NEXT:    s_load_dword s3, s[0:1], 0xc<br>
-; GCN-IR-NEXT:    s_load_dword s6, s[0:1], 0xd<br>
-; GCN-IR-NEXT:    s_load_dword s0, s[0:1], 0xe<br>
+; GCN-IR-NEXT:    s_load_dword s4, s[0:1], 0xd<br>
+; GCN-IR-NEXT:    s_load_dword s5, s[0:1], 0xe<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; GCN-IR-NEXT:    s_sext_i32_i16 s3, s3<br>
-; GCN-IR-NEXT:    s_sext_i32_i16 s7, s0<br>
-; GCN-IR-NEXT:    s_ashr_i64 s[0:1], s[2:3], 24<br>
+; GCN-IR-NEXT:    s_ashr_i64 s[8:9], s[2:3], 24<br>
 ; GCN-IR-NEXT:    s_ashr_i32 s2, s3, 31<br>
+; GCN-IR-NEXT:    s_sext_i32_i16 s5, s5<br>
 ; GCN-IR-NEXT:    s_mov_b32 s3, s2<br>
-; GCN-IR-NEXT:    s_ashr_i64 s[8:9], s[6:7], 24<br>
-; GCN-IR-NEXT:    s_ashr_i32 s6, s7, 31<br>
-; GCN-IR-NEXT:    s_xor_b64 s[0:1], s[2:3], s[0:1]<br>
-; GCN-IR-NEXT:    s_sub_u32 s0, s0, s2<br>
+; GCN-IR-NEXT:    s_ashr_i32 s6, s5, 31<br>
+; GCN-IR-NEXT:    s_ashr_i64 s[12:13], s[4:5], 24<br>
+; GCN-IR-NEXT:    s_xor_b64 s[4:5], s[2:3], s[8:9]<br>
+; GCN-IR-NEXT:    s_sub_u32 s10, s4, s2<br>
 ; GCN-IR-NEXT:    s_mov_b32 s7, s6<br>
-; GCN-IR-NEXT:    s_subb_u32 s1, s1, s2<br>
-; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[6:7], s[8:9]<br>
-; GCN-IR-NEXT:    s_sub_u32 s8, s8, s6<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s14, s8<br>
-; GCN-IR-NEXT:    s_subb_u32 s9, s9, s6<br>
-; GCN-IR-NEXT:    s_add_i32 s14, s14, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s15, s9<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s14<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s14, s0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s15<br>
+; GCN-IR-NEXT:    s_subb_u32 s11, s5, s2<br>
+; GCN-IR-NEXT:    s_xor_b64 s[4:5], s[6:7], s[12:13]<br>
+; GCN-IR-NEXT:    s_sub_u32 s8, s4, s6<br>
+; GCN-IR-NEXT:    s_subb_u32 s9, s5, s6<br>
+; GCN-IR-NEXT:    s_load_dwordx2 s[4:5], s[0:1], 0x9<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s8<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s9<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s10<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s9, 0<br>
-; GCN-IR-NEXT:    s_add_i32 s14, s14, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s15, s1<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s11<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s15<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s14<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s1, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s11, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v3, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[14:15], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[10:11], s[8:9], 0<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[12:13], s[0:1], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_or_b64 s[10:11], s[10:11], s[12:13]<br>
-; GCN-IR-NEXT:    s_or_b64 s[10:11], s[10:11], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[12:13], s[10:11], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[12:13], s[12:13], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[12:13]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, v2, v3<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[12:13], s[8:9], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[14:15], s[10:11], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[12:13], s[12:13], s[14:15]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[12:13], s[12:13], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[12:13], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
+; GCN-IR-NEXT:    s_mov_b64 vcc, vcc<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB9_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[12:13]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s10<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[12:13]<br>
+; GCN-IR-NEXT:    s_branch BB9_7<br>
+; GCN-IR-NEXT:  BB9_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v5, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[4:5], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
+; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[10:11], v0<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
 ; GCN-IR-NEXT:    s_cbranch_vccz BB9_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v6, vcc, 1, v4<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v7, vcc, 0, v5, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v4<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[6:7], v[4:5]<br>
-; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[0:1], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB9_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB9_6<br>
+; GCN-IR-NEXT:  BB9_4: ; %udiv-preheader<br>
 ; GCN-IR-NEXT:    v_not_b32_e32 v2, v2<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[10:11], v4<br>
 ; GCN-IR-NEXT:    s_add_u32 s10, s8, -1<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[0:1], v6<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
 ; GCN-IR-NEXT:    s_addc_u32 s11, s9, -1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], -1, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB9_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB9_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -1096,22 +1106,12 @@ define amdgpu_kernel void @s_test_sdiv24_48(i48 addrspace(1)* %out, i48 %x, i48<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB9_3<br>
-; GCN-IR-NEXT:    s_branch BB9_6<br>
-; GCN-IR-NEXT:  BB9_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[10:11]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s0<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[10:11]<br>
-; GCN-IR-NEXT:    s_branch BB9_7<br>
-; GCN-IR-NEXT:  BB9_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB9_6: ; %Flow3<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB9_5<br>
+; GCN-IR-NEXT:  BB9_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
-; GCN-IR-NEXT:  BB9_7: ; %Flow4<br>
+; GCN-IR-NEXT:  BB9_7: ; %udiv-end<br>
 ; GCN-IR-NEXT:    s_xor_b64 s[0:1], s[6:7], s[2:3]<br>
 ; GCN-IR-NEXT:    v_xor_b32_e32 v0, s0, v0<br>
 ; GCN-IR-NEXT:    v_xor_b32_e32 v1, s1, v1<br>
@@ -1262,56 +1262,64 @@ define amdgpu_kernel void @s_test_sdiv_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    s_ashr_i32 s2, s7, 31<br>
 ; GCN-IR-NEXT:    s_mov_b32 s3, s2<br>
 ; GCN-IR-NEXT:    s_xor_b64 s[0:1], s[2:3], s[6:7]<br>
-; GCN-IR-NEXT:    s_sub_u32 s6, s0, s2<br>
-; GCN-IR-NEXT:    s_subb_u32 s7, s1, s2<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s8, s6<br>
-; GCN-IR-NEXT:    s_add_i32 s8, s8, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s9, s7<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s9<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s8<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
+; GCN-IR-NEXT:    s_sub_u32 s8, s0, s2<br>
+; GCN-IR-NEXT:    s_subb_u32 s9, s1, s2<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s8<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s9<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s9, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 0xffffffc5, v2<br>
-; GCN-IR-NEXT:    v_addc_u32_e64 v4, s[8:9], 0, -1, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[6:7], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[8:9], s[8:9], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[8:9]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB10_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v5, vcc, 1, v3<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v6, vcc, 0, v4, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v3<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[5:6], v[3:4]<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v0, vcc, 0xffffffc5, v2<br>
+; GCN-IR-NEXT:    v_addc_u32_e64 v1, s[0:1], 0, -1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[10:11], s[8:9], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[10:11], s[10:11], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[10:11], s[0:1]<br>
+; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB10_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, 0<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, 24, 0, s[10:11]<br>
+; GCN-IR-NEXT:    s_branch BB10_7<br>
+; GCN-IR-NEXT:  BB10_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v4, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[3:4], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], 24, v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB10_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
-; GCN-IR-NEXT:    s_add_u32 s8, s6, -1<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], 24, v5<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB10_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB10_6<br>
+; GCN-IR-NEXT:  BB10_4: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    s_add_u32 s7, s8, -1<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], 24, v3<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, 58, v2<br>
-; GCN-IR-NEXT:    s_addc_u32 s9, s7, -1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
+; GCN-IR-NEXT:    s_addc_u32 s10, s9, -1<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[0:1], 0, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB10_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB10_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v6, v6, v2<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v8, v0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, s9<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s8, v6<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, s10<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s7, v6<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v2, vcc, v2, v7, vcc<br>
 ; GCN-IR-NEXT:    v_ashrrev_i32_e32 v8, 31, v2<br>
-; GCN-IR-NEXT:    v_and_b32_e32 v10, s6, v8<br>
+; GCN-IR-NEXT:    v_and_b32_e32 v10, s8, v8<br>
 ; GCN-IR-NEXT:    v_and_b32_e32 v2, 1, v8<br>
-; GCN-IR-NEXT:    v_and_b32_e32 v11, s7, v8<br>
+; GCN-IR-NEXT:    v_and_b32_e32 v11, s9, v8<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v8, vcc, 1, v4<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v9, v1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e32 v9, vcc, 0, v5, vcc<br>
@@ -1323,16 +1331,8 @@ define amdgpu_kernel void @s_test_sdiv_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB10_3<br>
-; GCN-IR-NEXT:    s_branch BB10_6<br>
-; GCN-IR-NEXT:  BB10_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, 0<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, 24, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB10_7<br>
-; GCN-IR-NEXT:  BB10_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB10_6: ; %Flow5<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB10_5<br>
+; GCN-IR-NEXT:  BB10_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -1341,9 +1341,8 @@ define amdgpu_kernel void @s_test_sdiv_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_xor_b32_e32 v1, s3, v1<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v2, s3<br>
 ; GCN-IR-NEXT:    v_subrev_i32_e32 v0, vcc, s2, v0<br>
-; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v1, v2, vcc<br>
 ; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
-; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
+; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v1, v2, vcc<br>
 ; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %result = sdiv i64 24, %x<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/setcc.ll b/llvm/test/CodeGen/AMDGPU/setcc.ll<br>
index 91fec72cab51..a259784bc278 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/setcc.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/setcc.ll<br>
@@ -397,9 +397,9 @@ endif:<br>
 }<br>
<br>
 ; FUNC-LABEL: setcc-i1-and-xor<br>
-; GCN-DAG: v_cmp_ge_f32_e64 [[A:s\[[0-9]+:[0-9]+\]]], s{{[0-9]+}}, 0{{$}}<br>
-; GCN-DAG: v_cmp_le_f32_e64 [[B:s\[[0-9]+:[0-9]+\]]], s{{[0-9]+}}, 1.0<br>
-; GCN: s_and_b64 s[2:3], [[A]], [[B]]<br>
+; GCN-DAG: v_cmp_nge_f32_e64 [[A:s\[[0-9]+:[0-9]+\]]], s{{[0-9]+}}, 0{{$}}<br>
+; GCN-DAG: v_cmp_nle_f32_e64 [[B:s\[[0-9]+:[0-9]+\]]], s{{[0-9]+}}, 1.0<br>
+; GCN: s_or_b64 s[2:3], [[A]], [[B]]<br>
 define amdgpu_kernel void @setcc-i1-and-xor(i32 addrspace(1)* %out, float %cond) #0 {<br>
 bb0:<br>
   %tmp5 = fcmp oge float %cond, 0.000000e+00<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/sgpr-control-flow.ll b/llvm/test/CodeGen/AMDGPU/sgpr-control-flow.ll<br>
index 11dc48ca8aa9..e4d73e498cce 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/sgpr-control-flow.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/sgpr-control-flow.ll<br>
@@ -19,18 +19,10 @@ define amdgpu_kernel void @sgpr_if_else_salu_br(i32 addrspace(1)* %out, i32 %a,<br>
 ; SI-NEXT:    s_cbranch_scc0 BB0_2<br>
 ; SI-NEXT:  ; %bb.1: ; %else<br>
 ; SI-NEXT:    s_add_i32 s0, s11, s0<br>
-; SI-NEXT:    s_mov_b64 s[2:3], 0<br>
-; SI-NEXT:    s_andn2_b64 vcc, exec, s[2:3]<br>
-; SI-NEXT:    s_cbranch_vccz BB0_3<br>
-; SI-NEXT:    s_branch BB0_4<br>
-; SI-NEXT:  BB0_2:<br>
-; SI-NEXT:    s_mov_b64 s[2:3], -1<br>
-; SI-NEXT:    ; implicit-def: $sgpr0<br>
-; SI-NEXT:    s_andn2_b64 vcc, exec, s[2:3]<br>
-; SI-NEXT:    s_cbranch_vccnz BB0_4<br>
-; SI-NEXT:  BB0_3: ; %if<br>
+; SI-NEXT:    s_branch BB0_3<br>
+; SI-NEXT:  BB0_2: ; %if<br>
 ; SI-NEXT:    s_sub_i32 s0, s9, s10<br>
-; SI-NEXT:  BB0_4: ; %endif<br>
+; SI-NEXT:  BB0_3: ; %endif<br>
 ; SI-NEXT:    s_add_i32 s0, s0, s8<br>
 ; SI-NEXT:    s_mov_b32 s7, 0xf000<br>
 ; SI-NEXT:    s_mov_b32 s6, -1<br>
@@ -66,25 +58,15 @@ define amdgpu_kernel void @sgpr_if_else_salu_br_opt(i32 addrspace(1)* %out, [8 x<br>
 ; SI-NEXT:    s_cbranch_scc0 BB1_2<br>
 ; SI-NEXT:  ; %bb.1: ; %else<br>
 ; SI-NEXT:    s_load_dword s3, s[0:1], 0x2e<br>
-; SI-NEXT:    s_load_dword s6, s[0:1], 0x37<br>
-; SI-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; SI-NEXT:    s_add_i32 s3, s3, s6<br>
-; SI-NEXT:    s_mov_b64 s[6:7], 0<br>
-; SI-NEXT:    s_andn2_b64 vcc, exec, s[6:7]<br>
-; SI-NEXT:    s_cbranch_vccz BB1_3<br>
-; SI-NEXT:    s_branch BB1_4<br>
-; SI-NEXT:  BB1_2:<br>
-; SI-NEXT:    s_mov_b64 s[6:7], -1<br>
-; SI-NEXT:    ; implicit-def: $sgpr3<br>
-; SI-NEXT:    s_andn2_b64 vcc, exec, s[6:7]<br>
-; SI-NEXT:    s_cbranch_vccnz BB1_4<br>
-; SI-NEXT:  BB1_3: ; %if<br>
+; SI-NEXT:    s_load_dword s0, s[0:1], 0x37<br>
+; SI-NEXT:    s_branch BB1_3<br>
+; SI-NEXT:  BB1_2: ; %if<br>
 ; SI-NEXT:    s_load_dword s3, s[0:1], 0x1c<br>
 ; SI-NEXT:    s_load_dword s0, s[0:1], 0x25<br>
+; SI-NEXT:  BB1_3: ; %endif<br>
 ; SI-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; SI-NEXT:    s_add_i32 s3, s3, s0<br>
-; SI-NEXT:  BB1_4: ; %endif<br>
-; SI-NEXT:    s_add_i32 s0, s3, s2<br>
+; SI-NEXT:    s_add_i32 s0, s3, s0<br>
+; SI-NEXT:    s_add_i32 s0, s0, s2<br>
 ; SI-NEXT:    s_mov_b32 s7, 0xf000<br>
 ; SI-NEXT:    s_mov_b32 s6, -1<br>
 ; SI-NEXT:    v_mov_b32_e32 v0, s0<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/sgpr-copy.ll b/llvm/test/CodeGen/AMDGPU/sgpr-copy.ll<br>
index 19a66082ad3d..d1e5c389e69d 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/sgpr-copy.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/sgpr-copy.ll<br>
@@ -211,14 +211,14 @@ ENDIF:                                            ; preds = %LOOP<br>
 ; an assertion failure.<br>
<br>
 ; CHECK-LABEL: {{^}}sample_v3:<br>
-; CHECK: v_mov_b32_e32 v[[SAMPLE_LO:[0-9]+]], 5<br>
-; CHECK: v_mov_b32_e32 v[[SAMPLE_HI:[0-9]+]], 7<br>
+; CHECK: v_mov_b32_e32 v[[SAMPLE_LO:[0-9]+]], 11<br>
+; CHECK: v_mov_b32_e32 v[[SAMPLE_HI:[0-9]+]], 13<br>
 ; CHECK: s_branch<br>
<br>
-; CHECK: BB{{[0-9]+_[0-9]+}}:<br>
-; CHECK-DAG: v_mov_b32_e32 v[[SAMPLE_LO:[0-9]+]], 11<br>
-; CHECK-DAG: v_mov_b32_e32 v[[SAMPLE_HI:[0-9]+]], 13<br>
+; CHECK-DAG: v_mov_b32_e32 v[[SAMPLE_LO:[0-9]+]], 5<br>
+; CHECK-DAG: v_mov_b32_e32 v[[SAMPLE_HI:[0-9]+]], 7<br>
<br>
+; CHECK: BB{{[0-9]+_[0-9]+}}:<br>
 ; CHECK: image_sample v{{\[[0-9]+:[0-9]+\]}}, v{{\[}}[[SAMPLE_LO]]:[[SAMPLE_HI]]{{\]}}<br>
 ; CHECK: exp<br>
 ; CHECK: s_endpgm<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/si-annotate-cf.ll b/llvm/test/CodeGen/AMDGPU/si-annotate-cf.ll<br>
index fd3d3857404f..faf6ca4cbcb2 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/si-annotate-cf.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/si-annotate-cf.ll<br>
@@ -200,10 +200,10 @@ define amdgpu_kernel void @loop_land_info_assert(i32 %c0, i32 %c1, i32 %c2, i32<br>
 ; SI-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; SI-NEXT:    s_cbranch_vccz BB3_8<br>
 ; SI-NEXT:  ; %bb.6: ; %for.body<br>
-; SI-NEXT:    s_and_b64 vcc, exec, 0<br>
+; SI-NEXT:    s_and_b64 vcc, exec, -1<br>
 ; SI-NEXT:  BB3_7: ; %self.loop<br>
 ; SI-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
-; SI-NEXT:    s_cbranch_vccz BB3_7<br>
+; SI-NEXT:    s_cbranch_vccnz BB3_7<br>
 ; SI-NEXT:  BB3_8: ; %DummyReturnBlock<br>
 ; SI-NEXT:    s_endpgm<br>
 ;<br>
@@ -246,10 +246,10 @@ define amdgpu_kernel void @loop_land_info_assert(i32 %c0, i32 %c1, i32 %c2, i32<br>
 ; FLAT-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; FLAT-NEXT:    s_cbranch_vccz BB3_8<br>
 ; FLAT-NEXT:  ; %bb.6: ; %for.body<br>
-; FLAT-NEXT:    s_and_b64 vcc, exec, 0<br>
+; FLAT-NEXT:    s_and_b64 vcc, exec, -1<br>
 ; FLAT-NEXT:  BB3_7: ; %self.loop<br>
 ; FLAT-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
-; FLAT-NEXT:    s_cbranch_vccz BB3_7<br>
+; FLAT-NEXT:    s_cbranch_vccnz BB3_7<br>
 ; FLAT-NEXT:  BB3_8: ; %DummyReturnBlock<br>
 ; FLAT-NEXT:    s_endpgm<br>
 entry:<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/srem64.ll b/llvm/test/CodeGen/AMDGPU/srem64.ll<br>
index b8bb72480f4d..97a6c3757b0b 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/srem64.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/srem64.ll<br>
@@ -130,50 +130,59 @@ define amdgpu_kernel void @s_test_srem(i64 addrspace(1)* %out, i64 %x, i64 %y) {<br>
 ; GCN-IR-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0xd<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[8:9], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[2:3], 0<br>
 ; GCN-IR-NEXT:    s_flbit_i32_b32 s10, s2<br>
-; GCN-IR-NEXT:    s_add_i32 s10, s10, 32<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[0:1], s[8:9]<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
 ; GCN-IR-NEXT:    s_flbit_i32_b32 s11, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s10<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s10, s6<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s3, 0<br>
 ; GCN-IR-NEXT:    s_add_i32 s10, s10, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s11, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v1, s10<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s3, 0<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v3, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[2:3], 0<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[10:11], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], s[8:9]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[8:9], s[8:9], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[8:9]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v6, vcc, 1, v4<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v7, vcc, 0, v5, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v4<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[6:7], v[4:5]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, v2, v3<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[8:9], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[8:9], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[8:9]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[8:9]<br>
+; GCN-IR-NEXT:    s_branch BB0_7<br>
+; GCN-IR-NEXT:  BB0_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v5, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[4:5], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[6:7], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB0_6<br>
+; GCN-IR-NEXT:  BB0_4: ; %udiv-preheader<br>
 ; GCN-IR-NEXT:    v_not_b32_e32 v2, v2<br>
 ; GCN-IR-NEXT:    s_add_u32 s8, s2, -1<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v4<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v6<br>
 ; GCN-IR-NEXT:    s_addc_u32 s9, s3, -1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], -1, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB0_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB0_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -198,18 +207,8 @@ define amdgpu_kernel void @s_test_srem(i64 addrspace(1)* %out, i64 %x, i64 %y) {<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_3<br>
-; GCN-IR-NEXT:    s_branch BB0_6<br>
-; GCN-IR-NEXT:  BB0_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB0_7<br>
-; GCN-IR-NEXT:  BB0_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB0_6: ; %Flow6<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_5<br>
+; GCN-IR-NEXT:  BB0_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -218,14 +217,16 @@ define amdgpu_kernel void @s_test_srem(i64 addrspace(1)* %out, i64 %x, i64 %y) {<br>
 ; GCN-IR-NEXT:    v_mul_hi_u32 v2, s2, v0<br>
 ; GCN-IR-NEXT:    v_mul_lo_u32 v3, s3, v0<br>
 ; GCN-IR-NEXT:    v_mul_lo_u32 v0, s2, v0<br>
+; GCN-IR-NEXT:    s_mov_b32 s11, 0xf000<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v2, v1<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v1, v3<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v2, s7<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, s6, v0<br>
+; GCN-IR-NEXT:    s_mov_b32 s10, -1<br>
+; GCN-IR-NEXT:    s_mov_b32 s8, s4<br>
+; GCN-IR-NEXT:    s_mov_b32 s9, s5<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v2, v1, vcc<br>
-; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
-; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
-; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
+; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %result = urem i64 %x, %y<br>
   store i64 %result, i64 addrspace(1)* %out<br>
@@ -1026,73 +1027,82 @@ define amdgpu_kernel void @s_test_srem33_64(i64 addrspace(1)* %out, i64 %x, i64<br>
 ; GCN-IR-NEXT:    s_ashr_i32 s2, s7, 31<br>
 ; GCN-IR-NEXT:    s_ashr_i64 s[10:11], s[0:1], 31<br>
 ; GCN-IR-NEXT:    s_ashr_i32 s0, s1, 31<br>
+; GCN-IR-NEXT:    s_mov_b32 s1, s0<br>
 ; GCN-IR-NEXT:    s_ashr_i64 s[8:9], s[6:7], 31<br>
 ; GCN-IR-NEXT:    s_mov_b32 s3, s2<br>
-; GCN-IR-NEXT:    s_mov_b32 s1, s0<br>
 ; GCN-IR-NEXT:    s_xor_b64 s[6:7], s[8:9], s[2:3]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[10:11], s[0:1]<br>
-; GCN-IR-NEXT:    s_sub_u32 s6, s6, s2<br>
-; GCN-IR-NEXT:    s_subb_u32 s7, s7, s2<br>
-; GCN-IR-NEXT:    s_sub_u32 s8, s8, s0<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s12, s8<br>
-; GCN-IR-NEXT:    s_subb_u32 s9, s9, s0<br>
-; GCN-IR-NEXT:    s_add_i32 s12, s12, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s13, s9<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s12<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s12, s6<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s13<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s9, 0<br>
-; GCN-IR-NEXT:    s_add_i32 s12, s12, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s13, s7<br>
+; GCN-IR-NEXT:    s_xor_b64 s[10:11], s[10:11], s[0:1]<br>
+; GCN-IR-NEXT:    s_sub_u32 s8, s6, s2<br>
+; GCN-IR-NEXT:    s_subb_u32 s9, s7, s2<br>
+; GCN-IR-NEXT:    s_sub_u32 s10, s10, s0<br>
+; GCN-IR-NEXT:    s_subb_u32 s11, s11, s0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[10:11], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[6:7], s[8:9], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s11, 0<br>
+; GCN-IR-NEXT:    s_or_b64 s[6:7], s[0:1], s[6:7]<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s10<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s11<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s8<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s9<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s13<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s12<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s9, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v3, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[12:13], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[8:9], 0<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[10:11], s[6:7], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], s[10:11]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[10:11], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[10:11], s[10:11], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[10:11]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, v2, v3<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[6:7], s[6:7], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[6:7], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB8_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s9<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[6:7]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s8<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[6:7]<br>
+; GCN-IR-NEXT:    s_branch BB8_7<br>
+; GCN-IR-NEXT:  BB8_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v5, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[4:5], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
+; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[8:9], v0<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
 ; GCN-IR-NEXT:    s_cbranch_vccz BB8_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v6, vcc, 1, v4<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v7, vcc, 0, v5, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v4<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[6:7], v[4:5]<br>
-; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[6:7], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB8_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB8_6<br>
+; GCN-IR-NEXT:  BB8_4: ; %udiv-preheader<br>
 ; GCN-IR-NEXT:    v_not_b32_e32 v2, v2<br>
-; GCN-IR-NEXT:    s_add_u32 s10, s8, -1<br>
+; GCN-IR-NEXT:    s_add_u32 s6, s10, -1<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[8:9], v4<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v6<br>
-; GCN-IR-NEXT:    s_addc_u32 s11, s9, -1<br>
+; GCN-IR-NEXT:    s_addc_u32 s7, s11, -1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], -1, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB8_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB8_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v6, v6, v2<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v8, v0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, s11<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s10, v6<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, s7<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s6, v6<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v2, vcc, v2, v7, vcc<br>
 ; GCN-IR-NEXT:    v_ashrrev_i32_e32 v8, 31, v2<br>
-; GCN-IR-NEXT:    v_and_b32_e32 v10, s8, v8<br>
+; GCN-IR-NEXT:    v_and_b32_e32 v10, s10, v8<br>
 ; GCN-IR-NEXT:    v_and_b32_e32 v2, 1, v8<br>
-; GCN-IR-NEXT:    v_and_b32_e32 v11, s9, v8<br>
+; GCN-IR-NEXT:    v_and_b32_e32 v11, s11, v8<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v8, vcc, 1, v4<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v9, v1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e32 v9, vcc, 0, v5, vcc<br>
@@ -1104,38 +1114,28 @@ define amdgpu_kernel void @s_test_srem33_64(i64 addrspace(1)* %out, i64 %x, i64<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB8_3<br>
-; GCN-IR-NEXT:    s_branch BB8_6<br>
-; GCN-IR-NEXT:  BB8_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB8_7<br>
-; GCN-IR-NEXT:  BB8_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB8_6: ; %Flow6<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB8_5<br>
+; GCN-IR-NEXT:  BB8_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
 ; GCN-IR-NEXT:  BB8_7: ; %udiv-end<br>
-; GCN-IR-NEXT:    v_mul_lo_u32 v1, s8, v1<br>
-; GCN-IR-NEXT:    v_mul_hi_u32 v2, s8, v0<br>
-; GCN-IR-NEXT:    v_mul_lo_u32 v3, s9, v0<br>
-; GCN-IR-NEXT:    v_mul_lo_u32 v0, s8, v0<br>
+; GCN-IR-NEXT:    v_mul_lo_u32 v1, s10, v1<br>
+; GCN-IR-NEXT:    v_mul_hi_u32 v2, s10, v0<br>
+; GCN-IR-NEXT:    v_mul_lo_u32 v3, s11, v0<br>
+; GCN-IR-NEXT:    v_mul_lo_u32 v0, s10, v0<br>
+; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v2, v1<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v1, v3<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, s6, v0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, s7<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, s8, v0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, s9<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v2, v1, vcc<br>
 ; GCN-IR-NEXT:    v_xor_b32_e32 v0, s2, v0<br>
 ; GCN-IR-NEXT:    v_xor_b32_e32 v1, s3, v1<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v2, s3<br>
 ; GCN-IR-NEXT:    v_subrev_i32_e32 v0, vcc, s2, v0<br>
-; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v1, v2, vcc<br>
-; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
 ; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
+; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v1, v2, vcc<br>
 ; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %1 = ashr i64 %x, 31<br>
@@ -1185,71 +1185,82 @@ define amdgpu_kernel void @s_test_srem24_48(i48 addrspace(1)* %out, i48 %x, i48<br>
 ;<br>
 ; GCN-IR-LABEL: s_test_srem24_48:<br>
 ; GCN-IR:       ; %bb.0: ; %_udiv-special-cases<br>
-; GCN-IR-NEXT:    s_load_dwordx2 s[4:5], s[0:1], 0x9<br>
 ; GCN-IR-NEXT:    s_load_dword s2, s[0:1], 0xb<br>
 ; GCN-IR-NEXT:    s_load_dword s3, s[0:1], 0xc<br>
-; GCN-IR-NEXT:    s_load_dword s6, s[0:1], 0xd<br>
-; GCN-IR-NEXT:    s_load_dword s0, s[0:1], 0xe<br>
+; GCN-IR-NEXT:    s_load_dword s4, s[0:1], 0xd<br>
+; GCN-IR-NEXT:    s_load_dword s5, s[0:1], 0xe<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; GCN-IR-NEXT:    s_sext_i32_i16 s3, s3<br>
-; GCN-IR-NEXT:    s_sext_i32_i16 s7, s0<br>
-; GCN-IR-NEXT:    s_ashr_i64 s[0:1], s[2:3], 24<br>
+; GCN-IR-NEXT:    s_ashr_i64 s[6:7], s[2:3], 24<br>
+; GCN-IR-NEXT:    s_sext_i32_i16 s5, s5<br>
 ; GCN-IR-NEXT:    s_ashr_i32 s2, s3, 31<br>
-; GCN-IR-NEXT:    s_ashr_i32 s10, s7, 31<br>
+; GCN-IR-NEXT:    s_ashr_i64 s[8:9], s[4:5], 24<br>
+; GCN-IR-NEXT:    s_ashr_i32 s4, s5, 31<br>
 ; GCN-IR-NEXT:    s_mov_b32 s3, s2<br>
-; GCN-IR-NEXT:    s_ashr_i64 s[8:9], s[6:7], 24<br>
-; GCN-IR-NEXT:    s_mov_b32 s11, s10<br>
-; GCN-IR-NEXT:    s_xor_b64 s[0:1], s[0:1], s[2:3]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[8:9], s[10:11]<br>
-; GCN-IR-NEXT:    s_sub_u32 s6, s0, s2<br>
-; GCN-IR-NEXT:    s_subb_u32 s7, s1, s2<br>
-; GCN-IR-NEXT:    s_sub_u32 s8, s8, s10<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s12, s8<br>
-; GCN-IR-NEXT:    s_subb_u32 s9, s9, s10<br>
-; GCN-IR-NEXT:    s_add_i32 s12, s12, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s13, s9<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s12<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s12, s6<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s13<br>
+; GCN-IR-NEXT:    s_mov_b32 s5, s4<br>
+; GCN-IR-NEXT:    s_xor_b64 s[6:7], s[6:7], s[2:3]<br>
+; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[8:9], s[4:5]<br>
+; GCN-IR-NEXT:    s_sub_u32 s6, s6, s2<br>
+; GCN-IR-NEXT:    s_subb_u32 s7, s7, s2<br>
+; GCN-IR-NEXT:    s_sub_u32 s8, s8, s4<br>
+; GCN-IR-NEXT:    s_subb_u32 s9, s9, s4<br>
+; GCN-IR-NEXT:    s_load_dwordx2 s[4:5], s[0:1], 0x9<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s8<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s9<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s9, 0<br>
-; GCN-IR-NEXT:    s_add_i32 s12, s12, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s13, s7<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s13<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s12<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v3, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[12:13], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[8:9], 0<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[10:11], s[6:7], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], s[10:11]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[10:11], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[10:11], s[10:11], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[10:11]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB9_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v6, vcc, 1, v4<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v7, vcc, 0, v5, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v4<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[6:7], v[4:5]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, v2, v3<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[10:11], s[8:9], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[12:13], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[10:11], s[10:11], s[12:13]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[10:11], s[10:11], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[10:11], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
+; GCN-IR-NEXT:    s_mov_b64 vcc, vcc<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB9_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[10:11]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[10:11]<br>
+; GCN-IR-NEXT:    s_branch BB9_7<br>
+; GCN-IR-NEXT:  BB9_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v5, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[4:5], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[6:7], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB9_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB9_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB9_6<br>
+; GCN-IR-NEXT:  BB9_4: ; %udiv-preheader<br>
 ; GCN-IR-NEXT:    v_not_b32_e32 v2, v2<br>
 ; GCN-IR-NEXT:    s_add_u32 s10, s8, -1<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v4<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v6<br>
 ; GCN-IR-NEXT:    s_addc_u32 s11, s9, -1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], -1, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB9_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB9_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -1274,18 +1285,8 @@ define amdgpu_kernel void @s_test_srem24_48(i48 addrspace(1)* %out, i48 %x, i48<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB9_3<br>
-; GCN-IR-NEXT:    s_branch BB9_6<br>
-; GCN-IR-NEXT:  BB9_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB9_7<br>
-; GCN-IR-NEXT:  BB9_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB9_6: ; %Flow3<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB9_5<br>
+; GCN-IR-NEXT:  BB9_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -1444,49 +1445,57 @@ define amdgpu_kernel void @s_test_srem_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    s_xor_b64 s[2:3], s[6:7], s[0:1]<br>
 ; GCN-IR-NEXT:    s_sub_u32 s2, s2, s0<br>
 ; GCN-IR-NEXT:    s_subb_u32 s3, s3, s0<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s6, s2<br>
-; GCN-IR-NEXT:    s_add_i32 s6, s6, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s7, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s6<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s2<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s3<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s3, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 0xffffffc5, v2<br>
-; GCN-IR-NEXT:    v_addc_u32_e64 v4, s[6:7], 0, -1, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[2:3], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[6:7], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[6:7], s[6:7], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[6:7]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB10_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v5, vcc, 1, v3<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v6, vcc, 0, v4, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v3<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[5:6], v[3:4]<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v0, vcc, 0xffffffc5, v2<br>
+; GCN-IR-NEXT:    v_addc_u32_e64 v1, s[0:1], 0, -1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[8:9], s[2:3], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[8:9], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[8:9], s[0:1]<br>
+; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB10_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, 0<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, 24, 0, s[8:9]<br>
+; GCN-IR-NEXT:    s_branch BB10_7<br>
+; GCN-IR-NEXT:  BB10_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v4, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[3:4], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], 24, v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB10_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
-; GCN-IR-NEXT:    s_add_u32 s6, s2, -1<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], 24, v5<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB10_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB10_6<br>
+; GCN-IR-NEXT:  BB10_4: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    s_add_u32 s7, s2, -1<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], 24, v3<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, 58, v2<br>
-; GCN-IR-NEXT:    s_addc_u32 s7, s3, -1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
+; GCN-IR-NEXT:    s_addc_u32 s8, s3, -1<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[0:1], 0, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB10_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB10_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v6, v6, v2<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v8, v0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, s7<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s6, v6<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, s8<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s7, v6<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v2, vcc, v2, v7, vcc<br>
 ; GCN-IR-NEXT:    v_ashrrev_i32_e32 v8, 31, v2<br>
 ; GCN-IR-NEXT:    v_and_b32_e32 v10, s2, v8<br>
@@ -1503,16 +1512,8 @@ define amdgpu_kernel void @s_test_srem_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB10_3<br>
-; GCN-IR-NEXT:    s_branch BB10_6<br>
-; GCN-IR-NEXT:  BB10_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, 0<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, 24, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB10_7<br>
-; GCN-IR-NEXT:  BB10_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB10_6: ; %Flow5<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB10_5<br>
+; GCN-IR-NEXT:  BB10_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -1526,7 +1527,6 @@ define amdgpu_kernel void @s_test_srem_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v1, v3<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 24, v0<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, 0, v1, vcc<br>
-; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
 ; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %result = srem i64 24, %x<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/udiv64.ll b/llvm/test/CodeGen/AMDGPU/udiv64.ll<br>
index ac0c6a032658..7a4065eeac46 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/udiv64.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/udiv64.ll<br>
@@ -131,50 +131,59 @@ define amdgpu_kernel void @s_test_udiv_i64(i64 addrspace(1)* %out, i64 %x, i64 %<br>
 ; GCN-IR-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0xd<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[8:9], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[2:3], 0<br>
 ; GCN-IR-NEXT:    s_flbit_i32_b32 s10, s2<br>
-; GCN-IR-NEXT:    s_add_i32 s10, s10, 32<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[0:1], s[8:9]<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
 ; GCN-IR-NEXT:    s_flbit_i32_b32 s11, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s10<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s10, s6<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s3, 0<br>
 ; GCN-IR-NEXT:    s_add_i32 s10, s10, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s11, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v1, s10<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s3, 0<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v3, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[2:3], 0<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[10:11], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], s[8:9]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[8:9], s[8:9], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[8:9]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v6, vcc, 1, v4<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v7, vcc, 0, v5, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v4<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[6:7], v[4:5]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, v2, v3<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[8:9], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[8:9], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[8:9]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[8:9]<br>
+; GCN-IR-NEXT:    s_branch BB0_7<br>
+; GCN-IR-NEXT:  BB0_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v5, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[4:5], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[6:7], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB0_6<br>
+; GCN-IR-NEXT:  BB0_4: ; %udiv-preheader<br>
 ; GCN-IR-NEXT:    v_not_b32_e32 v2, v2<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v6<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v4<br>
 ; GCN-IR-NEXT:    s_add_u32 s6, s2, -1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
 ; GCN-IR-NEXT:    s_addc_u32 s7, s3, -1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], -1, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB0_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB0_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -199,18 +208,8 @@ define amdgpu_kernel void @s_test_udiv_i64(i64 addrspace(1)* %out, i64 %x, i64 %<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_3<br>
-; GCN-IR-NEXT:    s_branch BB0_6<br>
-; GCN-IR-NEXT:  BB0_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB0_7<br>
-; GCN-IR-NEXT:  BB0_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB0_6: ; %Flow6<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_5<br>
+; GCN-IR-NEXT:  BB0_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -826,65 +825,76 @@ define amdgpu_kernel void @s_test_udiv24_i48(i48 addrspace(1)* %out, i48 %x, i48<br>
 ;<br>
 ; GCN-IR-LABEL: s_test_udiv24_i48:<br>
 ; GCN-IR:       ; %bb.0: ; %_udiv-special-cases<br>
-; GCN-IR-NEXT:    s_load_dwordx2 s[4:5], s[0:1], 0x9<br>
 ; GCN-IR-NEXT:    s_load_dword s2, s[0:1], 0xb<br>
 ; GCN-IR-NEXT:    s_load_dword s3, s[0:1], 0xc<br>
 ; GCN-IR-NEXT:    s_load_dword s6, s[0:1], 0xd<br>
-; GCN-IR-NEXT:    s_load_dword s7, s[0:1], 0xe<br>
-; GCN-IR-NEXT:    s_mov_b32 s8, 0xffff<br>
-; GCN-IR-NEXT:    s_mov_b32 s9, 0xff000000<br>
+; GCN-IR-NEXT:    s_load_dword s5, s[0:1], 0xe<br>
+; GCN-IR-NEXT:    s_mov_b32 s4, 0xffff<br>
+; GCN-IR-NEXT:    s_mov_b32 s7, 0xff000000<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; GCN-IR-NEXT:    s_and_b32 s1, s3, s8<br>
-; GCN-IR-NEXT:    s_and_b32 s0, s2, s9<br>
-; GCN-IR-NEXT:    s_and_b32 s3, s7, s8<br>
-; GCN-IR-NEXT:    s_and_b32 s2, s6, s9<br>
-; GCN-IR-NEXT:    s_lshr_b64 s[2:3], s[2:3], 24<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s10, s2<br>
-; GCN-IR-NEXT:    s_lshr_b64 s[0:1], s[0:1], 24<br>
-; GCN-IR-NEXT:    s_add_i32 s10, s10, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s11, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s10<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s10, s0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
+; GCN-IR-NEXT:    s_and_b32 s3, s3, s4<br>
+; GCN-IR-NEXT:    s_and_b32 s2, s2, s7<br>
+; GCN-IR-NEXT:    s_and_b32 s5, s5, s4<br>
+; GCN-IR-NEXT:    s_and_b32 s4, s6, s7<br>
+; GCN-IR-NEXT:    s_lshr_b64 s[6:7], s[2:3], 24<br>
+; GCN-IR-NEXT:    s_lshr_b64 s[2:3], s[4:5], 24<br>
+; GCN-IR-NEXT:    s_load_dwordx2 s[4:5], s[0:1], 0x9<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s2<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s3<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s3, 0<br>
-; GCN-IR-NEXT:    s_add_i32 s10, s10, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s11, s1<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s10<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s1, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v3, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[10:11], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[6:7], s[2:3], 0<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[8:9], s[0:1], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_or_b64 s[6:7], s[6:7], s[8:9]<br>
-; GCN-IR-NEXT:    s_or_b64 s[6:7], s[6:7], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[6:7], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[8:9], s[8:9], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[8:9]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, v2, v3<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[8:9], s[2:3], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[10:11], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[8:9], s[10:11]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[8:9], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[8:9], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
+; GCN-IR-NEXT:    s_mov_b64 vcc, vcc<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB7_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[8:9]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[8:9]<br>
+; GCN-IR-NEXT:    s_branch BB7_7<br>
+; GCN-IR-NEXT:  BB7_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v5, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[4:5], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
+; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[6:7], v0<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
 ; GCN-IR-NEXT:    s_cbranch_vccz BB7_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v6, vcc, 1, v4<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v7, vcc, 0, v5, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v4<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[6:7], v[4:5]<br>
-; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[0:1], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB7_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB7_6<br>
+; GCN-IR-NEXT:  BB7_4: ; %udiv-preheader<br>
 ; GCN-IR-NEXT:    v_not_b32_e32 v2, v2<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v4<br>
 ; GCN-IR-NEXT:    s_add_u32 s6, s2, -1<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[0:1], v6<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
 ; GCN-IR-NEXT:    s_addc_u32 s7, s3, -1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], -1, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB7_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB7_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -909,18 +919,8 @@ define amdgpu_kernel void @s_test_udiv24_i48(i48 addrspace(1)* %out, i48 %x, i48<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB7_3<br>
-; GCN-IR-NEXT:    s_branch BB7_6<br>
-; GCN-IR-NEXT:  BB7_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[6:7]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s0<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[6:7]<br>
-; GCN-IR-NEXT:    s_branch BB7_7<br>
-; GCN-IR-NEXT:  BB7_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB7_6: ; %Flow3<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB7_5<br>
+; GCN-IR-NEXT:  BB7_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -1053,50 +1053,58 @@ define amdgpu_kernel void @s_test_udiv_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-LABEL: s_test_udiv_k_num_i64:<br>
 ; GCN-IR:       ; %bb.0: ; %_udiv-special-cases<br>
 ; GCN-IR-NEXT:    s_load_dwordx4 s[4:7], s[0:1], 0x9<br>
+; GCN-IR-NEXT:    s_mov_b32 s2, -1<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s2, s6<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s3, s7<br>
-; GCN-IR-NEXT:    s_add_i32 s2, s2, 32<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s2<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 0xffffffc5, v2<br>
-; GCN-IR-NEXT:    v_addc_u32_e64 v4, s[2:3], 0, -1, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[6:7], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[2:3], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[2:3], s[2:3], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[2:3]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB8_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v5, vcc, 1, v3<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v6, vcc, 0, v4, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v3<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[5:6], v[3:4]<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v0, vcc, 0xffffffc5, v2<br>
+; GCN-IR-NEXT:    v_addc_u32_e64 v1, s[0:1], 0, -1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[8:9], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[8:9], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[8:9], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB8_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, 0<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, 24, 0, s[8:9]<br>
+; GCN-IR-NEXT:    s_branch BB8_7<br>
+; GCN-IR-NEXT:  BB8_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v4, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[3:4], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], 24, v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB8_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
-; GCN-IR-NEXT:    s_add_u32 s2, s6, -1<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], 24, v5<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB8_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB8_6<br>
+; GCN-IR-NEXT:  BB8_4: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    s_add_u32 s3, s6, -1<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], 24, v3<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, 58, v2<br>
-; GCN-IR-NEXT:    s_addc_u32 s3, s7, -1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
+; GCN-IR-NEXT:    s_addc_u32 s8, s7, -1<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[0:1], 0, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB8_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB8_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v6, v6, v2<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v8, v0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, s3<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s2, v6<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, s8<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s3, v6<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v2, vcc, v2, v7, vcc<br>
 ; GCN-IR-NEXT:    v_ashrrev_i32_e32 v8, 31, v2<br>
 ; GCN-IR-NEXT:    v_and_b32_e32 v10, s6, v8<br>
@@ -1113,22 +1121,14 @@ define amdgpu_kernel void @s_test_udiv_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB8_3<br>
-; GCN-IR-NEXT:    s_branch BB8_6<br>
-; GCN-IR-NEXT:  BB8_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, 0<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, 24, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB8_7<br>
-; GCN-IR-NEXT:  BB8_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB8_6: ; %Flow5<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB8_5<br>
+; GCN-IR-NEXT:  BB8_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
 ; GCN-IR-NEXT:  BB8_7: ; %udiv-end<br>
 ; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
-; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
+; GCN-IR-NEXT:    s_mov_b32 s6, s2<br>
 ; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %result = udiv i64 24, %x<br>
@@ -1534,39 +1534,48 @@ define amdgpu_kernel void @s_test_udiv_k_den_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR:       ; %bb.0: ; %_udiv-special-cases<br>
 ; GCN-IR-NEXT:    s_load_dwordx4 s[4:7], s[0:1], 0x9<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s2, s6<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s3, s7<br>
-; GCN-IR-NEXT:    s_add_i32 s2, s2, 32<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s2<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v3, vcc, 59, v2<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v4, s[2:3], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[6:7], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[2:3], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[2:3], s[2:3], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[2:3]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB11_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v5, vcc, 1, v3<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v6, vcc, 0, v4, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v3<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[5:6], v[3:4]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 59, v2<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[2:3], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[2:3], s[2:3], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[2:3], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB11_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[2:3]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[2:3]<br>
+; GCN-IR-NEXT:    s_branch BB11_7<br>
+; GCN-IR-NEXT:  BB11_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v4, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[3:4], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[6:7], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB11_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v5<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB11_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB11_6<br>
+; GCN-IR-NEXT:  BB11_4: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v3<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 0xffffffc4, v2<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], 0, -1, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB11_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB11_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -1589,18 +1598,8 @@ define amdgpu_kernel void @s_test_udiv_k_den_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_subbrev_u32_e64 v7, s[0:1], 0, v7, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB11_3<br>
-; GCN-IR-NEXT:    s_branch BB11_6<br>
-; GCN-IR-NEXT:  BB11_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB11_7<br>
-; GCN-IR-NEXT:  BB11_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB11_6: ; %Flow5<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB11_5<br>
+; GCN-IR-NEXT:  BB11_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/unhandled-loop-condition-assertion.ll b/llvm/test/CodeGen/AMDGPU/unhandled-loop-condition-assertion.ll<br>
index 1bb427693171..60ab7631a101 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/unhandled-loop-condition-assertion.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/unhandled-loop-condition-assertion.ll<br>
@@ -39,6 +39,7 @@ for.end:                                          ; preds = %for.body, %entry<br>
 }<br>
<br>
 ; COMMON-LABEL: {{^}}branch_false:<br>
+; SI: s_cbranch_vccnz<br>
 ; SI: s_cbranch_scc1<br>
 ; SI: s_endpgm<br>
 define amdgpu_kernel void @branch_false(i8 addrspace(1)* nocapture %main, i32 %main_stride) #0 {<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/uniform-cfg.ll b/llvm/test/CodeGen/AMDGPU/uniform-cfg.ll<br>
index b5e0ed3d61c0..2c64b1bdb3d2 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/uniform-cfg.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/uniform-cfg.ll<br>
@@ -1,5 +1,5 @@<br>
-; RUN: llc -march=amdgcn -mcpu=verde -amdgpu-early-ifcvt=0 -machine-sink-split-probability-threshold=0 -structurizecfg-skip-uniform-regions -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=GCN -check-prefix=SI %s<br>
-; RUN: llc -march=amdgcn -mcpu=tonga -mattr=-flat-for-global -amdgpu-early-ifcvt=0 -machine-sink-split-probability-threshold=0 -structurizecfg-skip-uniform-regions -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=GCN -check-prefix=VI %s<br>
+; RUN: llc -march=amdgcn -mcpu=verde -amdgpu-early-ifcvt=0 -machine-sink-split-probability-threshold=0 -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=GCN -check-prefix=SI %s<br>
+; RUN: llc -march=amdgcn -mcpu=tonga -mattr=-flat-for-global -amdgpu-early-ifcvt=0 -machine-sink-split-probability-threshold=0 -verify-machineinstrs < %s | FileCheck -enable-var-scope -check-prefix=GCN -check-prefix=VI %s<br>
<br>
 ; GCN-LABEL: {{^}}uniform_if_scc:<br>
 ; GCN-DAG: s_cmp_eq_u32 s{{[0-9]+}}, 0<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/uniform-loop-inside-nonuniform.ll b/llvm/test/CodeGen/AMDGPU/uniform-loop-inside-nonuniform.ll<br>
index 25b2a8dd6c7d..a23eb2b137db 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/uniform-loop-inside-nonuniform.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/uniform-loop-inside-nonuniform.ll<br>
@@ -8,7 +8,7 @@<br>
 ; CHECK-NEXT: s_cbranch_execz BB{{[0-9]+_[0-9]+}}<br>
<br>
 ; CHECK: [[LOOP_BODY_LABEL:BB[0-9]+_[0-9]+]]: ; %loop_body<br>
-; CHECK: s_cbranch_scc1 [[LOOP_BODY_LABEL]]<br>
+; CHECK: s_cbranch_scc0 [[LOOP_BODY_LABEL]]<br>
<br>
 ; CHECK: s_endpgm<br>
 define amdgpu_ps void @test1(<8 x i32> inreg %rsrc, <2 x i32> %addr.base, i32 %y, i32 %p) {<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/urem64.ll b/llvm/test/CodeGen/AMDGPU/urem64.ll<br>
index d570cf1fca05..9a6f7002ca87 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/urem64.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/urem64.ll<br>
@@ -130,50 +130,59 @@ define amdgpu_kernel void @s_test_urem_i64(i64 addrspace(1)* %out, i64 %x, i64 %<br>
 ; GCN-IR-NEXT:    s_load_dwordx2 s[2:3], s[0:1], 0xd<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[8:9], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[2:3], 0<br>
 ; GCN-IR-NEXT:    s_flbit_i32_b32 s10, s2<br>
-; GCN-IR-NEXT:    s_add_i32 s10, s10, 32<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[0:1], s[8:9]<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
 ; GCN-IR-NEXT:    s_flbit_i32_b32 s11, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s10<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s10, s6<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
-; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s3, 0<br>
 ; GCN-IR-NEXT:    s_add_i32 s10, s10, 32<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s11, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v0, s11<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v1, s10<br>
+; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s3, 0<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v3, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, v2, v3<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[2:3], 0<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[10:11], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], s[8:9]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[4:5]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[8:9], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[8:9], s[8:9], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[8:9]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v6, vcc, 1, v4<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v7, vcc, 0, v5, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v4<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[6:7], v[4:5]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, v2, v3<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[8:9], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[8:9], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[8:9]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[8:9]<br>
+; GCN-IR-NEXT:    s_branch BB0_7<br>
+; GCN-IR-NEXT:  BB0_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v5, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[4:5], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[6:7], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB0_6<br>
+; GCN-IR-NEXT:  BB0_4: ; %udiv-preheader<br>
 ; GCN-IR-NEXT:    v_not_b32_e32 v2, v2<br>
 ; GCN-IR-NEXT:    s_add_u32 s8, s2, -1<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v4<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, v2, v3<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v6<br>
 ; GCN-IR-NEXT:    s_addc_u32 s9, s3, -1<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], -1, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB0_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB0_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -198,18 +207,8 @@ define amdgpu_kernel void @s_test_urem_i64(i64 addrspace(1)* %out, i64 %x, i64 %<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB0_3<br>
-; GCN-IR-NEXT:    s_branch BB0_6<br>
-; GCN-IR-NEXT:  BB0_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB0_7<br>
-; GCN-IR-NEXT:  BB0_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB0_6: ; %Flow6<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB0_5<br>
+; GCN-IR-NEXT:  BB0_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -218,14 +217,16 @@ define amdgpu_kernel void @s_test_urem_i64(i64 addrspace(1)* %out, i64 %x, i64 %<br>
 ; GCN-IR-NEXT:    v_mul_hi_u32 v2, s2, v0<br>
 ; GCN-IR-NEXT:    v_mul_lo_u32 v3, s3, v0<br>
 ; GCN-IR-NEXT:    v_mul_lo_u32 v0, s2, v0<br>
+; GCN-IR-NEXT:    s_mov_b32 s11, 0xf000<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v2, v1<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v1, v3<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v2, s7<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, s6, v0<br>
+; GCN-IR-NEXT:    s_mov_b32 s10, -1<br>
+; GCN-IR-NEXT:    s_mov_b32 s8, s4<br>
+; GCN-IR-NEXT:    s_mov_b32 s9, s5<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v2, v1, vcc<br>
-; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
-; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
-; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
+; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[8:11], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %result = urem i64 %x, %y<br>
   store i64 %result, i64 addrspace(1)* %out<br>
@@ -860,50 +861,58 @@ define amdgpu_kernel void @s_test_urem_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-LABEL: s_test_urem_k_num_i64:<br>
 ; GCN-IR:       ; %bb.0: ; %_udiv-special-cases<br>
 ; GCN-IR-NEXT:    s_load_dwordx4 s[4:7], s[0:1], 0x9<br>
+; GCN-IR-NEXT:    s_mov_b32 s2, -1<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s2, s6<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s3, s7<br>
-; GCN-IR-NEXT:    s_add_i32 s2, s2, 32<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s2<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 0xffffffc5, v2<br>
-; GCN-IR-NEXT:    v_addc_u32_e64 v4, s[2:3], 0, -1, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[6:7], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[2:3], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[2:3], s[2:3], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[2:3]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB6_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v5, vcc, 1, v3<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v6, vcc, 0, v4, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v3<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[5:6], v[3:4]<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v0, vcc, 0xffffffc5, v2<br>
+; GCN-IR-NEXT:    v_addc_u32_e64 v1, s[0:1], 0, -1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[8:9], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[8:9], s[8:9], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[8:9], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB6_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, 0<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, 24, 0, s[8:9]<br>
+; GCN-IR-NEXT:    s_branch BB6_7<br>
+; GCN-IR-NEXT:  BB6_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v4, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[3:4], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], 24, v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB6_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
-; GCN-IR-NEXT:    s_add_u32 s2, s6, -1<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], 24, v5<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB6_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB6_6<br>
+; GCN-IR-NEXT:  BB6_4: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    s_add_u32 s3, s6, -1<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], 24, v3<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v4, vcc, 58, v2<br>
-; GCN-IR-NEXT:    s_addc_u32 s3, s7, -1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
+; GCN-IR-NEXT:    s_addc_u32 s8, s7, -1<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v5, s[0:1], 0, 0, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB6_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB6_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v6, v6, v2<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v8, v0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, s3<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s2, v6<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, s8<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v8, vcc, s3, v6<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v2, vcc, v2, v7, vcc<br>
 ; GCN-IR-NEXT:    v_ashrrev_i32_e32 v8, 31, v2<br>
 ; GCN-IR-NEXT:    v_and_b32_e32 v10, s6, v8<br>
@@ -920,16 +929,8 @@ define amdgpu_kernel void @s_test_urem_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_subb_u32_e64 v7, s[0:1], v7, v11, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB6_3<br>
-; GCN-IR-NEXT:    s_branch BB6_6<br>
-; GCN-IR-NEXT:  BB6_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, 0<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, 24, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB6_7<br>
-; GCN-IR-NEXT:  BB6_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB6_6: ; %Flow5<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB6_5<br>
+; GCN-IR-NEXT:  BB6_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -938,13 +939,14 @@ define amdgpu_kernel void @s_test_urem_k_num_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_mul_hi_u32 v2, s6, v0<br>
 ; GCN-IR-NEXT:    v_mul_lo_u32 v3, s7, v0<br>
 ; GCN-IR-NEXT:    v_mul_lo_u32 v0, s6, v0<br>
-; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
+; GCN-IR-NEXT:    s_mov_b32 s3, 0xf000<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v2, v1<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v1, v3<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 24, v0<br>
+; GCN-IR-NEXT:    s_mov_b32 s0, s4<br>
+; GCN-IR-NEXT:    s_mov_b32 s1, s5<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, 0, v1, vcc<br>
-; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
-; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
+; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[0:3], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %result = urem i64 24, %x<br>
   store i64 %result, i64 addrspace(1)* %out<br>
@@ -1062,39 +1064,48 @@ define amdgpu_kernel void @s_test_urem_k_den_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR:       ; %bb.0: ; %_udiv-special-cases<br>
 ; GCN-IR-NEXT:    s_load_dwordx4 s[4:7], s[0:1], 0x9<br>
 ; GCN-IR-NEXT:    s_waitcnt lgkmcnt(0)<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s2, s6<br>
-; GCN-IR-NEXT:    s_flbit_i32_b32 s3, s7<br>
-; GCN-IR-NEXT:    s_add_i32 s2, s2, 32<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s3<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v1, s2<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s0, s6<br>
+; GCN-IR-NEXT:    s_flbit_i32_b32 s1, s7<br>
+; GCN-IR-NEXT:    s_add_i32 s0, s0, 32<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s1<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v1, s0<br>
 ; GCN-IR-NEXT:    v_cmp_eq_u32_e64 vcc, s7, 0<br>
 ; GCN-IR-NEXT:    v_cndmask_b32_e32 v2, v0, v1, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v3, vcc, 59, v2<br>
-; GCN-IR-NEXT:    v_subb_u32_e64 v4, s[2:3], 0, 0, vcc<br>
-; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], s[6:7], 0<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_or_b64 s[0:1], s[0:1], vcc<br>
-; GCN-IR-NEXT:    v_cmp_ne_u64_e32 vcc, 63, v[3:4]<br>
-; GCN-IR-NEXT:    s_xor_b64 s[2:3], s[0:1], -1<br>
-; GCN-IR-NEXT:    s_and_b64 s[2:3], s[2:3], vcc<br>
-; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[2:3]<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB7_4<br>
-; GCN-IR-NEXT:  ; %bb.1: ; %udiv-bb1<br>
-; GCN-IR-NEXT:    v_add_i32_e32 v5, vcc, 1, v3<br>
-; GCN-IR-NEXT:    v_addc_u32_e32 v6, vcc, 0, v4, vcc<br>
-; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v3<br>
-; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, v[5:6], v[3:4]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 59, v2<br>
+; GCN-IR-NEXT:    v_subb_u32_e64 v1, s[0:1], 0, 0, vcc<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[2:3], s[6:7], 0<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e32 vcc, 63, v[0:1]<br>
+; GCN-IR-NEXT:    v_cmp_eq_u64_e64 s[0:1], 63, v[0:1]<br>
+; GCN-IR-NEXT:    s_or_b64 s[2:3], s[2:3], vcc<br>
+; GCN-IR-NEXT:    s_or_b64 s[0:1], s[2:3], s[0:1]<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB7_2<br>
+; GCN-IR-NEXT:  ; %bb.1:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[2:3]<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
+; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[2:3]<br>
+; GCN-IR-NEXT:    s_branch BB7_7<br>
+; GCN-IR-NEXT:  BB7_2: ; %udiv-bb1<br>
+; GCN-IR-NEXT:    v_add_i32_e32 v3, vcc, 1, v0<br>
+; GCN-IR-NEXT:    v_addc_u32_e32 v4, vcc, 0, v1, vcc<br>
+; GCN-IR-NEXT:    v_cmp_lt_u64_e64 s[0:1], v[3:4], v[0:1]<br>
+; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, 63, v0<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], s[6:7], v0<br>
-; GCN-IR-NEXT:    s_andn2_b64 vcc, exec, vcc<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB7_5<br>
-; GCN-IR-NEXT:  ; %bb.2: ; %udiv-preheader<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
-; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v5<br>
+; GCN-IR-NEXT:    s_and_b64 vcc, exec, s[0:1]<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB7_4<br>
+; GCN-IR-NEXT:  ; %bb.3:<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
+; GCN-IR-NEXT:    s_branch BB7_6<br>
+; GCN-IR-NEXT:  BB7_4: ; %udiv-preheader<br>
+; GCN-IR-NEXT:    v_lshr_b64 v[6:7], s[6:7], v3<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v4, vcc, 0xffffffc4, v2<br>
+; GCN-IR-NEXT:    v_mov_b32_e32 v8, 0<br>
 ; GCN-IR-NEXT:    v_addc_u32_e64 v5, s[0:1], 0, -1, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v9, 0<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB7_3: ; %udiv-do-while<br>
+; GCN-IR-NEXT:  BB7_5: ; %udiv-do-while<br>
 ; GCN-IR-NEXT:    ; =>This Inner Loop Header: Depth=1<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[6:7], v[6:7], 1<br>
 ; GCN-IR-NEXT:    v_lshrrev_b32_e32 v2, 31, v1<br>
@@ -1117,18 +1128,8 @@ define amdgpu_kernel void @s_test_urem_k_den_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_subbrev_u32_e64 v7, s[0:1], 0, v7, s[0:1]<br>
 ; GCN-IR-NEXT:    s_and_b64 vcc, exec, vcc<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v8, v2<br>
-; GCN-IR-NEXT:    s_cbranch_vccz BB7_3<br>
-; GCN-IR-NEXT:    s_branch BB7_6<br>
-; GCN-IR-NEXT:  BB7_4:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s7<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v1, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v0, s6<br>
-; GCN-IR-NEXT:    v_cndmask_b32_e64 v0, v0, 0, s[0:1]<br>
-; GCN-IR-NEXT:    s_branch BB7_7<br>
-; GCN-IR-NEXT:  BB7_5:<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v2, 0<br>
-; GCN-IR-NEXT:    v_mov_b32_e32 v3, 0<br>
-; GCN-IR-NEXT:  BB7_6: ; %Flow5<br>
+; GCN-IR-NEXT:    s_cbranch_vccz BB7_5<br>
+; GCN-IR-NEXT:  BB7_6: ; %udiv-loop-exit<br>
 ; GCN-IR-NEXT:    v_lshl_b64 v[0:1], v[0:1], 1<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v0, v2, v0<br>
 ; GCN-IR-NEXT:    v_or_b32_e32 v1, v3, v1<br>
@@ -1136,13 +1137,15 @@ define amdgpu_kernel void @s_test_urem_k_den_i64(i64 addrspace(1)* %out, i64 %x)<br>
 ; GCN-IR-NEXT:    v_mul_hi_u32 v2, v0, 24<br>
 ; GCN-IR-NEXT:    v_mul_lo_u32 v1, v1, 24<br>
 ; GCN-IR-NEXT:    v_mul_lo_u32 v0, v0, 24<br>
+; GCN-IR-NEXT:    s_mov_b32 s3, 0xf000<br>
+; GCN-IR-NEXT:    s_mov_b32 s2, -1<br>
 ; GCN-IR-NEXT:    v_add_i32_e32 v1, vcc, v2, v1<br>
 ; GCN-IR-NEXT:    v_mov_b32_e32 v2, s7<br>
 ; GCN-IR-NEXT:    v_sub_i32_e32 v0, vcc, s6, v0<br>
+; GCN-IR-NEXT:    s_mov_b32 s0, s4<br>
+; GCN-IR-NEXT:    s_mov_b32 s1, s5<br>
 ; GCN-IR-NEXT:    v_subb_u32_e32 v1, vcc, v2, v1, vcc<br>
-; GCN-IR-NEXT:    s_mov_b32 s7, 0xf000<br>
-; GCN-IR-NEXT:    s_mov_b32 s6, -1<br>
-; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[4:7], 0<br>
+; GCN-IR-NEXT:    buffer_store_dwordx2 v[0:1], off, s[0:3], 0<br>
 ; GCN-IR-NEXT:    s_endpgm<br>
   %result = urem i64 %x, 24<br>
   store i64 %result, i64 addrspace(1)* %out<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/valu-i1.ll b/llvm/test/CodeGen/AMDGPU/valu-i1.ll<br>
index 01d51305e581..8d522ffd1158 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/valu-i1.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/valu-i1.ll<br>
@@ -159,8 +159,8 @@ exit:<br>
 ; SI: [[LABEL_LOOP:BB[0-9]+_[0-9]+]]:<br>
 ; SI: buffer_load_dword<br>
 ; SI-DAG: buffer_store_dword<br>
-; SI-DAG: s_cmpk_lg_i32 s{{[0-9+]}}, 0x100<br>
-; SI: s_cbranch_scc1 [[LABEL_LOOP]]<br>
+; SI-DAG: s_cmpk_eq_i32 s{{[0-9+]}}, 0x100<br>
+; SI: s_cbranch_scc0 [[LABEL_LOOP]]<br>
 ; SI: [[LABEL_EXIT]]:<br>
 ; SI: s_endpgm<br>
<br>
<br>
diff  --git a/llvm/test/CodeGen/AMDGPU/wqm.ll b/llvm/test/CodeGen/AMDGPU/wqm.ll<br>
index 167d8fa21ccb..e3183989e7d2 100644<br>
--- a/llvm/test/CodeGen/AMDGPU/wqm.ll<br>
+++ b/llvm/test/CodeGen/AMDGPU/wqm.ll<br>
@@ -652,13 +652,13 @@ main_body:<br>
 ; CHECK-DAG: v_mov_b32_e32 [[CTR:v[0-9]+]], 0<br>
 ; CHECK-DAG: s_mov_b32 [[SEVEN:s[0-9]+]], 0x40e00000<br>
<br>
-; CHECK: ; %body<br>
-; CHECK: v_add_f32_e32 [[CTR]], 2.0, [[CTR]]<br>
 ; CHECK: [[LOOPHDR:BB[0-9]+_[0-9]+]]: ; %loop<br>
 ; CHECK: v_cmp_lt_f32_e32 vcc, [[SEVEN]], [[CTR]]<br>
-; CHECK: s_cbranch_vccz<br>
+; CHECK: s_cbranch_vccnz<br>
<br>
-; CHECK: s_cbranch_vccnz [[LOOPHDR]]<br>
+; CHECK: ; %body<br>
+; CHECK: v_add_f32_e32 [[CTR]], 2.0, [[CTR]]<br>
+; CHECK: s_branch [[LOOPHDR]]<br>
<br>
 ; CHECK: ; %break<br>
 ; CHECK: ; return<br>
@@ -769,12 +769,13 @@ else:<br>
 ; CHECK: s_wqm_b64 exec, exec<br>
 ; CHECK: s_cmp_<br>
 ; CHECK-NEXT: s_cbranch_scc<br>
-; CHECK: ; %else<br>
-; CHECK: image_sample<br>
 ; CHECK: ; %if<br>
+; CHECK: s_and_b64 exec, exec, [[ORIG]]<br>
 ; CHECK: image_sample<br>
-; CHECK: ; %end<br>
+; CHECK: ; %else<br>
 ; CHECK: s_and_b64 exec, exec, [[ORIG]]<br>
+; CHECK: image_sample<br>
+; CHECK: ; %end<br>
 define amdgpu_ps <4 x float> @test_scc(i32 inreg %sel, i32 %idx) #1 {<br>
 main_body:<br>
   %cc = icmp sgt i32 %sel, 0<br>
<br>
<br>
<br>
_______________________________________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@lists.llvm.org" target="_blank">llvm-commits@lists.llvm.org</a><br>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits</a><br>
</blockquote></div>