<div dir="ltr">Can you give me any more information about the buildbot that failed? <div><br></div><div>-Nirav</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Sep 28, 2016 at 2:29 PM, Vedant Kumar <span dir="ltr"><<a href="mailto:vsk@apple.com" target="_blank">vsk@apple.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
I think I have a stage2 bot that failed after r282600:<br>
<br>
---<br>
<br>
Assertion failed: (ChainNode->getOpcode() != ISD::DELETED_NODE && "Deleted node left in chain"), function UpdateChains, file /Users/buildslave/jenkins/<wbr>sharedspace/phase1@2/llvm/lib/<wbr>CodeGen/SelectionDAG/<wbr>SelectionDAGISel.cpp, line 2190.<br>
<br>
Stack dump:<br>
0.      Program arguments: /Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/host-compiler/<wbr>bin/clang-4.0 -cc1 -triple x86_64-apple-macosx10.11.0 -Wdeprecated-objc-isa-usage -Werror=deprecated-objc-isa-<wbr>usage -emit-obj -disable-free -main-file-name ItaniumDemangle.cpp -mrelocation-model pic -pic-level 2 -mthread-model posix -mdisable-fp-elim -masm-verbose -munwind-tables -target-cpu core2 -target-linker-version 264.3.102 -dwarf-column-info -debugger-tuning=lldb -fprofile-instrument-path=/<wbr>Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/clang-build/<wbr>profiles/%2m.profraw -fprofile-instrument=clang -fcoverage-mapping -coverage-notes-file /Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/clang-build/lib/<wbr>Demangle/CMakeFiles/<wbr>LLVMDemangle.dir/<wbr>ItaniumDemangle.cpp.gcno -resource-dir /Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/host-compiler/<wbr>bin/../lib/clang/4.0.0 -dependency-file lib/Demangle/CMakeFiles/<wbr>LLVMDemangle.dir/<wbr>ItaniumDemangle.cpp.o.d -MT lib/Demangle/CMakeFiles/<wbr>LLVMDemangle.dir/<wbr>ItaniumDemangle.cpp.o -D GTEST_HAS_RTTI=0 -D __STDC_CONSTANT_MACROS -D __STDC_FORMAT_MACROS -D __STDC_LIMIT_MACROS -I lib/Demangle -I /Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/llvm/lib/Demangle -I include -I /Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/llvm/include -D NDEBUG -stdlib=libc++ -O3 -Wall -W -Wno-unused-parameter -Wwrite-strings -Wcast-qual -Wmissing-field-initializers -Wno-long-long -Wcovered-switch-default -Wnon-virtual-dtor -Wdelete-non-virtual-dtor -Werror=date-time -pedantic -std=c++11 -fdeprecated-macro -fdebug-compilation-dir /Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/clang-build -ferror-limit 19 -fmessage-length 0 -fvisibility-inlines-hidden -stack-protector 1 -fblocks -fno-rtti -fobjc-runtime=macosx-10.11.0 -fencode-extended-block-<wbr>signature -fmax-type-align=16 -fdiagnostics-show-option -fcolor-diagnostics -vectorize-loops -vectorize-slp -o lib/Demangle/CMakeFiles/<wbr>LLVMDemangle.dir/<wbr>ItaniumDemangle.cpp.o -x c++ /Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/llvm/lib/<wbr>Demangle/ItaniumDemangle.cpp<br>
1.      <eof> parser at end of file<br>
2.      Code generation<br>
3.      Running pass 'Function Pass Manager' on module '/Users/buildslave/jenkins/<wbr>sharedspace/clang-stage2-<wbr>coverage-R@2/llvm/lib/<wbr>Demangle/ItaniumDemangle.cpp'.<br>
4.      Running pass 'X86 DAG->DAG Instruction Selection' on function '@_ZL18parse_builtin_typeIN12_<wbr>GLOBAL__N_12DbEEPKcS3_S3_RT_'<br>
<br>
---<br>
<br>
Unfortunately, I don't have permissions to grab the reproducer from the bot.<br>
<br>
I'm passing this along since the failure might not be related to MCJIT.<br>
<br>
vedant<br>
<br>
> On Sep 28, 2016, at 9:37 AM, Nirav Dave via llvm-commits <<a href="mailto:llvm-commits@lists.llvm.org">llvm-commits@lists.llvm.org</a>> wrote:<br>
><br>
> Author: niravd<br>
> Date: Wed Sep 28 11:37:50 2016<br>
> New Revision: 282604<br>
><br>
> URL: <a href="http://llvm.org/viewvc/llvm-project?rev=282604&view=rev" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project?rev=282604&view=rev</a><br>
> Log:<br>
> Revert "In visitSTORE, always use FindBetterChain, rather than only when UseAA is enabled."<br>
><br>
> This reverts commit r282600 due to test failues with MCJIT<br>
><br>
> Added:<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>combiner-aa-0.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>combiner-aa-1.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>pr18023.ll<br>
> Modified:<br>
>    llvm/trunk/lib/CodeGen/<wbr>SelectionDAG/DAGCombiner.cpp<br>
>    llvm/trunk/lib/CodeGen/<wbr>TargetLoweringBase.cpp<br>
>    llvm/trunk/lib/Target/AMDGPU/<wbr>AMDGPUISelLowering.cpp<br>
>    llvm/trunk/test/CodeGen/<wbr>AArch64/argument-blocks.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-abi-varargs.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-abi.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-memset-inline.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-stur.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AArch64/merge-store.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AArch64/vector_merge_dep_<wbr>check.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AMDGPU/cvt_f32_ubyte.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AMDGPU/debugger-insert-nops.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AMDGPU/merge-stores.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AMDGPU/private-element-size.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AMDGPU/si-triv-disjoint-mem-<wbr>access.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AMDGPU/vgpr-spill-emergency-<wbr>stack-slot-compute.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>AMDGPU/vgpr-spill-emergency-<wbr>stack-slot.ll<br>
>    llvm/trunk/test/CodeGen/ARM/<wbr>2012-10-04-AAPCS-byval-align8.<wbr>ll<br>
>    llvm/trunk/test/CodeGen/ARM/<wbr>alloc-no-stack-realign.ll<br>
>    llvm/trunk/test/CodeGen/ARM/<wbr>ifcvt10.ll<br>
>    llvm/trunk/test/CodeGen/ARM/<wbr>memset-inline.ll<br>
>    llvm/trunk/test/CodeGen/ARM/<wbr>static-addr-hoisting.ll<br>
>    llvm/trunk/test/CodeGen/BPF/<wbr>undef.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>MSP430/Inst16mm.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>cconv/arguments-float.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>cconv/arguments-varargs.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>fastcc.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>load-store-left-right.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>micromips-li.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>mips64-f128.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>mno-ldc1-sdc1.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>msa/i5_ld_st.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>o32_cc_byval.ll<br>
>    llvm/trunk/test/CodeGen/Mips/<wbr>o32_cc_vararg.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>PowerPC/anon_aggr.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>PowerPC/complex-return.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>PowerPC/jaggedstructs.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>PowerPC/ppc64-align-long-<wbr>double.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>PowerPC/structsinmem.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>PowerPC/structsinregs.ll<br>
>    llvm/trunk/test/CodeGen/<wbr>SystemZ/unaligned-01.ll<br>
>    llvm/trunk/test/CodeGen/Thumb/<wbr>2010-07-15-debugOrdering.ll<br>
>    llvm/trunk/test/CodeGen/Thumb/<wbr>stack-access.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>2010-09-17-SideEffectsInChain.<wbr>ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>2012-11-28-merge-store-alias.<wbr>ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>MergeConsecutiveStores.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>avx512-mask-op.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>chain_order.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>clear_upper_vector_element_<wbr>bits.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>copy-eflags.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>dag-merge-fast-accesses.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>dont-trunc-store-double-to-<wbr>float.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>extractelement-legalization-<wbr>store-ordering.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>i256-add.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>i386-shrink-wrapping.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>live-range-nosubreg.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>merge-consecutive-loads-128.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>merge-consecutive-loads-256.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>merge-store-partially-alias-<wbr>loads.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>split-store.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>stores-merging.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>vector-compare-results.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>vector-lzcnt-128.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>vector-shuffle-variable-128.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>vector-shuffle-variable-256.ll<br>
>    llvm/trunk/test/CodeGen/X86/<wbr>win32-eh.ll<br>
>    llvm/trunk/test/CodeGen/XCore/<wbr>varargs.ll<br>
><br>
> Modified: llvm/trunk/lib/CodeGen/<wbr>SelectionDAG/DAGCombiner.cpp<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/lib/CodeGen/SelectionDAG/DAGCombiner.cpp?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/lib/<wbr>CodeGen/SelectionDAG/<wbr>DAGCombiner.cpp?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/lib/CodeGen/<wbr>SelectionDAG/DAGCombiner.cpp (original)<br>
> +++ llvm/trunk/lib/CodeGen/<wbr>SelectionDAG/DAGCombiner.cpp Wed Sep 28 11:37:50 2016<br>
> @@ -52,6 +52,10 @@ STATISTIC(SlicedLoads, "Number of load s<br>
><br>
> namespace {<br>
>   static cl::opt<bool><br>
> +    CombinerAA("combiner-alias-<wbr>analysis", cl::Hidden,<br>
> +               cl::desc("Enable DAG combiner alias-analysis heuristics"));<br>
> +<br>
> +  static cl::opt<bool><br>
>     CombinerGlobalAA("combiner-<wbr>global-alias-analysis", cl::Hidden,<br>
>                cl::desc("Enable DAG combiner's use of IR alias analysis"));<br>
><br>
> @@ -404,12 +408,15 @@ namespace {<br>
>     /// Holds a pointer to an LSBaseSDNode as well as information on where it<br>
>     /// is located in a sequence of memory operations connected by a chain.<br>
>     struct MemOpLink {<br>
> -      MemOpLink(LSBaseSDNode *N, int64_t Offset)<br>
> -          : MemNode(N), OffsetFromBase(Offset) {}<br>
> +      MemOpLink (LSBaseSDNode *N, int64_t Offset, unsigned Seq):<br>
> +      MemNode(N), OffsetFromBase(Offset), SequenceNum(Seq) { }<br>
>       // Ptr to the mem node.<br>
>       LSBaseSDNode *MemNode;<br>
>       // Offset from the base ptr.<br>
>       int64_t OffsetFromBase;<br>
> +      // What is the sequence number of this mem node.<br>
> +      // Lowest mem operand in the DAG starts at zero.<br>
> +      unsigned SequenceNum;<br>
>     };<br>
><br>
>     /// This is a helper function for visitMUL to check the profitability<br>
> @@ -424,6 +431,7 @@ namespace {<br>
>     /// constant build_vector of the stored constant values in Stores.<br>
>     SDValue getMergedConstantVectorStore(<wbr>SelectionDAG &DAG, const SDLoc &SL,<br>
>                                          ArrayRef<MemOpLink> Stores,<br>
> +                                         SmallVectorImpl<SDValue> &Chains,<br>
>                                          EVT Ty) const;<br>
><br>
>     /// This is a helper function for visitAND and visitZERO_EXTEND.  Returns<br>
> @@ -445,8 +453,10 @@ namespace {<br>
><br>
>     /// This is a helper function for MergeConsecutiveStores.<br>
>     /// Stores that may be merged are placed in StoreNodes.<br>
> -    void getStoreMergeCandidates(<wbr>StoreSDNode *St,<br>
> -                                 SmallVectorImpl<MemOpLink> &StoreNodes);<br>
> +    /// Loads that may alias with those stores are placed in AliasLoadNodes.<br>
> +    void getStoreMergeAndAliasCandidate<wbr>s(<br>
> +        StoreSDNode* St, SmallVectorImpl<MemOpLink> &StoreNodes,<br>
> +        SmallVectorImpl<LSBaseSDNode*> &AliasLoadNodes);<br>
><br>
>     /// Helper function for MergeConsecutiveStores. Checks if<br>
>     /// Candidate stores have indirect dependency through their<br>
> @@ -1596,9 +1606,11 @@ SDValue DAGCombiner::visitTokenFactor(<wbr>SD<br>
>       Result = DAG.getNode(ISD::TokenFactor, SDLoc(N), MVT::Other, Ops);<br>
>     }<br>
><br>
> -    // Add users to worklist, since we may introduce a lot of new<br>
> -    // chained token factors while removing memory deps.<br>
> -    return CombineTo(N, Result, true /*add to worklist*/);<br>
> +    // Add users to worklist if AA is enabled, since it may introduce<br>
> +    // a lot of new chained token factors while removing memory deps.<br>
> +    bool UseAA = CombinerAA.getNumOccurrences() > 0 ? CombinerAA<br>
> +      : DAG.getSubtarget().useAA();<br>
> +    return CombineTo(N, Result, UseAA /*add to worklist*/);<br>
>   }<br>
><br>
>   return Result;<br>
> @@ -10157,22 +10169,11 @@ SDValue DAGCombiner::visitLOAD(SDNode *N<br>
>   // TODO: Handle store large -> read small portion.<br>
>   // TODO: Handle TRUNCSTORE/LOADEXT<br>
>   if (ISD::isNormalLoad(N) && !LD->isVolatile()) {<br>
> -    // Either a direct store, or a store off of a TokenFactor can be<br>
> -    // forwarded.<br>
> -    if (Chain->getOpcode() == ISD::TokenFactor) {<br>
> -      for (const SDValue &ChainOp : Chain->op_values()) {<br>
> -        if (ISD::isNON_TRUNCStore(<wbr>ChainOp.getNode())) {<br>
> -          StoreSDNode *PrevST = cast<StoreSDNode>(ChainOp);<br>
> -          if (PrevST->getBasePtr() == Ptr &&<br>
> -              PrevST->getValue().<wbr>getValueType() == N->getValueType(0))<br>
> -            return CombineTo(N, PrevST->getOperand(1), Chain);<br>
> -        }<br>
> -      }<br>
> -    } else if (ISD::isNON_TRUNCStore(Chain.<wbr>getNode())) {<br>
> +    if (ISD::isNON_TRUNCStore(Chain.<wbr>getNode())) {<br>
>       StoreSDNode *PrevST = cast<StoreSDNode>(Chain);<br>
>       if (PrevST->getBasePtr() == Ptr &&<br>
>           PrevST->getValue().<wbr>getValueType() == N->getValueType(0))<br>
> -        return CombineTo(N, PrevST->getOperand(1), Chain);<br>
> +      return CombineTo(N, Chain.getOperand(1), Chain);<br>
>     }<br>
>   }<br>
><br>
> @@ -10190,7 +10191,14 @@ SDValue DAGCombiner::visitLOAD(SDNode *N<br>
>     }<br>
>   }<br>
><br>
> -  if (LD->isUnindexed()) {<br>
> +  bool UseAA = CombinerAA.getNumOccurrences() > 0 ? CombinerAA<br>
> +                                                  : DAG.getSubtarget().useAA();<br>
> +#ifndef NDEBUG<br>
> +  if (CombinerAAOnlyFunc.<wbr>getNumOccurrences() &&<br>
> +      CombinerAAOnlyFunc != DAG.getMachineFunction().<wbr>getName())<br>
> +    UseAA = false;<br>
> +#endif<br>
> +  if (UseAA && LD->isUnindexed()) {<br>
>     // Walk up chain skipping non-aliasing memory nodes.<br>
>     SDValue BetterChain = FindBetterChain(N, Chain);<br>
><br>
> @@ -11269,14 +11277,14 @@ bool DAGCombiner::<wbr>isMulAddWithConstProfi<br>
>   return false;<br>
> }<br>
><br>
> -SDValue DAGCombiner::<wbr>getMergedConstantVectorStore(<wbr>SelectionDAG &DAG,<br>
> -                                                  const SDLoc &SL,<br>
> -                                                  ArrayRef<MemOpLink> Stores,<br>
> -                                                  EVT Ty) const {<br>
> +SDValue DAGCombiner::<wbr>getMergedConstantVectorStore(<br>
> +    SelectionDAG &DAG, const SDLoc &SL, ArrayRef<MemOpLink> Stores,<br>
> +    SmallVectorImpl<SDValue> &Chains, EVT Ty) const {<br>
>   SmallVector<SDValue, 8> BuildVector;<br>
><br>
>   for (unsigned I = 0, E = Ty.getVectorNumElements(); I != E; ++I) {<br>
>     StoreSDNode *St = cast<StoreSDNode>(Stores[I].<wbr>MemNode);<br>
> +    Chains.push_back(St->getChain(<wbr>));<br>
>     BuildVector.push_back(St-><wbr>getValue());<br>
>   }<br>
><br>
> @@ -11292,8 +11300,21 @@ bool DAGCombiner::<wbr>MergeStoresOfConstants<br>
><br>
>   int64_t ElementSizeBytes = MemVT.getSizeInBits() / 8;<br>
>   LSBaseSDNode *FirstInChain = StoreNodes[0].MemNode;<br>
> +  unsigned LatestNodeUsed = 0;<br>
> +<br>
> +  for (unsigned i=0; i < NumStores; ++i) {<br>
> +    // Find a chain for the new wide-store operand. Notice that some<br>
> +    // of the store nodes that we found may not be selected for inclusion<br>
> +    // in the wide store. The chain we use needs to be the chain of the<br>
> +    // latest store node which is *used* and replaced by the wide store.<br>
> +    if (StoreNodes[i].SequenceNum < StoreNodes[LatestNodeUsed].<wbr>SequenceNum)<br>
> +      LatestNodeUsed = i;<br>
> +  }<br>
> +<br>
> +  SmallVector<SDValue, 8> Chains;<br>
><br>
>   // The latest Node in the DAG.<br>
> +  LSBaseSDNode *LatestOp = StoreNodes[LatestNodeUsed].<wbr>MemNode;<br>
>   SDLoc DL(StoreNodes[0].MemNode);<br>
><br>
>   SDValue StoredVal;<br>
> @@ -11309,7 +11330,7 @@ bool DAGCombiner::<wbr>MergeStoresOfConstants<br>
>     assert(TLI.isTypeLegal(Ty) && "Illegal vector store");<br>
><br>
>     if (IsConstantSrc) {<br>
> -      StoredVal = getMergedConstantVectorStore(<wbr>DAG, DL, StoreNodes, Ty);<br>
> +      StoredVal = getMergedConstantVectorStore(<wbr>DAG, DL, StoreNodes, Chains, Ty);<br>
>     } else {<br>
>       SmallVector<SDValue, 8> Ops;<br>
>       for (unsigned i = 0; i < NumStores; ++i) {<br>
> @@ -11319,6 +11340,7 @@ bool DAGCombiner::<wbr>MergeStoresOfConstants<br>
>         if (Val.getValueType() != MemVT)<br>
>           return false;<br>
>         Ops.push_back(Val);<br>
> +        Chains.push_back(St->getChain(<wbr>));<br>
>       }<br>
><br>
>       // Build the extracted vector elements back into a vector.<br>
> @@ -11338,6 +11360,7 @@ bool DAGCombiner::<wbr>MergeStoresOfConstants<br>
>     for (unsigned i = 0; i < NumStores; ++i) {<br>
>       unsigned Idx = IsLE ? (NumStores - 1 - i) : i;<br>
>       StoreSDNode *St  = cast<StoreSDNode>(StoreNodes[<wbr>Idx].MemNode);<br>
> +      Chains.push_back(St->getChain(<wbr>));<br>
><br>
>       SDValue Val = St->getValue();<br>
>       StoreInt <<= ElementSizeBytes * 8;<br>
> @@ -11355,11 +11378,7 @@ bool DAGCombiner::<wbr>MergeStoresOfConstants<br>
>     StoredVal = DAG.getConstant(StoreInt, DL, StoreTy);<br>
>   }<br>
><br>
> -  SmallVector<SDValue, 8> Chains;<br>
> -<br>
> -  // Gather all Chains we're inheriting<br>
> -  for (unsigned i = 0; i < NumStores; ++i)<br>
> -    Chains.push_back(StoreNodes[i]<wbr>.MemNode->getChain());<br>
> +  assert(!Chains.empty());<br>
><br>
>   SDValue NewChain = DAG.getNode(ISD::TokenFactor, DL, MVT::Other, Chains);<br>
>   SDValue NewStore = DAG.getStore(NewChain, DL, StoredVal,<br>
> @@ -11367,19 +11386,45 @@ bool DAGCombiner::<wbr>MergeStoresOfConstants<br>
>                                   FirstInChain->getPointerInfo()<wbr>,<br>
>                                   FirstInChain->getAlignment());<br>
><br>
> -  // Replace all merged stores with the new store<br>
> -  for (unsigned i = 0; i < NumStores; ++i)<br>
> -    CombineTo(StoreNodes[i].<wbr>MemNode, NewStore);<br>
> +  bool UseAA = CombinerAA.getNumOccurrences() > 0 ? CombinerAA<br>
> +                                                  : DAG.getSubtarget().useAA();<br>
> +  if (UseAA) {<br>
> +    // Replace all merged stores with the new store.<br>
> +    for (unsigned i = 0; i < NumStores; ++i)<br>
> +      CombineTo(StoreNodes[i].<wbr>MemNode, NewStore);<br>
> +  } else {<br>
> +    // Replace the last store with the new store.<br>
> +    CombineTo(LatestOp, NewStore);<br>
> +    // Erase all other stores.<br>
> +    for (unsigned i = 0; i < NumStores; ++i) {<br>
> +      if (StoreNodes[i].MemNode == LatestOp)<br>
> +        continue;<br>
> +      StoreSDNode *St = cast<StoreSDNode>(StoreNodes[<wbr>i].MemNode);<br>
> +      // ReplaceAllUsesWith will replace all uses that existed when it was<br>
> +      // called, but graph optimizations may cause new ones to appear. For<br>
> +      // example, the case in pr14333 looks like<br>
> +      //<br>
> +      //  St's chain -> St -> another store -> X<br>
> +      //<br>
> +      // And the only difference from St to the other store is the chain.<br>
> +      // When we change it's chain to be St's chain they become identical,<br>
> +      // get CSEed and the net result is that X is now a use of St.<br>
> +      // Since we know that St is redundant, just iterate.<br>
> +      while (!St->use_empty())<br>
> +        DAG.ReplaceAllUsesWith(<wbr>SDValue(St, 0), St->getChain());<br>
> +      deleteAndRecombine(St);<br>
> +    }<br>
> +  }<br>
><br>
>   return true;<br>
> }<br>
><br>
> -void DAGCombiner::<wbr>getStoreMergeCandidates(<br>
> -    StoreSDNode *St, SmallVectorImpl<MemOpLink> &StoreNodes) {<br>
> +void DAGCombiner::<wbr>getStoreMergeAndAliasCandidate<wbr>s(<br>
> +    StoreSDNode* St, SmallVectorImpl<MemOpLink> &StoreNodes,<br>
> +    SmallVectorImpl<LSBaseSDNode*> &AliasLoadNodes) {<br>
>   // This holds the base pointer, index, and the offset in bytes from the base<br>
>   // pointer.<br>
>   BaseIndexOffset BasePtr = BaseIndexOffset::match(St-><wbr>getBasePtr(), DAG);<br>
> -  EVT MemVT = St->getMemoryVT();<br>
><br>
>   // We must have a base and an offset.<br>
>   if (!BasePtr.Base.getNode())<br>
> @@ -11389,49 +11434,104 @@ void DAGCombiner::<wbr>getStoreMergeCandidate<br>
>   if (BasePtr.Base.isUndef())<br>
>     return;<br>
><br>
> -  // We looking for a root node which is an ancestor to all mergable<br>
> -  // stores. We search up through a load, to our root and then down<br>
> -  // through all children. For instance we will find Store{1,2,3} if<br>
> -  // St is Store1, Store2. or Store3 where the root is not a load<br>
> -  // which always true for nonvolatile ops. TODO: Expand<br>
> -  // the search to find all valid candidates through multiple layers of loads.<br>
> -  //<br>
> -  // Root<br>
> -  // |-------|-------|<br>
> -  // Load    Load    Store3<br>
> -  // |       |<br>
> -  // Store1   Store2<br>
> -  //<br>
> -  // FIXME: We should be able to climb and<br>
> -  // descend TokenFactors to find candidates as well.<br>
> +  // Walk up the chain and look for nodes with offsets from the same<br>
> +  // base pointer. Stop when reaching an instruction with a different kind<br>
> +  // or instruction which has a different base pointer.<br>
> +  EVT MemVT = St->getMemoryVT();<br>
> +  unsigned Seq = 0;<br>
> +  StoreSDNode *Index = St;<br>
><br>
> -  SDNode *RootNode = (St->getChain()).getNode();<br>
><br>
> -  // Set of Parents of Candidates<br>
> -  std::set<SDNode *> CandidateParents;<br>
> +  bool UseAA = CombinerAA.getNumOccurrences() > 0 ? CombinerAA<br>
> +                                                  : DAG.getSubtarget().useAA();<br>
><br>
> -  if (LoadSDNode *Ldn = dyn_cast<LoadSDNode>(RootNode)<wbr>) {<br>
> -    RootNode = Ldn->getChain().getNode();<br>
> -    for (auto I = RootNode->use_begin(), E = RootNode->use_end(); I != E; ++I)<br>
> -      if (I.getOperandNo() == 0 && isa<LoadSDNode>(*I)) // walk down chain<br>
> -        CandidateParents.insert(*I);<br>
> -  } else<br>
> -    CandidateParents.insert(<wbr>RootNode);<br>
> +  if (UseAA) {<br>
> +    // Look at other users of the same chain. Stores on the same chain do not<br>
> +    // alias. If combiner-aa is enabled, non-aliasing stores are canonicalized<br>
> +    // to be on the same chain, so don't bother looking at adjacent chains.<br>
> +<br>
> +    SDValue Chain = St->getChain();<br>
> +    for (auto I = Chain->use_begin(), E = Chain->use_end(); I != E; ++I) {<br>
> +      if (StoreSDNode *OtherST = dyn_cast<StoreSDNode>(*I)) {<br>
> +        if (I.getOperandNo() != 0)<br>
> +          continue;<br>
><br>
> -  // check all parents of mergable children<br>
> -  for (auto P = CandidateParents.begin(); P != CandidateParents.end(); ++P)<br>
> -    for (auto I = (*P)->use_begin(), E = (*P)->use_end(); I != E; ++I)<br>
> -      if (I.getOperandNo() == 0)<br>
> -        if (StoreSDNode *OtherST = dyn_cast<StoreSDNode>(*I)) {<br>
> -          if (OtherST->isVolatile() || OtherST->isIndexed())<br>
> -            continue;<br>
> -          if (OtherST->getMemoryVT() != MemVT)<br>
> -            continue;<br>
> -          BaseIndexOffset Ptr =<br>
> -              BaseIndexOffset::match(<wbr>OtherST->getBasePtr(), DAG);<br>
> -          if (Ptr.equalBaseIndex(BasePtr))<br>
> -            StoreNodes.push_back(<wbr>MemOpLink(OtherST, Ptr.Offset));<br>
> +        if (OtherST->isVolatile() || OtherST->isIndexed())<br>
> +          continue;<br>
> +<br>
> +        if (OtherST->getMemoryVT() != MemVT)<br>
> +          continue;<br>
> +<br>
> +        BaseIndexOffset Ptr = BaseIndexOffset::match(<wbr>OtherST->getBasePtr(), DAG);<br>
> +<br>
> +        if (Ptr.equalBaseIndex(BasePtr))<br>
> +          StoreNodes.push_back(<wbr>MemOpLink(OtherST, Ptr.Offset, Seq++));<br>
> +      }<br>
> +    }<br>
> +<br>
> +    return;<br>
> +  }<br>
> +<br>
> +  while (Index) {<br>
> +    // If the chain has more than one use, then we can't reorder the mem ops.<br>
> +    if (Index != St && !SDValue(Index, 0)->hasOneUse())<br>
> +      break;<br>
> +<br>
> +    // Find the base pointer and offset for this memory node.<br>
> +    BaseIndexOffset Ptr = BaseIndexOffset::match(Index-><wbr>getBasePtr(), DAG);<br>
> +<br>
> +    // Check that the base pointer is the same as the original one.<br>
> +    if (!Ptr.equalBaseIndex(BasePtr))<br>
> +      break;<br>
> +<br>
> +    // The memory operands must not be volatile.<br>
> +    if (Index->isVolatile() || Index->isIndexed())<br>
> +      break;<br>
> +<br>
> +    // No truncation.<br>
> +    if (Index->isTruncatingStore())<br>
> +      break;<br>
> +<br>
> +    // The stored memory type must be the same.<br>
> +    if (Index->getMemoryVT() != MemVT)<br>
> +      break;<br>
> +<br>
> +    // We do not allow under-aligned stores in order to prevent<br>
> +    // overriding stores. NOTE: this is a bad hack. Alignment SHOULD<br>
> +    // be irrelevant here; what MATTERS is that we not move memory<br>
> +    // operations that potentially overlap past each-other.<br>
> +    if (Index->getAlignment() < MemVT.getStoreSize())<br>
> +      break;<br>
> +<br>
> +    // We found a potential memory operand to merge.<br>
> +    StoreNodes.push_back(<wbr>MemOpLink(Index, Ptr.Offset, Seq++));<br>
> +<br>
> +    // Find the next memory operand in the chain. If the next operand in the<br>
> +    // chain is a store then move up and continue the scan with the next<br>
> +    // memory operand. If the next operand is a load save it and use alias<br>
> +    // information to check if it interferes with anything.<br>
> +    SDNode *NextInChain = Index->getChain().getNode();<br>
> +    while (1) {<br>
> +      if (StoreSDNode *STn = dyn_cast<StoreSDNode>(<wbr>NextInChain)) {<br>
> +        // We found a store node. Use it for the next iteration.<br>
> +        Index = STn;<br>
> +        break;<br>
> +      } else if (LoadSDNode *Ldn = dyn_cast<LoadSDNode>(<wbr>NextInChain)) {<br>
> +        if (Ldn->isVolatile()) {<br>
> +          Index = nullptr;<br>
> +          break;<br>
>         }<br>
> +<br>
> +        // Save the load node for later. Continue the scan.<br>
> +        AliasLoadNodes.push_back(Ldn);<br>
> +        NextInChain = Ldn->getChain().getNode();<br>
> +        continue;<br>
> +      } else {<br>
> +        Index = nullptr;<br>
> +        break;<br>
> +      }<br>
> +    }<br>
> +  }<br>
> }<br>
><br>
> // We need to check that merging these stores does not cause a loop<br>
> @@ -11492,36 +11592,67 @@ bool DAGCombiner::<wbr>MergeConsecutiveStores<br>
>   if (MemVT.isVector() && IsLoadSrc)<br>
>     return false;<br>
><br>
> -  // Find potential store merge candidates by searching through chain sub-DAG<br>
> +  // Only look at ends of store sequences.<br>
> +  SDValue Chain = SDValue(St, 0);<br>
> +  if (Chain->hasOneUse() && Chain->use_begin()->getOpcode(<wbr>) == ISD::STORE)<br>
> +    return false;<br>
> +<br>
> +  // Save the LoadSDNodes that we find in the chain.<br>
> +  // We need to make sure that these nodes do not interfere with<br>
> +  // any of the store nodes.<br>
> +  SmallVector<LSBaseSDNode*, 8> AliasLoadNodes;<br>
> +<br>
> +  // Save the StoreSDNodes that we find in the chain.<br>
>   SmallVector<MemOpLink, 8> StoreNodes;<br>
> -  getStoreMergeCandidates(St, StoreNodes);<br>
> +<br>
> +  getStoreMergeAndAliasCandidate<wbr>s(St, StoreNodes, AliasLoadNodes);<br>
><br>
>   // Check if there is anything to merge.<br>
>   if (StoreNodes.size() < 2)<br>
>     return false;<br>
><br>
> -  // Check that we can merge these candidates without causing a cycle<br>
> -  if (!<wbr>checkMergeStoreCandidatesForDe<wbr>pendencies(StoreNodes))<br>
> +  // only do dependence check in AA case<br>
> +  bool UseAA = CombinerAA.getNumOccurrences() > 0 ? CombinerAA<br>
> +                                                  : DAG.getSubtarget().useAA();<br>
> +  if (UseAA && !<wbr>checkMergeStoreCandidatesForDe<wbr>pendencies(StoreNodes))<br>
>     return false;<br>
><br>
>   // Sort the memory operands according to their distance from the<br>
> -  // base pointer.<br>
> +  // base pointer.  As a secondary criteria: make sure stores coming<br>
> +  // later in the code come first in the list. This is important for<br>
> +  // the non-UseAA case, because we're merging stores into the FINAL<br>
> +  // store along a chain which potentially contains aliasing stores.<br>
> +  // Thus, if there are multiple stores to the same address, the last<br>
> +  // one can be considered for merging but not the others.<br>
>   std::sort(StoreNodes.begin(), StoreNodes.end(),<br>
>             [](MemOpLink LHS, MemOpLink RHS) {<br>
> -              return LHS.OffsetFromBase < RHS.OffsetFromBase;<br>
> -            });<br>
> +    return LHS.OffsetFromBase < RHS.OffsetFromBase ||<br>
> +           (LHS.OffsetFromBase == RHS.OffsetFromBase &&<br>
> +            LHS.SequenceNum < RHS.SequenceNum);<br>
> +  });<br>
><br>
>   // Scan the memory operations on the chain and find the first non-consecutive<br>
>   // store memory address.<br>
>   unsigned LastConsecutiveStore = 0;<br>
>   int64_t StartAddress = StoreNodes[0].OffsetFromBase;<br>
> +  for (unsigned i = 0, e = StoreNodes.size(); i < e; ++i) {<br>
><br>
> -  // Check that the addresses are consecutive starting from the second<br>
> -  // element in the list of stores.<br>
> -  for (unsigned i = 1, e = StoreNodes.size(); i < e; ++i) {<br>
> -    int64_t CurrAddress = StoreNodes[i].OffsetFromBase;<br>
> -    if (CurrAddress - StartAddress != (ElementSizeBytes * i))<br>
> +    // Check that the addresses are consecutive starting from the second<br>
> +    // element in the list of stores.<br>
> +    if (i > 0) {<br>
> +      int64_t CurrAddress = StoreNodes[i].OffsetFromBase;<br>
> +      if (CurrAddress - StartAddress != (ElementSizeBytes * i))<br>
> +        break;<br>
> +    }<br>
> +<br>
> +    // Check if this store interferes with any of the loads that we found.<br>
> +    // If we find a load that alias with this store. Stop the sequence.<br>
> +    if (any_of(AliasLoadNodes, [&](LSBaseSDNode *Ldn) {<br>
> +          return isAlias(Ldn, StoreNodes[i].MemNode);<br>
> +        }))<br>
>       break;<br>
> +<br>
> +    // Mark this node as useful.<br>
>     LastConsecutiveStore = i;<br>
>   }<br>
><br>
> @@ -11675,7 +11806,7 @@ bool DAGCombiner::<wbr>MergeConsecutiveStores<br>
>     }<br>
><br>
>     // We found a potential memory operand to merge.<br>
> -    LoadNodes.push_back(MemOpLink(<wbr>Ld, LdPtr.Offset));<br>
> +    LoadNodes.push_back(MemOpLink(<wbr>Ld, LdPtr.Offset, 0));<br>
>   }<br>
><br>
>   if (LoadNodes.size() < 2)<br>
> @@ -11764,8 +11895,22 @@ bool DAGCombiner::<wbr>MergeConsecutiveStores<br>
><br>
>   // Collect the chains from all merged stores.<br>
>   SmallVector<SDValue, 8> MergeStoreChains;<br>
> -  for (unsigned i = 0; i < NumElem; ++i)<br>
> +  MergeStoreChains.push_back(<wbr>StoreNodes[0].MemNode-><wbr>getChain());<br>
> +<br>
> +  // The latest Node in the DAG.<br>
> +  unsigned LatestNodeUsed = 0;<br>
> +  for (unsigned i=1; i<NumElem; ++i) {<br>
> +    // Find a chain for the new wide-store operand. Notice that some<br>
> +    // of the store nodes that we found may not be selected for inclusion<br>
> +    // in the wide store. The chain we use needs to be the chain of the<br>
> +    // latest store node which is *used* and replaced by the wide store.<br>
> +    if (StoreNodes[i].SequenceNum < StoreNodes[LatestNodeUsed].<wbr>SequenceNum)<br>
> +      LatestNodeUsed = i;<br>
> +<br>
>     MergeStoreChains.push_back(<wbr>StoreNodes[i].MemNode-><wbr>getChain());<br>
> +  }<br>
> +<br>
> +  LSBaseSDNode *LatestOp = StoreNodes[LatestNodeUsed].<wbr>MemNode;<br>
><br>
>   // Find if it is better to use vectors or integers to load and store<br>
>   // to memory.<br>
> @@ -11800,9 +11945,23 @@ bool DAGCombiner::<wbr>MergeConsecutiveStores<br>
>                                   SDValue(NewLoad.getNode(), 1));<br>
>   }<br>
><br>
> -  // Replace the all stores with the new store.<br>
> -  for (unsigned i = 0; i < NumElem; ++i)<br>
> -    CombineTo(StoreNodes[i].<wbr>MemNode, NewStore);<br>
> +  if (UseAA) {<br>
> +    // Replace the all stores with the new store.<br>
> +    for (unsigned i = 0; i < NumElem; ++i)<br>
> +      CombineTo(StoreNodes[i].<wbr>MemNode, NewStore);<br>
> +  } else {<br>
> +    // Replace the last store with the new store.<br>
> +    CombineTo(LatestOp, NewStore);<br>
> +    // Erase all other stores.<br>
> +    for (unsigned i = 0; i < NumElem; ++i) {<br>
> +      // Remove all Store nodes.<br>
> +      if (StoreNodes[i].MemNode == LatestOp)<br>
> +        continue;<br>
> +      StoreSDNode *St = cast<StoreSDNode>(StoreNodes[<wbr>i].MemNode);<br>
> +      DAG.ReplaceAllUsesOfValueWith(<wbr>SDValue(St, 0), St->getChain());<br>
> +      deleteAndRecombine(St);<br>
> +    }<br>
> +  }<br>
><br>
>   return true;<br>
> }<br>
> @@ -11960,7 +12119,19 @@ SDValue DAGCombiner::visitSTORE(SDNode *<br>
>   if (SDValue NewST = TransformFPLoadStorePair(N))<br>
>     return NewST;<br>
><br>
> -  if (ST->isUnindexed()) {<br>
> +  bool UseAA = CombinerAA.getNumOccurrences() > 0 ? CombinerAA<br>
> +                                                  : DAG.getSubtarget().useAA();<br>
> +#ifndef NDEBUG<br>
> +  if (CombinerAAOnlyFunc.<wbr>getNumOccurrences() &&<br>
> +      CombinerAAOnlyFunc != DAG.getMachineFunction().<wbr>getName())<br>
> +    UseAA = false;<br>
> +#endif<br>
> +  if (UseAA && ST->isUnindexed()) {<br>
> +    // FIXME: We should do this even without AA enabled. AA will just allow<br>
> +    // FindBetterChain to work in more situations. The problem with this is that<br>
> +    // any combine that expects memory operations to be on consecutive chains<br>
> +    // first needs to be updated to look for users of the same chain.<br>
> +<br>
>     // Walk up chain skipping non-aliasing memory nodes, on this store and any<br>
>     // adjacent stores.<br>
>     if (findBetterNeighborChains(ST)) {<br>
> @@ -11994,13 +12165,8 @@ SDValue DAGCombiner::visitSTORE(SDNode *<br>
>     if (SimplifyDemandedBits(<br>
>             Value,<br>
>             APInt::getLowBitsSet(Value.<wbr>getScalarValueSizeInBits(),<br>
> -                                 ST->getMemoryVT().<wbr>getScalarSizeInBits()))) {<br>
> -      // Re-visit the store if anything changed; SimplifyDemandedBits<br>
> -      // will add Value's node back to the worklist if necessary, but<br>
> -      // we also need to re-visit the Store node itself.<br>
> -      AddToWorklist(N);<br>
> +                                 ST->getMemoryVT().<wbr>getScalarSizeInBits())))<br>
>       return SDValue(N, 0);<br>
> -    }<br>
>   }<br>
><br>
>   // If this is a load followed by a store to the same location, then the store<br>
> @@ -14993,18 +15159,6 @@ SDValue DAGCombiner::FindBetterChain(<wbr>SDN<br>
>   return DAG.getNode(ISD::TokenFactor, SDLoc(N), MVT::Other, Aliases);<br>
> }<br>
><br>
> -// This function tries to collect a bunch of potentially interesting<br>
> -// nodes to improve the chains of, all at once. This might seem<br>
> -// redundant, as this function gets called when visiting every store<br>
> -// node, so why not let the work be done on each store as it's visited?<br>
> -//<br>
> -// I believe this is mainly important because MergeConsecutiveStores<br>
> -// is unable to deal with merging stores of different sizes, so unless<br>
> -// we improve the chains of all the potential candidates up-front<br>
> -// before running MergeConsecutiveStores, it might only see some of<br>
> -// the nodes that will eventually be candidates, and then not be able<br>
> -// to go from a partially-merged state to the desired final<br>
> -// fully-merged state.<br>
> bool DAGCombiner::<wbr>findBetterNeighborChains(<wbr>StoreSDNode *St) {<br>
>   // This holds the base pointer, index, and the offset in bytes from the base<br>
>   // pointer.<br>
> @@ -15040,8 +15194,10 @@ bool DAGCombiner::<wbr>findBetterNeighborChai<br>
>     if (!Ptr.equalBaseIndex(BasePtr))<br>
>       break;<br>
><br>
> -    // Walk up the chain to find the next store node, ignoring any<br>
> -    // intermediate loads. Any other kind of node will halt the loop.<br>
> +    // Find the next memory operand in the chain. If the next operand in the<br>
> +    // chain is a store then move up and continue the scan with the next<br>
> +    // memory operand. If the next operand is a load save it and use alias<br>
> +    // information to check if it interferes with anything.<br>
>     SDNode *NextInChain = Index->getChain().getNode();<br>
>     while (true) {<br>
>       if (StoreSDNode *STn = dyn_cast<StoreSDNode>(<wbr>NextInChain)) {<br>
> @@ -15060,14 +15216,9 @@ bool DAGCombiner::<wbr>findBetterNeighborChai<br>
>         Index = nullptr;<br>
>         break;<br>
>       }<br>
> -    } // end while<br>
> +    }<br>
>   }<br>
><br>
> -  // At this point, ChainedStores lists all of the Store nodes<br>
> -  // reachable by iterating up through chain nodes matching the above<br>
> -  // conditions.  For each such store identified, try to find an<br>
> -  // earlier chain to attach the store to which won't violate the<br>
> -  // required ordering.<br>
>   bool MadeChangeToSt = false;<br>
>   SmallVector<std::pair<<wbr>StoreSDNode *, SDValue>, 8> BetterChains;<br>
><br>
><br>
> Modified: llvm/trunk/lib/CodeGen/<wbr>TargetLoweringBase.cpp<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/lib/CodeGen/TargetLoweringBase.cpp?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/lib/<wbr>CodeGen/TargetLoweringBase.<wbr>cpp?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/lib/CodeGen/<wbr>TargetLoweringBase.cpp (original)<br>
> +++ llvm/trunk/lib/CodeGen/<wbr>TargetLoweringBase.cpp Wed Sep 28 11:37:50 2016<br>
> @@ -824,7 +824,7 @@ TargetLoweringBase::<wbr>TargetLoweringBase(c<br>
>   MinFunctionAlignment = 0;<br>
>   PrefFunctionAlignment = 0;<br>
>   PrefLoopAlignment = 0;<br>
> -  GatherAllAliasesMaxDepth = 18;<br>
> +  GatherAllAliasesMaxDepth = 6;<br>
>   MinStackArgumentAlignment = 1;<br>
>   MinimumJumpTableEntries = 4;<br>
>   // TODO: the default will be switched to 0 in the next commit, along<br>
><br>
> Modified: llvm/trunk/lib/Target/AMDGPU/<wbr>AMDGPUISelLowering.cpp<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/lib/Target/AMDGPU/AMDGPUISelLowering.cpp?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/lib/Target/<wbr>AMDGPU/AMDGPUISelLowering.cpp?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/lib/Target/AMDGPU/<wbr>AMDGPUISelLowering.cpp (original)<br>
> +++ llvm/trunk/lib/Target/AMDGPU/<wbr>AMDGPUISelLowering.cpp Wed Sep 28 11:37:50 2016<br>
> @@ -446,6 +446,16 @@ AMDGPUTargetLowering::<wbr>AMDGPUTargetLoweri<br>
>   setSelectIsExpensive(false);<br>
>   PredictableSelectIsExpensive = false;<br>
><br>
> +  // We want to find all load dependencies for long chains of stores to enable<br>
> +  // merging into very wide vectors. The problem is with vectors with > 4<br>
> +  // elements. MergeConsecutiveStores will attempt to merge these because x8/x16<br>
> +  // vectors are a legal type, even though we have to split the loads<br>
> +  // usually. When we can more precisely specify load legality per address<br>
> +  // space, we should be able to make FindBetterChain/<wbr>MergeConsecutiveStores<br>
> +  // smarter so that they can figure out what to do in 2 iterations without all<br>
> +  // N > 4 stores on the same chain.<br>
> +  GatherAllAliasesMaxDepth = 16;<br>
> +<br>
>   // FIXME: Need to really handle these.<br>
>   MaxStoresPerMemcpy  = 4096;<br>
>   MaxStoresPerMemmove = 4096;<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AArch64/argument-blocks.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AArch64/argument-blocks.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AArch64/argument-<wbr>blocks.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AArch64/argument-blocks.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AArch64/argument-blocks.ll Wed Sep 28 11:37:50 2016<br>
> @@ -62,7 +62,7 @@ define i64 @test_hfa_ignores_gprs([7 x f<br>
> ; but should go in an 8-byte aligned slot.<br>
> define void @test_varargs_stackalign() {<br>
> ; CHECK-LABEL: test_varargs_stackalign:<br>
> -; CHECK-DARWINPCS: str {{x[0-9]+}}, [sp, #16]<br>
> +; CHECK-DARWINPCS: stp {{w[0-9]+}}, {{w[0-9]+}}, [sp, #16]<br>
><br>
>   call void(...) @callee([3 x float] undef, [2 x float] [float 1.0, float 2.0])<br>
>   ret void<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-abi-varargs.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AArch64/arm64-abi-varargs.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AArch64/arm64-abi-<wbr>varargs.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-abi-varargs.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-abi-varargs.ll Wed Sep 28 11:37:50 2016<br>
> @@ -6,13 +6,17 @@<br>
> define void @fn9(i32 %a1, i32 %a2, i32 %a3, i32 %a4, i32 %a5, i32 %a6, i32 %a7, i32 %a8, i32 %a9, ...) nounwind noinline ssp {<br>
> ; CHECK-LABEL: fn9:<br>
> ; 9th fixed argument<br>
> -; CHECK: add x[[ADDR:[0-9]+]], sp, #72<br>
> +; CHECK: ldr {{w[0-9]+}}, [sp, #64]<br>
> +; CHECK: add [[ARGS:x[0-9]+]], sp, #72<br>
> +; CHECK: add {{x[0-9]+}}, [[ARGS]], #8<br>
> ; First vararg<br>
> -; CHECK-DAG: ldr {{w[0-9]+}}, [sp, #72]<br>
> +; CHECK: ldr {{w[0-9]+}}, [sp, #72]<br>
> +; CHECK: add {{x[0-9]+}}, {{x[0-9]+}}, #8<br>
> ; Second vararg<br>
> -; CHECK-DAG: ldr {{w[0-9]+}}, [x[[ADDR]]]<br>
> +; CHECK: ldr {{w[0-9]+}}, [{{x[0-9]+}}]<br>
> +; CHECK: add {{x[0-9]+}}, {{x[0-9]+}}, #8<br>
> ; Third vararg<br>
> -; CHECK-DAG: ldr {{w[0-9]+}}, [x[[ADDR]]], #8<br>
> +; CHECK: ldr {{w[0-9]+}}, [{{x[0-9]+}}]<br>
>   %1 = alloca i32, align 4<br>
>   %2 = alloca i32, align 4<br>
>   %3 = alloca i32, align 4<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-abi.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AArch64/arm64-abi.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AArch64/arm64-abi.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-abi.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-abi.ll Wed Sep 28 11:37:50 2016<br>
> @@ -205,7 +205,10 @@ declare i32 @args_i32(i32, i32, i32, i32<br>
> define i32 @test8(i32 %argc, i8** nocapture %argv) nounwind {<br>
> entry:<br>
> ; CHECK-LABEL: test8<br>
> -; CHECK: str w8, [sp]<br>
> +; CHECK: strb {{w[0-9]+}}, [sp, #3]<br>
> +; CHECK: strb wzr, [sp, #2]<br>
> +; CHECK: strb {{w[0-9]+}}, [sp, #1]<br>
> +; CHECK: strb wzr, [sp]<br>
> ; CHECK: bl<br>
> ; FAST-LABEL: test8<br>
> ; FAST: strb {{w[0-9]+}}, [sp]<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-memset-inline.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AArch64/arm64-memset-inline.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AArch64/arm64-memset-<wbr>inline.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-memset-inline.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-memset-inline.ll Wed Sep 28 11:37:50 2016<br>
> @@ -9,15 +9,11 @@ entry:<br>
>   ret void<br>
> }<br>
><br>
> -; FIXME: This shouldn't need to load in a zero value to store<br>
> -;        (e.g. stp xzr,xzr [sp, #16])<br>
> -<br>
> define void @t2() nounwind ssp {<br>
> entry:<br>
> ; CHECK-LABEL: t2:<br>
> -; CHECK: movi v0.2d, #0000000000000000<br>
> -; CHECK: stur q0, [sp, #16]<br>
> ; CHECK: strh wzr, [sp, #32]<br>
> +; CHECK: stp xzr, xzr, [sp, #16]<br>
> ; CHECK: str xzr, [sp, #8]<br>
>   %buf = alloca [26 x i8], align 1<br>
>   %0 = getelementptr inbounds [26 x i8], [26 x i8]* %buf, i32 0, i32 0<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-stur.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AArch64/arm64-stur.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AArch64/arm64-stur.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-stur.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AArch64/arm64-stur.ll Wed Sep 28 11:37:50 2016<br>
> @@ -47,14 +47,11 @@ define void @foo5(i8* %p, i32 %val) noun<br>
>   ret void<br>
> }<br>
><br>
> -;; FIXME: Again, with the writing of a quadword zero...<br>
> -<br>
> define void @foo(%struct.X* nocapture %p) nounwind optsize ssp {<br>
> ; CHECK-LABEL: foo:<br>
> ; CHECK-NOT: str<br>
> -; CHECK: stur    q0, [x0, #4]<br>
> -; CHECK-FIXME: stur    xzr, [x0, #12]<br>
> -; CHECK-FIXME-NEXT: stur    xzr, [x0, #4]<br>
> +; CHECK: stur    xzr, [x0, #12]<br>
> +; CHECK-NEXT: stur    xzr, [x0, #4]<br>
> ; CHECK-NEXT: ret<br>
>   %B = getelementptr inbounds %struct.X, %struct.X* %p, i64 0, i32 1<br>
>   %val = bitcast i64* %B to i8*<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AArch64/merge-store.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AArch64/merge-store.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AArch64/merge-store.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AArch64/merge-store.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AArch64/merge-store.ll Wed Sep 28 11:37:50 2016<br>
> @@ -4,9 +4,8 @@<br>
> @g0 = external global <3 x float>, align 16<br>
> @g1 = external global <3 x float>, align 4<br>
><br>
> -; CHECK: ldr q[[R0:[0-9]+]], {{\[}}[[R1:x[0-9]+]], :lo12:g0<br>
> -;; TODO: this next line seems like a redundant no-op move?<br>
> -; CHECK: ins     v0.s[1], v0.s[1]<br>
> +; CHECK: ldr s[[R0:[0-9]+]], {{\[}}[[R1:x[0-9]+]]{{\]}}, #4<br>
> +; CHECK: ld1{{\.?s?}} { v[[R0]]{{\.?s?}} }[1], {{\[}}[[R1]]{{\]}}<br>
> ; CHECK: str d[[R0]]<br>
><br>
> define void @blam() {<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AArch64/vector_merge_dep_<wbr>check.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AArch64/vector_merge_dep_check.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AArch64/vector_merge_<wbr>dep_check.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AArch64/vector_merge_dep_<wbr>check.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AArch64/vector_merge_dep_<wbr>check.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,4 +1,5 @@<br>
> -; RUN: llc < %s | FileCheck %s<br>
> +; RUN: llc --combiner-alias-analysis=<wbr>false < %s | FileCheck %s<br>
> +; RUN: llc --combiner-alias-analysis=true  < %s | FileCheck %s<br>
><br>
> ; This test checks that we do not merge stores together which have<br>
> ; dependencies through their non-chain operands (e.g. one store is the<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AMDGPU/cvt_f32_ubyte.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AMDGPU/cvt_f32_ubyte.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AMDGPU/cvt_f32_ubyte.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AMDGPU/cvt_f32_ubyte.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AMDGPU/cvt_f32_ubyte.ll Wed Sep 28 11:37:50 2016<br>
> @@ -88,9 +88,12 @@ define void @load_v4i8_to_v4f32_unaligne<br>
> ; SI-DAG: v_cvt_f32_ubyte2_e32<br>
> ; SI-DAG: v_cvt_f32_ubyte3_e32<br>
><br>
> +; SI-DAG: v_lshrrev_b32_e32 v{{[0-9]+}}, 24<br>
> +; SI-DAG: v_lshrrev_b32_e32 v{{[0-9]+}}, 16<br>
> ; SI-DAG: v_lshlrev_b32_e32 v{{[0-9]+}}, 16<br>
> ; SI-DAG: v_lshlrev_b32_e32 v{{[0-9]+}}, 8<br>
> ; SI-DAG: v_and_b32_e32 v{{[0-9]+}}, 0xffff,<br>
> +; SI-DAG: v_and_b32_e32 v{{[0-9]+}}, 0xff00,<br>
> ; SI-DAG: v_add_i32<br>
><br>
> ; SI: buffer_store_dwordx4<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AMDGPU/debugger-insert-nops.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AMDGPU/debugger-insert-nops.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AMDGPU/debugger-<wbr>insert-nops.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AMDGPU/debugger-insert-nops.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AMDGPU/debugger-insert-nops.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,21 +1,13 @@<br>
> -; RUN: llc -O0 -mtriple=amdgcn--amdhsa -mcpu=fiji -mattr=+amdgpu-debugger-<wbr>insert-nops -verify-machineinstrs < %s | FileCheck %s --check-prefix=CHECK<br>
> -; RUN: llc -O0 -mtriple=amdgcn--amdhsa -mcpu=fiji -mattr=+amdgpu-debugger-<wbr>insert-nops -verify-machineinstrs < %s | FileCheck %s --check-prefix=CHECKNOP<br>
> +; RUN: llc -O0 -mtriple=amdgcn--amdhsa -mcpu=fiji -mattr=+amdgpu-debugger-<wbr>insert-nops -verify-machineinstrs < %s | FileCheck %s<br>
><br>
> -; This test expects that we have one instance for each line in some order with "s_nop 0" instances after each.<br>
> -<br>
> -; Check that each line appears at least once<br>
> -; CHECK-DAG: test01.cl:2:3<br>
> -; CHECK-DAG: test01.cl:3:3<br>
> -; CHECK-DAG: test01.cl:4:3<br>
> +; CHECK: test01.cl:2:{{[0-9]+}}<br>
> +; CHECK-NEXT: s_nop 0<br>
><br>
> +; CHECK: test01.cl:3:{{[0-9]+}}<br>
> +; CHECK-NEXT: s_nop 0<br>
><br>
> -; Check that each of each of the lines consists of the line output, followed by "s_nop 0"<br>
> -; CHECKNOP: test01.cl:{{[234]}}:3<br>
> -; CHECKNOP-NEXT: s_nop 0<br>
> -; CHECKNOP: test01.cl:{{[234]}}:3<br>
> -; CHECKNOP-NEXT: s_nop 0<br>
> -; CHECKNOP: test01.cl:{{[234]}}:3<br>
> -; CHECKNOP-NEXT: s_nop 0<br>
> +; CHECK: test01.cl:4:{{[0-9]+}}<br>
> +; CHECK-NEXT: s_nop 0<br>
><br>
> ; CHECK: test01.cl:5:{{[0-9]+}}<br>
> ; CHECK-NEXT: s_nop 0<br>
> @@ -29,7 +21,7 @@ entry:<br>
>   call void @llvm.dbg.declare(metadata i32 addrspace(1)** %A.addr, metadata !17, metadata !18), !dbg !19<br>
>   %0 = load i32 addrspace(1)*, i32 addrspace(1)** %A.addr, align 4, !dbg !20<br>
>   %arrayidx = getelementptr inbounds i32, i32 addrspace(1)* %0, i32 0, !dbg !20<br>
> -  store i32 1, i32 addrspace(1)* %arrayidx, align 4, !dbg !20<br>
> +  store i32 1, i32 addrspace(1)* %arrayidx, align 4, !dbg !21<br>
>   %1 = load i32 addrspace(1)*, i32 addrspace(1)** %A.addr, align 4, !dbg !22<br>
>   %arrayidx1 = getelementptr inbounds i32, i32 addrspace(1)* %1, i32 1, !dbg !22<br>
>   store i32 2, i32 addrspace(1)* %arrayidx1, align 4, !dbg !23<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AMDGPU/merge-stores.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AMDGPU/merge-stores.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AMDGPU/merge-stores.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AMDGPU/merge-stores.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AMDGPU/merge-stores.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,5 +1,8 @@<br>
> -; RUN: llc -march=amdgcn -verify-machineinstrs -amdgpu-load-store-vectorizer=<wbr>0 < %s | FileCheck -check-prefix=SI -check-prefix=GCN -check-prefix=GCN-AA %s<br>
> -; RUN: llc -march=amdgcn -mcpu=bonaire -verify-machineinstrs -amdgpu-load-store-vectorizer=<wbr>0 < %s | FileCheck -check-prefix=SI -check-prefix=GCN -check-prefix=GCN-AA %s<br>
> +; RUN: llc -march=amdgcn -verify-machineinstrs -amdgpu-load-store-vectorizer=<wbr>0 < %s | FileCheck -check-prefix=SI -check-prefix=GCN -check-prefix=GCN-NOAA %s<br>
> +; RUN: llc -march=amdgcn -mcpu=bonaire -verify-machineinstrs -amdgpu-load-store-vectorizer=<wbr>0 < %s | FileCheck -check-prefix=SI -check-prefix=GCN -check-prefix=GCN-NOAA %s<br>
> +<br>
> +; RUN: llc -march=amdgcn -verify-machineinstrs -combiner-alias-analysis -amdgpu-load-store-vectorizer=<wbr>0 < %s | FileCheck -check-prefix=SI -check-prefix=GCN -check-prefix=GCN-AA %s<br>
> +; RUN: llc -march=amdgcn -mcpu=bonaire -verify-machineinstrs -combiner-alias-analysis -amdgpu-load-store-vectorizer=<wbr>0 < %s | FileCheck -check-prefix=SI -check-prefix=GCN -check-prefix=GCN-AA %s<br>
><br>
> ; This test is mostly to test DAG store merging, so disable the vectorizer.<br>
> ; Run with devices with different unaligned load restrictions.<br>
> @@ -146,10 +149,17 @@ define void @merge_global_store_4_consta<br>
>   ret void<br>
> }<br>
><br>
> +; FIXME: Should be able to merge this<br>
> ; GCN-LABEL: {{^}}merge_global_store_4_<wbr>constants_mixed_i32_f32:<br>
> -; GCN: buffer_store_dwordx2<br>
> -; GCN: buffer_store_dword v<br>
> -; GCN: buffer_store_dword v<br>
> +; GCN-NOAA: buffer_store_dword v<br>
> +; GCN-NOAA: buffer_store_dword v<br>
> +; GCN-NOAA: buffer_store_dword v<br>
> +; GCN-NOAA: buffer_store_dword v<br>
> +<br>
> +; GCN-AA: buffer_store_dwordx2<br>
> +; GCN-AA: buffer_store_dword v<br>
> +; GCN-AA: buffer_store_dword v<br>
> +<br>
> ; GCN: s_endpgm<br>
> define void @merge_global_store_4_<wbr>constants_mixed_i32_f32(float addrspace(1)* %out) #0 {<br>
>   %out.gep.1 = getelementptr float, float addrspace(1)* %out, i32 1<br>
> @@ -468,9 +478,17 @@ define void @merge_global_store_4_adjace<br>
>   ret void<br>
> }<br>
><br>
> +; This works once AA is enabled on the subtarget<br>
> ; GCN-LABEL: {{^}}merge_global_store_4_<wbr>vector_elts_loads_v4i32:<br>
> ; GCN: buffer_load_dwordx4 [[LOAD:v\[[0-9]+:[0-9]+\]]]<br>
> -; GCN: buffer_store_dwordx4 [[LOAD]]<br>
> +<br>
> +; GCN-NOAA: buffer_store_dword v<br>
> +; GCN-NOAA: buffer_store_dword v<br>
> +; GCN-NOAA: buffer_store_dword v<br>
> +; GCN-NOAA: buffer_store_dword v<br>
> +<br>
> +; GCN-AA: buffer_store_dwordx4 [[LOAD]]<br>
> +<br>
> ; GCN: s_endpgm<br>
> define void @merge_global_store_4_vector_<wbr>elts_loads_v4i32(i32 addrspace(1)* %out, <4 x i32> addrspace(1)* %in) #0 {<br>
>   %out.gep.1 = getelementptr i32, i32 addrspace(1)* %out, i32 1<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AMDGPU/private-element-size.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AMDGPU/private-element-size.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AMDGPU/private-<wbr>element-size.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AMDGPU/private-element-size.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AMDGPU/private-element-size.ll Wed Sep 28 11:37:50 2016<br>
> @@ -32,10 +32,10 @@<br>
> ; HSA-ELT4-DAG: buffer_store_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen offset:24{{$}}<br>
> ; HSA-ELT4-DAG: buffer_store_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen offset:28{{$}}<br>
><br>
> -; HSA-ELT4-DAG: buffer_load_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen{{$}}<br>
> -; HSA-ELT4-DAG: buffer_load_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen offset:4{{$}}<br>
> -; HSA-ELT4-DAG: buffer_load_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen offset:8{{$}}<br>
> -; HSA-ELT4-DAG: buffer_load_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen offset:12{{$}}<br>
> +; HSA-ELT4: buffer_load_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen{{$}}<br>
> +; HSA-ELT4: buffer_load_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen offset:4{{$}}<br>
> +; HSA-ELT4: buffer_load_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen offset:8{{$}}<br>
> +; HSA-ELT4: buffer_load_dword {{v[0-9]+}}, v{{[0-9]+}}, s[0:3], s9 offen offset:12{{$}}<br>
> define void @private_elt_size_v4i32(<4 x i32> addrspace(1)* %out, i32 addrspace(1)* %index.array) #0 {<br>
> entry:<br>
>   %tid = call i32 @llvm.amdgcn.workitem.id.x()<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AMDGPU/si-triv-disjoint-mem-<wbr>access.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AMDGPU/si-triv-disjoint-mem-access.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AMDGPU/si-triv-<wbr>disjoint-mem-access.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AMDGPU/si-triv-disjoint-mem-<wbr>access.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AMDGPU/si-triv-disjoint-mem-<wbr>access.ll Wed Sep 28 11:37:50 2016<br>
> @@ -156,8 +156,9 @@ define void @reorder_global_load_local_s<br>
><br>
> ; FUNC-LABEL: @reorder_local_offsets<br>
> ; CI: ds_read2_b32 {{v\[[0-9]+:[0-9]+\]}}, {{v[0-9]+}} offset0:100 offset1:102<br>
> -; CI-DAG: ds_write2_b32 {{v[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}} offset0:3 offset1:100<br>
> -; CI-DAG: ds_write_b32 {{v[0-9]+}}, {{v[0-9]+}} offset:408<br>
> +; CI: ds_write2_b32 {{v[0-9]+}}, {{v[0-9]+}}, {{v[0-9]+}} offset0:3 offset1:100<br>
> +; CI: ds_read_b32 {{v[0-9]+}}, {{v[0-9]+}} offset:12<br>
> +; CI: ds_write_b32 {{v[0-9]+}}, {{v[0-9]+}} offset:408<br>
> ; CI: buffer_store_dword<br>
> ; CI: s_endpgm<br>
> define void @reorder_local_offsets(i32 addrspace(1)* nocapture %out, i32 addrspace(1)* noalias nocapture readnone %gptr, i32 addrspace(3)* noalias nocapture %ptr0) #0 {<br>
> @@ -179,12 +180,12 @@ define void @reorder_local_offsets(i32 a<br>
> }<br>
><br>
> ; FUNC-LABEL: @reorder_global_offsets<br>
> -; CI-DAG: buffer_load_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:400<br>
> -; CI-DAG: buffer_load_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:408<br>
> -; CI-DAG: buffer_store_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:12<br>
> -; CI-DAG: buffer_store_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:400<br>
> -; CI-DAG: buffer_store_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:408<br>
> -; CI: buffer_store_dword<br>
> +; CI: buffer_load_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:400<br>
> +; CI: buffer_load_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:408<br>
> +; CI: buffer_store_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:12<br>
> +; CI: buffer_store_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:400<br>
> +; CI: buffer_store_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:408<br>
> +; CI: buffer_load_dword {{v[0-9]+}}, off, {{s\[[0-9]+:[0-9]+\]}}, 0 offset:12<br>
> ; CI: s_endpgm<br>
> define void @reorder_global_offsets(i32 addrspace(1)* nocapture %out, i32 addrspace(1)* noalias nocapture readnone %gptr, i32 addrspace(1)* noalias nocapture %ptr0) #0 {<br>
>   %ptr1 = getelementptr inbounds i32, i32 addrspace(1)* %ptr0, i32 3<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AMDGPU/vgpr-spill-emergency-<wbr>stack-slot-compute.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AMDGPU/vgpr-spill-emergency-stack-slot-compute.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AMDGPU/vgpr-spill-<wbr>emergency-stack-slot-compute.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AMDGPU/vgpr-spill-emergency-<wbr>stack-slot-compute.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AMDGPU/vgpr-spill-emergency-<wbr>stack-slot-compute.ll Wed Sep 28 11:37:50 2016<br>
> @@ -3,13 +3,6 @@<br>
> ; RUN: llc -march=amdgcn -mcpu=hawaii -mtriple=amdgcn-unknown-amdhsa -mattr=+vgpr-spilling -verify-machineinstrs < %s | FileCheck -check-prefix=GCN -check-prefix=CIHSA -check-prefix=HSA %s<br>
> ; RUN: llc -march=amdgcn -mcpu=fiji -mtriple=amdgcn-unknown-amdhsa -mattr=+vgpr-spilling -verify-machineinstrs < %s | FileCheck -check-prefix=GCN -check-prefix=VIHSA -check-prefix=HSA %s<br>
><br>
> -; FIXME: this fails because the load generated from extractelement is<br>
> -;; now properly recognized as forwardable to the value stored in<br>
> -;; insertelement, and thus the loads/stores drop away entirely. This<br>
> -;; makes the intended test, of running out of registers, not occur.<br>
> -<br>
> -;; XFAIL: *<br>
> -<br>
> ; This ends up using all 256 registers and requires register<br>
> ; scavenging which will fail to find an unsued register.<br>
><br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>AMDGPU/vgpr-spill-emergency-<wbr>stack-slot.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/AMDGPU/vgpr-spill-emergency-stack-slot.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/AMDGPU/vgpr-spill-<wbr>emergency-stack-slot.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>AMDGPU/vgpr-spill-emergency-<wbr>stack-slot.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>AMDGPU/vgpr-spill-emergency-<wbr>stack-slot.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,12 +1,6 @@<br>
> ; RUN: llc -march=amdgcn -mcpu=tahiti -mattr=+vgpr-spilling -verify-machineinstrs < %s | FileCheck -check-prefix=GCN -check-prefix=SI %s<br>
> ; RUN: llc -march=amdgcn -mcpu=fiji -mattr=+vgpr-spilling -verify-machineinstrs < %s | FileCheck -check-prefix=GCN -check-prefix=VI %s<br>
><br>
> -;; FIXME: this fails because the load generated from extractelement is<br>
> -;; now properly recognized as forwardable to the value stored in<br>
> -;; insertelement, and thus the loads/stores drop away entirely. This<br>
> -;; makes the intended test, of running out of registers, not occur.<br>
> -;; XFAIL: *<br>
> -<br>
> ; This ends up using all 255 registers and requires register<br>
> ; scavenging which will fail to find an unsued register.<br>
><br>
><br>
> Modified: llvm/trunk/test/CodeGen/ARM/<wbr>2012-10-04-AAPCS-byval-align8.<wbr>ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/ARM/2012-10-04-AAPCS-byval-align8.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/ARM/2012-10-04-AAPCS-<wbr>byval-align8.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/ARM/<wbr>2012-10-04-AAPCS-byval-align8.<wbr>ll (original)<br>
> +++ llvm/trunk/test/CodeGen/ARM/<wbr>2012-10-04-AAPCS-byval-align8.<wbr>ll Wed Sep 28 11:37:50 2016<br>
> @@ -12,8 +12,7 @@ define void @test_byval_8_bytes_alignmen<br>
> entry:<br>
> ; CHECK: sub       sp, sp, #12<br>
> ; CHECK: sub       sp, sp, #4<br>
> -; CHECK: add       r0, sp, #4<br>
> -; CHECK: stm       sp, {r0, r1, r2, r3}<br>
> +; CHECK: stmib     sp, {r1, r2, r3}<br>
>   %g = alloca i8*<br>
>   %g1 = bitcast i8** %g to i8*<br>
>   call void @llvm.va_start(i8* %g1)<br>
><br>
> Modified: llvm/trunk/test/CodeGen/ARM/<wbr>alloc-no-stack-realign.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/ARM/alloc-no-stack-realign.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/ARM/alloc-no-stack-<wbr>realign.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/ARM/<wbr>alloc-no-stack-realign.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/ARM/<wbr>alloc-no-stack-realign.ll Wed Sep 28 11:37:50 2016<br>
> @@ -51,12 +51,12 @@ entry:<br>
> ; REALIGN: vld1.64 {{{d[0-9]+, d[0-9]+}}}, [r[[R2]]:128]<br>
><br>
><br>
> -; REALIGN: vst1.64 {{{d[0-9]+, d[0-9]+}}}, [r[[R1]]:128]<br>
> ; REALIGN: orr r[[R2:[0-9]+]], r[[R1:[0-9]+]], #48<br>
> ; REALIGN: vst1.64 {{{d[0-9]+, d[0-9]+}}}, [r[[R2]]:128]<br>
> ; REALIGN: orr r[[R2:[0-9]+]], r[[R1]], #32<br>
> ; REALIGN: vst1.64 {{{d[0-9]+, d[0-9]+}}}, [r[[R2]]:128]<br>
> -; REALIGN: orr r[[R1:[0-9]+]], r[[R1]], #16<br>
> +; REALIGN: orr r[[R2:[0-9]+]], r[[R1]], #16<br>
> +; REALIGN: vst1.64 {{{d[0-9]+, d[0-9]+}}}, [r[[R2]]:128]<br>
> ; REALIGN: vst1.64 {{{d[0-9]+, d[0-9]+}}}, [r[[R1]]:128]<br>
><br>
> ; REALIGN: add r[[R1:[0-9]+]], r[[R0:0]], #48<br>
><br>
> Modified: llvm/trunk/test/CodeGen/ARM/<wbr>ifcvt10.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/ARM/ifcvt10.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/ARM/ifcvt10.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/ARM/<wbr>ifcvt10.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/ARM/<wbr>ifcvt10.ll Wed Sep 28 11:37:50 2016<br>
> @@ -10,6 +10,8 @@ entry:<br>
> ; CHECK: vpop {d8}<br>
> ; CHECK-NOT: vpopne<br>
> ; CHECK: pop {r7, pc}<br>
> +; CHECK: vpop {d8}<br>
> +; CHECK: pop {r7, pc}<br>
>   br i1 undef, label %if.else, label %if.then<br>
><br>
> if.then:                                          ; preds = %entry<br>
><br>
> Modified: llvm/trunk/test/CodeGen/ARM/<wbr>memset-inline.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/ARM/memset-inline.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/ARM/memset-inline.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/ARM/<wbr>memset-inline.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/ARM/<wbr>memset-inline.ll Wed Sep 28 11:37:50 2016<br>
> @@ -3,15 +3,9 @@<br>
> define void @t1(i8* nocapture %c) nounwind optsize {<br>
> entry:<br>
> ; CHECK-LABEL: t1:<br>
> -<br>
> -;; FIXME: like with arm64-memset-inline.ll, learning how to merge<br>
> -;; stores made this code worse, since it now uses a vector move,<br>
> -;; instead of just using an strd instruction taking two registers.<br>
> -<br>
> -; CHECK: vmov.i32 d16, #0x0<br>
> -; CHECK: vst1.32 {d16}, [r0:64]!<br>
> ; CHECK: movs r1, #0<br>
> -; CHECK: str r1, [r0]<br>
> +; CHECK: strd r1, r1, [r0]<br>
> +; CHECK: str r1, [r0, #8]<br>
>   call void @llvm.memset.p0i8.i64(i8* %c, i8 0, i64 12, i32 8, i1 false)<br>
>   ret void<br>
> }<br>
><br>
> Modified: llvm/trunk/test/CodeGen/ARM/<wbr>static-addr-hoisting.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/ARM/static-addr-hoisting.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/ARM/static-addr-<wbr>hoisting.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/ARM/<wbr>static-addr-hoisting.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/ARM/<wbr>static-addr-hoisting.ll Wed Sep 28 11:37:50 2016<br>
> @@ -6,9 +6,9 @@ define void @multiple_store() {<br>
> ; CHECK: movs [[VAL:r[0-9]+]], #42<br>
> ; CHECK: movt r[[BASE1]], #15<br>
><br>
> -; CHECK-DAG: str [[VAL]], [r[[BASE1]]]<br>
> -; CHECK-DAG: str [[VAL]], [r[[BASE1]], #24]<br>
> -; CHECK-DAG: str.w [[VAL]], [r[[BASE1]], #42]<br>
> +; CHECK: str [[VAL]], [r[[BASE1]]]<br>
> +; CHECK: str [[VAL]], [r[[BASE1]], #24]<br>
> +; CHECK: str.w [[VAL]], [r[[BASE1]], #42]<br>
><br>
> ; CHECK: movw r[[BASE2:[0-9]+]], #20394<br>
> ; CHECK: movt r[[BASE2]], #18<br>
><br>
> Modified: llvm/trunk/test/CodeGen/BPF/<wbr>undef.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/BPF/undef.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/BPF/undef.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/BPF/<wbr>undef.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/BPF/<wbr>undef.ll Wed Sep 28 11:37:50 2016<br>
> @@ -12,51 +12,51 @@<br>
> @llvm.used = appending global [6 x i8*] [i8* getelementptr inbounds ([4 x i8], [4 x i8]* @_license, i32 0, i32 0), i8* bitcast (i32 (%struct.__sk_buff*)* @ebpf_filter to i8*), i8* bitcast (%struct.bpf_map_def* @routing to i8*), i8* bitcast (%struct.bpf_map_def* @routing_miss_0 to i8*), i8* bitcast (%struct.bpf_map_def* @test1 to i8*), i8* bitcast (%struct.bpf_map_def* @test1_miss_4 to i8*)], section "llvm.metadata"<br>
><br>
> ; Function Attrs: nounwind uwtable<br>
> -; CHECK: mov r2, r10<br>
> -; CHECK: addi        r2, -2<br>
> -; CHECK: mov r1, 0<br>
> -; CHECK: sth 6(r2), r1<br>
> -; CHECK: sth 4(r2), r1<br>
> -; CHECK: sth 2(r2), r1<br>
> -; CHECK: mov r2, 6<br>
> -; CHECK: stb -7(r10), r2<br>
> -; CHECK: mov r2, 5<br>
> -; CHECK: stb -8(r10), r2<br>
> -; CHECK: mov r2, 7<br>
> -; CHECK: stb -6(r10), r2<br>
> -; CHECK: mov r2, 8<br>
> -; CHECK: stb -5(r10), r2<br>
> -; CHECK: mov r2, 9<br>
> -; CHECK: stb -4(r10), r2<br>
> -; CHECK: mov r2, 10<br>
> -; CHECK: stb -3(r10), r2<br>
> -; CHECK: sth 24(r10), r1<br>
> -; CHECK: sth 22(r10), r1<br>
> -; CHECK: sth 20(r10), r1<br>
> -; CHECK: sth 18(r10), r1<br>
> -; CHECK: sth 16(r10), r1<br>
> -; CHECK: sth 14(r10), r1<br>
> -; CHECK: sth 12(r10), r1<br>
> -; CHECK: sth 10(r10), r1<br>
> -; CHECK: sth 8(r10), r1<br>
> -; CHECK: sth 6(r10), r1<br>
> -; CHECK: sth -2(r10), r1<br>
> -; CHECK: sth 26(r10), r1<br>
> define i32 @ebpf_filter(%struct.__sk_<wbr>buff* nocapture readnone %ebpf_packet) #0 section "socket1" {<br>
>   %key = alloca %struct.routing_key_2, align 1<br>
>   %1 = getelementptr inbounds %struct.routing_key_2, %struct.routing_key_2* %key, i64 0, i32 0, i64 0<br>
> +; CHECK: mov r1, 5<br>
> +; CHECK: stb -8(r10), r1<br>
>   store i8 5, i8* %1, align 1<br>
>   %2 = getelementptr inbounds %struct.routing_key_2, %struct.routing_key_2* %key, i64 0, i32 0, i64 1<br>
> +; CHECK: mov r1, 6<br>
> +; CHECK: stb -7(r10), r1<br>
>   store i8 6, i8* %2, align 1<br>
>   %3 = getelementptr inbounds %struct.routing_key_2, %struct.routing_key_2* %key, i64 0, i32 0, i64 2<br>
> +; CHECK: mov r1, 7<br>
> +; CHECK: stb -6(r10), r1<br>
>   store i8 7, i8* %3, align 1<br>
>   %4 = getelementptr inbounds %struct.routing_key_2, %struct.routing_key_2* %key, i64 0, i32 0, i64 3<br>
> +; CHECK: mov r1, 8<br>
> +; CHECK: stb -5(r10), r1<br>
>   store i8 8, i8* %4, align 1<br>
>   %5 = getelementptr inbounds %struct.routing_key_2, %struct.routing_key_2* %key, i64 0, i32 0, i64 4<br>
> +; CHECK: mov r1, 9<br>
> +; CHECK: stb -4(r10), r1<br>
>   store i8 9, i8* %5, align 1<br>
>   %6 = getelementptr inbounds %struct.routing_key_2, %struct.routing_key_2* %key, i64 0, i32 0, i64 5<br>
> +; CHECK: mov r1, 10<br>
> +; CHECK: stb -3(r10), r1<br>
>   store i8 10, i8* %6, align 1<br>
>   %7 = getelementptr inbounds %struct.routing_key_2, %struct.routing_key_2* %key, i64 1, i32 0, i64 0<br>
> +; CHECK: mov r1, r10<br>
> +; CHECK: addi        r1, -2<br>
> +; CHECK: mov r2, 0<br>
> +; CHECK: sth 6(r1), r2<br>
> +; CHECK: sth 4(r1), r2<br>
> +; CHECK: sth 2(r1), r2<br>
> +; CHECK: sth 24(r10), r2<br>
> +; CHECK: sth 22(r10), r2<br>
> +; CHECK: sth 20(r10), r2<br>
> +; CHECK: sth 18(r10), r2<br>
> +; CHECK: sth 16(r10), r2<br>
> +; CHECK: sth 14(r10), r2<br>
> +; CHECK: sth 12(r10), r2<br>
> +; CHECK: sth 10(r10), r2<br>
> +; CHECK: sth 8(r10), r2<br>
> +; CHECK: sth 6(r10), r2<br>
> +; CHECK: sth -2(r10), r2<br>
> +; CHECK: sth 26(r10), r2<br>
>   call void @llvm.memset.p0i8.i64(i8* %7, i8 0, i64 30, i32 1, i1 false)<br>
>   %8 = call i32 (%struct.bpf_map_def*, %struct.routing_key_2*, ...) bitcast (i32 (...)* @bpf_map_lookup_elem to i32 (%struct.bpf_map_def*, %struct.routing_key_2*, ...)*)(%struct.bpf_map_def* nonnull @routing, %struct.routing_key_2* nonnull %key) #3<br>
>   ret i32 undef<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>MSP430/Inst16mm.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/MSP430/Inst16mm.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/MSP430/Inst16mm.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>MSP430/Inst16mm.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>MSP430/Inst16mm.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,4 +1,4 @@<br>
> -; RUN: llc -march=msp430 < %s | FileCheck %s<br>
> +; RUN: llc -march=msp430 -combiner-alias-analysis < %s | FileCheck %s<br>
> target datalayout = "e-p:16:8:8-i8:8:8-i16:8:8-<wbr>i32:8:8"<br>
> target triple = "msp430-generic-generic"<br>
> @foo = common global i16 0, align 2<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>cconv/arguments-float.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/cconv/arguments-float.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/cconv/arguments-<wbr>float.ll?rev=282604&r1=282603&<wbr>r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>cconv/arguments-float.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>cconv/arguments-float.ll Wed Sep 28 11:37:50 2016<br>
> @@ -63,39 +63,39 @@ entry:<br>
> ; NEW-DAG:           sd $5, 16([[R2]])<br>
><br>
> ; O32 has run out of argument registers and starts using the stack<br>
> -; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 16($sp)<br>
> -; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 20($sp)<br>
> +; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 24($sp)<br>
> +; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 28($sp)<br>
> ; O32-DAG:           sw [[R3]], 24([[R2]])<br>
> ; O32-DAG:           sw [[R4]], 28([[R2]])<br>
> ; NEW-DAG:           sd $6, 24([[R2]])<br>
><br>
> -; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 24($sp)<br>
> -; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 28($sp)<br>
> +; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 32($sp)<br>
> +; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 36($sp)<br>
> ; O32-DAG:           sw [[R3]], 32([[R2]])<br>
> ; O32-DAG:           sw [[R4]], 36([[R2]])<br>
> ; NEW-DAG:           sd $7, 32([[R2]])<br>
><br>
> -; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 32($sp)<br>
> -; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 36($sp)<br>
> +; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 40($sp)<br>
> +; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 44($sp)<br>
> ; O32-DAG:           sw [[R3]], 40([[R2]])<br>
> ; O32-DAG:           sw [[R4]], 44([[R2]])<br>
> ; NEW-DAG:           sd $8, 40([[R2]])<br>
><br>
> -; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 40($sp)<br>
> -; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 44($sp)<br>
> +; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 48($sp)<br>
> +; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 52($sp)<br>
> ; O32-DAG:           sw [[R3]], 48([[R2]])<br>
> ; O32-DAG:           sw [[R4]], 52([[R2]])<br>
> ; NEW-DAG:           sd $9, 48([[R2]])<br>
><br>
> -; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 48($sp)<br>
> -; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 52($sp)<br>
> +; O32-DAG:           lw [[R3:\$([0-9]+|gp)]], 56($sp)<br>
> +; O32-DAG:           lw [[R4:\$([0-9]+|gp)]], 60($sp)<br>
> ; O32-DAG:           sw [[R3]], 56([[R2]])<br>
> ; O32-DAG:           sw [[R4]], 60([[R2]])<br>
> ; NEW-DAG:           sd $10, 56([[R2]])<br>
><br>
> ; N32/N64 have run out of registers and starts using the stack too<br>
> -; O32-DAG:           lw [[R3:\$[0-9]+]], 56($sp)<br>
> -; O32-DAG:           lw [[R4:\$[0-9]+]], 60($sp)<br>
> +; O32-DAG:           lw [[R3:\$[0-9]+]], 64($sp)<br>
> +; O32-DAG:           lw [[R4:\$[0-9]+]], 68($sp)<br>
> ; O32-DAG:           sw [[R3]], 64([[R2]])<br>
> ; O32-DAG:           sw [[R4]], 68([[R2]])<br>
> ; NEW-DAG:           ld [[R3:\$[0-9]+]], 0($sp)<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>cconv/arguments-varargs.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/cconv/arguments-varargs.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/cconv/arguments-<wbr>varargs.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>cconv/arguments-varargs.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>cconv/arguments-varargs.ll Wed Sep 28 11:37:50 2016<br>
> @@ -315,11 +315,12 @@ entry:<br>
> ; Big-endian mode for N32/N64 must add an additional 4 to the offset due to byte<br>
> ; order.<br>
> ; O32-DAG:       addiu [[GV:\$[0-9]+]], ${{[0-9]+}}, %lo(dwords)<br>
> -; O32-DAG:       lw [[ARG1:\$[0-9]+]], 0([[VA_TMP2]])<br>
> +; O32-DAG:       lw [[ARG1:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG1]], 8([[GV]])<br>
> -; O32-DAG:       addiu [[VA3:\$[0-9]+]], [[VA2]], 4<br>
> -; O32-DAG:       sw [[VA3]], 0([[SP]])<br>
> -; O32-DAG:       lw [[ARG1:\$[0-9]+]], 4([[VA_TMP2]])<br>
> +; O32-DAG:       lw [[VA:\$[0-9]+]], 0([[SP]])<br>
> +; O32-DAG:       addiu [[VA2:\$[0-9]+]], [[VA]], 4<br>
> +; O32-DAG:       sw [[VA2]], 0([[SP]])<br>
> +; O32-DAG:       lw [[ARG1:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG1]], 12([[GV]])<br>
><br>
> ; N32-DAG:       addiu [[GV:\$[0-9]+]], ${{[0-9]+}}, %lo(dwords)<br>
> @@ -348,9 +349,10 @@ entry:<br>
> ; Load the second argument from the variable portion and copy it to the global.<br>
> ; O32-DAG:       lw [[ARG2:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG2]], 16([[GV]])<br>
> -; O32-DAG:       addiu [[VA3:\$[0-9]+]], [[VA2]], 4<br>
> -; O32-DAG:       sw [[VA3]], 0([[SP]])<br>
> -; O32-DAG:       lw [[ARG2:\$[0-9]+]], 4([[VA_TMP2]])<br>
> +; O32-DAG:       lw [[VA:\$[0-9]+]], 0([[SP]])<br>
> +; O32-DAG:       addiu [[VA2:\$[0-9]+]], [[VA]], 4<br>
> +; O32-DAG:       sw [[VA2]], 0([[SP]])<br>
> +; O32-DAG:       lw [[ARG2:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG2]], 20([[GV]])<br>
><br>
> ; NEW-DAG:       ld [[ARG2:\$[0-9]+]], 0([[VA2]])<br>
> @@ -676,11 +678,12 @@ entry:<br>
> ; Big-endian mode for N32/N64 must add an additional 4 to the offset due to byte<br>
> ; order.<br>
> ; O32-DAG:       addiu [[GV:\$[0-9]+]], ${{[0-9]+}}, %lo(dwords)<br>
> -; O32-DAG:       lw [[ARG1:\$[0-9]+]], 0([[VA_TMP2]])<br>
> +; O32-DAG:       lw [[ARG1:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG1]], 8([[GV]])<br>
> -; O32-DAG:       addiu [[VA3:\$[0-9]+]], [[VA2]], 4<br>
> -; O32-DAG:       sw [[VA3]], 0([[SP]])<br>
> -; O32-DAG:       lw [[ARG1:\$[0-9]+]], 4([[VA_TMP2]])<br>
> +; O32-DAG:       lw [[VA:\$[0-9]+]], 0([[SP]])<br>
> +; O32-DAG:       addiu [[VA2:\$[0-9]+]], [[VA]], 4<br>
> +; O32-DAG:       sw [[VA2]], 0([[SP]])<br>
> +; O32-DAG:       lw [[ARG1:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG1]], 12([[GV]])<br>
><br>
> ; N32-DAG:       addiu [[GV:\$[0-9]+]], ${{[0-9]+}}, %lo(dwords)<br>
> @@ -709,9 +712,10 @@ entry:<br>
> ; Load the second argument from the variable portion and copy it to the global.<br>
> ; O32-DAG:       lw [[ARG2:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG2]], 16([[GV]])<br>
> -; O32-DAG:       addiu [[VA3:\$[0-9]+]], [[VA2]], 4<br>
> +; O32-DAG:       lw [[VA:\$[0-9]+]], 0([[SP]])<br>
> +; O32-DAG:       addiu [[VA2:\$[0-9]+]], [[VA]], 4<br>
> ; O32-DAG:       sw [[VA2]], 0([[SP]])<br>
> -; O32-DAG:       lw [[ARG2:\$[0-9]+]], 4([[VA_TMP2]])<br>
> +; O32-DAG:       lw [[ARG2:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG2]], 20([[GV]])<br>
><br>
> ; NEW-DAG:       ld [[ARG2:\$[0-9]+]], 0([[VA2]])<br>
> @@ -1036,9 +1040,10 @@ entry:<br>
> ; O32-DAG:       addiu [[GV:\$[0-9]+]], ${{[0-9]+}}, %lo(dwords)<br>
> ; O32-DAG:       lw [[ARG1:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG1]], 8([[GV]])<br>
> -; O32-DAG:       addiu [[VA3:\$[0-9]+]], [[VA2]], 4<br>
> -; O32-DAG:       sw [[VA3]], 0([[SP]])<br>
> -; O32-DAG:       lw [[ARG1:\$[0-9]+]], 4([[VA_TMP2]])<br>
> +; O32-DAG:       lw [[VA:\$[0-9]+]], 0([[SP]])<br>
> +; O32-DAG:       addiu [[VA2:\$[0-9]+]], [[VA]], 4<br>
> +; O32-DAG:       sw [[VA2]], 0([[SP]])<br>
> +; O32-DAG:       lw [[ARG1:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG1]], 12([[GV]])<br>
><br>
> ; N32-DAG:       addiu [[GV:\$[0-9]+]], ${{[0-9]+}}, %lo(dwords)<br>
> @@ -1067,9 +1072,10 @@ entry:<br>
> ; Load the second argument from the variable portion and copy it to the global.<br>
> ; O32-DAG:       lw [[ARG2:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG2]], 16([[GV]])<br>
> -; O32-DAG:       addiu [[VA3:\$[0-9]+]], [[VA2]], 4<br>
> -; O32-DAG:       sw [[VA3]], 0([[SP]])<br>
> -; O32-DAG:       lw [[ARG2:\$[0-9]+]], 4([[VA_TMP2]])<br>
> +; O32-DAG:       lw [[VA:\$[0-9]+]], 0([[SP]])<br>
> +; O32-DAG:       addiu [[VA2:\$[0-9]+]], [[VA]], 4<br>
> +; O32-DAG:       sw [[VA2]], 0([[SP]])<br>
> +; O32-DAG:       lw [[ARG2:\$[0-9]+]], 0([[VA]])<br>
> ; O32-DAG:       sw [[ARG2]], 20([[GV]])<br>
><br>
> ; NEW-DAG:       ld [[ARG2:\$[0-9]+]], 0([[VA2]])<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>fastcc.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/fastcc.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/fastcc.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>fastcc.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>fastcc.ll Wed Sep 28 11:37:50 2016<br>
> @@ -132,19 +132,20 @@ entry:<br>
> define internal fastcc void @callee0(i32 %a0, i32 %a1, i32 %a2, i32 %a3, i32 %a4, i32 %a5, i32 %a6, i32 %a7, i32 %a8, i32 %a9, i32 %a10, i32 %a11, i32 %a12, i32 %a13, i32 %a14, i32 %a15, i32 %a16) nounwind noinline {<br>
> entry:<br>
> ; CHECK: callee0<br>
> -; CHECK-DAG: sw  $4<br>
> -; CHECK-DAG: sw  $5<br>
> -; CHECK-DAG: sw  $7<br>
> -; CHECK-DAG: sw  $8<br>
> -; CHECK-DAG: sw  $9<br>
> -; CHECK-DAG: sw  $10<br>
> -; CHECK-DAG: sw  $11<br>
> -; CHECK-DAG: sw  $12<br>
> -; CHECK-DAG: sw  $13<br>
> -; CHECK-DAG: sw  $14<br>
> -; CHECK-DAG: sw  $15<br>
> -; CHECK-DAG: sw  $24<br>
> -; CHECK-DAG: sw  $3<br>
> +; CHECK: sw  $4<br>
> +; CHECK: sw  $5<br>
> +; CHECK: sw  $6<br>
> +; CHECK: sw  $7<br>
> +; CHECK: sw  $8<br>
> +; CHECK: sw  $9<br>
> +; CHECK: sw  $10<br>
> +; CHECK: sw  $11<br>
> +; CHECK: sw  $12<br>
> +; CHECK: sw  $13<br>
> +; CHECK: sw  $14<br>
> +; CHECK: sw  $15<br>
> +; CHECK: sw  $24<br>
> +; CHECK: sw  $3<br>
><br>
> ; t6, t7 and t8 are reserved in NaCl and cannot be used for fastcc.<br>
> ; CHECK-NACL-NOT: sw  $14<br>
> @@ -222,27 +223,27 @@ entry:<br>
><br>
> define internal fastcc void @callee1(float %a0, float %a1, float %a2, float %a3, float %a4, float %a5, float %a6, float %a7, float %a8, float %a9, float %a10, float %a11, float %a12, float %a13, float %a14, float %a15, float %a16, float %a17, float %a18, float %a19, float %a20) nounwind noinline {<br>
> entry:<br>
> -; CHECK-LABEL: callee1:<br>
> -; CHECK-DAG: swc1  $f0<br>
> -; CHECK-DAG: swc1  $f1<br>
> -; CHECK-DAG: swc1  $f2<br>
> -; CHECK-DAG: swc1  $f3<br>
> -; CHECK-DAG: swc1  $f4<br>
> -; CHECK-DAG: swc1  $f5<br>
> -; CHECK-DAG: swc1  $f6<br>
> -; CHECK-DAG: swc1  $f7<br>
> -; CHECK-DAG: swc1  $f8<br>
> -; CHECK-DAG: swc1  $f9<br>
> -; CHECK-DAG: swc1  $f10<br>
> -; CHECK-DAG: swc1  $f11<br>
> -; CHECK-DAG: swc1  $f12<br>
> -; CHECK-DAG: swc1  $f13<br>
> -; CHECK-DAG: swc1  $f14<br>
> -; CHECK-DAG: swc1  $f15<br>
> -; CHECK-DAG: swc1  $f16<br>
> -; CHECK-DAG: swc1  $f17<br>
> -; CHECK-DAG: swc1  $f18<br>
> -; CHECK-DAG: swc1  $f19<br>
> +; CHECK: callee1<br>
> +; CHECK: swc1  $f0<br>
> +; CHECK: swc1  $f1<br>
> +; CHECK: swc1  $f2<br>
> +; CHECK: swc1  $f3<br>
> +; CHECK: swc1  $f4<br>
> +; CHECK: swc1  $f5<br>
> +; CHECK: swc1  $f6<br>
> +; CHECK: swc1  $f7<br>
> +; CHECK: swc1  $f8<br>
> +; CHECK: swc1  $f9<br>
> +; CHECK: swc1  $f10<br>
> +; CHECK: swc1  $f11<br>
> +; CHECK: swc1  $f12<br>
> +; CHECK: swc1  $f13<br>
> +; CHECK: swc1  $f14<br>
> +; CHECK: swc1  $f15<br>
> +; CHECK: swc1  $f16<br>
> +; CHECK: swc1  $f17<br>
> +; CHECK: swc1  $f18<br>
> +; CHECK: swc1  $f19<br>
><br>
>   store float %a0, float* @gf0, align 4<br>
>   store float %a1, float* @gf1, align 4<br>
> @@ -289,6 +290,7 @@ entry:<br>
> ; NOODDSPREG-DAG:    lwc1    $f18, 36($[[R0]])<br>
><br>
> ; NOODDSPREG-DAG:    lwc1    $[[F0:f[0-9]*[02468]]], 40($[[R0]])<br>
> +; NOODDSPREG-DAG:    swc1    $[[F0]], 8($sp)<br>
><br>
>   %0 = load float, float* getelementptr ([11 x float], [11 x float]* @fa, i32 0, i32 0), align 4<br>
>   %1 = load float, float* getelementptr ([11 x float], [11 x float]* @fa, i32 0, i32 1), align 4<br>
> @@ -314,6 +316,8 @@ entry:<br>
><br>
> ; NOODDSPREG-LABEL:  callee2:<br>
><br>
> +; NOODDSPREG:        addiu   $sp, $sp, -[[OFFSET:[0-9]+]]<br>
> +<br>
> ; Check that first 10 arguments are received in even float registers<br>
> ; f0, f2, ... , f18. Check that 11th argument is received on stack.<br>
><br>
> @@ -329,7 +333,7 @@ entry:<br>
> ; NOODDSPREG-DAG:    swc1    $f16, 32($[[R0]])<br>
> ; NOODDSPREG-DAG:    swc1    $f18, 36($[[R0]])<br>
><br>
> -; NOODDSPREG-DAG:    lwc1    $[[F0:f[0-9]*[02468]]], 0($sp)<br>
> +; NOODDSPREG-DAG:    lwc1    $[[F0:f[0-9]*[02468]]], [[OFFSET]]($sp)<br>
> ; NOODDSPREG-DAG:    swc1    $[[F0]], 40($[[R0]])<br>
><br>
>   store float %a0, float* getelementptr ([11 x float], [11 x float]* @fa, i32 0, i32 0), align 4<br>
> @@ -393,6 +397,7 @@ entry:<br>
><br>
> ; FP64-NOODDSPREG-LABEL:  callee3:<br>
><br>
> +; FP64-NOODDSPREG:        addiu   $sp, $sp, -[[OFFSET:[0-9]+]]<br>
><br>
> ; Check that first 10 arguments are received in even float registers<br>
> ; f0, f2, ... , f18. Check that 11th argument is received on stack.<br>
> @@ -409,7 +414,7 @@ entry:<br>
> ; FP64-NOODDSPREG-DAG:    sdc1    $f16, 64($[[R0]])<br>
> ; FP64-NOODDSPREG-DAG:    sdc1    $f18, 72($[[R0]])<br>
><br>
> -; FP64-NOODDSPREG-DAG:    ldc1    $[[F0:f[0-9]*[02468]]], 0($sp)<br>
> +; FP64-NOODDSPREG-DAG:    ldc1    $[[F0:f[0-9]*[02468]]], [[OFFSET]]($sp)<br>
> ; FP64-NOODDSPREG-DAG:    sdc1    $[[F0]], 80($[[R0]])<br>
><br>
>   store double %a0, double* getelementptr ([11 x double], [11 x double]* @da, i32 0, i32 0), align 8<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>load-store-left-right.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/load-store-left-right.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/load-store-left-<wbr>right.ll?rev=282604&r1=282603&<wbr>r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>load-store-left-right.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>load-store-left-right.ll Wed Sep 28 11:37:50 2016<br>
> @@ -250,18 +250,12 @@ entry:<br>
> ; MIPS64-EB:     ld $[[PTR:[0-9]+]], %got_disp(struct_s0)(<br>
> ; MIPS64R6:      ld $[[PTR:[0-9]+]], %got_disp(struct_s0)(<br>
><br>
> -; MIPS32-DAG:       lbu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS32-DAG:       sb $[[R1]], 2($[[PTR]])<br>
> -; MIPS32-DAG:       lbu $[[R2:[0-9]+]], 1($[[PTR]])<br>
> -; MIPS32-DAG:       sb $[[R2]], 3($[[PTR]])<br>
> -<br>
> -; MIPS32R6:       lhu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS32R6:       sh $[[R1]], 2($[[PTR]])<br>
> -<br>
> -; MIPS64-DAG:       lbu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS64-DAG:       sb $[[R1]], 2($[[PTR]])<br>
> -; MIPS64-DAG:       lbu $[[R2:[0-9]+]], 1($[[PTR]])<br>
> -; MIPS64-DAG:       sb $[[R2]], 3($[[PTR]])<br>
> +; FIXME: We should be able to do better than this on MIPS32r6/MIPS64r6 since<br>
> +;        we have unaligned halfword load/store available<br>
> +; ALL-DAG:       lbu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> +; ALL-DAG:       sb $[[R1]], 2($[[PTR]])<br>
> +; ALL-DAG:       lbu $[[R1:[0-9]+]], 1($[[PTR]])<br>
> +; ALL-DAG:       sb $[[R1]], 3($[[PTR]])<br>
><br>
>   %0 = load %struct.S0, %struct.S0* getelementptr inbounds (%struct.S0, %struct.S0* @struct_s0, i32 0), align 1<br>
>   store %struct.S0 %0, %struct.S0* getelementptr inbounds (%struct.S0, %struct.S0* @struct_s0, i32 1), align 1<br>
> @@ -274,54 +268,37 @@ entry:<br>
><br>
> ; MIPS32-EL:     lw $[[PTR:[0-9]+]], %got(struct_s1)(<br>
> ; MIPS32-EB:     lw $[[PTR:[0-9]+]], %got(struct_s1)(<br>
> -; MIPS32-EL-DAG:    lwl $[[R1:[0-9]+]], 3($[[PTR]])<br>
> -; MIPS32-EL-DAG:    lwr $[[R1]], 0($[[PTR]])<br>
> -; MIPS32-EL-DAG:    swl $[[R1]], 7($[[PTR]])<br>
> -; MIPS32-EL-DAG:    swr $[[R1]], 4($[[PTR]])<br>
> -; MIPS32-EB-DAG:    lwl $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS32-EB-DAG:    lwr $[[R1]], 3($[[PTR]])<br>
> -; MIPS32-EB-DAG:    swl $[[R1]], 4($[[PTR]])<br>
> -; MIPS32-EB-DAG:    swr $[[R1]], 7($[[PTR]])<br>
> -<br>
> -; MIPS32-NOLEFTRIGHT-DAG:    lbu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS32-NOLEFTRIGHT-DAG:    sb $[[R1]], 4($[[PTR]])<br>
> -; MIPS32-NOLEFTRIGHT-DAG:    lbu $[[R1:[0-9]+]], 1($[[PTR]])<br>
> -; MIPS32-NOLEFTRIGHT-DAG:    sb $[[R1]], 5($[[PTR]])<br>
> -; MIPS32-NOLEFTRIGHT-DAG:    lbu $[[R1:[0-9]+]], 2($[[PTR]])<br>
> -; MIPS32-NOLEFTRIGHT-DAG:    sb $[[R1]], 6($[[PTR]])<br>
> -; MIPS32-NOLEFTRIGHT-DAG:    lbu $[[R1:[0-9]+]], 3($[[PTR]])<br>
> -; MIPS32-NOLEFTRIGHT-DAG:    sb $[[R1]], 7($[[PTR]])<br>
> +; MIPS32-DAG:    lbu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> +; MIPS32-DAG:    sb $[[R1]], 4($[[PTR]])<br>
> +; MIPS32-DAG:    lbu $[[R1:[0-9]+]], 1($[[PTR]])<br>
> +; MIPS32-DAG:    sb $[[R1]], 5($[[PTR]])<br>
> +; MIPS32-DAG:    lbu $[[R1:[0-9]+]], 2($[[PTR]])<br>
> +; MIPS32-DAG:    sb $[[R1]], 6($[[PTR]])<br>
> +; MIPS32-DAG:    lbu $[[R1:[0-9]+]], 3($[[PTR]])<br>
> +; MIPS32-DAG:    sb $[[R1]], 7($[[PTR]])<br>
><br>
> ; MIPS32R6:      lw $[[PTR:[0-9]+]], %got(struct_s1)(<br>
> -; MIPS32R6-DAG:  lw $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS32R6-DAG:  sw $[[R1]], 4($[[PTR]])<br>
> +; MIPS32R6-DAG:  lhu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> +; MIPS32R6-DAG:  sh $[[R1]], 4($[[PTR]])<br>
> +; MIPS32R6-DAG:  lhu $[[R1:[0-9]+]], 2($[[PTR]])<br>
> +; MIPS32R6-DAG:  sh $[[R1]], 6($[[PTR]])<br>
><br>
> ; MIPS64-EL:     ld $[[PTR:[0-9]+]], %got_disp(struct_s1)(<br>
> ; MIPS64-EB:     ld $[[PTR:[0-9]+]], %got_disp(struct_s1)(<br>
> -<br>
> -; MIPS64-EL-DAG:    lwl $[[R1:[0-9]+]], 3($[[PTR]])<br>
> -; MIPS64-EL-DAG:    lwr $[[R1]], 0($[[PTR]])<br>
> -; MIPS64-EL-DAG:    swl $[[R1]], 7($[[PTR]])<br>
> -; MIPS64-EL-DAG:    swr $[[R1]], 4($[[PTR]])<br>
> -<br>
> -; MIPS64-EB-DAG:    lwl $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS64-EB-DAG:    lwr $[[R1]], 3($[[PTR]])<br>
> -; MIPS64-EB-DAG:    swl $[[R1]], 4($[[PTR]])<br>
> -; MIPS64-EB-DAG:    swr $[[R1]], 7($[[PTR]])<br>
> -<br>
> -<br>
> -; MIPS64-NOLEFTRIGHT-DAG:    lbu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS64-NOLEFTRIGHT-DAG:    sb $[[R1]], 4($[[PTR]])<br>
> -; MIPS64-NOLEFTRIGHT-DAG:    lbu $[[R1:[0-9]+]], 1($[[PTR]])<br>
> -; MIPS64-NOLEFTRIGHT-DAG:    sb $[[R1]], 5($[[PTR]])<br>
> -; MIPS64-NOLEFTRIGHT-DAG:    lbu $[[R1:[0-9]+]], 2($[[PTR]])<br>
> -; MIPS64-NOLEFTRIGHT-DAG:    sb $[[R1]], 6($[[PTR]])<br>
> -; MIPS64-NOLEFTRIGHT-DAG:    lbu $[[R1:[0-9]+]], 3($[[PTR]])<br>
> -; MIPS64-NOLEFTRIGHT-DAG:    sb $[[R1]], 7($[[PTR]])<br>
> +; MIPS64-DAG:    lbu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> +; MIPS64-DAG:    sb $[[R1]], 4($[[PTR]])<br>
> +; MIPS64-DAG:    lbu $[[R1:[0-9]+]], 1($[[PTR]])<br>
> +; MIPS64-DAG:    sb $[[R1]], 5($[[PTR]])<br>
> +; MIPS64-DAG:    lbu $[[R1:[0-9]+]], 2($[[PTR]])<br>
> +; MIPS64-DAG:    sb $[[R1]], 6($[[PTR]])<br>
> +; MIPS64-DAG:    lbu $[[R1:[0-9]+]], 3($[[PTR]])<br>
> +; MIPS64-DAG:    sb $[[R1]], 7($[[PTR]])<br>
><br>
> ; MIPS64R6:      ld $[[PTR:[0-9]+]], %got_disp(struct_s1)(<br>
> -; MIPS64R6-DAG:  lw $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS64R6-DAG:  sw $[[R1]], 4($[[PTR]])<br>
> +; MIPS64R6-DAG:  lhu $[[R1:[0-9]+]], 0($[[PTR]])<br>
> +; MIPS64R6-DAG:  sh $[[R1]], 4($[[PTR]])<br>
> +; MIPS64R6-DAG:  lhu $[[R1:[0-9]+]], 2($[[PTR]])<br>
> +; MIPS64R6-DAG:  sh $[[R1]], 6($[[PTR]])<br>
><br>
>   %0 = load %struct.S1, %struct.S1* getelementptr inbounds (%struct.S1, %struct.S1* @struct_s1, i32 0), align 1<br>
>   store %struct.S1 %0, %struct.S1* getelementptr inbounds (%struct.S1, %struct.S1* @struct_s1, i32 1), align 1<br>
> @@ -359,21 +336,30 @@ entry:<br>
> ; MIPS32R6-DAG:  sw $[[R1]],       12($[[PTR]])<br>
><br>
> ; MIPS64-EL:     ld $[[PTR:[0-9]+]], %got_disp(struct_s2)(<br>
> -<br>
> -; MIPS64-EL-DAG: ldl $[[R1:[0-9]+]], 7($[[PTR]])<br>
> -; MIPS64-EL-DAG: ldr $[[R1]],        0($[[PTR]])<br>
> -; MIPS64-EL-DAG: sdl $[[R1]],       15($[[PTR]])<br>
> -; MIPS64-EL-DAG: sdr $[[R1]],        8($[[PTR]])<br>
> +; MIPS64-EL-DAG: lwl $[[R1:[0-9]+]], 3($[[PTR]])<br>
> +; MIPS64-EL-DAG: lwr $[[R1]],        0($[[PTR]])<br>
> +; MIPS64-EL-DAG: swl $[[R1]],       11($[[PTR]])<br>
> +; MIPS64-EL-DAG: swr $[[R1]],        8($[[PTR]])<br>
> +; MIPS64-EL-DAG: lwl $[[R1:[0-9]+]], 7($[[PTR]])<br>
> +; MIPS64-EL-DAG: lwr $[[R1]],        4($[[PTR]])<br>
> +; MIPS64-EL-DAG: swl $[[R1]],       15($[[PTR]])<br>
> +; MIPS64-EL-DAG: swr $[[R1]],       12($[[PTR]])<br>
><br>
> ; MIPS64-EB:     ld $[[PTR:[0-9]+]], %got_disp(struct_s2)(<br>
> -; MIPS64-EB-DAG: ldl $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS64-EB-DAG: ldr $[[R1]],        7($[[PTR]])<br>
> -; MIPS64-EB-DAG: sdl $[[R1]],        8($[[PTR]])<br>
> -; MIPS64-EB-DAG: sdr $[[R1]],       15($[[PTR]])<br>
> +; MIPS64-EB-DAG: lwl $[[R1:[0-9]+]], 0($[[PTR]])<br>
> +; MIPS64-EB-DAG: lwr $[[R1]],        3($[[PTR]])<br>
> +; MIPS64-EB-DAG: swl $[[R1]],        8($[[PTR]])<br>
> +; MIPS64-EB-DAG: swr $[[R1]],       11($[[PTR]])<br>
> +; MIPS64-EB-DAG: lwl $[[R1:[0-9]+]], 4($[[PTR]])<br>
> +; MIPS64-EB-DAG: lwr $[[R1]],        7($[[PTR]])<br>
> +; MIPS64-EB-DAG: swl $[[R1]],       12($[[PTR]])<br>
> +; MIPS64-EB-DAG: swr $[[R1]],       15($[[PTR]])<br>
><br>
> ; MIPS64R6:      ld $[[PTR:[0-9]+]], %got_disp(struct_s2)(<br>
> -; MIPS64R6-DAG:  ld $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS64R6-DAG:  sd $[[R1]],        8($[[PTR]])<br>
> +; MIPS64R6-DAG:  lw $[[R1:[0-9]+]], 0($[[PTR]])<br>
> +; MIPS64R6-DAG:  sw $[[R1]],        8($[[PTR]])<br>
> +; MIPS64R6-DAG:  lw $[[R1:[0-9]+]], 4($[[PTR]])<br>
> +; MIPS64R6-DAG:  sw $[[R1]],       12($[[PTR]])<br>
><br>
>   %0 = load %struct.S2, %struct.S2* getelementptr inbounds (%struct.S2, %struct.S2* @struct_s2, i32 0), align 1<br>
>   store %struct.S2 %0, %struct.S2* getelementptr inbounds (%struct.S2, %struct.S2* @struct_s2, i32 1), align 1<br>
> @@ -430,17 +416,17 @@ entry:<br>
> ; MIPS64-EL-DAG: lwl $[[R1:[0-9]+]], 3($[[PTR]])<br>
> ; MIPS64-EL-DAG: lwr $[[R1]],   0($[[PTR]])<br>
><br>
> -; MIPS64-EB: ld $[[SPTR:[0-9]+]], %got_disp(arr)(<br>
> +; MIPS64-EB:     ld $[[SPTR:[0-9]+]], %got_disp(arr)(<br>
> +; MIPS64-EB-DAG: lwl  $[[R1:[0-9]+]], 0($[[PTR]])<br>
> +; MIPS64-EB-DAG: lwr  $[[R1]],   3($[[PTR]])<br>
> +; MIPS64-EB-DAG: dsll $[[R1]], $[[R1]], 32<br>
> ; MIPS64-EB-DAG: lbu  $[[R2:[0-9]+]], 5($[[PTR]])<br>
> ; MIPS64-EB-DAG: lbu  $[[R3:[0-9]+]], 4($[[PTR]])<br>
> ; MIPS64-EB-DAG: dsll $[[T0:[0-9]+]], $[[R3]], 8<br>
> ; MIPS64-EB-DAG: or   $[[T1:[0-9]+]], $[[T0]], $[[R2]]<br>
> -; MIPS64-EB-DAG: lbu  $[[R4:[0-9]+]], 6($[[PTR]])<br>
> ; MIPS64-EB-DAG: dsll $[[T1]], $[[T1]], 16<br>
> -; MIPS64-EB-DAG: lwl  $[[R1:[0-9]+]], 0($[[PTR]])<br>
> -; MIPS64-EB-DAG: lwr  $[[R1]],   3($[[PTR]])<br>
> -; MIPS64-EB-DAG: dsll $[[R5:[0-9]+]], $[[R1]], 32<br>
> -; MIPS64-EB-DAG: or   $[[T3:[0-9]+]], $[[R5]], $[[T1]]<br>
> +; MIPS64-EB-DAG: or   $[[T3:[0-9]+]], $[[R1]], $[[T1]]<br>
> +; MIPS64-EB-DAG: lbu  $[[R4:[0-9]+]], 6($[[PTR]])<br>
> ; MIPS64-EB-DAG: dsll $[[T4:[0-9]+]], $[[R4]], 8<br>
> ; MIPS64-EB-DAG: or   $4, $[[T3]], $[[T4]]<br>
><br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>micromips-li.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/micromips-li.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/micromips-li.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>micromips-li.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>micromips-li.ll Wed Sep 28 11:37:50 2016<br>
> @@ -13,6 +13,6 @@ entry:<br>
>   ret i32 0<br>
> }<br>
><br>
> -; CHECK: addiu  ${{[0-9]+}}, $zero, 2148<br>
> ; CHECK: li16   ${{[2-7]|16|17}}, 1<br>
> +; CHECK: addiu  ${{[0-9]+}}, $zero, 2148<br>
> ; CHECK: ori ${{[0-9]+}}, $zero, 33332<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>mips64-f128.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/mips64-f128.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/mips64-f128.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>mips64-f128.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>mips64-f128.ll Wed Sep 28 11:37:50 2016<br>
> @@ -573,10 +573,10 @@ entry:<br>
><br>
> ; ALL-LABEL: store_LD_LD:<br>
> ; ALL: ld $[[R0:[0-9]+]], %got_disp(gld1)<br>
> +; ALL: ld $[[R1:[0-9]+]], 0($[[R0]])<br>
> ; ALL: ld $[[R2:[0-9]+]], 8($[[R0]])<br>
> ; ALL: ld $[[R3:[0-9]+]], %got_disp(gld0)<br>
> ; ALL: sd $[[R2]], 8($[[R3]])<br>
> -; ALL: ld $[[R1:[0-9]+]], 0($[[R0]])<br>
> ; ALL: sd $[[R1]], 0($[[R3]])<br>
><br>
> define void @store_LD_LD() {<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>mno-ldc1-sdc1.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/mno-ldc1-sdc1.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/mno-ldc1-sdc1.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>mno-ldc1-sdc1.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>mno-ldc1-sdc1.ll Wed Sep 28 11:37:50 2016<br>
> @@ -130,12 +130,12 @@<br>
> ; MM-MNO-PIC:         addiu   $[[R1:[0-9]+]], $[[R0]], %lo(_gp_disp)<br>
> ; MM-MNO-PIC:         addu    $[[R2:[0-9]+]], $[[R1]], $25<br>
> ; MM-MNO-PIC:         lw      $[[R3:[0-9]+]], %got(g0)($[[R2]])<br>
> -; MM-MNO-PIC-DAG:     lw16    $[[R4:[0-9]+]], 0($[[R3]])<br>
> -; MM-MNO-PIC-DAG:     lw16    $[[R5:[0-9]+]], 4($[[R3]])<br>
> -; MM-MNO-LE-PIC-DAG:  mtc1    $[[R4]], $f0<br>
> -; MM-MNO-LE-PIC-DAG:  mthc1   $[[R5]], $f0<br>
> -; MM-MNO-BE-PIC-DAG:  mtc1    $[[R5]], $f0<br>
> -; MM-MNO-BE-PIC-DAG:  mthc1   $[[R4]], $f0<br>
> +; MM-MNO-PIC:         lw16    $[[R4:[0-9]+]], 0($[[R3]])<br>
> +; MM-MNO-PIC:         lw16    $[[R5:[0-9]+]], 4($[[R3]])<br>
> +; MM-MNO-LE-PIC:      mtc1    $[[R4]], $f0<br>
> +; MM-MNO-LE-PIC:      mthc1   $[[R5]], $f0<br>
> +; MM-MNO-BE-PIC:      mtc1    $[[R5]], $f0<br>
> +; MM-MNO-BE-PIC:      mthc1   $[[R4]], $f0<br>
><br>
> ; MM-STATIC-PIC:      lui     $[[R0:[0-9]+]], %hi(g0)<br>
> ; MM-STATIC-PIC:      ldc1    $f0, %lo(g0)($[[R0]])<br>
> @@ -214,13 +214,13 @@ entry:<br>
> ; MM-MNO-PIC:         lui     $[[R0:[0-9]+]], %hi(_gp_disp)<br>
> ; MM-MNO-PIC:         addiu   $[[R1:[0-9]+]], $[[R0]], %lo(_gp_disp)<br>
> ; MM-MNO-PIC:         addu    $[[R2:[0-9]+]], $[[R1]], $25<br>
> -; MM-MNO-LE-PIC-DAG:  mfc1    $[[R3:[0-9]+]], $f12<br>
> -; MM-MNO-BE-PIC-DAG:  mfhc1   $[[R3:[0-9]+]], $f12<br>
> -; MM-MNO-PIC-DAG:     lw      $[[R4:[0-9]+]], %got(g0)($[[R2]])<br>
> -; MM-MNO-PIC-DAG:     sw16    $[[R3]], 0($[[R4]])<br>
> -; MM-MNO-LE-PIC-DAG:  mfhc1   $[[R5:[0-9]+]], $f12<br>
> -; MM-MNO-BE-PIC-DAG:  mfc1    $[[R5:[0-9]+]], $f12<br>
> -; MM-MNO-PIC-DAG:     sw16    $[[R5]], 4($[[R4]])<br>
> +; MM-MNO-LE-PIC:      mfc1    $[[R3:[0-9]+]], $f12<br>
> +; MM-MNO-BE-PIC:      mfhc1   $[[R3:[0-9]+]], $f12<br>
> +; MM-MNO-PIC:         lw      $[[R4:[0-9]+]], %got(g0)($[[R2]])<br>
> +; MM-MNO-PIC:         sw16    $[[R3]], 0($[[R4]])<br>
> +; MM-MNO-LE-PIC:      mfhc1   $[[R5:[0-9]+]], $f12<br>
> +; MM-MNO-BE-PIC:      mfc1    $[[R5:[0-9]+]], $f12<br>
> +; MM-MNO-PIC:         sw16    $[[R5]], 4($[[R4]])<br>
><br>
> ; MM-STATIC-PIC:      lui     $[[R0:[0-9]+]], %hi(g0)<br>
> ; MM-STATIC-PIC:      sdc1    $f12, %lo(g0)($[[R0]])<br>
> @@ -267,8 +267,8 @@ entry:<br>
><br>
> ; MM-MNO-PIC:    sll16   $[[R0:[0-9]+]], $5, 3<br>
> ; MM-MNO-PIC:    addu16  $[[R1:[0-9]+]], $4, $[[R0]]<br>
> -; MM-MNO-PIC-DAG: lw16    $[[R2:[0-9]+]], 0($[[R1]])<br>
> -; MM-MNO-PIC-DAG: lw16    $[[R3:[0-9]+]], 4($[[R1]])<br>
> +; MM-MNO-PIC:    lw16    $[[R2:[0-9]+]], 0($[[R1]])<br>
> +; MM-MNO-PIC:    lw16    $[[R3:[0-9]+]], 4($[[R1]])<br>
> ; MM-MNO-LE-PIC: mtc1    $[[R2]], $f0<br>
> ; MM-MNO-LE-PIC: mthc1   $[[R3]], $f0<br>
> ; MM-MNO-BE-PIC: mtc1    $[[R3]], $f0<br>
> @@ -313,14 +313,14 @@ entry:<br>
> ; MM:            addu16  $[[R1:[0-9]+]], $6, $[[R0]]<br>
> ; MM:            sdc1    $f12, 0($[[R1]])<br>
><br>
> -; MM-MNO-PIC:        sll16   $[[R0:[0-9]+]], $7, 3<br>
> -; MM-MNO-PIC:        addu16  $[[R1:[0-9]+]], $6, $[[R0]]<br>
> -; MM-MNO-LE-PIC-DAG: mfc1    $[[R2:[0-9]+]], $f12<br>
> -; MM-MNO-BE-PIC-DAG: mfhc1   $[[R2:[0-9]+]], $f12<br>
> -; MM-MNO-PIC-DAG:    sw16    $[[R2]], 0($[[R1]])<br>
> -; MM-MNO-LE-PIC-DAG: mfhc1   $[[R3:[0-9]+]], $f12<br>
> -; MM-MNO-BE-PIC-DAG: mfc1    $[[R3:[0-9]+]], $f12<br>
> -; MM-MNO-PIC-DAG:    sw16    $[[R3]], 4($[[R1]])<br>
> +; MM-MNO-PIC:    sll16   $[[R0:[0-9]+]], $7, 3<br>
> +; MM-MNO-PIC:    addu16  $[[R1:[0-9]+]], $6, $[[R0]]<br>
> +; MM-MNO-LE-PIC: mfc1    $[[R2:[0-9]+]], $f12<br>
> +; MM-MNO-BE-PIC: mfhc1   $[[R2:[0-9]+]], $f12<br>
> +; MM-MNO-PIC:    sw16    $[[R2]], 0($[[R1]])<br>
> +; MM-MNO-LE-PIC: mfhc1   $[[R3:[0-9]+]], $f12<br>
> +; MM-MNO-BE-PIC: mfc1    $[[R3:[0-9]+]], $f12<br>
> +; MM-MNO-PIC:    sw16    $[[R3]], 4($[[R1]])<br>
><br>
> ; MM-STATIC-PIC: sll16   $[[R0:[0-9]+]], $7, 3<br>
> ; MM-STATIC-PIC: addu16  $[[R1:[0-9]+]], $6, $[[R0]]<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>msa/i5_ld_st.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/msa/i5_ld_st.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/msa/i5_ld_st.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>msa/i5_ld_st.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>msa/i5_ld_st.ll Wed Sep 28 11:37:50 2016<br>
> @@ -336,8 +336,8 @@ entry:<br>
><br>
> ; CHECK: llvm_mips_st_b_valid_range_<wbr>tests:<br>
> ; CHECK: ld.b<br>
> -; CHECK-DAG: st.b [[R1:\$w[0-9]+]], -512(<br>
> -; CHECK-DAG: st.b [[R1:\$w[0-9]+]], 511(<br>
> +; CHECK: st.b [[R1:\$w[0-9]+]], -512(<br>
> +; CHECK: st.b [[R1:\$w[0-9]+]], 511(<br>
> ; CHECK: .size llvm_mips_st_b_valid_range_<wbr>tests<br>
> ;<br>
><br>
> @@ -351,10 +351,10 @@ entry:<br>
> }<br>
><br>
> ; CHECK: llvm_mips_st_b_invalid_range_<wbr>tests:<br>
> -; CHECK: addiu $2, $1, 512<br>
> +; CHECK: addiu $2, $1, -513<br>
> ; CHECK: ld.b<br>
> ; CHECK: st.b [[R1:\$w[0-9]+]], 0(<br>
> -; CHECK: addiu $1, $1, -513<br>
> +; CHECK: addiu $1, $1, 512<br>
> ; CHECK: st.b [[R1:\$w[0-9]+]], 0(<br>
> ; CHECK: .size llvm_mips_st_b_invalid_range_<wbr>tests<br>
> ;<br>
> @@ -404,8 +404,8 @@ entry:<br>
><br>
> ; CHECK: llvm_mips_st_h_valid_range_<wbr>tests:<br>
> ; CHECK: ld.h<br>
> -; CHECK-DAG: st.h [[R1:\$w[0-9]+]], -1024(<br>
> -; CHECK-DAG: st.h [[R1:\$w[0-9]+]], 1022(<br>
> +; CHECK: st.h [[R1:\$w[0-9]+]], -1024(<br>
> +; CHECK: st.h [[R1:\$w[0-9]+]], 1022(<br>
> ; CHECK: .size llvm_mips_st_h_valid_range_<wbr>tests<br>
> ;<br>
><br>
> @@ -419,10 +419,10 @@ entry:<br>
> }<br>
><br>
> ; CHECK: llvm_mips_st_h_invalid_range_<wbr>tests:<br>
> -; CHECK: addiu $2, $1, 1024<br>
> +; CHECK: addiu $2, $1, -1026<br>
> ; CHECK: ld.h<br>
> ; CHECK: st.h [[R1:\$w[0-9]+]], 0(<br>
> -; CHECK: addiu $1, $1, -1026<br>
> +; CHECK: addiu $1, $1, 1024<br>
> ; CHECK: st.h [[R1:\$w[0-9]+]], 0(<br>
> ; CHECK: .size llvm_mips_st_h_invalid_range_<wbr>tests<br>
> ;<br>
> @@ -472,8 +472,8 @@ entry:<br>
><br>
> ; CHECK: llvm_mips_st_w_valid_range_<wbr>tests:<br>
> ; CHECK: ld.w<br>
> -; CHECK-DAG: st.w [[R1:\$w[0-9]+]], -2048(<br>
> -; CHECK-DAG: st.w [[R1:\$w[0-9]+]], 2044(<br>
> +; CHECK: st.w [[R1:\$w[0-9]+]], -2048(<br>
> +; CHECK: st.w [[R1:\$w[0-9]+]], 2044(<br>
> ; CHECK: .size llvm_mips_st_w_valid_range_<wbr>tests<br>
> ;<br>
><br>
> @@ -487,10 +487,10 @@ entry:<br>
> }<br>
><br>
> ; CHECK: llvm_mips_st_w_invalid_range_<wbr>tests:<br>
> -; CHECK: addiu $2, $1, 2048<br>
> +; CHECK: addiu $2, $1, -2052<br>
> ; CHECK: ld.w<br>
> ; CHECK: st.w [[R1:\$w[0-9]+]], 0(<br>
> -; CHECK: addiu $1, $1, -2052<br>
> +; CHECK: addiu $1, $1, 2048<br>
> ; CHECK: st.w [[R1:\$w[0-9]+]], 0(<br>
> ; CHECK: .size llvm_mips_st_w_invalid_range_<wbr>tests<br>
> ;<br>
> @@ -540,8 +540,8 @@ entry:<br>
><br>
> ; CHECK: llvm_mips_st_d_valid_range_<wbr>tests:<br>
> ; CHECK: ld.d<br>
> -; CHECK-DAG: st.d [[R1:\$w[0-9]+]], -4096(<br>
> -; CHECK-DAG: st.d [[R1:\$w[0-9]+]], 4088(<br>
> +; CHECK: st.d [[R1:\$w[0-9]+]], -4096(<br>
> +; CHECK: st.d [[R1:\$w[0-9]+]], 4088(<br>
> ; CHECK: .size llvm_mips_st_d_valid_range_<wbr>tests<br>
> ;<br>
><br>
> @@ -555,10 +555,10 @@ entry:<br>
> }<br>
><br>
> ; CHECK: llvm_mips_st_d_invalid_range_<wbr>tests:<br>
> -; CHECK: addiu $2, $1, 4096<br>
> +; CHECK: addiu $2, $1, -4104<br>
> ; CHECK: ld.d<br>
> ; CHECK: st.d [[R1:\$w[0-9]+]], 0(<br>
> -; CHECK: addiu $1, $1, -4104<br>
> +; CHECK: addiu $1, $1, 4096<br>
> ; CHECK: st.d [[R1:\$w[0-9]+]], 0(<br>
> ; CHECK: .size llvm_mips_st_d_invalid_range_<wbr>tests<br>
> ;<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>o32_cc_byval.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/o32_cc_byval.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/o32_cc_byval.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>o32_cc_byval.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>o32_cc_byval.ll Wed Sep 28 11:37:50 2016<br>
> @@ -45,18 +45,20 @@ declare void @callee3(float, %struct.S3*<br>
> define void @f2(float %f, %struct.S1* nocapture byval %s1) nounwind {<br>
> entry:<br>
> ; CHECK: addiu $sp, $sp, -48<br>
> -; CHECK-DAG: sw  $7, 60($sp)<br>
> -; CHECK-DAG: sw  $6, 56($sp)<br>
> -; CHECK-DAG: ldc1 $f[[F0:[0-9]+]], 72($sp)<br>
> -; CHECK-DAG: lw  $[[R3:[0-9]+]], 64($sp)<br>
> -; CHECK-DAG: lw  $[[R4:[0-9]+]], 68($sp)<br>
> -; CHECK-DAG: lh  $[[R1:[0-9]+]], 58($sp)<br>
> -; CHECK-DAG: lb  $[[R0:[0-9]+]], 56($sp)<br>
> -; CHECK-DAG: sw  $[[R0]], 32($sp)<br>
> -; CHECK-DAG: sw  $[[R1]], 28($sp)<br>
> -; CHECK-DAG: sw  $[[R4]], 20($sp)<br>
> -; CHECK-DAG: sw  $[[R3]], 16($sp)<br>
> -; CHECK-DAG: sw  $7, 24($sp)<br>
> +; CHECK: sw  $7, 60($sp)<br>
> +; CHECK: sw  $6, 56($sp)<br>
> +; CHECK: lw  $4, 80($sp)<br>
> +; CHECK: ldc1 $f[[F0:[0-9]+]], 72($sp)<br>
> +; CHECK: lw  $[[R3:[0-9]+]], 64($sp)<br>
> +; CHECK: lw  $[[R4:[0-9]+]], 68($sp)<br>
> +; CHECK: lw  $[[R2:[0-9]+]], 60($sp)<br>
> +; CHECK: lh  $[[R1:[0-9]+]], 58($sp)<br>
> +; CHECK: lb  $[[R0:[0-9]+]], 56($sp)<br>
> +; CHECK: sw  $[[R0]], 32($sp)<br>
> +; CHECK: sw  $[[R1]], 28($sp)<br>
> +; CHECK: sw  $[[R2]], 24($sp)<br>
> +; CHECK: sw  $[[R4]], 20($sp)<br>
> +; CHECK: sw  $[[R3]], 16($sp)<br>
> ; CHECK: mfc1 $6, $f[[F0]]<br>
><br>
>   %i2 = getelementptr inbounds %struct.S1, %struct.S1* %s1, i32 0, i32 5<br>
> @@ -84,7 +86,9 @@ entry:<br>
> ; CHECK: sw  $6, 56($sp)<br>
> ; CHECK: sw  $5, 52($sp)<br>
> ; CHECK: sw  $4, 48($sp)<br>
> -; CHECK: sw  $7, 24($sp)<br>
> +; CHECK: lw  $4, 48($sp)<br>
> +; CHECK: lw  $[[R0:[0-9]+]], 60($sp)<br>
> +; CHECK: sw  $[[R0]], 24($sp)<br>
><br>
>   %arrayidx = getelementptr inbounds %struct.S2, %struct.S2* %s2, i32 0, i32 0, i32 0<br>
>   %tmp = load i32, i32* %arrayidx, align 4<br>
> @@ -97,14 +101,14 @@ entry:<br>
> define void @f4(float %f, %struct.S3* nocapture byval %s3, %struct.S1* nocapture byval %s1) nounwind {<br>
> entry:<br>
> ; CHECK: addiu $sp, $sp, -48<br>
> -; CHECK-DAG: sw  $7, 60($sp)<br>
> -; CHECK-DAG: sw  $6, 56($sp)<br>
> -; CHECK-DAG: sw  $5, 52($sp)<br>
> -; CHECK-DAG: lw  $[[R1:[0-9]+]], 80($sp)<br>
> -; CHECK-DAG: lb  $[[R0:[0-9]+]], 52($sp)<br>
> -; CHECK-DAG: sw  $[[R0]], 32($sp)<br>
> -; CHECK-DAG: sw  $[[R1]], 24($sp)<br>
> -; CHECK: move $4, $7<br>
> +; CHECK: sw  $7, 60($sp)<br>
> +; CHECK: sw  $6, 56($sp)<br>
> +; CHECK: sw  $5, 52($sp)<br>
> +; CHECK: lw  $4, 60($sp)<br>
> +; CHECK: lw  $[[R1:[0-9]+]], 80($sp)<br>
> +; CHECK: lb  $[[R0:[0-9]+]], 52($sp)<br>
> +; CHECK: sw  $[[R0]], 32($sp)<br>
> +; CHECK: sw  $[[R1]], 24($sp)<br>
><br>
>   %i = getelementptr inbounds %struct.S1, %struct.S1* %s1, i32 0, i32 2<br>
>   %tmp = load i32, i32* %i, align 4<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Mips/<wbr>o32_cc_vararg.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Mips/o32_cc_vararg.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Mips/o32_cc_vararg.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Mips/<wbr>o32_cc_vararg.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Mips/<wbr>o32_cc_vararg.ll Wed Sep 28 11:37:50 2016<br>
> @@ -29,9 +29,9 @@ entry:<br>
><br>
> ; CHECK-LABEL: va1:<br>
> ; CHECK: addiu   $sp, $sp, -16<br>
> -; CHECK: sw      $5, 20($sp)<br>
> ; CHECK: sw      $7, 28($sp)<br>
> ; CHECK: sw      $6, 24($sp)<br>
> +; CHECK: sw      $5, 20($sp)<br>
> ; CHECK: lw      $2, 20($sp)<br>
> }<br>
><br>
> @@ -83,8 +83,8 @@ entry:<br>
><br>
> ; CHECK-LABEL: va3:<br>
> ; CHECK: addiu   $sp, $sp, -16<br>
> -; CHECK: sw      $6, 24($sp)<br>
> ; CHECK: sw      $7, 28($sp)<br>
> +; CHECK: sw      $6, 24($sp)<br>
> ; CHECK: lw      $2, 24($sp)<br>
> }<br>
><br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>PowerPC/anon_aggr.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/PowerPC/anon_aggr.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/PowerPC/anon_aggr.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>PowerPC/anon_aggr.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>PowerPC/anon_aggr.ll Wed Sep 28 11:37:50 2016<br>
> @@ -60,9 +60,10 @@ equal:<br>
> unequal:<br>
>   ret i8* %array2_ptr<br>
> }<br>
> +<br>
> ; CHECK-LABEL: func2:<br>
> -; CHECK: cmpld {{([0-9]+,)?}}4, 6<br>
> -; CHECK: mr [[REG2:[0-9]+]], 6<br>
> +; CHECK: ld [[REG2:[0-9]+]], 72(1)<br>
> +; CHECK: cmpld {{([0-9]+,)?}}4, [[REG2]]<br>
> ; CHECK-DAG: std [[REG2]], -[[OFFSET1:[0-9]+]]<br>
> ; CHECK-DAG: std 4, -[[OFFSET2:[0-9]+]]<br>
> ; CHECK: ld 3, -[[OFFSET2]](1)<br>
> @@ -84,8 +85,8 @@ unequal:<br>
> ; DARWIN64: mr<br>
> ; DARWIN64: mr r[[REG3:[0-9]+]], r[[REGA:[0-9]+]]<br>
> ; DARWIN64: cmpld {{(cr[0-9]+,)?}}r[[REGA]], r[[REG2]]<br>
> -; DARWIN64: std r[[REG2]], -[[OFFSET2:[0-9]+]]<br>
> ; DARWIN64: std r[[REG3]], -[[OFFSET1:[0-9]+]]<br>
> +; DARWIN64: std r[[REG2]], -[[OFFSET2:[0-9]+]]<br>
> ; DARWIN64: ld r3, -[[OFFSET1]]<br>
> ; DARWIN64: ld r3, -[[OFFSET2]]<br>
><br>
> @@ -105,24 +106,24 @@ unequal:<br>
> }<br>
><br>
> ; CHECK-LABEL: func3:<br>
> -; CHECK: cmpld {{([0-9]+,)?}}4, 6<br>
> -; CHECK: mr [[REG3:[0-9]+]], 6<br>
> -; CHECK: mr [[REG4:[0-9]+]], 4<br>
> -; CHECK: std [[REG4]], -[[OFFSET2:[0-9]+]](1)<br>
> +; CHECK: ld [[REG3:[0-9]+]], 72(1)<br>
> +; CHECK: ld [[REG4:[0-9]+]], 56(1)<br>
> +; CHECK: cmpld {{([0-9]+,)?}}[[REG4]], [[REG3]]<br>
> ; CHECK: std [[REG3]], -[[OFFSET1:[0-9]+]](1)<br>
> +; CHECK: std [[REG4]], -[[OFFSET2:[0-9]+]](1)<br>
> ; CHECK: ld 3, -[[OFFSET2]](1)<br>
> ; CHECK: ld 3, -[[OFFSET1]](1)<br>
><br>
> ; DARWIN32: _func3:<br>
> -; DARWIN32-DAG: addi r[[REG1:[0-9]+]], r[[REGSP:[0-9]+]], 36<br>
> -; DARWIN32-DAG: addi r[[REG2:[0-9]+]], r[[REGSP]], 24<br>
> -; DARWIN32-DAG: lwz r[[REG3:[0-9]+]], 44(r[[REGSP]])<br>
> -; DARWIN32-DAG: lwz r[[REG4:[0-9]+]], 32(r[[REGSP]])<br>
> +; DARWIN32: addi r[[REG1:[0-9]+]], r[[REGSP:[0-9]+]], 36<br>
> +; DARWIN32: addi r[[REG2:[0-9]+]], r[[REGSP]], 24<br>
> +; DARWIN32: lwz r[[REG3:[0-9]+]], 44(r[[REGSP]])<br>
> +; DARWIN32: lwz r[[REG4:[0-9]+]], 32(r[[REGSP]])<br>
> ; DARWIN32: cmplw {{(cr[0-9]+,)?}}r[[REG4]], r[[REG3]]<br>
> -; DARWIN32-DAG: stw r[[REG3]], -[[OFFSET1:[0-9]+]]<br>
> -; DARWIN32-DAG: stw r[[REG4]], -[[OFFSET2:[0-9]+]]<br>
> -; DARWIN32-DAG: lwz r3, -[[OFFSET1:[0-9]+]]<br>
> -; DARWIN32-DAG: lwz r3, -[[OFFSET2:[0-9]+]]<br>
> +; DARWIN32: stw r[[REG3]], -[[OFFSET1:[0-9]+]]<br>
> +; DARWIN32: stw r[[REG4]], -[[OFFSET2:[0-9]+]]<br>
> +; DARWIN32: lwz r3, -[[OFFSET2]]<br>
> +; DARWIN32: lwz r3, -[[OFFSET1]]<br>
><br>
> ; DARWIN64: _func3:<br>
> ; DARWIN64: ld r[[REG3:[0-9]+]], 72(r1)<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>PowerPC/complex-return.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/PowerPC/complex-return.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/PowerPC/complex-<wbr>return.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>PowerPC/complex-return.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>PowerPC/complex-return.ll Wed Sep 28 11:37:50 2016<br>
> @@ -24,10 +24,10 @@ entry:<br>
> }<br>
><br>
> ; CHECK-LABEL: foo:<br>
> -; CHECK-DAG: lfd 1<br>
> -; CHECK-DAG: fmr 2<br>
> -; CHECK-DAG: lfd 3<br>
> -; CHECK-DAG: lfd 4<br>
> +; CHECK: lfd 1<br>
> +; CHECK: lfd 2<br>
> +; CHECK: lfd 3<br>
> +; CHECK: lfd 4<br>
><br>
> define { float, float } @oof() nounwind {<br>
> entry:<br>
> @@ -50,6 +50,6 @@ entry:<br>
> }<br>
><br>
> ; CHECK-LABEL: oof:<br>
> -; CHECK-DAG: lfs 2<br>
> -; CHECK-DAG: lfs 1<br>
> +; CHECK: lfs 2<br>
> +; CHECK: lfs 1<br>
><br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>PowerPC/jaggedstructs.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/PowerPC/jaggedstructs.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/PowerPC/jaggedstructs.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>PowerPC/jaggedstructs.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>PowerPC/jaggedstructs.ll Wed Sep 28 11:37:50 2016<br>
> @@ -18,14 +18,14 @@ entry:<br>
>   ret void<br>
> }<br>
><br>
> -; CHECK-DAG: std 3, 160(1)<br>
> -; CHECK-DAG: std 6, 184(1)<br>
> -; CHECK-DAG: std 5, 176(1)<br>
> -; CHECK-DAG: std 4, 168(1)<br>
> -; CHECK-DAG: lbz {{[0-9]+}}, 167(1)<br>
> -; CHECK-DAG: lhz {{[0-9]+}}, 165(1)<br>
> -; CHECK-DAG: stb {{[0-9]+}}, 55(1)<br>
> -; CHECK-DAG: sth {{[0-9]+}}, 53(1)<br>
> +; CHECK: std 6, 184(1)<br>
> +; CHECK: std 5, 176(1)<br>
> +; CHECK: std 4, 168(1)<br>
> +; CHECK: std 3, 160(1)<br>
> +; CHECK: lbz {{[0-9]+}}, 167(1)<br>
> +; CHECK: lhz {{[0-9]+}}, 165(1)<br>
> +; CHECK: stb {{[0-9]+}}, 55(1)<br>
> +; CHECK: sth {{[0-9]+}}, 53(1)<br>
> ; CHECK: lbz {{[0-9]+}}, 175(1)<br>
> ; CHECK: lwz {{[0-9]+}}, 171(1)<br>
> ; CHECK: stb {{[0-9]+}}, 63(1)<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>PowerPC/ppc64-align-long-<wbr>double.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/PowerPC/ppc64-align-long-double.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/PowerPC/ppc64-align-<wbr>long-double.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>PowerPC/ppc64-align-long-<wbr>double.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>PowerPC/ppc64-align-long-<wbr>double.ll Wed Sep 28 11:37:50 2016<br>
> @@ -18,35 +18,19 @@ entry:<br>
>   ret ppc_fp128 %0<br>
> }<br>
><br>
> -;; FIXME: Sadly, we now have an extra store to a temp variable here,<br>
> -;; which comes from (roughly):<br>
> -;;  store i64 <val> to i64* <frame><br>
> -;;  bitcast (load i64* <frame>) to f64<br>
> -;; The code now can elide the load, making:<br>
> -;;  store i64 <val> -> <frame><br>
> -;;  bitcast i64 <val> to f64<br>
> -;; Finally, the bitcast itself turns into a store/load pair.<br>
> -;;<br>
> -;; This behavior is new, because previously, llvm was accidentally<br>
> -;; unable to detect that the load came directly from the store, and<br>
> -;; elide it.<br>
> +; CHECK-DAG: std 6, 72(1)<br>
> +; CHECK-DAG: std 5, 64(1)<br>
> +; CHECK-DAG: std 4, 56(1)<br>
> +; CHECK-DAG: std 3, 48(1)<br>
> +; CHECK: lfd 1, 64(1)<br>
> +; CHECK: lfd 2, 72(1)<br>
><br>
> -; CHECK: std 6, 72(1)<br>
> -; CHECK: std 5, 64(1)<br>
> -; CHECK: std 4, 56(1)<br>
> -; CHECK: std 3, 48(1)<br>
> -; CHECK: std 5, -16(1)<br>
> -; CHECK: std 6, -8(1)<br>
> -; CHECK: lfd 1, -16(1)<br>
> -; CHECK: lfd 2, -8(1)<br>
> -<br>
> -; CHECK-VSX: std 6, 72(1)<br>
> -; CHECK-VSX: std 5, 64(1)<br>
> -; CHECK-VSX: std 4, 56(1)<br>
> -; CHECK-VSX: std 3, 48(1)<br>
> -; CHECK-VSX: std 5, -16(1)<br>
> -; CHECK-VSX: std 6, -8(1)<br>
> -; CHECK-VSX: addi 3, 1, -16<br>
> -; CHECK-VSX: lxsdx 1, 0, 3<br>
> -; CHECK-VSX: addi 3, 1, -8<br>
> -; CHECK-VSX: lxsdx 2, 0, 3<br>
> +; CHECK-VSX-DAG: std 6, 72(1)<br>
> +; CHECK-VSX-DAG: std 5, 64(1)<br>
> +; CHECK-VSX-DAG: std 4, 56(1)<br>
> +; CHECK-VSX-DAG: std 3, 48(1)<br>
> +; CHECK-VSX: li 3, 16<br>
> +; CHECK-VSX: addi 4, 1, 48<br>
> +; CHECK-VSX: lxsdx 1, 4, 3<br>
> +; CHECK-VSX: li 3, 24<br>
> +; CHECK-VSX: lxsdx 2, 4, 3<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>PowerPC/structsinmem.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/PowerPC/structsinmem.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/PowerPC/structsinmem.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>PowerPC/structsinmem.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>PowerPC/structsinmem.ll Wed Sep 28 11:37:50 2016<br>
> @@ -113,13 +113,13 @@ entry:<br>
>   %add13 = add nsw i32 %add11, %6<br>
>   ret i32 %add13<br>
><br>
> -; CHECK-DAG: lha {{[0-9]+}}, 126(1)<br>
> -; CHECK-DAG: lha {{[0-9]+}}, 132(1)<br>
> -; CHECK-DAG: lbz {{[0-9]+}}, 119(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 140(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 144(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 152(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 160(1)<br>
> +; CHECK: lha {{[0-9]+}}, 126(1)<br>
> +; CHECK: lha {{[0-9]+}}, 132(1)<br>
> +; CHECK: lbz {{[0-9]+}}, 119(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 140(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 144(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 152(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 160(1)<br>
> }<br>
><br>
> define i32 @caller2() nounwind {<br>
> @@ -205,11 +205,11 @@ entry:<br>
>   %add13 = add nsw i32 %add11, %6<br>
>   ret i32 %add13<br>
><br>
> -; CHECK-DAG: lha {{[0-9]+}}, 126(1)<br>
> -; CHECK-DAG: lha {{[0-9]+}}, 133(1)<br>
> -; CHECK-DAG: lbz {{[0-9]+}}, 119(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 140(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 147(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 154(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 161(1)<br>
> +; CHECK: lha {{[0-9]+}}, 126(1)<br>
> +; CHECK: lha {{[0-9]+}}, 133(1)<br>
> +; CHECK: lbz {{[0-9]+}}, 119(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 140(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 147(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 154(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 161(1)<br>
> }<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>PowerPC/structsinregs.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/PowerPC/structsinregs.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/PowerPC/structsinregs.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>PowerPC/structsinregs.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>PowerPC/structsinregs.ll Wed Sep 28 11:37:50 2016<br>
> @@ -59,7 +59,6 @@ entry:<br>
>   %call = call i32 @callee1(%struct.s1* byval %p1, %struct.s2* byval %p2, %struct.s3* byval %p3, %struct.s4* byval %p4, %struct.s5* byval %p5, %struct.s6* byval %p6, %struct.s7* byval %p7)<br>
>   ret i32 %call<br>
><br>
> -; CHECK-LABEL: caller1<br>
> ; CHECK: ld 9, 112(31)<br>
> ; CHECK: ld 8, 120(31)<br>
> ; CHECK: ld 7, 128(31)<br>
> @@ -98,21 +97,20 @@ entry:<br>
>   %add13 = add nsw i32 %add11, %6<br>
>   ret i32 %add13<br>
><br>
> -; CHECK-LABEL: callee1<br>
> -; CHECK-DAG: std 9, 96(1)<br>
> -; CHECK-DAG: std 8, 88(1)<br>
> -; CHECK-DAG: std 7, 80(1)<br>
> -; CHECK-DAG: stw 6, 76(1)<br>
> -; CHECK-DAG: stw 5, 68(1)<br>
> -; CHECK-DAG: sth 4, 62(1)<br>
> -; CHECK-DAG: stb 3, 55(1)<br>
> -; CHECK-DAG: lha {{[0-9]+}}, 62(1)<br>
> -; CHECK-DAG: lha {{[0-9]+}}, 68(1)<br>
> -; CHECK-DAG: lbz {{[0-9]+}}, 55(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 76(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 80(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 88(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 96(1)<br>
> +; CHECK: std 9, 96(1)<br>
> +; CHECK: std 8, 88(1)<br>
> +; CHECK: std 7, 80(1)<br>
> +; CHECK: stw 6, 76(1)<br>
> +; CHECK: stw 5, 68(1)<br>
> +; CHECK: sth 4, 62(1)<br>
> +; CHECK: stb 3, 55(1)<br>
> +; CHECK: lha {{[0-9]+}}, 62(1)<br>
> +; CHECK: lha {{[0-9]+}}, 68(1)<br>
> +; CHECK: lbz {{[0-9]+}}, 55(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 76(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 80(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 88(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 96(1)<br>
> }<br>
><br>
> define i32 @caller2() nounwind {<br>
> @@ -141,7 +139,6 @@ entry:<br>
>   %call = call i32 @callee2(%struct.t1* byval %p1, %struct.t2* byval %p2, %struct.t3* byval %p3, %struct.t4* byval %p4, %struct.t5* byval %p5, %struct.t6* byval %p6, %struct.t7* byval %p7)<br>
>   ret i32 %call<br>
><br>
> -; CHECK-LABEL: caller2<br>
> ; CHECK: stb {{[0-9]+}}, 71(1)<br>
> ; CHECK: sth {{[0-9]+}}, 69(1)<br>
> ; CHECK: stb {{[0-9]+}}, 87(1)<br>
> @@ -187,19 +184,18 @@ entry:<br>
>   %add13 = add nsw i32 %add11, %6<br>
>   ret i32 %add13<br>
><br>
> -; CHECK-LABEL: callee2<br>
> -; CHECK-DAG: std 9, 96(1)<br>
> -; CHECK-DAG: std 8, 88(1)<br>
> -; CHECK-DAG: std 7, 80(1)<br>
> -; CHECK-DAG: stw 6, 76(1)<br>
> -; CHECK-DAG: std 5, 64(1)<br>
> -; CHECK-DAG: sth 4, 62(1)<br>
> -; CHECK-DAG: stb 3, 55(1)<br>
> -; CHECK-DAG: lha {{[0-9]+}}, 62(1)<br>
> -; CHECK-DAG: lha {{[0-9]+}}, 69(1)<br>
> -; CHECK-DAG: lbz {{[0-9]+}}, 55(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 76(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 83(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 90(1)<br>
> -; CHECK-DAG: lwz {{[0-9]+}}, 97(1)<br>
> +; CHECK: std 9, 96(1)<br>
> +; CHECK: std 8, 88(1)<br>
> +; CHECK: std 7, 80(1)<br>
> +; CHECK: stw 6, 76(1)<br>
> +; CHECK: std 5, 64(1)<br>
> +; CHECK: sth 4, 62(1)<br>
> +; CHECK: stb 3, 55(1)<br>
> +; CHECK: lha {{[0-9]+}}, 62(1)<br>
> +; CHECK: lha {{[0-9]+}}, 69(1)<br>
> +; CHECK: lbz {{[0-9]+}}, 55(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 76(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 83(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 90(1)<br>
> +; CHECK: lwz {{[0-9]+}}, 97(1)<br>
> }<br>
><br>
> Modified: llvm/trunk/test/CodeGen/<wbr>SystemZ/unaligned-01.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/SystemZ/unaligned-01.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/SystemZ/unaligned-01.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/<wbr>SystemZ/unaligned-01.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/<wbr>SystemZ/unaligned-01.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,7 +1,10 @@<br>
> ; Check that unaligned accesses are allowed in general.  We check the<br>
> ; few exceptions (like CRL) in their respective test files.<br>
> ;<br>
> -; RUN: llc < %s -mtriple=s390x-linux-gnu | FileCheck %s<br>
> +; FIXME: -combiner-alias-analysis (the default for SystemZ) stops<br>
> +;        f1 from being optimized.<br>
> +; RUN: llc < %s -mtriple=s390x-linux-gnu -combiner-alias-analysis=false \<br>
> +; RUN:   | FileCheck %s<br>
><br>
> ; Check that these four byte stores become a single word store.<br>
> define void @f1(i8 *%ptr) {<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Thumb/<wbr>2010-07-15-debugOrdering.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Thumb/2010-07-15-debugOrdering.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Thumb/2010-07-15-<wbr>debugOrdering.ll?rev=282604&<wbr>r1=282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Thumb/<wbr>2010-07-15-debugOrdering.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Thumb/<wbr>2010-07-15-debugOrdering.ll Wed Sep 28 11:37:50 2016<br>
> @@ -9,8 +9,8 @@<br>
><br>
> define void @_Z19getClosestDiagonal3ii(%0* noalias sret, i32, i32) nounwind {<br>
> ; CHECK: bl ___muldf3<br>
> -; CHECK: beq LBB0<br>
> ; CHECK: bl ___muldf3<br>
> +; CHECK: beq LBB0<br>
> ; CHECK: bl ___muldf3<br>
> ; <label>:3<br>
>   switch i32 %1, label %4 [<br>
><br>
> Modified: llvm/trunk/test/CodeGen/Thumb/<wbr>stack-access.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/Thumb/stack-access.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/Thumb/stack-access.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/Thumb/<wbr>stack-access.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/Thumb/<wbr>stack-access.ll Wed Sep 28 11:37:50 2016<br>
> @@ -74,17 +74,15 @@ define zeroext i16 @test6() {<br>
> }<br>
><br>
> ; Accessing the bottom of a large array shouldn't require materializing a base<br>
> -;<br>
> -; CHECK: movs [[REG:r[0-9]+]], #1<br>
> -; CHECK: str [[REG]], [sp, #16]<br>
> -; CHECK: str [[REG]], [sp, #4]<br>
> -<br>
> define void @test7() {<br>
>   %arr = alloca [200 x i32], align 4<br>
><br>
> +  ; CHECK: movs [[REG:r[0-9]+]], #1<br>
> +  ; CHECK: str [[REG]], [sp, #4]<br>
>   %arrayidx = getelementptr inbounds [200 x i32], [200 x i32]* %arr, i32 0, i32 1<br>
>   store i32 1, i32* %arrayidx, align 4<br>
><br>
> +  ; CHECK: str [[REG]], [sp, #16]<br>
>   %arrayidx1 = getelementptr inbounds [200 x i32], [200 x i32]* %arr, i32 0, i32 4<br>
>   store i32 1, i32* %arrayidx1, align 4<br>
><br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>2010-09-17-SideEffectsInChain.<wbr>ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/2010-09-17-SideEffectsInChain.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/2010-09-17-<wbr>SideEffectsInChain.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>2010-09-17-SideEffectsInChain.<wbr>ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>2010-09-17-SideEffectsInChain.<wbr>ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,4 +1,4 @@<br>
> -; RUN: llc < %s -march=x86-64 -mcpu=core2 | FileCheck %s<br>
> +; RUN: llc < %s -combiner-alias-analysis -march=x86-64 -mcpu=core2 | FileCheck %s<br>
><br>
> target datalayout = "e-p:64:64:64-i1:8:8-i8:8:8-<wbr>i16:16:16-i32:32:32-i64:64:64-<wbr>f32:32:32-f64:64:64-v64:64:64-<wbr>v128:128:128-a0:0:64-s0:64:64-<wbr>f80:128:128-n8:16:32:64"<br>
> target triple = "x86_64-apple-darwin10.4"<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>2012-11-28-merge-store-alias.<wbr>ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/2012-11-28-merge-store-alias.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/2012-11-28-merge-<wbr>store-alias.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>2012-11-28-merge-store-alias.<wbr>ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>2012-11-28-merge-store-alias.<wbr>ll Wed Sep 28 11:37:50 2016<br>
> @@ -3,8 +3,8 @@<br>
> ; CHECK: merge_stores_can<br>
> ; CHECK: callq foo<br>
> ; CHECK: xorps %xmm0, %xmm0<br>
> -; CHECK-NEXT: movups  %xmm0<br>
> ; CHECK-NEXT: movl 36(%rsp), %ebp<br>
> +; CHECK-NEXT: movups  %xmm0<br>
> ; CHECK: callq foo<br>
> ; CHECK: ret<br>
> declare i32 @foo([10 x i32]* )<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>MergeConsecutiveStores.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/MergeConsecutiveStores.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/<wbr>MergeConsecutiveStores.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>MergeConsecutiveStores.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>MergeConsecutiveStores.ll Wed Sep 28 11:37:50 2016<br>
> @@ -292,12 +292,16 @@ block4:<br>
>   ret void<br>
> }<br>
><br>
> -;; On x86, even unaligned copies can be merged to vector ops.<br>
> +;; On x86, even unaligned copies should be merged to vector ops.<br>
> +;; TODO: however, this cannot happen at the moment, due to brokenness<br>
> +;; in MergeConsecutiveStores. See UseAA FIXME in DAGCombiner.cpp<br>
> +;; visitSTORE.<br>
> +<br>
> ; CHECK-LABEL: merge_loads_no_align:<br>
> ;  load:<br>
> -; CHECK: vmovups<br>
> +; CHECK-NOT: vmovups ;; TODO<br>
> ;  store:<br>
> -; CHECK: vmovups<br>
> +; CHECK-NOT: vmovups ;; TODO<br>
> ; CHECK: ret<br>
> define void @merge_loads_no_align(i32 %count, %struct.B* noalias nocapture %q, %struct.B* noalias nocapture %p) nounwind uwtable noinline ssp {<br>
>   %a1 = icmp sgt i32 %count, 0<br>
> @@ -545,8 +549,8 @@ define void @merge_vec_element_and_scala<br>
><br>
> ; CHECK-LABEL: merge_vec_element_and_scalar_<wbr>load<br>
> ; CHECK:      movq    (%rdi), %rax<br>
> -; CHECK-NEXT: movq   8(%rdi), %rcx<br>
> ; CHECK-NEXT: movq    %rax, 32(%rdi)<br>
> -; CHECK-NEXT: movq   %rcx, 40(%rdi)<br>
> +; CHECK-NEXT: movq   8(%rdi), %rax<br>
> +; CHECK-NEXT: movq   %rax, 40(%rdi)<br>
> ; CHECK-NEXT: retq<br>
> }<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>avx512-mask-op.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/avx512-mask-op.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/avx512-mask-op.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>avx512-mask-op.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>avx512-mask-op.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1177,6 +1177,10 @@ define void @ktest_2(<32 x float> %in, f<br>
> ; KNL-NEXT:    kmovw %k0, %eax<br>
> ; KNL-NEXT:    vpinsrb $15, %eax, %xmm2, %xmm2<br>
> ; KNL-NEXT:    vinserti128 $1, %xmm3, %ymm2, %ymm2<br>
> +; KNL-NEXT:    vpsllw $7, %ymm2, %ymm2<br>
> +; KNL-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2<br>
> +; KNL-NEXT:    vpxor %ymm3, %ymm3, %ymm3<br>
> +; KNL-NEXT:    vpcmpgtb %ymm2, %ymm3, %ymm2<br>
> ; KNL-NEXT:    vmovups 4(%rdi), %zmm3 {%k2} {z}<br>
> ; KNL-NEXT:    vmovups 68(%rdi), %zmm4 {%k1} {z}<br>
> ; KNL-NEXT:    vcmpltps %zmm4, %zmm1, %k0<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>chain_order.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/chain_order.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/chain_order.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>chain_order.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>chain_order.ll Wed Sep 28 11:37:50 2016<br>
> @@ -11,9 +11,9 @@ define void @cftx020(double* nocapture %<br>
> ; CHECK-NEXT:    vmovhpd {{.*#+}} xmm1 = xmm1[0],mem[0]<br>
> ; CHECK-NEXT:    vaddpd %xmm1, %xmm0, %xmm0<br>
> ; CHECK-NEXT:    vmovupd (%rdi), %xmm1<br>
> +; CHECK-NEXT:    vsubpd 16(%rdi), %xmm1, %xmm1<br>
> ; CHECK-NEXT:    vmovupd %xmm0, (%rdi)<br>
> -; CHECK-NEXT:    vsubpd 16(%rdi), %xmm1, %xmm0<br>
> -; CHECK-NEXT:    vmovupd %xmm0, 16(%rdi)<br>
> +; CHECK-NEXT:    vmovupd %xmm1, 16(%rdi)<br>
> ; CHECK-NEXT:    retq<br>
> entry:<br>
>   %0 = load double, double* %a, align 8<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>clear_upper_vector_element_<wbr>bits.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/clear_upper_vector_element_bits.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/clear_upper_<wbr>vector_element_bits.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>clear_upper_vector_element_<wbr>bits.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>clear_upper_vector_element_<wbr>bits.ll Wed Sep 28 11:37:50 2016<br>
> @@ -149,47 +149,47 @@ define <16 x i8> @_clearupper16xi8a(<16<br>
> ; SSE-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> ; SSE-NEXT:    movd %eax, %xmm0<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi<br>
> ; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> ; SSE-NEXT:    movd %eax, %xmm1<br>
> ; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> +; SSE-NEXT:    movd %esi, %xmm0<br>
> ; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm0<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm2<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> +; SSE-NEXT:    movd %ecx, %xmm2<br>
> ; SSE-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> ; SSE-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3],xmm2[4],xmm1[4],xmm2[<wbr>5],xmm1[5],xmm2[6],xmm1[6],<wbr>xmm2[7],xmm1[7]<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm0<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm3<br>
> +; SSE-NEXT:    movd %edx, %xmm0<br>
> +; SSE-NEXT:    movd %esi, %xmm1<br>
> +; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> +; SSE-NEXT:    movd %edi, %xmm0<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> +; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> +; SSE-NEXT:    movd %edx, %xmm3<br>
> ; SSE-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm0<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> +; SSE-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[<wbr>1],xmm3[2],xmm1[2],xmm3[3],<wbr>xmm1[3],xmm3[4],xmm1[4],xmm3[<wbr>5],xmm1[5],xmm3[6],xmm1[6],<wbr>xmm3[7],xmm1[7]<br>
> +; SSE-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[<wbr>1],xmm3[2],xmm2[2],xmm3[3],<wbr>xmm2[3],xmm3[4],xmm2[4],xmm3[<wbr>5],xmm2[5],xmm3[6],xmm2[6],<wbr>xmm3[7],xmm2[7]<br>
> +; SSE-NEXT:    movd %r9d, %xmm0<br>
> ; SSE-NEXT:    movd %eax, %xmm1<br>
> ; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> -; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[<wbr>1],xmm1[2],xmm3[2],xmm1[3],<wbr>xmm3[3],xmm1[4],xmm3[4],xmm1[<wbr>5],xmm3[5],xmm1[6],xmm3[6],<wbr>xmm1[7],xmm3[7]<br>
> -; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1],xmm1[2],xmm2[2],xmm1[3],<wbr>xmm2[3],xmm1[4],xmm2[4],xmm1[<wbr>5],xmm2[5],xmm1[6],xmm2[6],<wbr>xmm1[7],xmm2[7]<br>
> -; SSE-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> -; SSE-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; SSE-NEXT:    movd %r8d, %xmm0<br>
> +; SSE-NEXT:    movd %ecx, %xmm2<br>
> ; SSE-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> -; SSE-NEXT:    movd {{.*#+}} xmm3 = mem[0],zero,zero,zero<br>
> +; SSE-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3],xmm2[4],xmm1[4],xmm2[<wbr>5],xmm1[5],xmm2[6],xmm1[6],<wbr>xmm2[7],xmm1[7]<br>
> +; SSE-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> +; SSE-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> +; SSE-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> +; SSE-NEXT:    movd {{.*#+}} xmm4 = mem[0],zero,zero,zero<br>
> ; SSE-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> -; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> -; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm2<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm3<br>
> -; SSE-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[<wbr>1],xmm3[2],xmm2[2],xmm3[3],<wbr>xmm2[3],xmm3[4],xmm2[4],xmm3[<wbr>5],xmm2[5],xmm3[6],xmm2[6],<wbr>xmm3[7],xmm2[7]<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm2<br>
> -; SSE-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE-NEXT:    movd %eax, %xmm4<br>
> -; SSE-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm2[0],xmm4[1],xmm2[<wbr>1],xmm4[2],xmm2[2],xmm4[3],<wbr>xmm2[3],xmm4[4],xmm2[4],xmm4[<wbr>5],xmm2[5],xmm4[6],xmm2[6],<wbr>xmm4[7],xmm2[7]<br>
> -; SSE-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm3[0],xmm4[1],xmm3[<wbr>1],xmm4[2],xmm3[2],xmm4[3],<wbr>xmm3[3],xmm4[4],xmm3[4],xmm4[<wbr>5],xmm3[5],xmm4[6],xmm3[6],<wbr>xmm4[7],xmm3[7]<br>
> ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[<wbr>1],xmm0[2],xmm4[2],xmm0[3],<wbr>xmm4[3],xmm0[4],xmm4[4],xmm0[<wbr>5],xmm4[5],xmm0[6],xmm4[6],<wbr>xmm0[7],xmm4[7]<br>
> ; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> +; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> +; SSE-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0<br>
> ; SSE-NEXT:    retq<br>
> ;<br>
><br>
> Added: llvm/trunk/test/CodeGen/X86/<wbr>combiner-aa-0.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/combiner-aa-0.ll?rev=282604&view=auto" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/combiner-aa-0.ll?<wbr>rev=282604&view=auto</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>combiner-aa-0.ll (added)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>combiner-aa-0.ll Wed Sep 28 11:37:50 2016<br>
> @@ -0,0 +1,20 @@<br>
> +; RUN: llc < %s -march=x86-64 -combiner-global-alias-<wbr>analysis -combiner-alias-analysis<br>
> +<br>
> +target datalayout = "e-p:64:64:64-i1:8:8-i8:8:8-<wbr>i16:16:16-i32:32:32-i64:64:64-<wbr>f32:32:32-f64:64:64-v64:64:64-<wbr>v128:128:128-a0:0:64-s0:64:64-<wbr>f80:128:128"<br>
> +     %struct.Hash_Key = type { [4 x i32], i32 }<br>
> +@g_flipV_hashkey = external global %struct.Hash_Key, align 16                ; <%struct.Hash_Key*> [#uses=1]<br>
> +<br>
> +define void @foo() nounwind {<br>
> +     %t0 = load i32, i32* undef, align 16            ; <i32> [#uses=1]<br>
> +     %t1 = load i32, i32* null, align 4              ; <i32> [#uses=1]<br>
> +     %t2 = srem i32 %t0, 32          ; <i32> [#uses=1]<br>
> +     %t3 = shl i32 1, %t2            ; <i32> [#uses=1]<br>
> +     %t4 = xor i32 %t3, %t1          ; <i32> [#uses=1]<br>
> +     store i32 %t4, i32* null, align 4<br>
> +     %t5 = getelementptr %struct.Hash_Key, %struct.Hash_Key* @g_flipV_hashkey, i64 0, i32 0, i64 0           ; <i32*> [#uses=2]<br>
> +     %t6 = load i32, i32* %t5, align 4               ; <i32> [#uses=1]<br>
> +     %t7 = shl i32 1, undef          ; <i32> [#uses=1]<br>
> +     %t8 = xor i32 %t7, %t6          ; <i32> [#uses=1]<br>
> +     store i32 %t8, i32* %t5, align 4<br>
> +     unreachable<br>
> +}<br>
><br>
> Added: llvm/trunk/test/CodeGen/X86/<wbr>combiner-aa-1.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/combiner-aa-1.ll?rev=282604&view=auto" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/combiner-aa-1.ll?<wbr>rev=282604&view=auto</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>combiner-aa-1.ll (added)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>combiner-aa-1.ll Wed Sep 28 11:37:50 2016<br>
> @@ -0,0 +1,23 @@<br>
> +; RUN: llc < %s --combiner-alias-analysis --combiner-global-alias-<wbr>analysis<br>
> +; PR4880<br>
> +<br>
> +target datalayout = "e-p:32:32:32-i1:8:8-i8:8:8-<wbr>i16:16:16-i32:32:32-i64:32:64-<wbr>f32:32:32-f64:32:64-v64:64:64-<wbr>v128:128:128-a0:0:64-f80:32:<wbr>32"<br>
> +target triple = "i386-pc-linux-gnu"<br>
> +<br>
> +%struct.alst_node = type { %struct.node }<br>
> +%struct.arg_node = type { %struct.node, i8*, %struct.alst_node* }<br>
> +%struct.arglst_node = type { %struct.alst_node, %struct.arg_node*, %struct.arglst_node* }<br>
> +%struct.lam_node = type { %struct.alst_node, %struct.arg_node*, %struct.alst_node* }<br>
> +%struct.node = type { i32 (...)**, %struct.node* }<br>
> +<br>
> +define i32 @._ZN8lam_node18resolve_name_<wbr>clashEP8arg_nodeP9alst_node._<wbr>ZNK8lam_nodeeqERK8exp_node._<wbr>ZN11arglst_nodeD0Ev(%struct.<wbr>lam_node* %this.this, %struct.arg_node* %outer_arg, %struct.alst_node* %env.cmp, %struct.arglst_node* %this, i32 %functionID) {<br>
> +comb_entry:<br>
> +  %.SV59 = alloca %struct.node*                   ; <%struct.node**> [#uses=1]<br>
> +  %0 = load i32 (...)**, i32 (...)*** null, align 4            ; <i32 (...)**> [#uses=1]<br>
> +  %1 = getelementptr inbounds i32 (...)*, i32 (...)** %0, i32 3 ; <i32 (...)**> [#uses=1]<br>
> +  %2 = load i32 (...)*, i32 (...)** %1, align 4               ; <i32 (...)*> [#uses=1]<br>
> +  store %struct.node* undef, %struct.node** %.SV59<br>
> +  %3 = bitcast i32 (...)* %2 to i32 (%struct.node*)* ; <i32 (%struct.node*)*> [#uses=1]<br>
> +  %4 = tail call i32 %3(%struct.node* undef)      ; <i32> [#uses=0]<br>
> +  unreachable<br>
> +}<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>copy-eflags.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/copy-eflags.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/copy-eflags.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>copy-eflags.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>copy-eflags.ll Wed Sep 28 11:37:50 2016<br>
> @@ -9,22 +9,19 @@ target triple = "i686-unknown-linux-gnu"<br>
> @.str = private unnamed_addr constant [4 x i8] c"%d\0A\00", align 1<br>
><br>
> ; CHECK-LABEL: func:<br>
> -; This tests whether eax is properly saved/restored around the<br>
> -; lahf/sahf instruction sequences. We make mem op volatile to prevent<br>
> -; their reordering to avoid spills.<br>
> -<br>
> -<br>
> +; This tests whether eax is properly saved/restored around the lahf/sahf<br>
> +; instruction sequences.<br>
> define i32 @func() {<br>
> entry:<br>
>   %bval = load i8, i8* @b<br>
>   %inc = add i8 %bval, 1<br>
> -  store volatile i8 %inc, i8* @b<br>
> -  %cval = load volatile i32, i32* @c<br>
> +  store i8 %inc, i8* @b<br>
> +  %cval = load i32, i32* @c<br>
>   %inc1 = add nsw i32 %cval, 1<br>
> -  store volatile i32 %inc1, i32* @c<br>
> -  %aval = load volatile i8, i8* @a<br>
> +  store i32 %inc1, i32* @c<br>
> +  %aval = load i8, i8* @a<br>
>   %inc2 = add i8 %aval, 1<br>
> -  store volatile i8 %inc2, i8* @a<br>
> +  store i8 %inc2, i8* @a<br>
> ; Copy flags produced by the incb of %inc1 to a register, need to save+restore<br>
> ; eax around it. The flags will be reused by %tobool.<br>
> ; CHECK: pushl %eax<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>dag-merge-fast-accesses.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/dag-merge-fast-accesses.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/dag-merge-fast-<wbr>accesses.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>dag-merge-fast-accesses.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>dag-merge-fast-accesses.ll Wed Sep 28 11:37:50 2016<br>
> @@ -51,11 +51,19 @@ define void @merge_vec_element_store(<4<br>
> }<br>
><br>
><br>
> +;; TODO: FAST *should* be:<br>
> +;;    movups (%rdi), %xmm0<br>
> +;;    movups %xmm0, 40(%rdi)<br>
> +;; ..but is not currently. See the UseAA FIXME in DAGCombiner.cpp<br>
> +;; visitSTORE.<br>
> +<br>
> define void @merge_vec_load_and_stores(i64 *%ptr) {<br>
> ; FAST-LABEL: merge_vec_load_and_stores:<br>
> ; FAST:       # BB#0:<br>
> -; FAST-NEXT:    movups (%rdi), %xmm0<br>
> -; FAST-NEXT:    movups %xmm0, 40(%rdi)<br>
> +; FAST-NEXT:    movq (%rdi), %rax<br>
> +; FAST-NEXT:    movq 8(%rdi), %rcx<br>
> +; FAST-NEXT:    movq %rax, 40(%rdi)<br>
> +; FAST-NEXT:    movq %rcx, 48(%rdi)<br>
> ; FAST-NEXT:    retq<br>
> ;<br>
> ; SLOW-LABEL: merge_vec_load_and_stores:<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>dont-trunc-store-double-to-<wbr>float.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/dont-trunc-store-double-to-float.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/dont-trunc-store-<wbr>double-to-float.ll?rev=282604&<wbr>r1=282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>dont-trunc-store-double-to-<wbr>float.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>dont-trunc-store-double-to-<wbr>float.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,9 +1,9 @@<br>
> ; RUN: llc -march=x86 < %s | FileCheck %s<br>
><br>
> ; CHECK-LABEL: @bar<br>
> -; CHECK-DAG: movl $1074339512,<br>
> -; CHECK-DAG: movl $1374389535,<br>
> -; CHECK-DAG: movl $1078523331,<br>
> +; CHECK: movl $1074339512,<br>
> +; CHECK: movl $1374389535,<br>
> +; CHECK: movl $1078523331,<br>
> define void @bar() unnamed_addr {<br>
> entry-block:<br>
>   %a = alloca double<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>extractelement-legalization-<wbr>store-ordering.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/extractelement-legalization-store-ordering.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/extractelement-<wbr>legalization-store-ordering.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>extractelement-legalization-<wbr>store-ordering.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>extractelement-legalization-<wbr>store-ordering.ll Wed Sep 28 11:37:50 2016<br>
> @@ -18,13 +18,13 @@ target datalayout = "e-m:o-p:32:32-f64:3<br>
> ; CHECK-NEXT: movdqa %xmm0, (%edx)<br>
> ; CHECK-NEXT: shll $4, %ecx<br>
> ; CHECK-NEXT: movl (%ecx,%edx), %esi<br>
> -; CHECK-NEXT: movl 4(%ecx,%edx), %edi<br>
> +; CHECK-NEXT: movl 12(%ecx,%edx), %edi<br>
> ; CHECK-NEXT: movl 8(%ecx,%edx), %ebx<br>
> -; CHECK-NEXT: movl 12(%ecx,%edx), %edx<br>
> +; CHECK-NEXT: movl 4(%ecx,%edx), %edx<br>
> ; CHECK-NEXT: movl %esi, 12(%eax,%ecx)<br>
> -; CHECK-NEXT: movl %edi, (%eax,%ecx)<br>
> +; CHECK-NEXT: movl %edx, (%eax,%ecx)<br>
> ; CHECK-NEXT: movl %ebx, 8(%eax,%ecx)<br>
> -; CHECK-NEXT: movl %edx, 4(%eax,%ecx)<br>
> +; CHECK-NEXT: movl %edi, 4(%eax,%ecx)<br>
> ; CHECK-NEXT: popl %esi<br>
> ; CHECK-NEXT: popl %edi<br>
> ; CHECK-NEXT: popl %ebx<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>i256-add.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/i256-add.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/i256-add.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>i256-add.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>i256-add.ll Wed Sep 28 11:37:50 2016<br>
> @@ -2,17 +2,17 @@<br>
> ; RUN: grep adcl %t | count 7<br>
> ; RUN: grep sbbl %t | count 7<br>
><br>
> -define void @add(i256* %p, i256* %q, i256* %r) nounwind {<br>
> +define void @add(i256* %p, i256* %q) nounwind {<br>
>   %a = load i256, i256* %p<br>
>   %b = load i256, i256* %q<br>
>   %c = add i256 %a, %b<br>
> -  store i256 %c, i256* %r<br>
> +  store i256 %c, i256* %p<br>
>   ret void<br>
> }<br>
> -define void @sub(i256* %p, i256* %q, i256* %r) nounwind {<br>
> +define void @sub(i256* %p, i256* %q) nounwind {<br>
>   %a = load i256, i256* %p<br>
>   %b = load i256, i256* %q<br>
>   %c = sub i256 %a, %b<br>
> -  store i256 %c, i256* %r<br>
> +  store i256 %c, i256* %p<br>
>   ret void<br>
> }<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>i386-shrink-wrapping.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/i386-shrink-wrapping.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/i386-shrink-<wbr>wrapping.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>i386-shrink-wrapping.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>i386-shrink-wrapping.ll Wed Sep 28 11:37:50 2016<br>
> @@ -55,7 +55,8 @@ target triple = "i386-apple-macosx10.5"<br>
> ;<br>
> ; CHECK-NEXT: L_e$non_lazy_ptr, [[E:%[a-z]+]]<br>
> ; CHECK-NEXT: movb [[D]], ([[E]])<br>
> -; CHECK-NEXT: movsbl ([[E]]), [[CONV:%[a-z]+]]<br>
> +; CHECK-NEXT: L_f$non_lazy_ptr, [[F:%[a-z]+]]<br>
> +; CHECK-NEXT: movsbl ([[F]]), [[CONV:%[a-z]+]]<br>
> ; CHECK-NEXT: movl $6, [[CONV:%[a-z]+]]<br>
> ; The eflags is used in the next instruction.<br>
> ; If that instruction disappear, we are not exercising the bug<br>
> @@ -95,7 +96,7 @@ for.end:<br>
>   %.b3 = load i1, i1* @d, align 1<br>
>   %tmp2 = select i1 %.b3, i8 0, i8 6<br>
>   store i8 %tmp2, i8* @e, align 1<br>
> -  %tmp3 = load i8, i8* @e, align 1<br>
> +  %tmp3 = load i8, i8* @f, align 1<br>
>   %conv = sext i8 %tmp3 to i32<br>
>   %add = add nsw i32 %conv, 1<br>
>   %rem = srem i32 %tmp1, %add<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>live-range-nosubreg.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/live-range-nosubreg.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/live-range-<wbr>nosubreg.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>live-range-nosubreg.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>live-range-nosubreg.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,6 +1,7 @@<br>
> -; RUN: llc -march=x86-64 < %s<br>
> +; RUN: llc -march=x86-64 < %s | FileCheck %s<br>
><br>
> -; This testcase used to crash. See PR29132.<br>
> +; Check for a sane output. This testcase used to crash. See PR29132.<br>
> +; CHECK: leal -1<br>
><br>
> target triple = "x86_64-unknown-linux-gnu"<br>
><br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>merge-consecutive-loads-128.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/merge-consecutive-loads-128.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/merge-consecutive-<wbr>loads-128.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>merge-consecutive-loads-128.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>merge-consecutive-loads-128.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1049,12 +1049,12 @@ define <2 x i64> @merge_2i64_i64_12_vola<br>
> define <4 x float> @merge_4f32_f32_2345_volatile(<wbr>float* %ptr) nounwind uwtable noinline ssp {<br>
> ; SSE2-LABEL: merge_4f32_f32_2345_volatile:<br>
> ; SSE2:       # BB#0:<br>
> -; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> +; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; SSE2-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    unpcklps {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1]<br>
> -; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; SSE2-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1]<br>
> +; SSE2-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1]<br>
> ; SSE2-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> @@ -1077,13 +1077,13 @@ define <4 x float> @merge_4f32_f32_2345_<br>
> ; X32-SSE1-LABEL: merge_4f32_f32_2345_volatile:<br>
> ; X32-SSE1:       # BB#0:<br>
> ; X32-SSE1-NEXT:    movl {{[0-9]+}}(%esp), %eax<br>
> -; X32-SSE1-DAG:    movss 8(%eax), %[[R0:xmm[0-3]]]  # [[R0]] = mem[0],zero,zero,zero<br>
> -; X32-SSE1-DAG:    movss 12(%eax), %[[R1:xmm[0-3]]] # [[R1]] = mem[0],zero,zero,zero<br>
> -; X32-SSE1-DAG:    movss 16(%eax), %[[R2:xmm[0-3]]] # [[R2]] = mem[0],zero,zero,zero<br>
> -; X32-SSE1-DAG:    movss 20(%eax), %[[R3:xmm[0-3]]] # [[R3]] = mem[0],zero,zero,zero<br>
> -; X32-SSE1-DAG:    unpcklps %[[R2]], %[[R0]] # [[R0]] = [[R0]][0],[[R2]][0],[[R0]][1],<wbr>[[R2]][1]<br>
> -; X32-SSE1-DAG:    unpcklps %[[R3]], %[[R1]] # [[R1]] = [[R1]][0],[[R3]][0],[[R1]][1],<wbr>[[R3]][1]<br>
> -; X32-SSE1-DAG:    unpcklps %[[R1]], %[[R0]] # [[R0]] = [[R0]][0],[[R1]][0],[[R0]][1],<wbr>[[R1]][1]<br>
> +; X32-SSE1-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> +; X32-SSE1-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> +; X32-SSE1-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; X32-SSE1-NEXT:    movss {{.*#+}} xmm3 = mem[0],zero,zero,zero<br>
> +; X32-SSE1-NEXT:    unpcklps {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1]<br>
> +; X32-SSE1-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1]<br>
> +; X32-SSE1-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> ; X32-SSE1-NEXT:    retl<br>
> ;<br>
> ; X32-SSE41-LABEL: merge_4f32_f32_2345_volatile:<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>merge-consecutive-loads-256.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/merge-consecutive-loads-256.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/merge-consecutive-<wbr>loads-256.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>merge-consecutive-loads-256.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>merge-consecutive-loads-256.ll Wed Sep 28 11:37:50 2016<br>
> @@ -682,10 +682,10 @@ define <16 x i16> @merge_16i16_i16_0uu3z<br>
> ; AVX1:       # BB#0:<br>
> ; AVX1-NEXT:    vpxor %xmm0, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    vpinsrw $0, (%rdi), %xmm0, %xmm1<br>
> +; AVX1-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1<br>
> ; AVX1-NEXT:    vpinsrw $4, 24(%rdi), %xmm0, %xmm0<br>
> ; AVX1-NEXT:    vpinsrw $6, 28(%rdi), %xmm0, %xmm0<br>
> ; AVX1-NEXT:    vpinsrw $7, 30(%rdi), %xmm0, %xmm0<br>
> -; AVX1-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1<br>
> ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> ; AVX1-NEXT:    retq<br>
> ;<br>
> @@ -693,10 +693,10 @@ define <16 x i16> @merge_16i16_i16_0uu3z<br>
> ; AVX2:       # BB#0:<br>
> ; AVX2-NEXT:    vpxor %xmm0, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    vpinsrw $0, (%rdi), %xmm0, %xmm1<br>
> +; AVX2-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1<br>
> ; AVX2-NEXT:    vpinsrw $4, 24(%rdi), %xmm0, %xmm0<br>
> ; AVX2-NEXT:    vpinsrw $6, 28(%rdi), %xmm0, %xmm0<br>
> ; AVX2-NEXT:    vpinsrw $7, 30(%rdi), %xmm0, %xmm0<br>
> -; AVX2-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1<br>
> ; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0<br>
> ; AVX2-NEXT:    retq<br>
> ;<br>
> @@ -704,10 +704,10 @@ define <16 x i16> @merge_16i16_i16_0uu3z<br>
> ; AVX512F:       # BB#0:<br>
> ; AVX512F-NEXT:    vpxor %xmm0, %xmm0, %xmm0<br>
> ; AVX512F-NEXT:    vpinsrw $0, (%rdi), %xmm0, %xmm1<br>
> +; AVX512F-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1<br>
> ; AVX512F-NEXT:    vpinsrw $4, 24(%rdi), %xmm0, %xmm0<br>
> ; AVX512F-NEXT:    vpinsrw $6, 28(%rdi), %xmm0, %xmm0<br>
> ; AVX512F-NEXT:    vpinsrw $7, 30(%rdi), %xmm0, %xmm0<br>
> -; AVX512F-NEXT:    vpinsrw $3, 6(%rdi), %xmm1, %xmm1<br>
> ; AVX512F-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0<br>
> ; AVX512F-NEXT:    retq<br>
> ;<br>
> @@ -716,10 +716,10 @@ define <16 x i16> @merge_16i16_i16_0uu3z<br>
> ; X32-AVX-NEXT:    movl {{[0-9]+}}(%esp), %eax<br>
> ; X32-AVX-NEXT:    vpxor %xmm0, %xmm0, %xmm0<br>
> ; X32-AVX-NEXT:    vpinsrw $0, (%eax), %xmm0, %xmm1<br>
> +; X32-AVX-NEXT:    vpinsrw $3, 6(%eax), %xmm1, %xmm1<br>
> ; X32-AVX-NEXT:    vpinsrw $4, 24(%eax), %xmm0, %xmm0<br>
> ; X32-AVX-NEXT:    vpinsrw $6, 28(%eax), %xmm0, %xmm0<br>
> ; X32-AVX-NEXT:    vpinsrw $7, 30(%eax), %xmm0, %xmm0<br>
> -; X32-AVX-NEXT:    vpinsrw $3, 6(%eax), %xmm1, %xmm1<br>
> ; X32-AVX-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> ; X32-AVX-NEXT:    retl<br>
>   %ptr0 = getelementptr inbounds i16, i16* %ptr, i64 0<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>merge-store-partially-alias-<wbr>loads.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/merge-store-partially-alias-loads.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/merge-store-<wbr>partially-alias-loads.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>merge-store-partially-alias-<wbr>loads.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>merge-store-partially-alias-<wbr>loads.ll Wed Sep 28 11:37:50 2016<br>
> @@ -21,11 +21,11 @@<br>
> ; DBGDAG-DAG: [[LD2:t[0-9]+]]: i16,ch = load<LD2[%tmp81](align=1)> [[ENTRYTOKEN]], [[BASEPTR]], undef:i64<br>
> ; DBGDAG-DAG: [[LD1:t[0-9]+]]: i8,ch = load<LD1[%tmp12]> [[ENTRYTOKEN]], [[ADDPTR]], undef:i64<br>
><br>
> -; DBGDAG-DAG: [[ST1:t[0-9]+]]: ch = store<ST1[%tmp14]> [[ENTRYTOKEN]], [[LD1]], t{{[0-9]+}}, undef:i64<br>
> -; DBGDAG-DAG: [[LOADTOKEN:t[0-9]+]]: ch = TokenFactor [[LD2]]:1, [[LD1]]:1<br>
> -; DBGDAG: [[ST2:t[0-9]+]]: ch = store<ST2[%tmp10](align=1)> [[LOADTOKEN]], [[LD2]], t{{[0-9]+}}, undef:i64<br>
> +; DBGDAG: [[LOADTOKEN:t[0-9]+]]: ch = TokenFactor [[LD2]]:1, [[LD1]]:1<br>
><br>
> -; DBGDAG: X86ISD::RET_FLAG t{{[0-9]+}},<br>
> +; DBGDAG-DAG: [[ST2:t[0-9]+]]: ch = store<ST2[%tmp10](align=1)> [[LOADTOKEN]], [[LD2]], t{{[0-9]+}}, undef:i64<br>
> +; DBGDAG-DAG: [[ST1:t[0-9]+]]: ch = store<ST1[%tmp14]> [[ST2]], [[LD1]], t{{[0-9]+}}, undef:i64<br>
> +; DBGDAG: X86ISD::RET_FLAG [[ST1]],<br>
><br>
> ; DBGDAG: Type-legalized selection DAG: BB#0 'merge_store_partial_overlap_<wbr>load:'<br>
> define void @merge_store_partial_overlap_<wbr>load([4 x i8]* %tmp) {<br>
><br>
> Added: llvm/trunk/test/CodeGen/X86/<wbr>pr18023.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/pr18023.ll?rev=282604&view=auto" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/pr18023.ll?rev=<wbr>282604&view=auto</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>pr18023.ll (added)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>pr18023.ll Wed Sep 28 11:37:50 2016<br>
> @@ -0,0 +1,31 @@<br>
> +; RUN: llc < %s -mtriple x86_64-apple-macosx10.9.0 | FileCheck %s<br>
> +; PR18023<br>
> +<br>
> +; CHECK: movabsq $4294967296, %rcx<br>
> +; CHECK: movq  %rcx, (%rax)<br>
> +; CHECK: movl  $1, 4(%rax)<br>
> +; CHECK: movl  $0, 4(%rax)<br>
> +; CHECK: movq  $1, 4(%rax)<br>
> +<br>
> +@c = common global i32 0, align 4<br>
> +@a = common global [3 x i32] zeroinitializer, align 4<br>
> +@b = common global i32 0, align 4<br>
> +@.str = private unnamed_addr constant [4 x i8] c"%d\0A\00", align 1<br>
> +<br>
> +define void @func() {<br>
> +  store i32 1, i32* getelementptr inbounds ([3 x i32], [3 x i32]* @a, i64 0, i64 1), align 4<br>
> +  store i32 0, i32* getelementptr inbounds ([3 x i32], [3 x i32]* @a, i64 0, i64 0), align 4<br>
> +  %1 = load volatile i32, i32* @b, align 4<br>
> +  store i32 1, i32* getelementptr inbounds ([3 x i32], [3 x i32]* @a, i64 0, i64 1), align 4<br>
> +  store i32 0, i32* getelementptr inbounds ([3 x i32], [3 x i32]* @a, i64 0, i64 1), align 4<br>
> +  %2 = load volatile i32, i32* @b, align 4<br>
> +  store i32 1, i32* getelementptr inbounds ([3 x i32], [3 x i32]* @a, i64 0, i64 1), align 4<br>
> +  store i32 0, i32* getelementptr inbounds ([3 x i32], [3 x i32]* @a, i64 0, i64 2), align 4<br>
> +  %3 = load volatile i32, i32* @b, align 4<br>
> +  store i32 3, i32* @c, align 4<br>
> +  %4 = load i32, i32* getelementptr inbounds ([3 x i32], [3 x i32]* @a, i64 0, i64 1), align 4<br>
> +  %call = call i32 (i8*, ...) @printf(i8* getelementptr inbounds ([4 x i8], [4 x i8]* @.str, i64 0, i64 0), i32 %4)<br>
> +  ret void<br>
> +}<br>
> +<br>
> +declare i32 @printf(i8*, ...)<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>split-store.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/split-store.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/split-store.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>split-store.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>split-store.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,8 +1,8 @@<br>
> ; RUN: llc -mtriple=x86_64-unknown-<wbr>unknown < %s | FileCheck %s<br>
><br>
> ; CHECK-LABEL: int32_float_pair<br>
> -; CHECK-DAG: movl %edi, (%rsi)<br>
> -; CHECK-DAG: movss %xmm0, 4(%rsi)<br>
> +; CHECK: movl %edi, (%rsi)<br>
> +; CHECK: movss %xmm0, 4(%rsi)<br>
> define void @int32_float_pair(i32 %tmp1, float %tmp2, i64* %ref.tmp) {<br>
> entry:<br>
>   %t0 = bitcast float %tmp2 to i32<br>
> @@ -15,8 +15,8 @@ entry:<br>
> }<br>
><br>
> ; CHECK-LABEL: float_int32_pair<br>
> -; CHECK-DAG: movss %xmm0, (%rsi)<br>
> -; CHECK-DAG: movl %edi, 4(%rsi)<br>
> +; CHECK: movss %xmm0, (%rsi)<br>
> +; CHECK: movl %edi, 4(%rsi)<br>
> define void @float_int32_pair(float %tmp1, i32 %tmp2, i64* %ref.tmp) {<br>
> entry:<br>
>   %t0 = bitcast float %tmp1 to i32<br>
> @@ -29,9 +29,9 @@ entry:<br>
> }<br>
><br>
> ; CHECK-LABEL: int16_float_pair<br>
> -; CHECK-DAG: movzwl  %di, %eax<br>
> -; CHECK-DAG: movl %eax, (%rsi)<br>
> -; CHECK-DAG: movss %xmm0, 4(%rsi)<br>
> +; CHECK: movzwl      %di, %eax<br>
> +; CHECK: movl %eax, (%rsi)<br>
> +; CHECK: movss %xmm0, 4(%rsi)<br>
> define void @int16_float_pair(i16 signext %tmp1, float %tmp2, i64* %ref.tmp) {<br>
> entry:<br>
>   %t0 = bitcast float %tmp2 to i32<br>
> @@ -44,9 +44,9 @@ entry:<br>
> }<br>
><br>
> ; CHECK-LABEL: int8_float_pair<br>
> -; CHECK-DAG: movzbl  %dil, %eax<br>
> -; CHECK-DAG: movl %eax, (%rsi)<br>
> -; CHECK-DAG: movss %xmm0, 4(%rsi)<br>
> +; CHECK: movzbl      %dil, %eax<br>
> +; CHECK: movl %eax, (%rsi)<br>
> +; CHECK: movss %xmm0, 4(%rsi)<br>
> define void @int8_float_pair(i8 signext %tmp1, float %tmp2, i64* %ref.tmp) {<br>
> entry:<br>
>   %t0 = bitcast float %tmp2 to i32<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>stores-merging.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/stores-merging.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/stores-merging.ll?<wbr>rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>stores-merging.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>stores-merging.ll Wed Sep 28 11:37:50 2016<br>
> @@ -13,9 +13,9 @@ target triple = "x86_64-unknown-linux-gn<br>
> ;; the same result in memory in the end.<br>
><br>
> ; CHECK-LABEL: redundant_stores_merging:<br>
> -; CHECK:   movabsq $528280977409, %rax<br>
> +; CHECK:   movl    $123, e+8(%rip)<br>
> +; CHECK:   movabsq $1958505086977, %rax<br>
> ; CHECK:   movq    %rax, e+4(%rip)<br>
> -; CHECK:   movl    $456, e+8(%rip)<br>
> define void @redundant_stores_merging() {<br>
> entry:<br>
>   store i32 1, i32* getelementptr inbounds (%structTy, %structTy* @e, i64 0, i32 1), align 4<br>
> @@ -26,9 +26,9 @@ entry:<br>
><br>
> ;; This variant tests PR25154.<br>
> ; CHECK-LABEL: redundant_stores_merging_<wbr>reverse:<br>
> -; CHECK:   movabsq $528280977409, %rax<br>
> +; CHECK:   movl    $123, e+8(%rip)<br>
> +; CHECK:   movabsq $1958505086977, %rax<br>
> ; CHECK:   movq    %rax, e+4(%rip)<br>
> -; CHECK:   movl    $456, e+8(%rip)<br>
> define void @redundant_stores_merging_<wbr>reverse() {<br>
> entry:<br>
>   store i32 123, i32* getelementptr inbounds (%structTy, %structTy* @e, i64 0, i32 2), align 4<br>
> @@ -45,8 +45,9 @@ entry:<br>
> ;; a movl, after the store to 3).<br>
><br>
> ;; CHECK-LABEL: overlapping_stores_merging:<br>
> -;; CHECK:  movl    $1, b(%rip)<br>
> +;; CHECK:  movw    $0, b+2(%rip)<br>
> ;; CHECK:  movw    $2, b+3(%rip)<br>
> +;; CHECK:  movw    $1, b(%rip)<br>
> define void @overlapping_stores_merging() {<br>
> entry:<br>
>   store i16 0, i16* bitcast (i8* getelementptr inbounds ([8 x i8], [8 x i8]* @b, i64 0, i64 2) to i16*), align 2<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>vector-compare-results.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/vector-compare-results.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/vector-compare-<wbr>results.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>vector-compare-results.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>vector-compare-results.ll Wed Sep 28 11:37:50 2016<br>
> @@ -327,98 +327,98 @@ define <32 x i1> @test_cmp_v32i8(<32 x i<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
> @@ -813,98 +813,98 @@ define <32 x i1> @test_cmp_v32i16(<32 x<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
> @@ -1070,196 +1070,196 @@ define <64 x i1> @test_cmp_v64i8(<64 x i<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm2, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm1, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 6(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm2, -{{[0-9]+}}(%rsp)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 4(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm1, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
> @@ -2153,98 +2153,98 @@ define <32 x i1> @test_cmp_v32f32(<32 x<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
> @@ -2989,98 +2989,98 @@ define <32 x i1> @test_cmp_v32i32(<32 x<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
> @@ -3513,196 +3513,196 @@ define <64 x i1> @test_cmp_v64i16(<64 x<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm4, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm2, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 6(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm4, -{{[0-9]+}}(%rsp)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 4(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm2, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
> @@ -4671,392 +4671,392 @@ define <128 x i1> @test_cmp_v128i8(<128<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm6, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm5, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm4, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm3, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm2, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm1, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 14(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm6, -{{[0-9]+}}(%rsp)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 12(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm5, -{{[0-9]+}}(%rsp)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 10(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm4, -{{[0-9]+}}(%rsp)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 8(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm3, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 6(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm2, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 4(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm1, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 14(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 12(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 10(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 8(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 6(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 4(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
> @@ -6438,98 +6438,98 @@ define <32 x i1> @test_cmp_v32f64(<32 x<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
> @@ -7340,98 +7340,98 @@ define <32 x i1> @test_cmp_v32i64(<32 x<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, 2(%rdi)<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> -; SSE2-NEXT:    movdqa %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> -; SSE2-NEXT:    movb %al, (%rdi)<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> -; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %cl<br>
> -; SSE2-NEXT:    andb $1, %cl<br>
> -; SSE2-NEXT:    movb %cl, (%rdi)<br>
> +; SSE2-NEXT:    andb $1, %al<br>
> +; SSE2-NEXT:    movb %al, 2(%rdi)<br>
> +; SSE2-NEXT:    movb -{{[0-9]+}}(%rsp), %al<br>
> ; SSE2-NEXT:    andb $1, %al<br>
> ; SSE2-NEXT:    movb %al, (%rdi)<br>
> ; SSE2-NEXT:    movq %rdi, %rax<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>vector-lzcnt-128.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/vector-lzcnt-128.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/vector-lzcnt-128.<wbr>ll?rev=282604&r1=282603&r2=<wbr>282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>vector-lzcnt-128.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>vector-lzcnt-128.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1186,6 +1186,8 @@ define <8 x i16> @testv8i16u(<8 x i16> %<br>
> define <16 x i8> @testv16i8(<16 x i8> %in) nounwind {<br>
> ; SSE2-LABEL: testv16i8:<br>
> ; SSE2:       # BB#0:<br>
> +; SSE2-NEXT:    pushq %rbp<br>
> +; SSE2-NEXT:    pushq %rbx<br>
> ; SSE2-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> ; SSE2-NEXT:    bsrl %eax, %ecx<br>
> @@ -1193,40 +1195,47 @@ define <16 x i8> @testv16i8(<16 x i8> %i<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm0<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d<br>
> ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> ; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm1<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %edx, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm2<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> -; SSE2-NEXT:    cmovel %eax, %ecx<br>
> -; SSE2-NEXT:    xorl $7, %ecx<br>
> -; SSE2-NEXT:    movd %ecx, %xmm0<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebp<br>
> +; SSE2-NEXT:    bsrl %ebp, %ebp<br>
> +; SSE2-NEXT:    cmovel %eax, %ebp<br>
> +; SSE2-NEXT:    xorl $7, %ebp<br>
> +; SSE2-NEXT:    movd %ebp, %xmm0<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> -; SSE2-NEXT:    cmovel %eax, %ecx<br>
> -; SSE2-NEXT:    xorl $7, %ecx<br>
> -; SSE2-NEXT:    movd %ecx, %xmm1<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> +; SSE2-NEXT:    bsrl %edi, %edi<br>
> +; SSE2-NEXT:    cmovel %eax, %edi<br>
> +; SSE2-NEXT:    xorl $7, %edi<br>
> +; SSE2-NEXT:    movd %edi, %xmm1<br>
> ; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm2<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3],xmm2[4],xmm1[4],xmm2[<wbr>5],xmm1[5],xmm2[6],xmm1[6],<wbr>xmm2[7],xmm1[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %esi, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm3<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> ; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> @@ -1235,42 +1244,35 @@ define <16 x i8> @testv16i8(<16 x i8> %i<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[<wbr>1],xmm1[2],xmm3[2],xmm1[3],<wbr>xmm3[3],xmm1[4],xmm3[4],xmm1[<wbr>5],xmm3[5],xmm1[6],xmm3[6],<wbr>xmm1[7],xmm3[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1],xmm1[2],xmm2[2],xmm1[3],<wbr>xmm2[3],xmm1[4],xmm2[4],xmm1[<wbr>5],xmm2[5],xmm1[6],xmm2[6],<wbr>xmm1[7],xmm2[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %ebx, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %edx, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm3<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %r11d, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %esi, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm2<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[<wbr>1],xmm2[2],xmm3[2],xmm2[3],<wbr>xmm3[3],xmm2[4],xmm3[4],xmm2[<wbr>5],xmm3[5],xmm2[6],xmm3[6],<wbr>xmm2[7],xmm3[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %r9d, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %r10d, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm3<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    bsrl %r8d, %ecx<br>
> ; SSE2-NEXT:    cmovel %eax, %ecx<br>
> ; SSE2-NEXT:    xorl $7, %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm4<br>
> @@ -1283,10 +1285,14 @@ define <16 x i8> @testv16i8(<16 x i8> %i<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> +; SSE2-NEXT:    popq %rbx<br>
> +; SSE2-NEXT:    popq %rbp<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> ; SSE3-LABEL: testv16i8:<br>
> ; SSE3:       # BB#0:<br>
> +; SSE3-NEXT:    pushq %rbp<br>
> +; SSE3-NEXT:    pushq %rbx<br>
> ; SSE3-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> ; SSE3-NEXT:    bsrl %eax, %ecx<br>
> @@ -1294,40 +1300,47 @@ define <16 x i8> @testv16i8(<16 x i8> %i<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm0<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d<br>
> ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> ; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm1<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %edx, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm2<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> -; SSE3-NEXT:    cmovel %eax, %ecx<br>
> -; SSE3-NEXT:    xorl $7, %ecx<br>
> -; SSE3-NEXT:    movd %ecx, %xmm0<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebp<br>
> +; SSE3-NEXT:    bsrl %ebp, %ebp<br>
> +; SSE3-NEXT:    cmovel %eax, %ebp<br>
> +; SSE3-NEXT:    xorl $7, %ebp<br>
> +; SSE3-NEXT:    movd %ebp, %xmm0<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> -; SSE3-NEXT:    cmovel %eax, %ecx<br>
> -; SSE3-NEXT:    xorl $7, %ecx<br>
> -; SSE3-NEXT:    movd %ecx, %xmm1<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> +; SSE3-NEXT:    bsrl %edi, %edi<br>
> +; SSE3-NEXT:    cmovel %eax, %edi<br>
> +; SSE3-NEXT:    xorl $7, %edi<br>
> +; SSE3-NEXT:    movd %edi, %xmm1<br>
> ; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm2<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3],xmm2[4],xmm1[4],xmm2[<wbr>5],xmm1[5],xmm2[6],xmm1[6],<wbr>xmm2[7],xmm1[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %esi, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm3<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> ; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> @@ -1336,42 +1349,35 @@ define <16 x i8> @testv16i8(<16 x i8> %i<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[<wbr>1],xmm1[2],xmm3[2],xmm1[3],<wbr>xmm3[3],xmm1[4],xmm3[4],xmm1[<wbr>5],xmm3[5],xmm1[6],xmm3[6],<wbr>xmm1[7],xmm3[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1],xmm1[2],xmm2[2],xmm1[3],<wbr>xmm2[3],xmm1[4],xmm2[4],xmm1[<wbr>5],xmm2[5],xmm1[6],xmm2[6],<wbr>xmm1[7],xmm2[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %ebx, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %edx, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm3<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %r11d, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %esi, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm2<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[<wbr>1],xmm2[2],xmm3[2],xmm2[3],<wbr>xmm3[3],xmm2[4],xmm3[4],xmm2[<wbr>5],xmm3[5],xmm2[6],xmm3[6],<wbr>xmm2[7],xmm3[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %r9d, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %r10d, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm3<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> -; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    bsrl %r8d, %ecx<br>
> ; SSE3-NEXT:    cmovel %eax, %ecx<br>
> ; SSE3-NEXT:    xorl $7, %ecx<br>
> ; SSE3-NEXT:    movd %ecx, %xmm4<br>
> @@ -1384,6 +1390,8 @@ define <16 x i8> @testv16i8(<16 x i8> %i<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> +; SSE3-NEXT:    popq %rbx<br>
> +; SSE3-NEXT:    popq %rbp<br>
> ; SSE3-NEXT:    retq<br>
> ;<br>
> ; SSSE3-LABEL: testv16i8:<br>
> @@ -1469,76 +1477,77 @@ define <16 x i8> @testv16i8(<16 x i8> %i<br>
> define <16 x i8> @testv16i8u(<16 x i8> %in) nounwind {<br>
> ; SSE2-LABEL: testv16i8u:<br>
> ; SSE2:       # BB#0:<br>
> +; SSE2-NEXT:    pushq %rbx<br>
> ; SSE2-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> ; SSE2-NEXT:    bsrl %eax, %eax<br>
> ; SSE2-NEXT:    xorl $7, %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> -; SSE2-NEXT:    xorl $7, %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm1<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> +; SSE2-NEXT:    bsrl %esi, %esi<br>
> +; SSE2-NEXT:    xorl $7, %esi<br>
> +; SSE2-NEXT:    movd %esi, %xmm1<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> ; SSE2-NEXT:    bsrl %eax, %eax<br>
> ; SSE2-NEXT:    xorl $7, %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm0<br>
> ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> -; SSE2-NEXT:    xorl $7, %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm2<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx<br>
> +; SSE2-NEXT:    bsrl %ebx, %ebx<br>
> +; SSE2-NEXT:    xorl $7, %ebx<br>
> +; SSE2-NEXT:    movd %ebx, %xmm2<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3],xmm2[4],xmm1[4],xmm2[<wbr>5],xmm1[5],xmm2[6],xmm1[6],<wbr>xmm2[7],xmm1[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> -; SSE2-NEXT:    xorl $7, %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> -; SSE2-NEXT:    xorl $7, %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm3<br>
> +; SSE2-NEXT:    bsrl %edx, %edx<br>
> +; SSE2-NEXT:    xorl $7, %edx<br>
> +; SSE2-NEXT:    movd %edx, %xmm0<br>
> +; SSE2-NEXT:    bsrl %esi, %edx<br>
> +; SSE2-NEXT:    xorl $7, %edx<br>
> +; SSE2-NEXT:    movd %edx, %xmm3<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> -; SSE2-NEXT:    xorl $7, %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> -; SSE2-NEXT:    xorl $7, %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm1<br>
> +; SSE2-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE2-NEXT:    xorl $7, %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm0<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> +; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> +; SSE2-NEXT:    bsrl %edx, %edx<br>
> +; SSE2-NEXT:    xorl $7, %edx<br>
> +; SSE2-NEXT:    movd %edx, %xmm1<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[<wbr>1],xmm1[2],xmm3[2],xmm1[3],<wbr>xmm3[3],xmm1[4],xmm3[4],xmm1[<wbr>5],xmm3[5],xmm1[6],xmm3[6],<wbr>xmm1[7],xmm3[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1],xmm1[2],xmm2[2],xmm1[3],<wbr>xmm2[3],xmm1[4],xmm2[4],xmm1[<wbr>5],xmm2[5],xmm1[6],xmm2[6],<wbr>xmm1[7],xmm2[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> -; SSE2-NEXT:    xorl $7, %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> +; SSE2-NEXT:    bsrl %edi, %edx<br>
> +; SSE2-NEXT:    xorl $7, %edx<br>
> +; SSE2-NEXT:    movd %edx, %xmm0<br>
> ; SSE2-NEXT:    bsrl %eax, %eax<br>
> ; SSE2-NEXT:    xorl $7, %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm2<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> +; SSE2-NEXT:    bsrl %r10d, %eax<br>
> ; SSE2-NEXT:    xorl $7, %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> +; SSE2-NEXT:    bsrl %ecx, %eax<br>
> ; SSE2-NEXT:    xorl $7, %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm3<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[<wbr>1],xmm3[2],xmm2[2],xmm3[3],<wbr>xmm2[3],xmm3[4],xmm2[4],xmm3[<wbr>5],xmm2[5],xmm3[6],xmm2[6],<wbr>xmm3[7],xmm2[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> +; SSE2-NEXT:    bsrl %r9d, %eax<br>
> ; SSE2-NEXT:    xorl $7, %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> +; SSE2-NEXT:    bsrl %r11d, %eax<br>
> ; SSE2-NEXT:    xorl $7, %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm2<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> -; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE2-NEXT:    bsrl %eax, %eax<br>
> +; SSE2-NEXT:    bsrl %r8d, %eax<br>
> ; SSE2-NEXT:    xorl $7, %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm4<br>
> ; SSE2-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> @@ -1549,80 +1558,82 @@ define <16 x i8> @testv16i8u(<16 x i8> %<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> +; SSE2-NEXT:    popq %rbx<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> ; SSE3-LABEL: testv16i8u:<br>
> ; SSE3:       # BB#0:<br>
> +; SSE3-NEXT:    pushq %rbx<br>
> ; SSE3-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> ; SSE3-NEXT:    bsrl %eax, %eax<br>
> ; SSE3-NEXT:    xorl $7, %eax<br>
> ; SSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> -; SSE3-NEXT:    xorl $7, %eax<br>
> -; SSE3-NEXT:    movd %eax, %xmm1<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edi<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r9d<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r10d<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r8d<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> +; SSE3-NEXT:    bsrl %esi, %esi<br>
> +; SSE3-NEXT:    xorl $7, %esi<br>
> +; SSE3-NEXT:    movd %esi, %xmm1<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> ; SSE3-NEXT:    bsrl %eax, %eax<br>
> ; SSE3-NEXT:    xorl $7, %eax<br>
> ; SSE3-NEXT:    movd %eax, %xmm0<br>
> ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> -; SSE3-NEXT:    xorl $7, %eax<br>
> -; SSE3-NEXT:    movd %eax, %xmm2<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %esi<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %r11d<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ebx<br>
> +; SSE3-NEXT:    bsrl %ebx, %ebx<br>
> +; SSE3-NEXT:    xorl $7, %ebx<br>
> +; SSE3-NEXT:    movd %ebx, %xmm2<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3],xmm2[4],xmm1[4],xmm2[<wbr>5],xmm1[5],xmm2[6],xmm1[6],<wbr>xmm2[7],xmm1[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> -; SSE3-NEXT:    xorl $7, %eax<br>
> -; SSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> -; SSE3-NEXT:    xorl $7, %eax<br>
> -; SSE3-NEXT:    movd %eax, %xmm3<br>
> +; SSE3-NEXT:    bsrl %edx, %edx<br>
> +; SSE3-NEXT:    xorl $7, %edx<br>
> +; SSE3-NEXT:    movd %edx, %xmm0<br>
> +; SSE3-NEXT:    bsrl %esi, %edx<br>
> +; SSE3-NEXT:    xorl $7, %edx<br>
> +; SSE3-NEXT:    movd %edx, %xmm3<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> -; SSE3-NEXT:    xorl $7, %eax<br>
> -; SSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> -; SSE3-NEXT:    xorl $7, %eax<br>
> -; SSE3-NEXT:    movd %eax, %xmm1<br>
> +; SSE3-NEXT:    bsrl %ecx, %ecx<br>
> +; SSE3-NEXT:    xorl $7, %ecx<br>
> +; SSE3-NEXT:    movd %ecx, %xmm0<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %ecx<br>
> +; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %edx<br>
> +; SSE3-NEXT:    bsrl %edx, %edx<br>
> +; SSE3-NEXT:    xorl $7, %edx<br>
> +; SSE3-NEXT:    movd %edx, %xmm1<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3],xmm1[4],xmm0[4],xmm1[<wbr>5],xmm0[5],xmm1[6],xmm0[6],<wbr>xmm1[7],xmm0[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[<wbr>1],xmm1[2],xmm3[2],xmm1[3],<wbr>xmm3[3],xmm1[4],xmm3[4],xmm1[<wbr>5],xmm3[5],xmm1[6],xmm3[6],<wbr>xmm1[7],xmm3[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1],xmm1[2],xmm2[2],xmm1[3],<wbr>xmm2[3],xmm1[4],xmm2[4],xmm1[<wbr>5],xmm2[5],xmm1[6],xmm2[6],<wbr>xmm1[7],xmm2[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> -; SSE3-NEXT:    xorl $7, %eax<br>
> -; SSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> +; SSE3-NEXT:    bsrl %edi, %edx<br>
> +; SSE3-NEXT:    xorl $7, %edx<br>
> +; SSE3-NEXT:    movd %edx, %xmm0<br>
> ; SSE3-NEXT:    bsrl %eax, %eax<br>
> ; SSE3-NEXT:    xorl $7, %eax<br>
> ; SSE3-NEXT:    movd %eax, %xmm2<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> +; SSE3-NEXT:    bsrl %r10d, %eax<br>
> ; SSE3-NEXT:    xorl $7, %eax<br>
> ; SSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> +; SSE3-NEXT:    bsrl %ecx, %eax<br>
> ; SSE3-NEXT:    xorl $7, %eax<br>
> ; SSE3-NEXT:    movd %eax, %xmm3<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm0[0],xmm3[1],xmm0[<wbr>1],xmm3[2],xmm0[2],xmm3[3],<wbr>xmm0[3],xmm3[4],xmm0[4],xmm3[<wbr>5],xmm0[5],xmm3[6],xmm0[6],<wbr>xmm3[7],xmm0[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[<wbr>1],xmm3[2],xmm2[2],xmm3[3],<wbr>xmm2[3],xmm3[4],xmm2[4],xmm3[<wbr>5],xmm2[5],xmm3[6],xmm2[6],<wbr>xmm3[7],xmm2[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> +; SSE3-NEXT:    bsrl %r9d, %eax<br>
> ; SSE3-NEXT:    xorl $7, %eax<br>
> ; SSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> +; SSE3-NEXT:    bsrl %r11d, %eax<br>
> ; SSE3-NEXT:    xorl $7, %eax<br>
> ; SSE3-NEXT:    movd %eax, %xmm2<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3],xmm2[4],xmm0[4],xmm2[<wbr>5],xmm0[5],xmm2[6],xmm0[6],<wbr>xmm2[7],xmm0[7]<br>
> -; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> -; SSE3-NEXT:    bsrl %eax, %eax<br>
> +; SSE3-NEXT:    bsrl %r8d, %eax<br>
> ; SSE3-NEXT:    xorl $7, %eax<br>
> ; SSE3-NEXT:    movd %eax, %xmm4<br>
> ; SSE3-NEXT:    movzbl -{{[0-9]+}}(%rsp), %eax<br>
> @@ -1633,6 +1644,7 @@ define <16 x i8> @testv16i8u(<16 x i8> %<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> ; SSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> +; SSE3-NEXT:    popq %rbx<br>
> ; SSE3-NEXT:    retq<br>
> ;<br>
> ; SSSE3-LABEL: testv16i8u:<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>vector-shuffle-variable-128.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/vector-shuffle-variable-128.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/vector-shuffle-<wbr>variable-128.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>vector-shuffle-variable-128.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>vector-shuffle-variable-128.ll Wed Sep 28 11:37:50 2016<br>
> @@ -36,8 +36,8 @@ define <2 x i64> @var_shuffle_v2i64_v2i6<br>
> ; SSE-NEXT:    movslq %edi, %rax<br>
> ; SSE-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE-NEXT:    movslq %esi, %rcx<br>
> -; SSE-NEXT:    movq {{.*#+}} xmm1 = mem[0],zero<br>
> ; SSE-NEXT:    movq {{.*#+}} xmm0 = mem[0],zero<br>
> +; SSE-NEXT:    movq {{.*#+}} xmm1 = mem[0],zero<br>
> ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]<br>
> ; SSE-NEXT:    retq<br>
> ;<br>
> @@ -48,7 +48,7 @@ define <2 x i64> @var_shuffle_v2i64_v2i6<br>
> ; AVX-NEXT:    movslq %esi, %rcx<br>
> ; AVX-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> +; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]<br>
> ; AVX-NEXT:    retq<br>
>   %x0 = extractelement <2 x i64> %x, i32 %i0<br>
>   %x1 = extractelement <2 x i64> %x, i32 %i1<br>
> @@ -67,10 +67,10 @@ define <4 x float> @var_shuffle_v4f32_v4<br>
> ; SSE2-NEXT:    movslq %ecx, %rcx<br>
> ; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; SSE2-NEXT:    unpcklps {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1]<br>
> ; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> -; SSE2-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> +; SSE2-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; SSE2-NEXT:    unpcklps {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1]<br>
> ; SSE2-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1]<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> @@ -83,10 +83,10 @@ define <4 x float> @var_shuffle_v4f32_v4<br>
> ; SSSE3-NEXT:    movslq %ecx, %rcx<br>
> ; SSSE3-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSSE3-NEXT:    movss {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; SSSE3-NEXT:    unpcklps {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1]<br>
> ; SSSE3-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> -; SSSE3-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSSE3-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> +; SSSE3-NEXT:    movss {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; SSSE3-NEXT:    unpcklps {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1]<br>
> ; SSSE3-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1]<br>
> ; SSSE3-NEXT:    retq<br>
> ;<br>
> @@ -136,10 +136,10 @@ define <4 x i32> @var_shuffle_v4i32_v4i3<br>
> ; SSE2-NEXT:    movslq %ecx, %rcx<br>
> ; SSE2-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1]<br>
> ; SSE2-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> -; SSE2-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> +; SSE2-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1]<br>
> ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1]<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> @@ -152,10 +152,10 @@ define <4 x i32> @var_shuffle_v4i32_v4i3<br>
> ; SSSE3-NEXT:    movslq %ecx, %rcx<br>
> ; SSSE3-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSSE3-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1]<br>
> ; SSSE3-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> -; SSSE3-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> +; SSSE3-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1]<br>
> ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1]<br>
> ; SSSE3-NEXT:    retq<br>
> ;<br>
> @@ -204,38 +204,38 @@ define <8 x i16> @var_shuffle_v8i16_v8i1<br>
> ; SSE2-NEXT:    # kill: %EDX<def> %EDX<kill> %RDX<def><br>
> ; SSE2-NEXT:    # kill: %ESI<def> %ESI<kill> %RSI<def><br>
> ; SSE2-NEXT:    # kill: %EDI<def> %EDI<kill> %RDI<def><br>
> -; SSE2-NEXT:    movswq %di, %r10<br>
> +; SSE2-NEXT:    movswq %di, %rax<br>
> ; SSE2-NEXT:    movswq %si, %rsi<br>
> -; SSE2-NEXT:    movswq %dx, %r11<br>
> -; SSE2-NEXT:    movswq %cx, %rcx<br>
> -; SSE2-NEXT:    movswq %r8w, %r8<br>
> +; SSE2-NEXT:    movswq %dx, %rdx<br>
> +; SSE2-NEXT:    movswq %cx, %r10<br>
> +; SSE2-NEXT:    movswq %r8w, %r11<br>
> ; SSE2-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> -; SSE2-NEXT:    movswq %r9w, %rax<br>
> -; SSE2-NEXT:    movswq {{[0-9]+}}(%rsp), %rdx<br>
> +; SSE2-NEXT:    movswq %r9w, %r8<br>
> +; SSE2-NEXT:    movswq {{[0-9]+}}(%rsp), %rcx<br>
> ; SSE2-NEXT:    movswq {{[0-9]+}}(%rsp), %rdi<br>
> -; SSE2-NEXT:    movzwl -24(%rsp,%rdi,2), %edi<br>
> -; SSE2-NEXT:    movd %edi, %xmm0<br>
> ; SSE2-NEXT:    movzwl -24(%rsp,%rcx,2), %ecx<br>
> +; SSE2-NEXT:    movzwl -24(%rsp,%rdi,2), %edi<br>
> +; SSE2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; SSE2-NEXT:    movzwl -24(%rsp,%rsi,2), %esi<br>
> +; SSE2-NEXT:    movd %ecx, %xmm0<br>
> +; SSE2-NEXT:    movzwl -24(%rsp,%rdx,2), %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm1<br>
> ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> -; SSE2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; SSE2-NEXT:    movzwl -24(%rsp,%r10,2), %ecx<br>
> ; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    movzwl -24(%rsp,%rsi,2), %eax<br>
> +; SSE2-NEXT:    movzwl -24(%rsp,%r11,2), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm2<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3]<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3]<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3]<br>
> +; SSE2-NEXT:    movd %edi, %xmm1<br>
> +; SSE2-NEXT:    movd %ecx, %xmm2<br>
> ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3]<br>
> -; SSE2-NEXT:    movzwl -24(%rsp,%rdx,2), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    movzwl -24(%rsp,%r11,2), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm1<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> +; SSE2-NEXT:    movd %esi, %xmm1<br>
> ; SSE2-NEXT:    movzwl -24(%rsp,%r8,2), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm3<br>
> -; SSE2-NEXT:    movzwl -24(%rsp,%r10,2), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3]<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[<wbr>1],xmm1[2],xmm3[2],xmm1[3],<wbr>xmm3[3]<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1],xmm1[2],xmm2[2],xmm1[3],<wbr>xmm2[3]<br>
> ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3]<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3]<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> ; SSSE3-LABEL: var_shuffle_v8i16_v8i16_<wbr>xxxxxxxx_i16:<br>
> @@ -246,42 +246,43 @@ define <8 x i16> @var_shuffle_v8i16_v8i1<br>
> ; SSSE3-NEXT:    # kill: %EDX<def> %EDX<kill> %RDX<def><br>
> ; SSSE3-NEXT:    # kill: %ESI<def> %ESI<kill> %RSI<def><br>
> ; SSSE3-NEXT:    # kill: %EDI<def> %EDI<kill> %RDI<def><br>
> -; SSSE3-NEXT:    movswq %di, %r10<br>
> +; SSSE3-NEXT:    movswq %di, %rax<br>
> ; SSSE3-NEXT:    movswq %si, %rsi<br>
> -; SSSE3-NEXT:    movswq %dx, %r11<br>
> -; SSSE3-NEXT:    movswq %cx, %rcx<br>
> -; SSSE3-NEXT:    movswq %r8w, %r8<br>
> +; SSSE3-NEXT:    movswq %dx, %rdx<br>
> +; SSSE3-NEXT:    movswq %cx, %r10<br>
> +; SSSE3-NEXT:    movswq %r8w, %r11<br>
> ; SSSE3-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> -; SSSE3-NEXT:    movswq %r9w, %rax<br>
> -; SSSE3-NEXT:    movswq {{[0-9]+}}(%rsp), %rdx<br>
> +; SSSE3-NEXT:    movswq %r9w, %r8<br>
> +; SSSE3-NEXT:    movswq {{[0-9]+}}(%rsp), %rcx<br>
> ; SSSE3-NEXT:    movswq {{[0-9]+}}(%rsp), %rdi<br>
> -; SSSE3-NEXT:    movzwl -24(%rsp,%rdi,2), %edi<br>
> -; SSSE3-NEXT:    movd %edi, %xmm0<br>
> ; SSSE3-NEXT:    movzwl -24(%rsp,%rcx,2), %ecx<br>
> +; SSSE3-NEXT:    movzwl -24(%rsp,%rdi,2), %edi<br>
> +; SSSE3-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; SSSE3-NEXT:    movzwl -24(%rsp,%rsi,2), %esi<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm0<br>
> +; SSSE3-NEXT:    movzwl -24(%rsp,%rdx,2), %ecx<br>
> ; SSSE3-NEXT:    movd %ecx, %xmm1<br>
> ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> -; SSSE3-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; SSSE3-NEXT:    movzwl -24(%rsp,%r10,2), %ecx<br>
> ; SSSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSSE3-NEXT:    movzwl -24(%rsp,%rsi,2), %eax<br>
> +; SSSE3-NEXT:    movzwl -24(%rsp,%r11,2), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm2<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[<wbr>1],xmm2[2],xmm0[2],xmm2[3],<wbr>xmm0[3]<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3]<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3]<br>
> +; SSSE3-NEXT:    movd %edi, %xmm1<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm2<br>
> ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3]<br>
> -; SSSE3-NEXT:    movzwl -24(%rsp,%rdx,2), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSSE3-NEXT:    movzwl -24(%rsp,%r11,2), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm1<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> +; SSSE3-NEXT:    movd %esi, %xmm1<br>
> ; SSSE3-NEXT:    movzwl -24(%rsp,%r8,2), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm3<br>
> -; SSSE3-NEXT:    movzwl -24(%rsp,%r10,2), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3]<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[<wbr>1],xmm1[2],xmm3[2],xmm1[3],<wbr>xmm3[3]<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[<wbr>1],xmm1[2],xmm2[2],xmm1[3],<wbr>xmm2[3]<br>
> ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3]<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3]<br>
> ; SSSE3-NEXT:    retq<br>
> ;<br>
> ; SSE41-LABEL: var_shuffle_v8i16_v8i16_<wbr>xxxxxxxx_i16:<br>
> ; SSE41:       # BB#0:<br>
> +; SSE41-NEXT:    pushq %rbx<br>
> ; SSE41-NEXT:    # kill: %R9D<def> %R9D<kill> %R9<def><br>
> ; SSE41-NEXT:    # kill: %R8D<def> %R8D<kill> %R8<def><br>
> ; SSE41-NEXT:    # kill: %ECX<def> %ECX<kill> %RCX<def><br>
> @@ -289,23 +290,26 @@ define <8 x i16> @var_shuffle_v8i16_v8i1<br>
> ; SSE41-NEXT:    # kill: %ESI<def> %ESI<kill> %RSI<def><br>
> ; SSE41-NEXT:    # kill: %EDI<def> %EDI<kill> %RDI<def><br>
> ; SSE41-NEXT:    movswq %di, %rax<br>
> -; SSE41-NEXT:    movswq %si, %rsi<br>
> -; SSE41-NEXT:    movswq %dx, %rdx<br>
> +; SSE41-NEXT:    movswq %si, %rbx<br>
> +; SSE41-NEXT:    movswq %dx, %r11<br>
> ; SSE41-NEXT:    movswq %cx, %r10<br>
> ; SSE41-NEXT:    movswq %r8w, %rdi<br>
> ; SSE41-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; SSE41-NEXT:    movswq %r9w, %rcx<br>
> -; SSE41-NEXT:    movswq {{[0-9]+}}(%rsp), %r8<br>
> -; SSE41-NEXT:    movswq {{[0-9]+}}(%rsp), %r9<br>
> -; SSE41-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; SSE41-NEXT:    movswq {{[0-9]+}}(%rsp), %rdx<br>
> +; SSE41-NEXT:    movswq {{[0-9]+}}(%rsp), %rsi<br>
> +; SSE41-NEXT:    movzwl -16(%rsp,%rdx,2), %edx<br>
> +; SSE41-NEXT:    movzwl -16(%rsp,%rsi,2), %esi<br>
> +; SSE41-NEXT:    movzwl -16(%rsp,%rax,2), %eax<br>
> ; SSE41-NEXT:    movd %eax, %xmm0<br>
> -; SSE41-NEXT:    pinsrw $1, -24(%rsp,%rsi,2), %xmm0<br>
> -; SSE41-NEXT:    pinsrw $2, -24(%rsp,%rdx,2), %xmm0<br>
> -; SSE41-NEXT:    pinsrw $3, -24(%rsp,%r10,2), %xmm0<br>
> -; SSE41-NEXT:    pinsrw $4, -24(%rsp,%rdi,2), %xmm0<br>
> -; SSE41-NEXT:    pinsrw $5, -24(%rsp,%rcx,2), %xmm0<br>
> -; SSE41-NEXT:    pinsrw $6, -24(%rsp,%r8,2), %xmm0<br>
> -; SSE41-NEXT:    pinsrw $7, -24(%rsp,%r9,2), %xmm0<br>
> +; SSE41-NEXT:    pinsrw $1, -16(%rsp,%rbx,2), %xmm0<br>
> +; SSE41-NEXT:    pinsrw $2, -16(%rsp,%r11,2), %xmm0<br>
> +; SSE41-NEXT:    pinsrw $3, -16(%rsp,%r10,2), %xmm0<br>
> +; SSE41-NEXT:    pinsrw $4, -16(%rsp,%rdi,2), %xmm0<br>
> +; SSE41-NEXT:    pinsrw $5, -16(%rsp,%rcx,2), %xmm0<br>
> +; SSE41-NEXT:    pinsrw $6, %edx, %xmm0<br>
> +; SSE41-NEXT:    pinsrw $7, %esi, %xmm0<br>
> +; SSE41-NEXT:    popq %rbx<br>
> ; SSE41-NEXT:    retq<br>
> ;<br>
> ; AVX-LABEL: var_shuffle_v8i16_v8i16_<wbr>xxxxxxxx_i16:<br>
> @@ -327,6 +331,8 @@ define <8 x i16> @var_shuffle_v8i16_v8i1<br>
> ; AVX-NEXT:    movswq %r9w, %rax<br>
> ; AVX-NEXT:    movswq {{[0-9]+}}(%rsp), %rsi<br>
> ; AVX-NEXT:    movswq {{[0-9]+}}(%rsp), %rdx<br>
> +; AVX-NEXT:    movzwl -24(%rsp,%rsi,2), %esi<br>
> +; AVX-NEXT:    movzwl -24(%rsp,%rdx,2), %edx<br>
> ; AVX-NEXT:    movzwl -24(%rsp,%r10,2), %ebx<br>
> ; AVX-NEXT:    vmovd %ebx, %xmm0<br>
> ; AVX-NEXT:    vpinsrw $1, -24(%rsp,%r11,2), %xmm0, %xmm0<br>
> @@ -334,8 +340,8 @@ define <8 x i16> @var_shuffle_v8i16_v8i1<br>
> ; AVX-NEXT:    vpinsrw $3, -24(%rsp,%rcx,2), %xmm0, %xmm0<br>
> ; AVX-NEXT:    vpinsrw $4, -24(%rsp,%rdi,2), %xmm0, %xmm0<br>
> ; AVX-NEXT:    vpinsrw $5, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> -; AVX-NEXT:    vpinsrw $6, -24(%rsp,%rsi,2), %xmm0, %xmm0<br>
> -; AVX-NEXT:    vpinsrw $7, -24(%rsp,%rdx,2), %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrw $6, %esi, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrw $7, %edx, %xmm0, %xmm0<br>
> ; AVX-NEXT:    popq %rbx<br>
> ; AVX-NEXT:    popq %r14<br>
> ; AVX-NEXT:    retq<br>
> @@ -371,67 +377,67 @@ define <16 x i8> @var_shuffle_v16i8_v16i<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %r10<br>
> ; SSE2-NEXT:    leaq -{{[0-9]+}}(%rsp), %r11<br>
> ; SSE2-NEXT:    movzbl (%r10,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm8<br>
> +; SSE2-NEXT:    movd %eax, %xmm15<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm15<br>
> +; SSE2-NEXT:    movd %eax, %xmm8<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm9<br>
> -; SSE2-NEXT:    movsbq %cl, %rax<br>
> +; SSE2-NEXT:    movsbq %dl, %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm3<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm10<br>
> -; SSE2-NEXT:    movsbq %r9b, %rax<br>
> +; SSE2-NEXT:    movsbq %dil, %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm7<br>
> +; SSE2-NEXT:    movd %eax, %xmm0<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm11<br>
> -; SSE2-NEXT:    movsbq %sil, %rax<br>
> +; SSE2-NEXT:    movsbq %r8b, %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm6<br>
> +; SSE2-NEXT:    movd %eax, %xmm7<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm12<br>
> +; SSE2-NEXT:    movd %eax, %xmm2<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm5<br>
> +; SSE2-NEXT:    movd %eax, %xmm12<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm13<br>
> -; SSE2-NEXT:    movsbq %dl, %rax<br>
> +; SSE2-NEXT:    movsbq %cl, %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm4<br>
> +; SSE2-NEXT:    movd %eax, %xmm6<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm14<br>
> -; SSE2-NEXT:    movsbq %r8b, %rax<br>
> +; SSE2-NEXT:    movsbq %sil, %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm1<br>
> +; SSE2-NEXT:    movd %eax, %xmm5<br>
> ; SSE2-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm2<br>
> -; SSE2-NEXT:    movsbq %dil, %rax<br>
> +; SSE2-NEXT:    movd %eax, %xmm4<br>
> +; SSE2-NEXT:    movsbq %r9b, %rax<br>
> ; SSE2-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm0<br>
> +; SSE2-NEXT:    movd %eax, %xmm1<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm15 = xmm15[0],xmm8[0],xmm15[1],<wbr>xmm8[1],xmm15[2],xmm8[2],<wbr>xmm15[3],xmm8[3],xmm15[4],<wbr>xmm8[4],xmm15[5],xmm8[5],<wbr>xmm15[6],xmm8[6],xmm15[7],<wbr>xmm8[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm9[0],xmm3[1],xmm9[<wbr>1],xmm3[2],xmm9[2],xmm3[3],<wbr>xmm9[3],xmm3[4],xmm9[4],xmm3[<wbr>5],xmm9[5],xmm3[6],xmm9[6],<wbr>xmm3[7],xmm9[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm15[0],xmm3[1],<wbr>xmm15[1],xmm3[2],xmm15[2],<wbr>xmm3[3],xmm15[3],xmm3[4],<wbr>xmm15[4],xmm3[5],xmm15[5],<wbr>xmm3[6],xmm15[6],xmm3[7],<wbr>xmm15[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm10[0],xmm7[1],<wbr>xmm10[1],xmm7[2],xmm10[2],<wbr>xmm7[3],xmm10[3],xmm7[4],<wbr>xmm10[4],xmm7[5],xmm10[5],<wbr>xmm7[6],xmm10[6],xmm7[7],<wbr>xmm10[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm11[0],xmm6[1],<wbr>xmm11[1],xmm6[2],xmm11[2],<wbr>xmm6[3],xmm11[3],xmm6[4],<wbr>xmm11[4],xmm6[5],xmm11[5],<wbr>xmm6[6],xmm11[6],xmm6[7],<wbr>xmm11[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm7[0],xmm6[1],xmm7[<wbr>1],xmm6[2],xmm7[2],xmm6[3],<wbr>xmm7[3],xmm6[4],xmm7[4],xmm6[<wbr>5],xmm7[5],xmm6[6],xmm7[6],<wbr>xmm6[7],xmm7[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm3[0],xmm6[1],xmm3[<wbr>1],xmm6[2],xmm3[2],xmm6[3],<wbr>xmm3[3],xmm6[4],xmm3[4],xmm6[<wbr>5],xmm3[5],xmm6[6],xmm3[6],<wbr>xmm6[7],xmm3[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm12[0],xmm5[1],<wbr>xmm12[1],xmm5[2],xmm12[2],<wbr>xmm5[3],xmm12[3],xmm5[4],<wbr>xmm12[4],xmm5[5],xmm12[5],<wbr>xmm5[6],xmm12[6],xmm5[7],<wbr>xmm12[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm13[0],xmm4[1],<wbr>xmm13[1],xmm4[2],xmm13[2],<wbr>xmm4[3],xmm13[3],xmm4[4],<wbr>xmm13[4],xmm4[5],xmm13[5],<wbr>xmm4[6],xmm13[6],xmm4[7],<wbr>xmm13[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[<wbr>1],xmm4[2],xmm5[2],xmm4[3],<wbr>xmm5[3],xmm4[4],xmm5[4],xmm4[<wbr>5],xmm5[5],xmm4[6],xmm5[6],<wbr>xmm4[7],xmm5[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm14[0],xmm1[1],<wbr>xmm14[1],xmm1[2],xmm14[2],<wbr>xmm1[3],xmm14[3],xmm1[4],<wbr>xmm14[4],xmm1[5],xmm14[5],<wbr>xmm1[6],xmm14[6],xmm1[7],<wbr>xmm14[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[<wbr>1],xmm0[2],xmm4[2],xmm0[3],<wbr>xmm4[3],xmm0[4],xmm4[4],xmm0[<wbr>5],xmm4[5],xmm0[6],xmm4[6],<wbr>xmm0[7],xmm4[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm6[0],xmm0[1],xmm6[<wbr>1],xmm0[2],xmm6[2],xmm0[3],<wbr>xmm6[3],xmm0[4],xmm6[4],xmm0[<wbr>5],xmm6[5],xmm0[6],xmm6[6],<wbr>xmm0[7],xmm6[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm10[0],xmm0[1],<wbr>xmm10[1],xmm0[2],xmm10[2],<wbr>xmm0[3],xmm10[3],xmm0[4],<wbr>xmm10[4],xmm0[5],xmm10[5],<wbr>xmm0[6],xmm10[6],xmm0[7],<wbr>xmm10[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm11[0],xmm7[1],<wbr>xmm11[1],xmm7[2],xmm11[2],<wbr>xmm7[3],xmm11[3],xmm7[4],<wbr>xmm11[4],xmm7[5],xmm11[5],<wbr>xmm7[6],xmm11[6],xmm7[7],<wbr>xmm11[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm7[0],xmm0[1],xmm7[<wbr>1],xmm0[2],xmm7[2],xmm0[3],<wbr>xmm7[3],xmm0[4],xmm7[4],xmm0[<wbr>5],xmm7[5],xmm0[6],xmm7[6],<wbr>xmm0[7],xmm7[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm12[0],xmm2[1],<wbr>xmm12[1],xmm2[2],xmm12[2],<wbr>xmm2[3],xmm12[3],xmm2[4],<wbr>xmm12[4],xmm2[5],xmm12[5],<wbr>xmm2[6],xmm12[6],xmm2[7],<wbr>xmm12[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm13[0],xmm6[1],<wbr>xmm13[1],xmm6[2],xmm13[2],<wbr>xmm6[3],xmm13[3],xmm6[4],<wbr>xmm13[4],xmm6[5],xmm13[5],<wbr>xmm6[6],xmm13[6],xmm6[7],<wbr>xmm13[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm2[0],xmm6[1],xmm2[<wbr>1],xmm6[2],xmm2[2],xmm6[3],<wbr>xmm2[3],xmm6[4],xmm2[4],xmm6[<wbr>5],xmm2[5],xmm6[6],xmm2[6],<wbr>xmm6[7],xmm2[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm14[0],xmm5[1],<wbr>xmm14[1],xmm5[2],xmm14[2],<wbr>xmm5[3],xmm14[3],xmm5[4],<wbr>xmm14[4],xmm5[5],xmm14[5],<wbr>xmm5[6],xmm14[6],xmm5[7],<wbr>xmm14[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm4[0],xmm1[1],xmm4[<wbr>1],xmm1[2],xmm4[2],xmm1[3],<wbr>xmm4[3],xmm1[4],xmm4[4],xmm1[<wbr>5],xmm4[5],xmm1[6],xmm4[6],<wbr>xmm1[7],xmm4[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm1[0],xmm5[1],xmm1[<wbr>1],xmm5[2],xmm1[2],xmm5[3],<wbr>xmm1[3],xmm5[4],xmm1[4],xmm5[<wbr>5],xmm1[5],xmm5[6],xmm1[6],<wbr>xmm5[7],xmm1[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm6[0],xmm5[1],xmm6[<wbr>1],xmm5[2],xmm6[2],xmm5[3],<wbr>xmm6[3],xmm5[4],xmm6[4],xmm5[<wbr>5],xmm6[5],xmm5[6],xmm6[6],<wbr>xmm5[7],xmm6[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm5[0],xmm0[1],xmm5[<wbr>1],xmm0[2],xmm5[2],xmm0[3],<wbr>xmm5[3],xmm0[4],xmm5[4],xmm0[<wbr>5],xmm5[5],xmm0[6],xmm5[6],<wbr>xmm0[7],xmm5[7]<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> ; SSSE3-LABEL: var_shuffle_v16i8_v16i8_<wbr>xxxxxxxxxxxxxxxx_i8:<br>
> @@ -446,157 +452,201 @@ define <16 x i8> @var_shuffle_v16i8_v16i<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %r10<br>
> ; SSSE3-NEXT:    leaq -{{[0-9]+}}(%rsp), %r11<br>
> ; SSSE3-NEXT:    movzbl (%r10,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm8<br>
> +; SSSE3-NEXT:    movd %eax, %xmm15<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm15<br>
> +; SSSE3-NEXT:    movd %eax, %xmm8<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm9<br>
> -; SSSE3-NEXT:    movsbq %cl, %rax<br>
> +; SSSE3-NEXT:    movsbq %dl, %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm3<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm10<br>
> -; SSSE3-NEXT:    movsbq %r9b, %rax<br>
> +; SSSE3-NEXT:    movsbq %dil, %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm7<br>
> +; SSSE3-NEXT:    movd %eax, %xmm0<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm11<br>
> -; SSSE3-NEXT:    movsbq %sil, %rax<br>
> +; SSSE3-NEXT:    movsbq %r8b, %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm6<br>
> +; SSSE3-NEXT:    movd %eax, %xmm7<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm12<br>
> +; SSSE3-NEXT:    movd %eax, %xmm2<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm5<br>
> +; SSSE3-NEXT:    movd %eax, %xmm12<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm13<br>
> -; SSSE3-NEXT:    movsbq %dl, %rax<br>
> +; SSSE3-NEXT:    movsbq %cl, %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm4<br>
> +; SSSE3-NEXT:    movd %eax, %xmm6<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm14<br>
> -; SSSE3-NEXT:    movsbq %r8b, %rax<br>
> +; SSSE3-NEXT:    movsbq %sil, %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm1<br>
> +; SSSE3-NEXT:    movd %eax, %xmm5<br>
> ; SSSE3-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm2<br>
> -; SSSE3-NEXT:    movsbq %dil, %rax<br>
> +; SSSE3-NEXT:    movd %eax, %xmm4<br>
> +; SSSE3-NEXT:    movsbq %r9b, %rax<br>
> ; SSSE3-NEXT:    movzbl (%rax,%r11), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm0<br>
> +; SSSE3-NEXT:    movd %eax, %xmm1<br>
> ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm15 = xmm15[0],xmm8[0],xmm15[1],<wbr>xmm8[1],xmm15[2],xmm8[2],<wbr>xmm15[3],xmm8[3],xmm15[4],<wbr>xmm8[4],xmm15[5],xmm8[5],<wbr>xmm15[6],xmm8[6],xmm15[7],<wbr>xmm8[7]<br>
> ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm9[0],xmm3[1],xmm9[<wbr>1],xmm3[2],xmm9[2],xmm3[3],<wbr>xmm9[3],xmm3[4],xmm9[4],xmm3[<wbr>5],xmm9[5],xmm3[6],xmm9[6],<wbr>xmm3[7],xmm9[7]<br>
> ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm15[0],xmm3[1],<wbr>xmm15[1],xmm3[2],xmm15[2],<wbr>xmm3[3],xmm15[3],xmm3[4],<wbr>xmm15[4],xmm3[5],xmm15[5],<wbr>xmm3[6],xmm15[6],xmm3[7],<wbr>xmm15[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm10[0],xmm7[1],<wbr>xmm10[1],xmm7[2],xmm10[2],<wbr>xmm7[3],xmm10[3],xmm7[4],<wbr>xmm10[4],xmm7[5],xmm10[5],<wbr>xmm7[6],xmm10[6],xmm7[7],<wbr>xmm10[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm11[0],xmm6[1],<wbr>xmm11[1],xmm6[2],xmm11[2],<wbr>xmm6[3],xmm11[3],xmm6[4],<wbr>xmm11[4],xmm6[5],xmm11[5],<wbr>xmm6[6],xmm11[6],xmm6[7],<wbr>xmm11[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm7[0],xmm6[1],xmm7[<wbr>1],xmm6[2],xmm7[2],xmm6[3],<wbr>xmm7[3],xmm6[4],xmm7[4],xmm6[<wbr>5],xmm7[5],xmm6[6],xmm7[6],<wbr>xmm6[7],xmm7[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm3[0],xmm6[1],xmm3[<wbr>1],xmm6[2],xmm3[2],xmm6[3],<wbr>xmm3[3],xmm6[4],xmm3[4],xmm6[<wbr>5],xmm3[5],xmm6[6],xmm3[6],<wbr>xmm6[7],xmm3[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm12[0],xmm5[1],<wbr>xmm12[1],xmm5[2],xmm12[2],<wbr>xmm5[3],xmm12[3],xmm5[4],<wbr>xmm12[4],xmm5[5],xmm12[5],<wbr>xmm5[6],xmm12[6],xmm5[7],<wbr>xmm12[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm13[0],xmm4[1],<wbr>xmm13[1],xmm4[2],xmm13[2],<wbr>xmm4[3],xmm13[3],xmm4[4],<wbr>xmm13[4],xmm4[5],xmm13[5],<wbr>xmm4[6],xmm13[6],xmm4[7],<wbr>xmm13[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[<wbr>1],xmm4[2],xmm5[2],xmm4[3],<wbr>xmm5[3],xmm4[4],xmm5[4],xmm4[<wbr>5],xmm5[5],xmm4[6],xmm5[6],<wbr>xmm4[7],xmm5[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm14[0],xmm1[1],<wbr>xmm14[1],xmm1[2],xmm14[2],<wbr>xmm1[3],xmm14[3],xmm1[4],<wbr>xmm14[4],xmm1[5],xmm14[5],<wbr>xmm1[6],xmm14[6],xmm1[7],<wbr>xmm14[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[<wbr>1],xmm0[2],xmm4[2],xmm0[3],<wbr>xmm4[3],xmm0[4],xmm4[4],xmm0[<wbr>5],xmm4[5],xmm0[6],xmm4[6],<wbr>xmm0[7],xmm4[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm6[0],xmm0[1],xmm6[<wbr>1],xmm0[2],xmm6[2],xmm0[3],<wbr>xmm6[3],xmm0[4],xmm6[4],xmm0[<wbr>5],xmm6[5],xmm0[6],xmm6[6],<wbr>xmm0[7],xmm6[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm10[0],xmm0[1],<wbr>xmm10[1],xmm0[2],xmm10[2],<wbr>xmm0[3],xmm10[3],xmm0[4],<wbr>xmm10[4],xmm0[5],xmm10[5],<wbr>xmm0[6],xmm10[6],xmm0[7],<wbr>xmm10[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm11[0],xmm7[1],<wbr>xmm11[1],xmm7[2],xmm11[2],<wbr>xmm7[3],xmm11[3],xmm7[4],<wbr>xmm11[4],xmm7[5],xmm11[5],<wbr>xmm7[6],xmm11[6],xmm7[7],<wbr>xmm11[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm7[0],xmm0[1],xmm7[<wbr>1],xmm0[2],xmm7[2],xmm0[3],<wbr>xmm7[3],xmm0[4],xmm7[4],xmm0[<wbr>5],xmm7[5],xmm0[6],xmm7[6],<wbr>xmm0[7],xmm7[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm12[0],xmm2[1],<wbr>xmm12[1],xmm2[2],xmm12[2],<wbr>xmm2[3],xmm12[3],xmm2[4],<wbr>xmm12[4],xmm2[5],xmm12[5],<wbr>xmm2[6],xmm12[6],xmm2[7],<wbr>xmm12[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm13[0],xmm6[1],<wbr>xmm13[1],xmm6[2],xmm13[2],<wbr>xmm6[3],xmm13[3],xmm6[4],<wbr>xmm13[4],xmm6[5],xmm13[5],<wbr>xmm6[6],xmm13[6],xmm6[7],<wbr>xmm13[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm2[0],xmm6[1],xmm2[<wbr>1],xmm6[2],xmm2[2],xmm6[3],<wbr>xmm2[3],xmm6[4],xmm2[4],xmm6[<wbr>5],xmm2[5],xmm6[6],xmm2[6],<wbr>xmm6[7],xmm2[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm14[0],xmm5[1],<wbr>xmm14[1],xmm5[2],xmm14[2],<wbr>xmm5[3],xmm14[3],xmm5[4],<wbr>xmm14[4],xmm5[5],xmm14[5],<wbr>xmm5[6],xmm14[6],xmm5[7],<wbr>xmm14[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm4[0],xmm1[1],xmm4[<wbr>1],xmm1[2],xmm4[2],xmm1[3],<wbr>xmm4[3],xmm1[4],xmm4[4],xmm1[<wbr>5],xmm4[5],xmm1[6],xmm4[6],<wbr>xmm1[7],xmm4[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm1[0],xmm5[1],xmm1[<wbr>1],xmm5[2],xmm1[2],xmm5[3],<wbr>xmm1[3],xmm5[4],xmm1[4],xmm5[<wbr>5],xmm1[5],xmm5[6],xmm1[6],<wbr>xmm5[7],xmm1[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm6[0],xmm5[1],xmm6[<wbr>1],xmm5[2],xmm6[2],xmm5[3],<wbr>xmm6[3],xmm5[4],xmm6[4],xmm5[<wbr>5],xmm6[5],xmm5[6],xmm6[6],<wbr>xmm5[7],xmm6[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm5[0],xmm0[1],xmm5[<wbr>1],xmm0[2],xmm5[2],xmm0[3],<wbr>xmm5[3],xmm0[4],xmm5[4],xmm0[<wbr>5],xmm5[5],xmm0[6],xmm5[6],<wbr>xmm0[7],xmm5[7]<br>
> ; SSSE3-NEXT:    retq<br>
> ;<br>
> ; SSE41-LABEL: var_shuffle_v16i8_v16i8_<wbr>xxxxxxxxxxxxxxxx_i8:<br>
> ; SSE41:       # BB#0:<br>
> +; SSE41-NEXT:    pushq %rbp<br>
> +; SSE41-NEXT:    pushq %r15<br>
> +; SSE41-NEXT:    pushq %r14<br>
> +; SSE41-NEXT:    pushq %r13<br>
> +; SSE41-NEXT:    pushq %r12<br>
> +; SSE41-NEXT:    pushq %rbx<br>
> ; SSE41-NEXT:    # kill: %R9D<def> %R9D<kill> %R9<def><br>
> ; SSE41-NEXT:    # kill: %R8D<def> %R8D<kill> %R8<def><br>
> ; SSE41-NEXT:    # kill: %ECX<def> %ECX<kill> %RCX<def><br>
> ; SSE41-NEXT:    # kill: %EDX<def> %EDX<kill> %RDX<def><br>
> ; SSE41-NEXT:    # kill: %ESI<def> %ESI<kill> %RSI<def><br>
> ; SSE41-NEXT:    # kill: %EDI<def> %EDI<kill> %RDI<def><br>
> -; SSE41-NEXT:    movsbq %dil, %rdi<br>
> +; SSE41-NEXT:    movsbq %dil, %r15<br>
> +; SSE41-NEXT:    movsbq %sil, %r14<br>
> +; SSE41-NEXT:    movsbq %dl, %r11<br>
> +; SSE41-NEXT:    movsbq %cl, %r10<br>
> +; SSE41-NEXT:    movsbq %r8b, %r8<br>
> ; SSE41-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> +; SSE41-NEXT:    movsbq %r9b, %r9<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %r12<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %r13<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rbp<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rbx<br>
> ; SSE41-NEXT:    leaq -{{[0-9]+}}(%rsp), %rax<br>
> -; SSE41-NEXT:    movzbl (%rdi,%rax), %edi<br>
> -; SSE41-NEXT:    movd %edi, %xmm0<br>
> -; SSE41-NEXT:    movsbq %sil, %rsi<br>
> -; SSE41-NEXT:    pinsrb $1, (%rsi,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq %dl, %rdx<br>
> -; SSE41-NEXT:    pinsrb $2, (%rdx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq %cl, %rcx<br>
> -; SSE41-NEXT:    pinsrb $3, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq %r8b, %rcx<br>
> -; SSE41-NEXT:    pinsrb $4, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq %r9b, %rcx<br>
> -; SSE41-NEXT:    pinsrb $5, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $6, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $7, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $8, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $9, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $10, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $11, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $12, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $13, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $14, (%rcx,%rax), %xmm0<br>
> +; SSE41-NEXT:    movzbl (%r15,%rax), %ecx<br>
> +; SSE41-NEXT:    movd %ecx, %xmm0<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %r15<br>
> +; SSE41-NEXT:    pinsrb $1, (%r14,%rax), %xmm0<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %r14<br>
> +; SSE41-NEXT:    pinsrb $2, (%r11,%rax), %xmm0<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %r11<br>
> +; SSE41-NEXT:    pinsrb $3, (%r10,%rax), %xmm0<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %r10<br>
> +; SSE41-NEXT:    pinsrb $4, (%r8,%rax), %xmm0<br>
> ; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> -; SSE41-NEXT:    pinsrb $15, (%rcx,%rax), %xmm0<br>
> +; SSE41-NEXT:    pinsrb $5, (%r9,%rax), %xmm0<br>
> +; SSE41-NEXT:    movsbq {{[0-9]+}}(%rsp), %rdx<br>
> +; SSE41-NEXT:    movzbl (%r12,%rax), %esi<br>
> +; SSE41-NEXT:    movzbl (%r13,%rax), %edi<br>
> +; SSE41-NEXT:    movzbl (%rbp,%rax), %ebp<br>
> +; SSE41-NEXT:    movzbl (%rbx,%rax), %ebx<br>
> +; SSE41-NEXT:    movzbl (%r15,%rax), %r8d<br>
> +; SSE41-NEXT:    movzbl (%r14,%rax), %r9d<br>
> +; SSE41-NEXT:    movzbl (%r11,%rax), %r11d<br>
> +; SSE41-NEXT:    movzbl (%r10,%rax), %r10d<br>
> +; SSE41-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE41-NEXT:    movzbl (%rdx,%rax), %eax<br>
> +; SSE41-NEXT:    pinsrb $6, %esi, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $7, %edi, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $8, %ebp, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $9, %ebx, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $10, %r8d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $11, %r9d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $12, %r11d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $13, %r10d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $14, %ecx, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $15, %eax, %xmm0<br>
> +; SSE41-NEXT:    popq %rbx<br>
> +; SSE41-NEXT:    popq %r12<br>
> +; SSE41-NEXT:    popq %r13<br>
> +; SSE41-NEXT:    popq %r14<br>
> +; SSE41-NEXT:    popq %r15<br>
> +; SSE41-NEXT:    popq %rbp<br>
> ; SSE41-NEXT:    retq<br>
> ;<br>
> ; AVX-LABEL: var_shuffle_v16i8_v16i8_<wbr>xxxxxxxxxxxxxxxx_i8:<br>
> ; AVX:       # BB#0:<br>
> +; AVX-NEXT:    pushq %rbp<br>
> +; AVX-NEXT:    pushq %r15<br>
> +; AVX-NEXT:    pushq %r14<br>
> +; AVX-NEXT:    pushq %r13<br>
> +; AVX-NEXT:    pushq %r12<br>
> +; AVX-NEXT:    pushq %rbx<br>
> ; AVX-NEXT:    # kill: %R9D<def> %R9D<kill> %R9<def><br>
> ; AVX-NEXT:    # kill: %R8D<def> %R8D<kill> %R8<def><br>
> ; AVX-NEXT:    # kill: %ECX<def> %ECX<kill> %RCX<def><br>
> ; AVX-NEXT:    # kill: %EDX<def> %EDX<kill> %RDX<def><br>
> ; AVX-NEXT:    # kill: %ESI<def> %ESI<kill> %RSI<def><br>
> ; AVX-NEXT:    # kill: %EDI<def> %EDI<kill> %RDI<def><br>
> -; AVX-NEXT:    movsbq %dil, %rax<br>
> +; AVX-NEXT:    movsbq %dil, %r10<br>
> +; AVX-NEXT:    movsbq %sil, %r11<br>
> +; AVX-NEXT:    movsbq %dl, %r14<br>
> +; AVX-NEXT:    movsbq %cl, %r15<br>
> +; AVX-NEXT:    movsbq %r8b, %r8<br>
> ; AVX-NEXT:    vmovaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> +; AVX-NEXT:    movsbq %r9b, %r9<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %r12<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %r13<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rbp<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rcx<br>
> ; AVX-NEXT:    leaq -{{[0-9]+}}(%rsp), %rdi<br>
> -; AVX-NEXT:    movzbl (%rax,%rdi), %eax<br>
> +; AVX-NEXT:    movzbl (%r10,%rdi), %eax<br>
> ; AVX-NEXT:    vmovd %eax, %xmm0<br>
> -; AVX-NEXT:    movsbq %sil, %rax<br>
> -; AVX-NEXT:    vpinsrb $1, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq %dl, %rax<br>
> -; AVX-NEXT:    vpinsrb $2, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq %cl, %rax<br>
> -; AVX-NEXT:    vpinsrb $3, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq %r8b, %rax<br>
> -; AVX-NEXT:    vpinsrb $4, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq %r9b, %rax<br>
> -; AVX-NEXT:    vpinsrb $5, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $6, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $7, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $8, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $9, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $10, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $11, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $12, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $13, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $14, (%rax,%rdi), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX-NEXT:    vpinsrb $15, (%rax,%rdi), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %r10<br>
> +; AVX-NEXT:    vpinsrb $1, (%r11,%rdi), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %r11<br>
> +; AVX-NEXT:    vpinsrb $2, (%r14,%rdi), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %r14<br>
> +; AVX-NEXT:    vpinsrb $3, (%r15,%rdi), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %r15<br>
> +; AVX-NEXT:    vpinsrb $4, (%r8,%rdi), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %r8<br>
> +; AVX-NEXT:    vpinsrb $5, (%r9,%rdi), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq {{[0-9]+}}(%rsp), %rsi<br>
> +; AVX-NEXT:    movzbl (%r12,%rdi), %edx<br>
> +; AVX-NEXT:    movzbl (%r13,%rdi), %ebx<br>
> +; AVX-NEXT:    movzbl (%rbp,%rdi), %ebp<br>
> +; AVX-NEXT:    movzbl (%rcx,%rdi), %ecx<br>
> +; AVX-NEXT:    movzbl (%r10,%rdi), %eax<br>
> +; AVX-NEXT:    movzbl (%r11,%rdi), %r9d<br>
> +; AVX-NEXT:    movzbl (%r14,%rdi), %r10d<br>
> +; AVX-NEXT:    movzbl (%r15,%rdi), %r11d<br>
> +; AVX-NEXT:    movzbl (%r8,%rdi), %r8d<br>
> +; AVX-NEXT:    movzbl (%rsi,%rdi), %esi<br>
> +; AVX-NEXT:    vpinsrb $6, %edx, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $7, %ebx, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $8, %ebp, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $9, %ecx, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $10, %eax, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $11, %r9d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $12, %r10d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $13, %r11d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $14, %r8d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $15, %esi, %xmm0, %xmm0<br>
> +; AVX-NEXT:    popq %rbx<br>
> +; AVX-NEXT:    popq %r12<br>
> +; AVX-NEXT:    popq %r13<br>
> +; AVX-NEXT:    popq %r14<br>
> +; AVX-NEXT:    popq %r15<br>
> +; AVX-NEXT:    popq %rbp<br>
> ; AVX-NEXT:    retq<br>
>   %x0  = extractelement <16 x i8> %x, i8 %i0<br>
>   %x1  = extractelement <16 x i8> %x, i8 %i1<br>
> @@ -647,11 +697,11 @@ define <4 x i32> @mem_shuffle_v4i32_v4i3<br>
> ; SSE2-NEXT:    movslq 12(%rdi), %rsi<br>
> ; SSE2-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1]<br>
> ; SSE2-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> -; SSE2-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> -; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1]<br>
> +; SSE2-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1]<br>
> +; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> ; SSSE3-LABEL: mem_shuffle_v4i32_v4i32_xxxx_<wbr>i32:<br>
> @@ -663,11 +713,11 @@ define <4 x i32> @mem_shuffle_v4i32_v4i3<br>
> ; SSSE3-NEXT:    movslq 12(%rdi), %rsi<br>
> ; SSSE3-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSSE3-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; SSSE3-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1]<br>
> ; SSSE3-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> -; SSSE3-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> -; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1]<br>
> +; SSSE3-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; SSSE3-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1]<br>
> +; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1]<br>
> ; SSSE3-NEXT:    retq<br>
> ;<br>
> ; SSE41-LABEL: mem_shuffle_v4i32_v4i32_xxxx_<wbr>i32:<br>
> @@ -717,218 +767,270 @@ define <4 x i32> @mem_shuffle_v4i32_v4i3<br>
> define <16 x i8> @mem_shuffle_v16i8_v16i8_<wbr>xxxxxxxxxxxxxxxx_i8(<16 x i8> %x, i8* %i) nounwind {<br>
> ; SSE2-LABEL: mem_shuffle_v16i8_v16i8_<wbr>xxxxxxxxxxxxxxxx_i8:<br>
> ; SSE2:       # BB#0:<br>
> -; SSE2-NEXT:    movsbq (%rdi), %rax<br>
> +; SSE2-NEXT:    movsbq (%rdi), %rcx<br>
> ; SSE2-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> -; SSE2-NEXT:    movsbq 15(%rdi), %rdx<br>
> -; SSE2-NEXT:    leaq -{{[0-9]+}}(%rsp), %rcx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm8<br>
> -; SSE2-NEXT:    movsbq 7(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm15<br>
> -; SSE2-NEXT:    movsbq 11(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm9<br>
> -; SSE2-NEXT:    movsbq 3(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm3<br>
> -; SSE2-NEXT:    movsbq 13(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm10<br>
> -; SSE2-NEXT:    movsbq 5(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm7<br>
> -; SSE2-NEXT:    movsbq 9(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm11<br>
> -; SSE2-NEXT:    movsbq 1(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm6<br>
> -; SSE2-NEXT:    movsbq 14(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm12<br>
> -; SSE2-NEXT:    movsbq 6(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm5<br>
> -; SSE2-NEXT:    movsbq 10(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm13<br>
> -; SSE2-NEXT:    movsbq 2(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm4<br>
> -; SSE2-NEXT:    movsbq 12(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm14<br>
> -; SSE2-NEXT:    movsbq 4(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm1<br>
> -; SSE2-NEXT:    movsbq 8(%rdi), %rdx<br>
> -; SSE2-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSE2-NEXT:    movd %edx, %xmm2<br>
> -; SSE2-NEXT:    movzbl (%rax,%rcx), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm15 = xmm15[0],xmm8[0],xmm15[1],<wbr>xmm8[1],xmm15[2],xmm8[2],<wbr>xmm15[3],xmm8[3],xmm15[4],<wbr>xmm8[4],xmm15[5],xmm8[5],<wbr>xmm15[6],xmm8[6],xmm15[7],<wbr>xmm8[7]<br>
> +; SSE2-NEXT:    leaq -{{[0-9]+}}(%rsp), %rax<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm0<br>
> +; SSE2-NEXT:    movsbq 8(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm8<br>
> +; SSE2-NEXT:    movsbq 12(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm9<br>
> +; SSE2-NEXT:    movsbq 4(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm3<br>
> +; SSE2-NEXT:    movsbq 14(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm10<br>
> +; SSE2-NEXT:    movsbq 6(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm5<br>
> +; SSE2-NEXT:    movsbq 10(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm11<br>
> +; SSE2-NEXT:    movsbq 2(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm7<br>
> +; SSE2-NEXT:    movsbq 15(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm12<br>
> +; SSE2-NEXT:    movsbq 7(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm2<br>
> +; SSE2-NEXT:    movsbq 11(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm13<br>
> +; SSE2-NEXT:    movsbq 3(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm6<br>
> +; SSE2-NEXT:    movsbq 13(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm14<br>
> +; SSE2-NEXT:    movsbq 5(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm4<br>
> +; SSE2-NEXT:    movsbq 9(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm15<br>
> +; SSE2-NEXT:    movsbq 1(%rdi), %rcx<br>
> +; SSE2-NEXT:    movzbl (%rcx,%rax), %eax<br>
> +; SSE2-NEXT:    movd %eax, %xmm1<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm8[0],xmm0[1],xmm8[<wbr>1],xmm0[2],xmm8[2],xmm0[3],<wbr>xmm8[3],xmm0[4],xmm8[4],xmm0[<wbr>5],xmm8[5],xmm0[6],xmm8[6],<wbr>xmm0[7],xmm8[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm9[0],xmm3[1],xmm9[<wbr>1],xmm3[2],xmm9[2],xmm3[3],<wbr>xmm9[3],xmm3[4],xmm9[4],xmm3[<wbr>5],xmm9[5],xmm3[6],xmm9[6],<wbr>xmm3[7],xmm9[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm15[0],xmm3[1],<wbr>xmm15[1],xmm3[2],xmm15[2],<wbr>xmm3[3],xmm15[3],xmm3[4],<wbr>xmm15[4],xmm3[5],xmm15[5],<wbr>xmm3[6],xmm15[6],xmm3[7],<wbr>xmm15[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm10[0],xmm7[1],<wbr>xmm10[1],xmm7[2],xmm10[2],<wbr>xmm7[3],xmm10[3],xmm7[4],<wbr>xmm10[4],xmm7[5],xmm10[5],<wbr>xmm7[6],xmm10[6],xmm7[7],<wbr>xmm10[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm11[0],xmm6[1],<wbr>xmm11[1],xmm6[2],xmm11[2],<wbr>xmm6[3],xmm11[3],xmm6[4],<wbr>xmm11[4],xmm6[5],xmm11[5],<wbr>xmm6[6],xmm11[6],xmm6[7],<wbr>xmm11[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm7[0],xmm6[1],xmm7[<wbr>1],xmm6[2],xmm7[2],xmm6[3],<wbr>xmm7[3],xmm6[4],xmm7[4],xmm6[<wbr>5],xmm7[5],xmm6[6],xmm7[6],<wbr>xmm6[7],xmm7[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm3[0],xmm6[1],xmm3[<wbr>1],xmm6[2],xmm3[2],xmm6[3],<wbr>xmm3[3],xmm6[4],xmm3[4],xmm6[<wbr>5],xmm3[5],xmm6[6],xmm3[6],<wbr>xmm6[7],xmm3[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm12[0],xmm5[1],<wbr>xmm12[1],xmm5[2],xmm12[2],<wbr>xmm5[3],xmm12[3],xmm5[4],<wbr>xmm12[4],xmm5[5],xmm12[5],<wbr>xmm5[6],xmm12[6],xmm5[7],<wbr>xmm12[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm13[0],xmm4[1],<wbr>xmm13[1],xmm4[2],xmm13[2],<wbr>xmm4[3],xmm13[3],xmm4[4],<wbr>xmm13[4],xmm4[5],xmm13[5],<wbr>xmm4[6],xmm13[6],xmm4[7],<wbr>xmm13[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[<wbr>1],xmm4[2],xmm5[2],xmm4[3],<wbr>xmm5[3],xmm4[4],xmm5[4],xmm4[<wbr>5],xmm5[5],xmm4[6],xmm5[6],<wbr>xmm4[7],xmm5[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm14[0],xmm1[1],<wbr>xmm14[1],xmm1[2],xmm14[2],<wbr>xmm1[3],xmm14[3],xmm1[4],<wbr>xmm14[4],xmm1[5],xmm14[5],<wbr>xmm1[6],xmm14[6],xmm1[7],<wbr>xmm14[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm10[0],xmm5[1],<wbr>xmm10[1],xmm5[2],xmm10[2],<wbr>xmm5[3],xmm10[3],xmm5[4],<wbr>xmm10[4],xmm5[5],xmm10[5],<wbr>xmm5[6],xmm10[6],xmm5[7],<wbr>xmm10[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm11[0],xmm7[1],<wbr>xmm11[1],xmm7[2],xmm11[2],<wbr>xmm7[3],xmm11[3],xmm7[4],<wbr>xmm11[4],xmm7[5],xmm11[5],<wbr>xmm7[6],xmm11[6],xmm7[7],<wbr>xmm11[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm5[0],xmm7[1],xmm5[<wbr>1],xmm7[2],xmm5[2],xmm7[3],<wbr>xmm5[3],xmm7[4],xmm5[4],xmm7[<wbr>5],xmm5[5],xmm7[6],xmm5[6],<wbr>xmm7[7],xmm5[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm7[0],xmm0[1],xmm7[<wbr>1],xmm0[2],xmm7[2],xmm0[3],<wbr>xmm7[3],xmm0[4],xmm7[4],xmm0[<wbr>5],xmm7[5],xmm0[6],xmm7[6],<wbr>xmm0[7],xmm7[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm12[0],xmm2[1],<wbr>xmm12[1],xmm2[2],xmm12[2],<wbr>xmm2[3],xmm12[3],xmm2[4],<wbr>xmm12[4],xmm2[5],xmm12[5],<wbr>xmm2[6],xmm12[6],xmm2[7],<wbr>xmm12[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm13[0],xmm6[1],<wbr>xmm13[1],xmm6[2],xmm13[2],<wbr>xmm6[3],xmm13[3],xmm6[4],<wbr>xmm13[4],xmm6[5],xmm13[5],<wbr>xmm6[6],xmm13[6],xmm6[7],<wbr>xmm13[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm2[0],xmm6[1],xmm2[<wbr>1],xmm6[2],xmm2[2],xmm6[3],<wbr>xmm2[3],xmm6[4],xmm2[4],xmm6[<wbr>5],xmm2[5],xmm6[6],xmm2[6],<wbr>xmm6[7],xmm2[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm14[0],xmm4[1],<wbr>xmm14[1],xmm4[2],xmm14[2],<wbr>xmm4[3],xmm14[3],xmm4[4],<wbr>xmm14[4],xmm4[5],xmm14[5],<wbr>xmm4[6],xmm14[6],xmm4[7],<wbr>xmm14[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm15[0],xmm1[1],<wbr>xmm15[1],xmm1[2],xmm15[2],<wbr>xmm1[3],xmm15[3],xmm1[4],<wbr>xmm15[4],xmm1[5],xmm15[5],<wbr>xmm1[6],xmm15[6],xmm1[7],<wbr>xmm15[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm4[0],xmm1[1],xmm4[<wbr>1],xmm1[2],xmm4[2],xmm1[3],<wbr>xmm4[3],xmm1[4],xmm4[4],xmm1[<wbr>5],xmm4[5],xmm1[6],xmm4[6],<wbr>xmm1[7],xmm4[7]<br>
> +; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm6[0],xmm1[1],xmm6[<wbr>1],xmm1[2],xmm6[2],xmm1[3],<wbr>xmm6[3],xmm1[4],xmm6[4],xmm1[<wbr>5],xmm6[5],xmm1[6],xmm6[6],<wbr>xmm1[7],xmm6[7]<br>
> ; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[<wbr>1],xmm0[2],xmm4[2],xmm0[3],<wbr>xmm4[3],xmm0[4],xmm4[4],xmm0[<wbr>5],xmm4[5],xmm0[6],xmm4[6],<wbr>xmm0[7],xmm4[7]<br>
> -; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm6[0],xmm0[1],xmm6[<wbr>1],xmm0[2],xmm6[2],xmm0[3],<wbr>xmm6[3],xmm0[4],xmm6[4],xmm0[<wbr>5],xmm6[5],xmm0[6],xmm6[6],<wbr>xmm0[7],xmm6[7]<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> ; SSSE3-LABEL: mem_shuffle_v16i8_v16i8_<wbr>xxxxxxxxxxxxxxxx_i8:<br>
> ; SSSE3:       # BB#0:<br>
> -; SSSE3-NEXT:    movsbq (%rdi), %rax<br>
> +; SSSE3-NEXT:    movsbq (%rdi), %rcx<br>
> ; SSSE3-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> -; SSSE3-NEXT:    movsbq 15(%rdi), %rdx<br>
> -; SSSE3-NEXT:    leaq -{{[0-9]+}}(%rsp), %rcx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm8<br>
> -; SSSE3-NEXT:    movsbq 7(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm15<br>
> -; SSSE3-NEXT:    movsbq 11(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm9<br>
> -; SSSE3-NEXT:    movsbq 3(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm3<br>
> -; SSSE3-NEXT:    movsbq 13(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm10<br>
> -; SSSE3-NEXT:    movsbq 5(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm7<br>
> -; SSSE3-NEXT:    movsbq 9(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm11<br>
> -; SSSE3-NEXT:    movsbq 1(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm6<br>
> -; SSSE3-NEXT:    movsbq 14(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm12<br>
> -; SSSE3-NEXT:    movsbq 6(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm5<br>
> -; SSSE3-NEXT:    movsbq 10(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm13<br>
> -; SSSE3-NEXT:    movsbq 2(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm4<br>
> -; SSSE3-NEXT:    movsbq 12(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm14<br>
> -; SSSE3-NEXT:    movsbq 4(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm1<br>
> -; SSSE3-NEXT:    movsbq 8(%rdi), %rdx<br>
> -; SSSE3-NEXT:    movzbl (%rdx,%rcx), %edx<br>
> -; SSSE3-NEXT:    movd %edx, %xmm2<br>
> -; SSSE3-NEXT:    movzbl (%rax,%rcx), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm15 = xmm15[0],xmm8[0],xmm15[1],<wbr>xmm8[1],xmm15[2],xmm8[2],<wbr>xmm15[3],xmm8[3],xmm15[4],<wbr>xmm8[4],xmm15[5],xmm8[5],<wbr>xmm15[6],xmm8[6],xmm15[7],<wbr>xmm8[7]<br>
> +; SSSE3-NEXT:    leaq -{{[0-9]+}}(%rsp), %rax<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm0<br>
> +; SSSE3-NEXT:    movsbq 8(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm8<br>
> +; SSSE3-NEXT:    movsbq 12(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm9<br>
> +; SSSE3-NEXT:    movsbq 4(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm3<br>
> +; SSSE3-NEXT:    movsbq 14(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm10<br>
> +; SSSE3-NEXT:    movsbq 6(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm5<br>
> +; SSSE3-NEXT:    movsbq 10(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm11<br>
> +; SSSE3-NEXT:    movsbq 2(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm7<br>
> +; SSSE3-NEXT:    movsbq 15(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm12<br>
> +; SSSE3-NEXT:    movsbq 7(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm2<br>
> +; SSSE3-NEXT:    movsbq 11(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm13<br>
> +; SSSE3-NEXT:    movsbq 3(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm6<br>
> +; SSSE3-NEXT:    movsbq 13(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm14<br>
> +; SSSE3-NEXT:    movsbq 5(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm4<br>
> +; SSSE3-NEXT:    movsbq 9(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm15<br>
> +; SSSE3-NEXT:    movsbq 1(%rdi), %rcx<br>
> +; SSSE3-NEXT:    movzbl (%rcx,%rax), %eax<br>
> +; SSSE3-NEXT:    movd %eax, %xmm1<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm8[0],xmm0[1],xmm8[<wbr>1],xmm0[2],xmm8[2],xmm0[3],<wbr>xmm8[3],xmm0[4],xmm8[4],xmm0[<wbr>5],xmm8[5],xmm0[6],xmm8[6],<wbr>xmm0[7],xmm8[7]<br>
> ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm9[0],xmm3[1],xmm9[<wbr>1],xmm3[2],xmm9[2],xmm3[3],<wbr>xmm9[3],xmm3[4],xmm9[4],xmm3[<wbr>5],xmm9[5],xmm3[6],xmm9[6],<wbr>xmm3[7],xmm9[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm3 = xmm3[0],xmm15[0],xmm3[1],<wbr>xmm15[1],xmm3[2],xmm15[2],<wbr>xmm3[3],xmm15[3],xmm3[4],<wbr>xmm15[4],xmm3[5],xmm15[5],<wbr>xmm3[6],xmm15[6],xmm3[7],<wbr>xmm15[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm10[0],xmm7[1],<wbr>xmm10[1],xmm7[2],xmm10[2],<wbr>xmm7[3],xmm10[3],xmm7[4],<wbr>xmm10[4],xmm7[5],xmm10[5],<wbr>xmm7[6],xmm10[6],xmm7[7],<wbr>xmm10[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm11[0],xmm6[1],<wbr>xmm11[1],xmm6[2],xmm11[2],<wbr>xmm6[3],xmm11[3],xmm6[4],<wbr>xmm11[4],xmm6[5],xmm11[5],<wbr>xmm6[6],xmm11[6],xmm6[7],<wbr>xmm11[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm7[0],xmm6[1],xmm7[<wbr>1],xmm6[2],xmm7[2],xmm6[3],<wbr>xmm7[3],xmm6[4],xmm7[4],xmm6[<wbr>5],xmm7[5],xmm6[6],xmm7[6],<wbr>xmm6[7],xmm7[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm3[0],xmm6[1],xmm3[<wbr>1],xmm6[2],xmm3[2],xmm6[3],<wbr>xmm3[3],xmm6[4],xmm3[4],xmm6[<wbr>5],xmm3[5],xmm6[6],xmm3[6],<wbr>xmm6[7],xmm3[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm12[0],xmm5[1],<wbr>xmm12[1],xmm5[2],xmm12[2],<wbr>xmm5[3],xmm12[3],xmm5[4],<wbr>xmm12[4],xmm5[5],xmm12[5],<wbr>xmm5[6],xmm12[6],xmm5[7],<wbr>xmm12[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm13[0],xmm4[1],<wbr>xmm13[1],xmm4[2],xmm13[2],<wbr>xmm4[3],xmm13[3],xmm4[4],<wbr>xmm13[4],xmm4[5],xmm13[5],<wbr>xmm4[6],xmm13[6],xmm4[7],<wbr>xmm13[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[<wbr>1],xmm4[2],xmm5[2],xmm4[3],<wbr>xmm5[3],xmm4[4],xmm5[4],xmm4[<wbr>5],xmm5[5],xmm4[6],xmm5[6],<wbr>xmm4[7],xmm5[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm14[0],xmm1[1],<wbr>xmm14[1],xmm1[2],xmm14[2],<wbr>xmm1[3],xmm14[3],xmm1[4],<wbr>xmm14[4],xmm1[5],xmm14[5],<wbr>xmm1[6],xmm14[6],xmm1[7],<wbr>xmm14[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3],xmm0[4],xmm2[4],xmm0[<wbr>5],xmm2[5],xmm0[6],xmm2[6],<wbr>xmm0[7],xmm2[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3],xmm0[4],xmm3[4],xmm0[<wbr>5],xmm3[5],xmm0[6],xmm3[6],<wbr>xmm0[7],xmm3[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0],xmm10[0],xmm5[1],<wbr>xmm10[1],xmm5[2],xmm10[2],<wbr>xmm5[3],xmm10[3],xmm5[4],<wbr>xmm10[4],xmm5[5],xmm10[5],<wbr>xmm5[6],xmm10[6],xmm5[7],<wbr>xmm10[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm11[0],xmm7[1],<wbr>xmm11[1],xmm7[2],xmm11[2],<wbr>xmm7[3],xmm11[3],xmm7[4],<wbr>xmm11[4],xmm7[5],xmm11[5],<wbr>xmm7[6],xmm11[6],xmm7[7],<wbr>xmm11[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm7 = xmm7[0],xmm5[0],xmm7[1],xmm5[<wbr>1],xmm7[2],xmm5[2],xmm7[3],<wbr>xmm5[3],xmm7[4],xmm5[4],xmm7[<wbr>5],xmm5[5],xmm7[6],xmm5[6],<wbr>xmm7[7],xmm5[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm7[0],xmm0[1],xmm7[<wbr>1],xmm0[2],xmm7[2],xmm0[3],<wbr>xmm7[3],xmm0[4],xmm7[4],xmm0[<wbr>5],xmm7[5],xmm0[6],xmm7[6],<wbr>xmm0[7],xmm7[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm12[0],xmm2[1],<wbr>xmm12[1],xmm2[2],xmm12[2],<wbr>xmm2[3],xmm12[3],xmm2[4],<wbr>xmm12[4],xmm2[5],xmm12[5],<wbr>xmm2[6],xmm12[6],xmm2[7],<wbr>xmm12[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm13[0],xmm6[1],<wbr>xmm13[1],xmm6[2],xmm13[2],<wbr>xmm6[3],xmm13[3],xmm6[4],<wbr>xmm13[4],xmm6[5],xmm13[5],<wbr>xmm6[6],xmm13[6],xmm6[7],<wbr>xmm13[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0],xmm2[0],xmm6[1],xmm2[<wbr>1],xmm6[2],xmm2[2],xmm6[3],<wbr>xmm2[3],xmm6[4],xmm2[4],xmm6[<wbr>5],xmm2[5],xmm6[6],xmm2[6],<wbr>xmm6[7],xmm2[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0],xmm14[0],xmm4[1],<wbr>xmm14[1],xmm4[2],xmm14[2],<wbr>xmm4[3],xmm14[3],xmm4[4],<wbr>xmm14[4],xmm4[5],xmm14[5],<wbr>xmm4[6],xmm14[6],xmm4[7],<wbr>xmm14[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm15[0],xmm1[1],<wbr>xmm15[1],xmm1[2],xmm15[2],<wbr>xmm1[3],xmm15[3],xmm1[4],<wbr>xmm15[4],xmm1[5],xmm15[5],<wbr>xmm1[6],xmm15[6],xmm1[7],<wbr>xmm15[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm4[0],xmm1[1],xmm4[<wbr>1],xmm1[2],xmm4[2],xmm1[3],<wbr>xmm4[3],xmm1[4],xmm4[4],xmm1[<wbr>5],xmm4[5],xmm1[6],xmm4[6],<wbr>xmm1[7],xmm4[7]<br>
> +; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm6[0],xmm1[1],xmm6[<wbr>1],xmm1[2],xmm6[2],xmm1[3],<wbr>xmm6[3],xmm1[4],xmm6[4],xmm1[<wbr>5],xmm6[5],xmm1[6],xmm6[6],<wbr>xmm1[7],xmm6[7]<br>
> ; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3],xmm0[4],xmm1[4],xmm0[<wbr>5],xmm1[5],xmm0[6],xmm1[6],<wbr>xmm0[7],xmm1[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[<wbr>1],xmm0[2],xmm4[2],xmm0[3],<wbr>xmm4[3],xmm0[4],xmm4[4],xmm0[<wbr>5],xmm4[5],xmm0[6],xmm4[6],<wbr>xmm0[7],xmm4[7]<br>
> -; SSSE3-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm6[0],xmm0[1],xmm6[<wbr>1],xmm0[2],xmm6[2],xmm0[3],<wbr>xmm6[3],xmm0[4],xmm6[4],xmm0[<wbr>5],xmm6[5],xmm0[6],xmm6[6],<wbr>xmm0[7],xmm6[7]<br>
> ; SSSE3-NEXT:    retq<br>
> ;<br>
> ; SSE41-LABEL: mem_shuffle_v16i8_v16i8_<wbr>xxxxxxxxxxxxxxxx_i8:<br>
> ; SSE41:       # BB#0:<br>
> -; SSE41-NEXT:    movsbq (%rdi), %rcx<br>
> +; SSE41-NEXT:    pushq %rbp<br>
> +; SSE41-NEXT:    pushq %r15<br>
> +; SSE41-NEXT:    pushq %r14<br>
> +; SSE41-NEXT:    pushq %r13<br>
> +; SSE41-NEXT:    pushq %r12<br>
> +; SSE41-NEXT:    pushq %rbx<br>
> +; SSE41-NEXT:    movsbq (%rdi), %rax<br>
> ; SSE41-NEXT:    movaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> -; SSE41-NEXT:    leaq -{{[0-9]+}}(%rsp), %rax<br>
> -; SSE41-NEXT:    movzbl (%rcx,%rax), %ecx<br>
> -; SSE41-NEXT:    movd %ecx, %xmm0<br>
> -; SSE41-NEXT:    movsbq 1(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $1, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 2(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $2, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 3(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $3, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 4(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $4, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 5(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $5, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 6(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $6, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 7(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $7, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 8(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $8, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 9(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $9, (%rcx,%rax), %xmm0<br>
> +; SSE41-NEXT:    movsbq 1(%rdi), %r15<br>
> +; SSE41-NEXT:    movsbq 2(%rdi), %r8<br>
> +; SSE41-NEXT:    movsbq 3(%rdi), %r9<br>
> +; SSE41-NEXT:    movsbq 4(%rdi), %r10<br>
> +; SSE41-NEXT:    movsbq 5(%rdi), %r11<br>
> +; SSE41-NEXT:    movsbq 6(%rdi), %r14<br>
> +; SSE41-NEXT:    movsbq 7(%rdi), %r12<br>
> +; SSE41-NEXT:    movsbq 8(%rdi), %r13<br>
> +; SSE41-NEXT:    movsbq 9(%rdi), %rdx<br>
> ; SSE41-NEXT:    movsbq 10(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $10, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 11(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $11, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 12(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $12, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 13(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $13, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 14(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $14, (%rcx,%rax), %xmm0<br>
> -; SSE41-NEXT:    movsbq 15(%rdi), %rcx<br>
> -; SSE41-NEXT:    pinsrb $15, (%rcx,%rax), %xmm0<br>
> +; SSE41-NEXT:    movsbq 11(%rdi), %rsi<br>
> +; SSE41-NEXT:    movsbq 12(%rdi), %rbx<br>
> +; SSE41-NEXT:    leaq -{{[0-9]+}}(%rsp), %rbp<br>
> +; SSE41-NEXT:    movzbl (%rax,%rbp), %eax<br>
> +; SSE41-NEXT:    movd %eax, %xmm0<br>
> +; SSE41-NEXT:    movsbq 13(%rdi), %rax<br>
> +; SSE41-NEXT:    pinsrb $1, (%r15,%rbp), %xmm0<br>
> +; SSE41-NEXT:    movsbq 14(%rdi), %r15<br>
> +; SSE41-NEXT:    movsbq 15(%rdi), %rdi<br>
> +; SSE41-NEXT:    movzbl (%rdi,%rbp), %edi<br>
> +; SSE41-NEXT:    movzbl (%r15,%rbp), %r15d<br>
> +; SSE41-NEXT:    movzbl (%rax,%rbp), %eax<br>
> +; SSE41-NEXT:    movzbl (%rbx,%rbp), %ebx<br>
> +; SSE41-NEXT:    movzbl (%rsi,%rbp), %esi<br>
> +; SSE41-NEXT:    movzbl (%rcx,%rbp), %ecx<br>
> +; SSE41-NEXT:    movzbl (%rdx,%rbp), %edx<br>
> +; SSE41-NEXT:    movzbl (%r13,%rbp), %r13d<br>
> +; SSE41-NEXT:    movzbl (%r12,%rbp), %r12d<br>
> +; SSE41-NEXT:    movzbl (%r14,%rbp), %r14d<br>
> +; SSE41-NEXT:    movzbl (%r11,%rbp), %r11d<br>
> +; SSE41-NEXT:    movzbl (%r10,%rbp), %r10d<br>
> +; SSE41-NEXT:    movzbl (%r9,%rbp), %r9d<br>
> +; SSE41-NEXT:    movzbl (%r8,%rbp), %ebp<br>
> +; SSE41-NEXT:    pinsrb $2, %ebp, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $3, %r9d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $4, %r10d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $5, %r11d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $6, %r14d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $7, %r12d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $8, %r13d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $9, %edx, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $10, %ecx, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $11, %esi, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $12, %ebx, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $13, %eax, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $14, %r15d, %xmm0<br>
> +; SSE41-NEXT:    pinsrb $15, %edi, %xmm0<br>
> +; SSE41-NEXT:    popq %rbx<br>
> +; SSE41-NEXT:    popq %r12<br>
> +; SSE41-NEXT:    popq %r13<br>
> +; SSE41-NEXT:    popq %r14<br>
> +; SSE41-NEXT:    popq %r15<br>
> +; SSE41-NEXT:    popq %rbp<br>
> ; SSE41-NEXT:    retq<br>
> ;<br>
> ; AVX-LABEL: mem_shuffle_v16i8_v16i8_<wbr>xxxxxxxxxxxxxxxx_i8:<br>
> ; AVX:       # BB#0:<br>
> -; AVX-NEXT:    movsbq (%rdi), %rax<br>
> +; AVX-NEXT:    pushq %rbp<br>
> +; AVX-NEXT:    pushq %r15<br>
> +; AVX-NEXT:    pushq %r14<br>
> +; AVX-NEXT:    pushq %r13<br>
> +; AVX-NEXT:    pushq %r12<br>
> +; AVX-NEXT:    pushq %rbx<br>
> +; AVX-NEXT:    movsbq (%rdi), %rsi<br>
> ; AVX-NEXT:    vmovaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> -; AVX-NEXT:    leaq -{{[0-9]+}}(%rsp), %rcx<br>
> -; AVX-NEXT:    movzbl (%rax,%rcx), %eax<br>
> -; AVX-NEXT:    vmovd %eax, %xmm0<br>
> -; AVX-NEXT:    movsbq 1(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $1, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 2(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $2, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 3(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $3, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 4(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $4, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 5(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $5, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 6(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $6, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 7(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $7, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 8(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $8, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 9(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $9, (%rax,%rcx), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq 1(%rdi), %r15<br>
> +; AVX-NEXT:    movsbq 2(%rdi), %r8<br>
> +; AVX-NEXT:    movsbq 3(%rdi), %r9<br>
> +; AVX-NEXT:    movsbq 4(%rdi), %r10<br>
> +; AVX-NEXT:    movsbq 5(%rdi), %r11<br>
> +; AVX-NEXT:    movsbq 6(%rdi), %r14<br>
> +; AVX-NEXT:    movsbq 7(%rdi), %r12<br>
> +; AVX-NEXT:    movsbq 8(%rdi), %r13<br>
> +; AVX-NEXT:    movsbq 9(%rdi), %rdx<br>
> ; AVX-NEXT:    movsbq 10(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $10, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 11(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $11, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 12(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $12, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 13(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $13, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 14(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $14, (%rax,%rcx), %xmm0, %xmm0<br>
> -; AVX-NEXT:    movsbq 15(%rdi), %rax<br>
> -; AVX-NEXT:    vpinsrb $15, (%rax,%rcx), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq 11(%rdi), %rcx<br>
> +; AVX-NEXT:    movsbq 12(%rdi), %rbx<br>
> +; AVX-NEXT:    leaq -{{[0-9]+}}(%rsp), %rbp<br>
> +; AVX-NEXT:    movzbl (%rsi,%rbp), %esi<br>
> +; AVX-NEXT:    vmovd %esi, %xmm0<br>
> +; AVX-NEXT:    movsbq 13(%rdi), %rsi<br>
> +; AVX-NEXT:    vpinsrb $1, (%r15,%rbp), %xmm0, %xmm0<br>
> +; AVX-NEXT:    movsbq 14(%rdi), %r15<br>
> +; AVX-NEXT:    movsbq 15(%rdi), %rdi<br>
> +; AVX-NEXT:    movzbl (%rdi,%rbp), %edi<br>
> +; AVX-NEXT:    movzbl (%r15,%rbp), %r15d<br>
> +; AVX-NEXT:    movzbl (%rsi,%rbp), %esi<br>
> +; AVX-NEXT:    movzbl (%rbx,%rbp), %ebx<br>
> +; AVX-NEXT:    movzbl (%rcx,%rbp), %ecx<br>
> +; AVX-NEXT:    movzbl (%rax,%rbp), %eax<br>
> +; AVX-NEXT:    movzbl (%rdx,%rbp), %edx<br>
> +; AVX-NEXT:    movzbl (%r13,%rbp), %r13d<br>
> +; AVX-NEXT:    movzbl (%r12,%rbp), %r12d<br>
> +; AVX-NEXT:    movzbl (%r14,%rbp), %r14d<br>
> +; AVX-NEXT:    movzbl (%r11,%rbp), %r11d<br>
> +; AVX-NEXT:    movzbl (%r10,%rbp), %r10d<br>
> +; AVX-NEXT:    movzbl (%r9,%rbp), %r9d<br>
> +; AVX-NEXT:    movzbl (%r8,%rbp), %ebp<br>
> +; AVX-NEXT:    vpinsrb $2, %ebp, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $3, %r9d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $4, %r10d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $5, %r11d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $6, %r14d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $7, %r12d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $8, %r13d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $9, %edx, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $10, %eax, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $11, %ecx, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $12, %ebx, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $13, %esi, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $14, %r15d, %xmm0, %xmm0<br>
> +; AVX-NEXT:    vpinsrb $15, %edi, %xmm0, %xmm0<br>
> +; AVX-NEXT:    popq %rbx<br>
> +; AVX-NEXT:    popq %r12<br>
> +; AVX-NEXT:    popq %r13<br>
> +; AVX-NEXT:    popq %r14<br>
> +; AVX-NEXT:    popq %r15<br>
> +; AVX-NEXT:    popq %rbp<br>
> ; AVX-NEXT:    retq<br>
>   %p0  = getelementptr inbounds i8, i8* %i, i64 0<br>
>   %p1  = getelementptr inbounds i8, i8* %i, i64 1<br>
> @@ -1057,27 +1159,27 @@ define <8 x i16> @var_shuffle_v8i16_v8i1<br>
> ; SSE2-NEXT:    movswq %r8w, %rdi<br>
> ; SSE2-NEXT:    movaps %xmm1, -{{[0-9]+}}(%rsp)<br>
> ; SSE2-NEXT:    movswq %r9w, %rax<br>
> +; SSE2-NEXT:    movzwl -24(%rsp,%rsi,2), %esi<br>
> ; SSE2-NEXT:    xorl %edx, %edx<br>
> ; SSE2-NEXT:    movd %edx, %xmm0<br>
> ; SSE2-NEXT:    movzwl -24(%rsp,%rcx,2), %ecx<br>
> ; SSE2-NEXT:    movd %ecx, %xmm1<br>
> ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> +; SSE2-NEXT:    movd %esi, %xmm2<br>
> ; SSE2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm2<br>
> -; SSE2-NEXT:    movzwl -24(%rsp,%rsi,2), %eax<br>
> ; SSE2-NEXT:    movd %eax, %xmm3<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[<wbr>1],xmm3[2],xmm2[2],xmm3[3],<wbr>xmm2[3]<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[<wbr>1],xmm3[2],xmm1[2],xmm3[3],<wbr>xmm1[3]<br>
> -; SSE2-NEXT:    movzwl -40(%rsp,%r11,2), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm1<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> -; SSE2-NEXT:    movzwl -40(%rsp,%rdi,2), %eax<br>
> -; SSE2-NEXT:    movd %eax, %xmm2<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[<wbr>1],xmm2[2],xmm3[2],xmm2[3],<wbr>xmm3[3]<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3]<br>
> ; SSE2-NEXT:    movzwl -40(%rsp,%r10,2), %eax<br>
> +; SSE2-NEXT:    movzwl -40(%rsp,%r11,2), %ecx<br>
> +; SSE2-NEXT:    movd %ecx, %xmm1<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> ; SSE2-NEXT:    movd %eax, %xmm0<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3]<br>
> -; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3]<br>
> +; SSE2-NEXT:    movzwl -40(%rsp,%rdi,2), %eax<br>
> +; SSE2-NEXT:    movd %eax, %xmm3<br>
> ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3]<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3]<br>
> +; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3]<br>
> ; SSE2-NEXT:    retq<br>
> ;<br>
> ; SSSE3-LABEL: var_shuffle_v8i16_v8i16_<wbr>xyxyxy00_i16:<br>
> @@ -1096,27 +1198,27 @@ define <8 x i16> @var_shuffle_v8i16_v8i1<br>
> ; SSSE3-NEXT:    movswq %r8w, %rdi<br>
> ; SSSE3-NEXT:    movaps %xmm1, -{{[0-9]+}}(%rsp)<br>
> ; SSSE3-NEXT:    movswq %r9w, %rax<br>
> +; SSSE3-NEXT:    movzwl -24(%rsp,%rsi,2), %esi<br>
> ; SSSE3-NEXT:    xorl %edx, %edx<br>
> ; SSSE3-NEXT:    movd %edx, %xmm0<br>
> ; SSSE3-NEXT:    movzwl -24(%rsp,%rcx,2), %ecx<br>
> ; SSSE3-NEXT:    movd %ecx, %xmm1<br>
> ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> +; SSSE3-NEXT:    movd %esi, %xmm2<br>
> ; SSSE3-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm2<br>
> -; SSSE3-NEXT:    movzwl -24(%rsp,%rsi,2), %eax<br>
> ; SSSE3-NEXT:    movd %eax, %xmm3<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[<wbr>1],xmm3[2],xmm2[2],xmm3[3],<wbr>xmm2[3]<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[<wbr>1],xmm3[2],xmm1[2],xmm3[3],<wbr>xmm1[3]<br>
> -; SSSE3-NEXT:    movzwl -40(%rsp,%r11,2), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm1<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> -; SSSE3-NEXT:    movzwl -40(%rsp,%rdi,2), %eax<br>
> -; SSSE3-NEXT:    movd %eax, %xmm2<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[<wbr>1],xmm2[2],xmm3[2],xmm2[3],<wbr>xmm3[3]<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[<wbr>1],xmm2[2],xmm1[2],xmm2[3],<wbr>xmm1[3]<br>
> ; SSSE3-NEXT:    movzwl -40(%rsp,%r10,2), %eax<br>
> +; SSSE3-NEXT:    movzwl -40(%rsp,%r11,2), %ecx<br>
> +; SSSE3-NEXT:    movd %ecx, %xmm1<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[<wbr>1],xmm1[2],xmm0[2],xmm1[3],<wbr>xmm0[3]<br>
> ; SSSE3-NEXT:    movd %eax, %xmm0<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3]<br>
> -; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3]<br>
> +; SSSE3-NEXT:    movzwl -40(%rsp,%rdi,2), %eax<br>
> +; SSSE3-NEXT:    movd %eax, %xmm3<br>
> ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[<wbr>1],xmm0[2],xmm3[2],xmm0[3],<wbr>xmm3[3]<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[<wbr>1],xmm0[2],xmm1[2],xmm0[3],<wbr>xmm1[3]<br>
> +; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[<wbr>1],xmm0[2],xmm2[2],xmm0[3],<wbr>xmm2[3]<br>
> ; SSSE3-NEXT:    retq<br>
> ;<br>
> ; SSE41-LABEL: var_shuffle_v8i16_v8i16_<wbr>xyxyxy00_i16:<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>vector-shuffle-variable-256.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/vector-shuffle-variable-256.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/vector-shuffle-<wbr>variable-256.ll?rev=282604&r1=<wbr>282603&r2=282604&view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>vector-shuffle-variable-256.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>vector-shuffle-variable-256.ll Wed Sep 28 11:37:50 2016<br>
> @@ -1,4 +1,4 @@<br>
> -; NOTE: Assertions have been autogenerated by update_llc_test_checks.py<br>
> +; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.<wbr>py<br>
> ; RUN: llc < %s -mtriple=x86_64-unknown-<wbr>unknown -mcpu=x86-64 -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1<br>
> ; RUN: llc < %s -mtriple=x86_64-unknown-<wbr>unknown -mcpu=x86-64 -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2<br>
><br>
> @@ -18,7 +18,7 @@ define <4 x double> @var_shuffle_v4f64_v<br>
> ; ALL-NEXT:    vmovhpd {{.*#+}} xmm0 = xmm0[0],mem[0]<br>
> ; ALL-NEXT:    vmovsd {{.*#+}} xmm1 = mem[0],zero<br>
> ; ALL-NEXT:    vmovhpd {{.*#+}} xmm1 = xmm1[0],mem[0]<br>
> -; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> +; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0<br>
> ; ALL-NEXT:    movq %rbp, %rsp<br>
> ; ALL-NEXT:    popq %rbp<br>
> ; ALL-NEXT:    retq<br>
> @@ -67,7 +67,7 @@ define <4 x double> @var_shuffle_v4f64_v<br>
> ; ALL-NEXT:    vmovhpd {{.*#+}} xmm0 = xmm0[0],mem[0]<br>
> ; ALL-NEXT:    vmovsd {{.*#+}} xmm1 = mem[0],zero<br>
> ; ALL-NEXT:    vmovhpd {{.*#+}} xmm1 = xmm1[0],mem[0]<br>
> -; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> +; ALL-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0<br>
> ; ALL-NEXT:    retq<br>
>   %x0 = extractelement <2 x double> %x, i64 %i0<br>
>   %x1 = extractelement <2 x double> %x, i64 %i1<br>
> @@ -90,11 +90,11 @@ define <4 x i64> @var_shuffle_v4i64_v4i6<br>
> ; AVX1-NEXT:    vmovaps %ymm0, (%rsp)<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> +; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> -; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]<br>
> -; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> +; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]<br>
> +; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX1-NEXT:    movq %rbp, %rsp<br>
> ; AVX1-NEXT:    popq %rbp<br>
> ; AVX1-NEXT:    retq<br>
> @@ -108,11 +108,11 @@ define <4 x i64> @var_shuffle_v4i64_v4i6<br>
> ; AVX2-NEXT:    vmovaps %ymm0, (%rsp)<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> +; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> -; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]<br>
> -; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0<br>
> +; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]<br>
> +; AVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX2-NEXT:    movq %rbp, %rsp<br>
> ; AVX2-NEXT:    popq %rbp<br>
> ; AVX2-NEXT:    retq<br>
> @@ -137,7 +137,7 @@ define <4 x i64> @var_shuffle_v4i64_v4i6<br>
> ; AVX1-NEXT:    vmovaps %ymm0, (%rsp)<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> +; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]<br>
> ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1<br>
> ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX1-NEXT:    movq %rbp, %rsp<br>
> @@ -153,7 +153,7 @@ define <4 x i64> @var_shuffle_v4i64_v4i6<br>
> ; AVX2-NEXT:    vmovaps %ymm0, (%rsp)<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> +; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]<br>
> ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1<br>
> ; AVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX2-NEXT:    movq %rbp, %rsp<br>
> @@ -176,11 +176,11 @@ define <4 x i64> @var_shuffle_v4i64_v2i6<br>
> ; AVX1-NEXT:    vmovaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> +; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> -; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]<br>
> -; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> +; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]<br>
> +; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX1-NEXT:    retq<br>
> ;<br>
> ; AVX2-LABEL: var_shuffle_v4i64_v2i64_xxxx_<wbr>i64:<br>
> @@ -188,11 +188,11 @@ define <4 x i64> @var_shuffle_v4i64_v2i6<br>
> ; AVX2-NEXT:    vmovaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> +; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> -; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]<br>
> -; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0<br>
> +; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]<br>
> +; AVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX2-NEXT:    retq<br>
>   %x0 = extractelement <2 x i64> %x, i64 %i0<br>
>   %x1 = extractelement <2 x i64> %x, i64 %i1<br>
> @@ -210,29 +210,29 @@ define <8 x float> @var_shuffle_v8f32_v8<br>
> ; AVX1:       # BB#0:<br>
> ; AVX1-NEXT:    pushq %rbp<br>
> ; AVX1-NEXT:    movq %rsp, %rbp<br>
> -; AVX1-NEXT:    pushq %rbx<br>
> ; AVX1-NEXT:    andq $-32, %rsp<br>
> ; AVX1-NEXT:    subq $64, %rsp<br>
> ; AVX1-NEXT:    movslq %edi, %rax<br>
> -; AVX1-NEXT:    movslq %esi, %rbx<br>
> -; AVX1-NEXT:    movslq %edx, %r11<br>
> -; AVX1-NEXT:    movslq %ecx, %r10<br>
> -; AVX1-NEXT:    movslq %r8d, %rdi<br>
> +; AVX1-NEXT:    movslq %esi, %rsi<br>
> +; AVX1-NEXT:    movslq %edx, %rdx<br>
> +; AVX1-NEXT:    movslq %ecx, %r11<br>
> +; AVX1-NEXT:    movslq %r8d, %r10<br>
> ; AVX1-NEXT:    vmovaps %ymm0, (%rsp)<br>
> -; AVX1-NEXT:    movslq %r9d, %rcx<br>
> -; AVX1-NEXT:    movslq 16(%rbp), %rdx<br>
> -; AVX1-NEXT:    movslq 24(%rbp), %rsi<br>
> +; AVX1-NEXT:    movslq %r9d, %r8<br>
> +; AVX1-NEXT:    movslq 16(%rbp), %rdi<br>
> +; AVX1-NEXT:    movslq 24(%rbp), %rcx<br>
> ; AVX1-NEXT:    vmovss {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> -; AVX1-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0],mem[0],xmm0[2,3]<br>
> -; AVX1-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]<br>
> -; AVX1-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1,2],mem[0]<br>
> ; AVX1-NEXT:    vmovss {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; AVX1-NEXT:    vinsertps {{.*#+}} xmm1 = xmm1[0],mem[0],xmm1[2,3]<br>
> -; AVX1-NEXT:    vinsertps {{.*#+}} xmm1 = xmm1[0,1],mem[0],xmm1[3]<br>
> -; AVX1-NEXT:    vinsertps {{.*#+}} xmm1 = xmm1[0,1,2],mem[0]<br>
> -; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> -; AVX1-NEXT:    leaq -8(%rbp), %rsp<br>
> -; AVX1-NEXT:    popq %rbx<br>
> +; AVX1-NEXT:    vmovss {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; AVX1-NEXT:    vinsertps {{.*#+}} xmm2 = xmm2[0],mem[0],xmm2[2,3]<br>
> +; AVX1-NEXT:    vinsertps {{.*#+}} xmm2 = xmm2[0,1],mem[0],xmm2[3]<br>
> +; AVX1-NEXT:    vinsertps {{.*#+}} xmm2 = xmm2[0,1,2],mem[0]<br>
> +; AVX1-NEXT:    vmovss {{.*#+}} xmm3 = mem[0],zero,zero,zero<br>
> +; AVX1-NEXT:    vinsertps {{.*#+}} xmm3 = xmm3[0],mem[0],xmm3[2,3]<br>
> +; AVX1-NEXT:    vinsertps {{.*#+}} xmm0 = xmm3[0,1],xmm0[0],xmm3[3]<br>
> +; AVX1-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[0]<br>
> +; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm2, %ymm0<br>
> +; AVX1-NEXT:    movq %rbp, %rsp<br>
> ; AVX1-NEXT:    popq %rbp<br>
> ; AVX1-NEXT:    retq<br>
> ;<br>
> @@ -284,26 +284,26 @@ define <8 x float> @var_shuffle_v8f32_v8<br>
> define <8 x float> @var_shuffle_v8f32_v4f32_<wbr>xxxxxxxx_i32(<4 x float> %x, i32 %i0, i32 %i1, i32 %i2, i32 %i3, i32 %i4, i32 %i5, i32 %i6, i32 %i7) nounwind {<br>
> ; ALL-LABEL: var_shuffle_v8f32_v4f32_<wbr>xxxxxxxx_i32:<br>
> ; ALL:       # BB#0:<br>
> -; ALL-NEXT:    pushq %rbx<br>
> ; ALL-NEXT:    movslq %edi, %rax<br>
> -; ALL-NEXT:    movslq %esi, %rbx<br>
> -; ALL-NEXT:    movslq %edx, %r11<br>
> -; ALL-NEXT:    movslq %ecx, %r10<br>
> -; ALL-NEXT:    movslq %r8d, %rdi<br>
> +; ALL-NEXT:    movslq %esi, %rsi<br>
> +; ALL-NEXT:    movslq %edx, %rdx<br>
> +; ALL-NEXT:    movslq %ecx, %r11<br>
> +; ALL-NEXT:    movslq %r8d, %r10<br>
> ; ALL-NEXT:    vmovaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> -; ALL-NEXT:    movslq %r9d, %rcx<br>
> -; ALL-NEXT:    movslq {{[0-9]+}}(%rsp), %rdx<br>
> -; ALL-NEXT:    movslq {{[0-9]+}}(%rsp), %rsi<br>
> +; ALL-NEXT:    movslq %r9d, %r8<br>
> +; ALL-NEXT:    movslq {{[0-9]+}}(%rsp), %rdi<br>
> +; ALL-NEXT:    movslq {{[0-9]+}}(%rsp), %rcx<br>
> ; ALL-NEXT:    vmovss {{.*#+}} xmm0 = mem[0],zero,zero,zero<br>
> -; ALL-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0],mem[0],xmm0[2,3]<br>
> -; ALL-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1],mem[0],xmm0[3]<br>
> -; ALL-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1,2],mem[0]<br>
> ; ALL-NEXT:    vmovss {{.*#+}} xmm1 = mem[0],zero,zero,zero<br>
> -; ALL-NEXT:    vinsertps {{.*#+}} xmm1 = xmm1[0],mem[0],xmm1[2,3]<br>
> -; ALL-NEXT:    vinsertps {{.*#+}} xmm1 = xmm1[0,1],mem[0],xmm1[3]<br>
> -; ALL-NEXT:    vinsertps {{.*#+}} xmm1 = xmm1[0,1,2],mem[0]<br>
> -; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> -; ALL-NEXT:    popq %rbx<br>
> +; ALL-NEXT:    vmovss {{.*#+}} xmm2 = mem[0],zero,zero,zero<br>
> +; ALL-NEXT:    vinsertps {{.*#+}} xmm2 = xmm2[0],mem[0],xmm2[2,3]<br>
> +; ALL-NEXT:    vinsertps {{.*#+}} xmm2 = xmm2[0,1],mem[0],xmm2[3]<br>
> +; ALL-NEXT:    vinsertps {{.*#+}} xmm2 = xmm2[0,1,2],mem[0]<br>
> +; ALL-NEXT:    vmovss {{.*#+}} xmm3 = mem[0],zero,zero,zero<br>
> +; ALL-NEXT:    vinsertps {{.*#+}} xmm3 = xmm3[0],mem[0],xmm3[2,3]<br>
> +; ALL-NEXT:    vinsertps {{.*#+}} xmm0 = xmm3[0,1],xmm0[0],xmm3[3]<br>
> +; ALL-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[0]<br>
> +; ALL-NEXT:    vinsertf128 $1, %xmm0, %ymm2, %ymm0<br>
> ; ALL-NEXT:    retq<br>
>   %x0 = extractelement <4 x float> %x, i32 %i0<br>
>   %x1 = extractelement <4 x float> %x, i32 %i1<br>
> @@ -336,19 +336,26 @@ define <16 x i16> @var_shuffle_v16i16_v1<br>
> ; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> ; AVX1-NEXT:    vmovd %eax, %xmm0<br>
> ; AVX1-NEXT:    movslq 40(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $1, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $1, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq 48(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $2, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $2, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq 56(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $3, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $3, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq 64(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $4, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $4, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq 72(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $5, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $5, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq 80(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $6, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $6, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq 88(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $7, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $7, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq %edi, %rax<br>
> ; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> ; AVX1-NEXT:    vmovd %eax, %xmm1<br>
> @@ -363,9 +370,11 @@ define <16 x i16> @var_shuffle_v16i16_v1<br>
> ; AVX1-NEXT:    movslq %r9d, %rax<br>
> ; AVX1-NEXT:    vpinsrw $5, (%rsp,%rax,2), %xmm1, %xmm1<br>
> ; AVX1-NEXT:    movslq 16(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $6, (%rsp,%rax,2), %xmm1, %xmm1<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $6, %eax, %xmm1, %xmm1<br>
> ; AVX1-NEXT:    movslq 24(%rbp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $7, (%rsp,%rax,2), %xmm1, %xmm1<br>
> +; AVX1-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $7, %eax, %xmm1, %xmm1<br>
> ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> ; AVX1-NEXT:    movq %rbp, %rsp<br>
> ; AVX1-NEXT:    popq %rbp<br>
> @@ -382,19 +391,26 @@ define <16 x i16> @var_shuffle_v16i16_v1<br>
> ; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> ; AVX2-NEXT:    vmovd %eax, %xmm0<br>
> ; AVX2-NEXT:    movslq 40(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $1, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $1, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq 48(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $2, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $2, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq 56(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $3, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $3, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq 64(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $4, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $4, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq 72(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $5, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $5, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq 80(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $6, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $6, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq 88(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $7, (%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $7, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq %edi, %rax<br>
> ; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> ; AVX2-NEXT:    vmovd %eax, %xmm1<br>
> @@ -409,9 +425,11 @@ define <16 x i16> @var_shuffle_v16i16_v1<br>
> ; AVX2-NEXT:    movslq %r9d, %rax<br>
> ; AVX2-NEXT:    vpinsrw $5, (%rsp,%rax,2), %xmm1, %xmm1<br>
> ; AVX2-NEXT:    movslq 16(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $6, (%rsp,%rax,2), %xmm1, %xmm1<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $6, %eax, %xmm1, %xmm1<br>
> ; AVX2-NEXT:    movslq 24(%rbp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $7, (%rsp,%rax,2), %xmm1, %xmm1<br>
> +; AVX2-NEXT:    movzwl (%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $7, %eax, %xmm1, %xmm1<br>
> ; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0<br>
> ; AVX2-NEXT:    movq %rbp, %rsp<br>
> ; AVX2-NEXT:    popq %rbp<br>
> @@ -459,19 +477,26 @@ define <16 x i16> @var_shuffle_v16i16_v8<br>
> ; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> ; AVX1-NEXT:    vmovd %eax, %xmm0<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $1, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $1, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $2, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $2, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $3, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $3, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $4, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $4, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $5, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $5, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $6, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $6, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $7, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $7, %eax, %xmm0, %xmm0<br>
> ; AVX1-NEXT:    movslq %edi, %rax<br>
> ; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> ; AVX1-NEXT:    vmovd %eax, %xmm1<br>
> @@ -486,9 +511,11 @@ define <16 x i16> @var_shuffle_v16i16_v8<br>
> ; AVX1-NEXT:    movslq %r9d, %rax<br>
> ; AVX1-NEXT:    vpinsrw $5, -24(%rsp,%rax,2), %xmm1, %xmm1<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $6, -24(%rsp,%rax,2), %xmm1, %xmm1<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $6, %eax, %xmm1, %xmm1<br>
> ; AVX1-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX1-NEXT:    vpinsrw $7, -24(%rsp,%rax,2), %xmm1, %xmm1<br>
> +; AVX1-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX1-NEXT:    vpinsrw $7, %eax, %xmm1, %xmm1<br>
> ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> ; AVX1-NEXT:    retq<br>
> ;<br>
> @@ -499,19 +526,26 @@ define <16 x i16> @var_shuffle_v16i16_v8<br>
> ; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> ; AVX2-NEXT:    vmovd %eax, %xmm0<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $1, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $1, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $2, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $2, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $3, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $3, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $4, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $4, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $5, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $5, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $6, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $6, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $7, -24(%rsp,%rax,2), %xmm0, %xmm0<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $7, %eax, %xmm0, %xmm0<br>
> ; AVX2-NEXT:    movslq %edi, %rax<br>
> ; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> ; AVX2-NEXT:    vmovd %eax, %xmm1<br>
> @@ -526,9 +560,11 @@ define <16 x i16> @var_shuffle_v16i16_v8<br>
> ; AVX2-NEXT:    movslq %r9d, %rax<br>
> ; AVX2-NEXT:    vpinsrw $5, -24(%rsp,%rax,2), %xmm1, %xmm1<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $6, -24(%rsp,%rax,2), %xmm1, %xmm1<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $6, %eax, %xmm1, %xmm1<br>
> ; AVX2-NEXT:    movslq {{[0-9]+}}(%rsp), %rax<br>
> -; AVX2-NEXT:    vpinsrw $7, -24(%rsp,%rax,2), %xmm1, %xmm1<br>
> +; AVX2-NEXT:    movzwl -24(%rsp,%rax,2), %eax<br>
> +; AVX2-NEXT:    vpinsrw $7, %eax, %xmm1, %xmm1<br>
> ; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0<br>
> ; AVX2-NEXT:    retq<br>
>   %x0  = extractelement <8 x i16> %x, i32 %i0<br>
> @@ -584,11 +620,11 @@ define <4 x i64> @mem_shuffle_v4i64_v4i6<br>
> ; AVX1-NEXT:    vmovaps %ymm0, (%rsp)<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> -; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> ; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]<br>
> -; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> +; AVX1-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> +; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]<br>
> +; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX1-NEXT:    movq %rbp, %rsp<br>
> ; AVX1-NEXT:    popq %rbp<br>
> ; AVX1-NEXT:    retq<br>
> @@ -606,11 +642,11 @@ define <4 x i64> @mem_shuffle_v4i64_v4i6<br>
> ; AVX2-NEXT:    vmovaps %ymm0, (%rsp)<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> -; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> ; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]<br>
> -; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0<br>
> +; AVX2-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> +; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]<br>
> +; AVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX2-NEXT:    movq %rbp, %rsp<br>
> ; AVX2-NEXT:    popq %rbp<br>
> ; AVX2-NEXT:    retq<br>
> @@ -643,11 +679,11 @@ define <4 x i64> @mem_shuffle_v4i64_v2i6<br>
> ; AVX1-NEXT:    vmovaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> -; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> ; AVX1-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> ; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]<br>
> -; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0<br>
> +; AVX1-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> +; AVX1-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]<br>
> +; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX1-NEXT:    retq<br>
> ;<br>
> ; AVX2-LABEL: mem_shuffle_v4i64_v2i64_xxxx_<wbr>i64:<br>
> @@ -659,11 +695,11 @@ define <4 x i64> @mem_shuffle_v4i64_v2i6<br>
> ; AVX2-NEXT:    vmovaps %xmm0, -{{[0-9]+}}(%rsp)<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> -; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]<br>
> -; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero<br>
> ; AVX2-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> ; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]<br>
> -; AVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0<br>
> +; AVX2-NEXT:    vmovq {{.*#+}} xmm2 = mem[0],zero<br>
> +; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]<br>
> +; AVX2-NEXT:    vinserti128 $1, %xmm1, %ymm0, %ymm0<br>
> ; AVX2-NEXT:    retq<br>
>   %p0  = getelementptr inbounds i64, i64* %i, i32 0<br>
>   %p1  = getelementptr inbounds i64, i64* %i, i32 1<br>
><br>
> Modified: llvm/trunk/test/CodeGen/X86/<wbr>win32-eh.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/X86/win32-eh.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/X86/win32-eh.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/X86/<wbr>win32-eh.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/X86/<wbr>win32-eh.ll Wed Sep 28 11:37:50 2016<br>
> @@ -27,26 +27,23 @@ catch:<br>
><br>
> ; CHECK-LABEL: _use_except_handler3:<br>
> ; CHECK: pushl %ebp<br>
> -; CHECK-NEXT: movl %esp, %ebp<br>
> -; CHECK-NEXT: pushl %ebx<br>
> -; CHECK-NEXT: pushl %edi<br>
> -; CHECK-NEXT: pushl %esi<br>
> -; CHECK-NEXT: subl ${{[0-9]+}}, %esp<br>
> -; CHECK-NEXT: movl %esp, -36(%ebp)<br>
> -; CHECK-NEXT: movl $-1, -16(%ebp)<br>
> -; CHECK-NEXT: movl $L__ehtable$use_except_<wbr>handler3, -20(%ebp)<br>
> -; CHECK-NEXT: leal -28(%ebp), %[[node:[^ ,]*]]<br>
> -; CHECK-NEXT: movl $__except_handler3, -24(%ebp)<br>
> -; CHECK-NEXT: movl %fs:0, %[[next:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[next]], -28(%ebp)<br>
> -; CHECK-NEXT: movl %[[node]], %fs:0<br>
> -; CHECK-NEXT: movl $0, -16(%ebp)<br>
> -; CHECK-NEXT: calll _may_throw_or_crash<br>
> -<br>
> +; CHECK: movl %esp, %ebp<br>
> +; CHECK: pushl %ebx<br>
> +; CHECK: pushl %edi<br>
> +; CHECK: pushl %esi<br>
> +; CHECK: subl ${{[0-9]+}}, %esp<br>
> +; CHECK: movl $-1, -16(%ebp)<br>
> +; CHECK: movl $L__ehtable$use_except_<wbr>handler3, -20(%ebp)<br>
> +; CHECK: leal -28(%ebp), %[[node:[^ ,]*]]<br>
> +; CHECK: movl $__except_handler3, -24(%ebp)<br>
> +; CHECK: movl %fs:0, %[[next:[^ ,]*]]<br>
> +; CHECK: movl %[[next]], -28(%ebp)<br>
> +; CHECK: movl %[[node]], %fs:0<br>
> +; CHECK: calll _may_throw_or_crash<br>
> ; CHECK: movl -28(%ebp), %[[next:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[next]], %fs:0<br>
> +; CHECK: movl %[[next]], %fs:0<br>
> ; CHECK: retl<br>
> -; CHECK-NEXT: LBB1_2: # %catch{{$}}<br>
> +; CHECK: LBB1_2: # %catch{{$}}<br>
><br>
> ; CHECK: .section .xdata,"dr"<br>
> ; CHECK-LABEL: L__ehtable$use_except_<wbr>handler3:<br>
> @@ -69,37 +66,23 @@ catch:<br>
><br>
> ; CHECK-LABEL: _use_except_handler4:<br>
> ; CHECK: pushl %ebp<br>
> -; CHECK-NEXT: movl %esp, %ebp<br>
> -; CHECK-NEXT: pushl %ebx<br>
> -; CHECK-NEXT: pushl %edi<br>
> -; CHECK-NEXT: pushl %esi<br>
> -; CHECK-NEXT: subl ${{[0-9]+}}, %esp<br>
> -; CHECK-NEXT: movl %ebp, %eax<br>
> -; CHECK-NEXT: movl %esp, -36(%ebp)<br>
> -; CHECK-NEXT: movl $-2, -16(%ebp)<br>
> -; CHECK-NEXT: movl $L__ehtable$use_except_<wbr>handler4, %[[lsda:[^ ,]*]]<br>
> -; CHECK-NEXT: movl ___security_cookie, %[[seccookie:[^ ,]*]]<br>
> -; CHECK-NEXT: xorl %[[seccookie]], %[[lsda]]<br>
> -; CHECK-NEXT: movl %[[lsda]], -20(%ebp)<br>
> -; CHECK-NEXT: xorl %[[seccookie]], %[[tmp1:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[tmp1]], -40(%ebp)<br>
> -; CHECK-NEXT: leal -28(%ebp), %[[node:[^ ,]*]]<br>
> -; CHECK-NEXT: movl $__except_handler4, -24(%ebp)<br>
> -; CHECK-NEXT: movl %fs:0, %[[next:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[next]], -28(%ebp)<br>
> -; CHECK-NEXT: movl %[[node]], %fs:0<br>
> -; CHECK-NEXT: movl $0, -16(%ebp)<br>
> -; CHECK-NEXT: calll _may_throw_or_crash<br>
> -<br>
> +; CHECK: movl %esp, %ebp<br>
> +; CHECK: subl ${{[0-9]+}}, %esp<br>
> +; CHECK: movl %esp, -36(%ebp)<br>
> +; CHECK: movl $-2, -16(%ebp)<br>
> +; CHECK: movl $L__ehtable$use_except_<wbr>handler4, %[[lsda:[^ ,]*]]<br>
> +; CHECK: xorl ___security_cookie, %[[lsda]]<br>
> +; CHECK: movl %[[lsda]], -20(%ebp)<br>
> +; CHECK: leal -28(%ebp), %[[node:[^ ,]*]]<br>
> +; CHECK: movl $__except_handler4, -24(%ebp)<br>
> +; CHECK: movl %fs:0, %[[next:[^ ,]*]]<br>
> +; CHECK: movl %[[next]], -28(%ebp)<br>
> +; CHECK: movl %[[node]], %fs:0<br>
> +; CHECK: calll _may_throw_or_crash<br>
> ; CHECK: movl -28(%ebp), %[[next:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[next]], %fs:0<br>
> -; CHECK-NEXT: addl $28, %esp<br>
> -; CHECK-NEXT: popl %esi<br>
> -; CHECK-NEXT: popl %edi<br>
> -; CHECK-NEXT: popl %ebx<br>
> -; CHECK-NEXT: popl %ebp<br>
> -; CHECK-NEXT: retl<br>
> -; CHECK-NEXT: LBB2_2: # %catch{{$}}<br>
> +; CHECK: movl %[[next]], %fs:0<br>
> +; CHECK: retl<br>
> +; CHECK: LBB2_2: # %catch{{$}}<br>
><br>
> ; CHECK: .section .xdata,"dr"<br>
> ; CHECK-LABEL: L__ehtable$use_except_<wbr>handler4:<br>
> @@ -126,33 +109,26 @@ catch:<br>
><br>
> ; CHECK-LABEL: _use_except_handler4_ssp:<br>
> ; CHECK: pushl %ebp<br>
> -; CHECK-NEXT: movl %esp, %ebp<br>
> -; CHECK-NEXT: pushl %ebx<br>
> -; CHECK-NEXT: pushl %edi<br>
> -; CHECK-NEXT: pushl %esi<br>
> -; CHECK-NEXT: subl ${{[0-9]+}}, %esp<br>
> -; CHECK-NEXT: movl %ebp, %[[ehguard:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %esp, -36(%ebp)<br>
> -; CHECK-NEXT: movl $-2, -16(%ebp)<br>
> -; CHECK-NEXT: movl $L__ehtable$use_except_<wbr>handler4_ssp, %[[lsda:[^ ,]*]]<br>
> -; CHECK-NEXT: movl ___security_cookie, %[[seccookie:[^ ,]*]]<br>
> -; CHECK-NEXT: xorl %[[seccookie]], %[[lsda]]<br>
> -; CHECK-NEXT: movl %[[lsda]], -20(%ebp)<br>
> -; CHECK-NEXT: xorl %[[seccookie]], %[[ehguard]]<br>
> -; CHECK-NEXT: movl %[[ehguard]], -40(%ebp)<br>
> -; CHECK-NEXT: leal -28(%ebp), %[[node:[^ ,]*]]<br>
> -; CHECK-NEXT: movl $__except_handler4, -24(%ebp)<br>
> -; CHECK-NEXT: movl %fs:0, %[[next:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[next]], -28(%ebp)<br>
> -; CHECK-NEXT: movl %[[node]], %fs:0<br>
> -; CHECK-NEXT: movl $0, -16(%ebp)<br>
> -; CHECK-NEXT: calll _may_throw_or_crash<br>
> +; CHECK: movl %esp, %ebp<br>
> +; CHECK: subl ${{[0-9]+}}, %esp<br>
> +; CHECK: movl %ebp, %[[ehguard:[^ ,]*]]<br>
> +; CHECK: movl %esp, -36(%ebp)<br>
> +; CHECK: movl $-2, -16(%ebp)<br>
> +; CHECK: movl $L__ehtable$use_except_<wbr>handler4_ssp, %[[lsda:[^ ,]*]]<br>
> +; CHECK: xorl ___security_cookie, %[[lsda]]<br>
> +; CHECK: movl %[[lsda]], -20(%ebp)<br>
> +; CHECK: xorl ___security_cookie, %[[ehguard]]<br>
> +; CHECK: movl %[[ehguard]], -40(%ebp)<br>
> +; CHECK: leal -28(%ebp), %[[node:[^ ,]*]]<br>
> +; CHECK: movl $__except_handler4, -24(%ebp)<br>
> +; CHECK: movl %fs:0, %[[next:[^ ,]*]]<br>
> +; CHECK: movl %[[next]], -28(%ebp)<br>
> +; CHECK: movl %[[node]], %fs:0<br>
> +; CHECK: calll _may_throw_or_crash<br>
> ; CHECK: movl -28(%ebp), %[[next:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[next]], %fs:0<br>
> +; CHECK: movl %[[next]], %fs:0<br>
> ; CHECK: retl<br>
> -; CHECK-NEXT: [[catch:[^ ,]*]]: # %catch{{$}}<br>
> -<br>
> -<br>
> +; CHECK: [[catch:[^ ,]*]]: # %catch{{$}}<br>
><br>
> ; CHECK: .section .xdata,"dr"<br>
> ; CHECK-LABEL: L__ehtable$use_except_<wbr>handler4_ssp:<br>
> @@ -179,26 +155,23 @@ catch:<br>
><br>
> ; CHECK-LABEL: _use_CxxFrameHandler3:<br>
> ; CHECK: pushl %ebp<br>
> -; CHECK-NEXT: movl %esp, %ebp<br>
> -; CHECK-NEXT: pushl %ebx<br>
> -; CHECK-NEXT: pushl %edi<br>
> -; CHECK-NEXT: pushl %esi<br>
> -; CHECK-NEXT: subl ${{[0-9]+}}, %esp<br>
> -; CHECK-NEXT: movl %esp, -28(%ebp)<br>
> -; CHECK-NEXT: movl $-1, -16(%ebp)<br>
> -; CHECK-NEXT: leal -24(%ebp), %[[node:[^ ,]*]]<br>
> -; CHECK-NEXT: movl $___ehhandler$use_<wbr>CxxFrameHandler3, -20(%ebp)<br>
> -; CHECK-NEXT: movl %fs:0, %[[next:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[next]], -24(%ebp)<br>
> -; CHECK-NEXT: movl %[[node]], %fs:0<br>
> -; CHECK-NEXT: movl $0, -16(%ebp)<br>
> -; CHECK-NEXT: calll _may_throw_or_crash<br>
> +; CHECK: movl %esp, %ebp<br>
> +; CHECK: subl ${{[0-9]+}}, %esp<br>
> +; CHECK: movl %esp, -28(%ebp)<br>
> +; CHECK: movl $-1, -16(%ebp)<br>
> +; CHECK: leal -24(%ebp), %[[node:[^ ,]*]]<br>
> +; CHECK: movl $___ehhandler$use_<wbr>CxxFrameHandler3, -20(%ebp)<br>
> +; CHECK: movl %fs:0, %[[next:[^ ,]*]]<br>
> +; CHECK: movl %[[next]], -24(%ebp)<br>
> +; CHECK: movl %[[node]], %fs:0<br>
> +; CHECK: movl $0, -16(%ebp)<br>
> +; CHECK: calll _may_throw_or_crash<br>
> ; CHECK: movl -24(%ebp), %[[next:[^ ,]*]]<br>
> -; CHECK-NEXT: movl %[[next]], %fs:0<br>
> +; CHECK: movl %[[next]], %fs:0<br>
> ; CHECK: retl<br>
><br>
> ; CHECK: .section .xdata,"dr"<br>
> -; CHECK-NEXT: .p2align 2<br>
> +; CHECK: .p2align 2<br>
> ; CHECK-LABEL: L__ehtable$use_<wbr>CxxFrameHandler3:<br>
> ; CHECK-NEXT:  .long   429065506<br>
> ; CHECK-NEXT:  .long   2<br>
> @@ -212,8 +185,8 @@ catch:<br>
><br>
> ; CHECK-LABEL: ___ehhandler$use_<wbr>CxxFrameHandler3:<br>
> ; CHECK: movl $L__ehtable$use_<wbr>CxxFrameHandler3, %eax<br>
> -; CHECK-NEXT: jmp  ___CxxFrameHandler3 # TAILCALL<br>
> +; CHECK: jmp  ___CxxFrameHandler3 # TAILCALL<br>
><br>
> ; CHECK: .safeseh __except_handler3<br>
> -; CHECK-NEXT: .safeseh __except_handler4<br>
> -; CHECK-NEXT: .safeseh ___ehhandler$use_<wbr>CxxFrameHandler3<br>
> +; CHECK: .safeseh __except_handler4<br>
> +; CHECK: .safeseh ___ehhandler$use_<wbr>CxxFrameHandler3<br>
><br>
> Modified: llvm/trunk/test/CodeGen/XCore/<wbr>varargs.ll<br>
> URL: <a href="http://llvm.org/viewvc/llvm-project/llvm/trunk/test/CodeGen/XCore/varargs.ll?rev=282604&r1=282603&r2=282604&view=diff" rel="noreferrer" target="_blank">http://llvm.org/viewvc/llvm-<wbr>project/llvm/trunk/test/<wbr>CodeGen/XCore/varargs.ll?rev=<wbr>282604&r1=282603&r2=282604&<wbr>view=diff</a><br>
> ==============================<wbr>==============================<wbr>==================<br>
> --- llvm/trunk/test/CodeGen/XCore/<wbr>varargs.ll (original)<br>
> +++ llvm/trunk/test/CodeGen/XCore/<wbr>varargs.ll Wed Sep 28 11:37:50 2016<br>
> @@ -26,10 +26,10 @@ entry:<br>
> ; CHECK-LABEL: test_vararg<br>
> ; CHECK: extsp 6<br>
> ; CHECK: stw lr, sp[1]<br>
> -; CHECK: stw r3, sp[6]<br>
> ; CHECK: stw r0, sp[3]<br>
> ; CHECK: stw r1, sp[4]<br>
> ; CHECK: stw r2, sp[5]<br>
> +; CHECK: stw r3, sp[6]<br>
> ; CHECK: ldaw r0, sp[3]<br>
> ; CHECK: stw r0, sp[2]<br>
>   %list = alloca i8*, align 4<br>
><br>
><br>
> ______________________________<wbr>_________________<br>
> llvm-commits mailing list<br>
> <a href="mailto:llvm-commits@lists.llvm.org">llvm-commits@lists.llvm.org</a><br>
> <a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-commits" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/<wbr>mailman/listinfo/llvm-commits</a><br>
<br>
</blockquote></div><br></div>