<table border="1" cellspacing="0" cellpadding="8">
    <tr>
        <th>Issue</th>
        <td>
            <a href=https://github.com/llvm/llvm-project/issues/85768>85768</a>
        </td>
    </tr>

    <tr>
        <th>Summary</th>
        <td>
            Errors messages within internal clang tests that PASS
        </td>
    </tr>

    <tr>
      <th>Labels</th>
      <td>
            clang
      </td>
    </tr>

    <tr>
      <th>Assignees</th>
      <td>
      </td>
    </tr>

    <tr>
      <th>Reporter</th>
      <td>
          strimo378
      </td>
    </tr>
</table>

<pre>
    Hi all,

I took a look at the json output of lit for all clang tests for clang 17.0.6 and found several error messages within stderr output that are not produced directly by clang. The tests are marked as PASS.

I generated the json output with `build/bin/llvm-lit clang/test/ -o litout.json` and wrote a simple php script to find the error messages.

Below is the list of found error messages grouped by test. I think the error messages indicate that at least some of the listed clang tests are potentially not executed properly.

```
Clang :: Driver/output-file-cleanup.c
  > clang: note: diagnostic msg:
  > clang: note: diagnostic msg: /tmp/lit-tmp-4egvrdim/output-file-cleanup-481e3f.c
  > clang: note: diagnostic msg: /tmp/lit-tmp-4egvrdim/output-file-cleanup-481e3f.sh
  > clang: note: diagnostic msg:

Clang :: Analysis/checker-plugins.c
 > error: 'warning' diagnostics expected but not seen:
  > error: 'warning' diagnostics expected but not seen:

Clang :: Preprocessor/ext-pp-directive.c
  > error: 'warning' diagnostics seen but not expected:
  > error: 'warning' diagnostics seen but not expected:
 > error: 'warning' diagnostics seen but not expected:
  > error: 'warning' diagnostics seen but not expected:
  > error: 'warning' diagnostics seen but not expected:
  > error: 'warning' diagnostics seen but not expected:

Clang :: Driver/gen-cdb-fragment.c
  > FileCheck error: '<stdin>' is empty.
  > FileCheck error: '<stdin>' is empty.
  > FileCheck error: '<stdin>' is empty.

Clang :: Index/record-parsing-invocation.c
  > error: Illegal instruction

Clang :: Index/record-completion-invocation.c
  > error: Illegal instruction

Clang :: CodeGen/2008-07-17-no-emit-on-error.c
  > /var/jenkins/workspace/llvm_stripf_diag_2/misc/llvm-warnings/llvmorg-17.0.6/build/bin/opt: /var/jenkins/workspace/llvm_stripf_diag_2/misc/llvm-warnings/llvmorg-17.0.6/build/tools/clang/test/CodeGen/Output/2008-07-17-no-emit-on-error.c.tmp1.bc: error: Could not open input file: No such file or directory

Clang :: PCH/pragma-weak.c
  > error: 'warning' diagnostics expected but not seen:
  > error: 'warning' diagnostics seen but not expected:
  > error: 'warning' diagnostics expected but not seen:
  > error: 'warning' diagnostics seen but not expected:

Clang :: Index/crash-recovery.c
 > error: Illegal instruction

Clang :: Modules/signal.m
  > error: Illegal instruction

Clang :: Frontend/remove-file-on-signal.c
  > error: Illegal instruction

Clang :: Sema/short-enums.c
  > error: 'error' diagnostics seen but not expected:

Clang :: CodeGenCXX/references.cpp
  > error: 'warning' diagnostics seen but not expected:

Clang :: Sema/2009-04-22-UnknownSize.c
  > error: 'error' diagnostics seen but not expected:
  > error: 'warning' diagnostics seen but not expected:
  > error: 'note' diagnostics seen but not expected:

Clang :: SemaCXX/remove-nested-immediate-invocation-crash.cpp
  > error: 'error' diagnostics seen but not expected:
  > error: 'note' diagnostics seen but not expected:

Clang :: SemaTemplate/crash.cpp
  > error: 'error' diagnostics seen but not expected:
```
</pre>
<img width="1px" height="1px" alt="" src="http://email.email.llvm.org/o/eJzMV1tv2zoS_jXyy4CCLr4--CF1qm0edrdAukDfCpocSawpkiApO95ffzCynNZtmjZNck6BII5iar5vvrmSh6Aag7hOZm-S2fWE97G1fh2iV50tF8vJ1srj-p0CrnVSbJLsOsmuTr9vIFq7Aw56-IgQW4TPwRqwfXR9BFuDVhFq6-ltEJqbBiKGGIb_nZ7zRZqlc-BGQm17IyHgHj3XgN5bDx2GwBsMcFCxVQZClOj9GSG2PAL3CMZGcN7KXqAEqTyKqI-wPZ5AUvjQ4ohMpzvudyiBB3h_dXubXjrVoEHPI8rv_CEKkMyzba-0TIpqq0xSVFrvO0Z-DlBJURFOUlTALLlv-5iSkWSeDU4evI0IHILqnEZwrYMgvHIRooVamRPspfMXDN-gtgdQYTinVRh0Pkn3jWSNt71DSTIQpxRugDTcPYAAykgleMRR0ggaeYgQbIdk_4yF8iKMJKazEU1UXOvjEAa8Q9HTQeetQ6-PF-yTeTb-DI-bwVhSXiXlFVx7tUefFNVJb1YrjUxo5KZ3qTi9AJCUb0epyysCRPqUijfGhqgEdIG-edppoLB1jqKpIoudY1Ns9l6q7mE2bLrMsayfSup3YUL7O84_oPCV4foYVEiKSrQoduiZ032jTLh3hRCG3DjxXRy4N4ryevEVTgC8cygoyts-DmEPiOYb3Z9t5gEP3nt03goMwVKm4F1kzrFTxas9XkbkFwgQ3j34mc3T_fiJmT-KzB9l5rE20KBhQm5Z7XnToYmXwa2Uxg0l8QWJpNyEKJVJyrdERAXAzsVzD_on3nzAwxsj8S4pKo_Ceskc90GZhimzt4JHZc0P0vhGa2y4BmVC9L2gk7-KISyNG3rjZWE2VuK_kOZgkWVLli1YvmDGMuxUZNawweglTlJUe07x_Yxmpww1o4P1u-C4wHGefqL9w9WfKI8-FUlRdSqI86wd8yyMz9Y37LRE0Ei-GM3WxbHrvjpgtFYPbfVyCfgiz3-H9v4zndLYuTzdCqJ9H4-N7bUcysc6NKAMLSM0J-jL_1gIvWiHZ7B-XH6sP_64hW7eJUXlqKg4OyDfPblpvlDzf6EG87eweaTChOehZVRne_THhwfpU0rq31b2GimZaDXnOu2eXaWVtyaikUM_6OweT2uGNWyEeH4juMWOE-XW-sjQ9F34cVqd_n6u_mNtbT5-HNyq0aMRGFLh3GuHfnS2yLIVy6asKNj_zM7Yg7lV_39kB_kNv1-tmIbl8SV0OOs_pJVBuiMw1XUoFY_41bBhQ508Fp0XkefF_PqAndOcjFWvwfz-IjSR61KuyhWf4Dpf5NlyOstXq0m7nm5zrEu-5HNR1iu-FTPMZZFn-TSbrbisJ2pdZMU0K_NVnk3n5SoV9WoxXdar6azOMynnyTTDjiud0thKrW8mKoQe18vZYr6caL5FHYaLf1GMc6tIZtcTvx7G3rZvQjLN6NoXvliIKmpcvyWHw3e3c2UiesMv7_rDjZIu2pPe63UbowukQlHRiqdi229TYbtxuJ5nrvP2MwqalwNl6oYD678CAAD__yKqWC8">