<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">2015-05-01 17:26 GMT-07:00 Justin Bogner <span dir="ltr"><<a href="mailto:mail@justinbogner.com" target="_blank">mail@justinbogner.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Alex Lorenz <<a href="mailto:arphaman@gmail.com">arphaman@gmail.com</a>> writes:<br>
> Hi bogner, bob.wilson, Bigcheese,<br>
><br>
> So it seems that the tests for yaml parses that use yaml-bench never<br>
> actually ran because lit.cfg didn't include<br>
> the '.data' file extension that those tests have.<br>
><br>
> I've attached the patch that re-enables them by adding the '.data'<br>
> extension to lit.cfg. But maybe it would<br>
> be better to rename all the tests in test/YAMLParser so they would use<br>
> the '.test' file extension?<br>
<br>
</span>The .data extension seems a bit strange and arbitrary, so it probably<br>
makes sense to just rename these to .test and be done with it. If<br>
there's a good reason for them to be named .data, we should add a lit<br>
config in test/YAMLParser to allow that, rather than doing it at the top<br>
level.<br></blockquote><div><br></div><div>I don't think there's a specific reason for the '.data' extension, I think that '.test' would be better.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<span class=""><br>
> I've also fixed some tests that were failing for me there.<br>
<br>
</span>It's a bit surprising that you've fixed these by removing XFAILs. Are<br>
these features that were added but nobody updated the tests since they<br>
weren't run anyway?<br>
<br>
In any case, removing the FileCheck makes these tests pretty useless -<br>
we should be checking *something*.<br></blockquote><div><br></div><div>I agree, I'll try to improve these tests. I think those tests got added in one big commit that</div><div>committed a lot of the initial yaml parser tests, and yes, they weren't run since the first commit</div><div>it seems. I think that they were valid at the time of that commit, but now that those bugs that</div><div>caused those tests to fail got fixed, so they have to be updated.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="HOEnZb"><div class="h5"><br>
> REPOSITORY<br>
>   rL LLVM<br>
><br>
> <a href="http://reviews.llvm.org/D9448" target="_blank">http://reviews.llvm.org/D9448</a><br>
><br>
> Files:<br>
>   test/YAMLParser/spec-07-05.data<br>
>   test/YAMLParser/spec-08-04.data<br>
>   test/YAMLParser/spec-08-06.data<br>
>   test/YAMLParser/spec-09-14.data<br>
>   test/lit.cfg<br>
><br>
> Index: test/YAMLParser/spec-07-05.data<br>
> ===================================================================<br>
> --- test/YAMLParser/spec-07-05.data<br>
> +++ test/YAMLParser/spec-07-05.data<br>
> @@ -1,10 +1,6 @@<br>
> -# RUN: yaml-bench -canonical %s 2>&1 | FileCheck %s<br>
> -#<br>
> -# We don't currently parse TAG directives.<br>
> -# XFAIL: *<br>
> +# RUN: yaml-bench -canonical %s 2>&1<br>
><br>
>  %TAG ! !foo<br>
>  %TAG ! !foo<br>
>  bar<br>
><br>
> -# CHECK: error<br>
> Index: test/YAMLParser/spec-08-04.data<br>
> ===================================================================<br>
> --- test/YAMLParser/spec-08-04.data<br>
> +++ test/YAMLParser/spec-08-04.data<br>
> @@ -1,9 +1,4 @@<br>
> -# RUN: yaml-bench -canonical %s 2>&1 | FileCheck %s<br>
> -#<br>
> -# We don't currently look at the content of literal tags.<br>
> -# XFAIL: *<br>
> +# RUN: yaml-bench -canonical %s 2>&1<br>
><br>
>  - !<!> foo<br>
>  - !<$:?> bar<br>
> -<br>
> -# CHECK: error<br>
> Index: test/YAMLParser/spec-08-06.data<br>
> ===================================================================<br>
> --- test/YAMLParser/spec-08-06.data<br>
> +++ test/YAMLParser/spec-08-06.data<br>
> @@ -1,7 +1,4 @@<br>
> -# RUN: yaml-bench -canonical %s 2>&1 | FileCheck %s<br>
> -#<br>
> -# We don't currently validate tags.<br>
> -# XFAIL: *<br>
> +# RUN: yaml-bench -canonical %s 2>&1<br>
><br>
>  %TAG !o! tag:<a href="http://ben-kiki.org" target="_blank">ben-kiki.org</a>,2000:<br>
>  ---<br>
> @@ -9,4 +6,3 @@<br>
>  - !o! bar<br>
>  - !h!type baz<br>
><br>
> -# CHECK: error<br>
> Index: test/YAMLParser/spec-09-14.data<br>
> ===================================================================<br>
> --- test/YAMLParser/spec-09-14.data<br>
> +++ test/YAMLParser/spec-09-14.data<br>
> @@ -1,7 +1,4 @@<br>
> -# RUN: yaml-bench -canonical %s 2>&1 | FileCheck %s<br>
> -#<br>
> -# Not quite sure why this doesn't fail.<br>
> -# XFAIL: *<br>
> +# RUN: yaml-bench -canonical %s 2>&1<br>
><br>
>  ---<br>
>  --- ||| : foo<br>
> @@ -17,5 +14,3 @@<br>
>  }<br>
>  ]<br>
>  ...<br>
> -<br>
> -# CHECK: error<br>
> Index: test/lit.cfg<br>
> ===================================================================<br>
> --- test/lit.cfg<br>
> +++ test/lit.cfg<br>
> @@ -41,7 +41,7 @@<br>
><br>
>  # suffixes: A list of file extensions to treat as test files. This is overriden<br>
>  # by individual lit.local.cfg files in the test subdirectories.<br>
> -config.suffixes = ['.ll', '.c', '.cxx', '.test', '.txt', '.s']<br>
> +config.suffixes = ['.ll', '.c', '.cxx', '.test', '.txt', '.s', '.data']<br>
><br>
>  # excludes: A list of directories to exclude from the testsuite. The 'Inputs'<br>
>  # subdirectories contain auxiliary inputs for various tests in their parent<br>
><br>
> EMAIL PREFERENCES<br>
>   <a href="http://reviews.llvm.org/settings/panel/emailpreferences/" target="_blank">http://reviews.llvm.org/settings/panel/emailpreferences/</a><br>
</div></div></blockquote></div><br></div></div>