<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div></div><br><div><div>On Mar 14, 2014, at 1:22 PM, Sean Dobbs wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div dir="ltr">Hi Paul,<div><br></div><div>I'd like to look at that event in some detail, and am looking at the hd_dump output right now. &nbsp;Can you confirm what the problem&nbsp;DTrackCandidate is on the list below (i.e. is it the second one?)</div>
<div><br></div><div><br></div><div><div>DTrackCandidate:</div><div>&nbsp;PID: &nbsp; &nbsp;Name: &nbsp;q: x(cm): y(cm): z(cm): E(GeV): t(ns): p(GeV/c): theta(deg): phi(deg): &nbsp; &nbsp; &nbsp; &nbsp; id: &nbsp; &nbsp; chisq: Ndof:</div><div>-------------------------------------------------------------------------------------------------------------------</div>
<div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;+1 &nbsp; -7.1 &nbsp; -6.3 &nbsp;100.1 &nbsp;0.6591 &nbsp;0.000 &nbsp; &nbsp; 0.659 &nbsp; &nbsp; &nbsp;15.849 &nbsp;-148.710 &nbsp;0x1b1f6a70 &nbsp;35.961708 &nbsp; &nbsp;10&nbsp;</div><div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;+1 &nbsp; -7.3 &nbsp; &nbsp;6.0 &nbsp;112.8 &nbsp;0.3127 &nbsp;0.000 &nbsp; &nbsp; 0.313 &nbsp; &nbsp; &nbsp;19.422 &nbsp; 128.665 &nbsp;0x11d642a0 &nbsp;15.871287 &nbsp; &nbsp;12&nbsp;</div>
<div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;-1 &nbsp; &nbsp;4.9 &nbsp; &nbsp;8.1 &nbsp; 95.3 &nbsp;0.8981 &nbsp;0.000 &nbsp; &nbsp; 0.898 &nbsp; &nbsp; &nbsp;22.813 &nbsp; &nbsp;62.311 &nbsp;0x112adea0 &nbsp;10.248627 &nbsp; &nbsp; 9&nbsp;</div><div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;+1 &nbsp; -6.3 &nbsp; -7.1 &nbsp; 75.5 &nbsp;0.7139 &nbsp;0.000 &nbsp; &nbsp; 0.714 &nbsp; &nbsp; &nbsp; 6.655 &nbsp;-147.993 &nbsp;0x1d7c6050 &nbsp;11.376116 &nbsp; &nbsp; 3&nbsp;</div>
<div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;-1 &nbsp; &nbsp;4.6 &nbsp; 10.1 &nbsp;167.9 &nbsp;1.0669 &nbsp;0.000 &nbsp; &nbsp; 1.067 &nbsp; &nbsp; &nbsp; 6.823 &nbsp; &nbsp;79.946 &nbsp;0x1e7a4ca0 &nbsp; 3.746347 &nbsp; &nbsp; 8&nbsp;</div><div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;-1 &nbsp; -7.4 &nbsp;-12.4 &nbsp;167.9 &nbsp;0.5313 &nbsp;0.000 &nbsp; &nbsp; 0.531 &nbsp; &nbsp; &nbsp; 8.868 &nbsp; -90.505 &nbsp;0x1d29d230 &nbsp;38.236427 &nbsp; &nbsp;12&nbsp;</div>
<div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;-1 &nbsp; -3.7 &nbsp; -1.7 &nbsp;167.9 &nbsp;0.2730 &nbsp;0.000 &nbsp; &nbsp; 0.273 &nbsp; &nbsp; &nbsp; 2.788 &nbsp; -96.878 &nbsp;0x132281a0 &nbsp; 7.396164 &nbsp; &nbsp; 6&nbsp;</div><div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;+1 &nbsp;-25.4 &nbsp; -1.5 &nbsp;167.9 &nbsp;6.2217 &nbsp;0.000 &nbsp; &nbsp; 6.222 &nbsp; &nbsp; &nbsp;13.620 &nbsp; 169.034 &nbsp;0x11346220 &nbsp;18.706890 &nbsp; &nbsp; 7&nbsp;</div>
<div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;+1 &nbsp; -9.7 &nbsp;-11.0 &nbsp;233.7 &nbsp;2.2539 &nbsp;0.000 &nbsp; &nbsp; 2.254 &nbsp; &nbsp; &nbsp; 6.024 &nbsp;-147.778 &nbsp;0x1d0cc7d0 &nbsp; 8.066071 &nbsp; &nbsp;10&nbsp;</div><div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;-1 &nbsp;-19.5 &nbsp; -2.7 &nbsp;292.1 &nbsp;0.0753 &nbsp;0.000 &nbsp; &nbsp; 0.075 &nbsp; &nbsp; &nbsp; 5.091 &nbsp; &nbsp;70.522 &nbsp;0x1fea48a0 &nbsp;40.620304 &nbsp; &nbsp; 6&nbsp;</div>
<div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;-1 &nbsp; &nbsp;4.5 &nbsp; &nbsp;8.8 &nbsp;234.7 &nbsp;0.8029 &nbsp;0.000 &nbsp; &nbsp; 0.803 &nbsp; &nbsp; &nbsp; 3.772 &nbsp;-151.003 &nbsp;0x1ed4cf60 &nbsp;31.882702 &nbsp; &nbsp; 4&nbsp;</div><div>&nbsp; &nbsp;0 &nbsp;Unknown &nbsp;+1 &nbsp;-20.2 &nbsp; -2.8 &nbsp;236.8 &nbsp;1.0370 &nbsp;0.000 &nbsp; &nbsp; 1.037 &nbsp; &nbsp; &nbsp; 7.027 &nbsp; 157.478 &nbsp;0x1835f360 &nbsp;85.737801 &nbsp; &nbsp; 4&nbsp;</div>
</div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Mar 14, 2014 at 10:44 AM, Paul Mattione <span dir="ltr">&lt;<a href="mailto:pmatt@jlab.org" target="_blank">pmatt@jlab.org</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div style="word-wrap:break-word">
<div>The difference is for:</div>
<div><br>
</div>
<div>Event #1339, Track Candidate #2, DTrackCandidate pz &amp; z0.</div>
<div><br>
</div>
<div>We need to find which track candidate factory this is coming from still. &nbsp;</div><span class="HOEnZb"><font color="#888888">
<div><br>
</div>
<div>&nbsp;- Paul</div>
<br>
</font></span><div><div class="">
<div>On Mar 14, 2014, at 8:44 AM, Beni Zihlmann wrote:</div>
<br>
</div><blockquote type="cite">
<div bgcolor="#FFFFFF" text="#000000"><div class="">
<div>Hi Paul,<br>
yea! I see a very similar thing. I run single threaded but with two different groups<br>
once using hd_root and once using hd_dump both with my plugin. The group<br>
using hd_root is consistent in itself and the group with hd_dump agrees with<br>
the group of hd_root except for one run! And yes its event 1339!<br>
<br>
Event&nbsp; #Tracks #CDCHits #FDCHits #+tracsk #-tracks #Neutrals<br>
---------------------------------------------------------------------------------------<br>
1336&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp; 51&nbsp; 169&nbsp; 6&nbsp; 2&nbsp;&nbsp; 11<br>
1337&nbsp;&nbsp;&nbsp; 9 &nbsp;&nbsp; 68&nbsp; 491&nbsp; 7&nbsp; 2&nbsp;&nbsp; 7<br>
1338&nbsp;&nbsp;&nbsp; 16&nbsp; 81&nbsp; 817&nbsp; 10&nbsp; 6&nbsp;&nbsp; 6<br>
1339&nbsp;&nbsp;&nbsp; 21&nbsp; 43&nbsp; 1398&nbsp; 11&nbsp; 10&nbsp;&nbsp; 17&nbsp;&nbsp;&nbsp;&nbsp; &gt;&gt;&gt;&gt;&gt; 1339&nbsp;&nbsp;&nbsp; 21&nbsp; 43&nbsp; 1398&nbsp; 11&nbsp; 10&nbsp;&nbsp; 18<br>
1340&nbsp;&nbsp;&nbsp; 14&nbsp; 42&nbsp; 1067&nbsp; 8&nbsp; 6&nbsp;&nbsp; 16<br>
<br>
<br>
different # of Neutrals!<br>
<br>
cheers,<br>
Beni<br>
<br>
</div>
</div><blockquote type="cite"><div class="">
<div>I ran 32 single-threaded jobs with the new software, and I see nearly identical results, but not quite. &nbsp;Half of the REST files have one identical file size (and identical contents), and the other half have a different identical file size (and identical
 contents). &nbsp;This is true whether I run with saving the time-based tracking results or the wire-based tracking results to REST. &nbsp;The attached "diff" files show the difference for each case (via hddm-xml). &nbsp;</div>

<div><br>
</div>
<div>This difference is isolated to one event: #1339 in the file I linked everyone to a week ago. &nbsp;In fact, while three wire-based and time-based tracks are listed, they all have the same candidate id: 2. &nbsp;</div>
<div><br>
</div>
<div>We've got it cornered Simon! &nbsp;Now let's finish it off!&nbsp;</div>
<div><br>
</div>
<div>&nbsp;- Paul</div>
<div><br>
</div>
<br>
<fieldset></fieldset> <br>
<br>
<fieldset></fieldset> <br>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
</div><div><div class="">
<div>On Mar 13, 2014, at 6:56 PM, Sean Dobbs wrote:</div>
<br>
</div><div><div class="h5"><blockquote type="cite">
<div dir="ltr">
<div class="gmail_quote"><br>
<br>
<div dir="ltr">Hi all,
<div><br>
</div>
<div>I checked out and built a clean version with the new tags and am now seeing consistent results when running with one thread and 4 threads.</div>
<span><font color="#888888">
<div><br>
</div>
<div><br>
</div>
<div>---Sean</div>
</font></span></div>
<div>
<div>
<div class="gmail_extra"><br>
<br>
<div class="gmail_quote">On Thu, Mar 13, 2014 at 2:37 PM, Mark Ito <span dir="ltr">
&lt;<a href="mailto:marki@jlab.org" target="_blank">marki@jlab.org</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Still seeing differences of the same ilk as previously reported.<br>
<div>
<div><br>
On 03/13/2014 02:31 PM, Mark Ito wrote:<br>
&gt; I've re-tagged to reflect this change: tags/sim-recon-2.5 .<br>
&gt;<br>
&gt; On 03/13/2014 02:12 PM, Simon Taylor wrote:<br>
&gt;&gt; I have checked in some changes to the tracking code that appear to<br>
&gt;&gt; address the valgrind errors mentioned below.<br>
&gt;&gt;<br>
&gt;&gt; Simon<br>
&gt;&gt;<br>
&gt;&gt; On 03/12/2014 03:59 PM, Matthew Shepherd wrote:<br>
&gt;&gt;&gt; Having just spent many frustrating hours hunting down my own separate non-deterministic bug I was motivated to run hd_dump -DTrackWireBased through valgrind.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; The error below seems suspicious and could result in non-determinstic behaviour, although valgrind is known to generate "errors" where there are none. &nbsp;I didn't have time to look at the code since I have to run to another meeting, but thought I would pass
 it on.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Matt<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; ==7443== Conditional jump or move depends on uninitialised value(s)<br>
&gt;&gt;&gt; ==7443== &nbsp; &nbsp;at 0x88F769: DTrackFitterKalmanSIMD::KalmanForwardCDC(double, DMatrix5x1&amp;, DMatrix5x5&amp;, double&amp;, unsigned int&amp;) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>

&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x8926C4: DTrackFitterKalmanSIMD::ForwardCDCFit(DMatrix5x1 const&amp;, DMatrix5x5 const&amp;) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>
&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x89762A: DTrackFitterKalmanSIMD::KalmanLoop() (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>
&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x898315: DTrackFitterKalmanSIMD::FitTrack() (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>
&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x84B8CB: DTrackFitter::FindHitsAndFitTrack(DKinematicData const&amp;, DReferenceTrajectory const*, jana::JEventLoop*, double, int, double, DetectorSystem_t) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>

&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x8C25D7: DTrackWireBased_factory::DoFit(unsigned int, DTrackCandidate const*, DReferenceTrajectory*, jana::JEventLoop*, double) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>

&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x8C4803: DTrackWireBased_factory::evnt(jana::JEventLoop*, int) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>
&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x6C8F38: jana::JFactory&lt;DTrackWireBased&gt;::Get(std::vector&lt;DTrackWireBased const*, std::allocator&lt;DTrackWireBased const*&gt; &gt;&amp;) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>

&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x6C97EC: jana::JFactory&lt;DTrackWireBased&gt;* jana::JEventLoop::GetFromFactory&lt;DTrackWireBased&gt;(std::vector&lt;DTrackWireBased const*, std::allocator&lt;DTrackWireBased const*&gt; &gt;&amp;, char const*, jana::JEventLoop::data_source_t&amp;, bool) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>

&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x6C9A84: jana::JFactory&lt;DTrackWireBased&gt;* jana::JEventLoop::Get&lt;DTrackWireBased&gt;(std::vector&lt;DTrackWireBased const*, std::allocator&lt;DTrackWireBased const*&gt; &gt;&amp;, char const*, bool) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>

&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x6CA153: jana::JFactory&lt;DTrackWireBased&gt;::GetNrows() (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>
&gt;&gt;&gt; ==7443== &nbsp; &nbsp;by 0x571A39: MyProcessor::evnt(jana::JEventLoop*, int) (in /home/fs1/mashephe/gluex/my_src/bin/Linux_CentOS6-x86_64-gcc4.4.6/hd_dump)<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; Halld-offline mailing list<br>
&gt;&gt; <a href="mailto:Halld-offline@jlab.org" target="_blank">
Halld-offline@jlab.org</a><br>
&gt;&gt; <a href="https://mailman.jlab.org/mailman/listinfo/halld-offline" target="_blank">
https://mailman.jlab.org/mailman/listinfo/halld-offline</a><br>
<br>
--<br>
Mark M. Ito, Jefferson Lab, <a href="mailto:marki@jlab.org" target="_blank">
marki@jlab.org</a>, <a href="tel:%28757%29269-5295" value="+17572695295" target="_blank">
(757)269-5295</a><br>
<br>
_______________________________________________<br>
Halld-offline mailing list<br>
<a href="mailto:Halld-offline@jlab.org" target="_blank">Halld-offline@jlab.org</a><br>
<a href="https://mailman.jlab.org/mailman/listinfo/halld-offline" target="_blank">https://mailman.jlab.org/mailman/listinfo/halld-offline</a><br>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
</div>
<br>
<br clear="all">
<div><br>
</div>
-- <br>
<div dir="ltr">Sean Dobbs<br>
Department of Physics &amp; Astronomy <br>
Northwestern University<br>
phone: <a href="tel:847-467-2826" value="+18474672826" target="_blank">847-467-2826</a></div>
</div>
_______________________________________________<br>
Halld-offline mailing list<br>
<a href="mailto:Halld-offline@jlab.org" target="_blank">Halld-offline@jlab.org</a><br>
<a href="https://mailman.jlab.org/mailman/listinfo/halld-offline" target="_blank">https://mailman.jlab.org/mailman/listinfo/halld-offline</a></blockquote>
</div></div></div><div><div class="h5">
<br>
<br>
<fieldset></fieldset> <br>
<pre>_______________________________________________
Halld-offline mailing list
<a href="mailto:Halld-offline@jlab.org" target="_blank">Halld-offline@jlab.org</a>
<a href="https://mailman.jlab.org/mailman/listinfo/halld-offline" target="_blank">https://mailman.jlab.org/mailman/listinfo/halld-offline</a></pre>
</div></div></blockquote>
<br>
</div><div><div class="h5">
_______________________________________________<br>
Halld-offline mailing list<br>
<a href="mailto:Halld-offline@jlab.org" target="_blank">Halld-offline@jlab.org</a><br>
<a href="https://mailman.jlab.org/mailman/listinfo/halld-offline" target="_blank">https://mailman.jlab.org/mailman/listinfo/halld-offline</a></div></div></blockquote>
</div>
<br>
</div>

</blockquote></div><br></div>
</blockquote></div><br></body></html>