<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Menlo;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:1462576682;
        mso-list-template-ids:-1;}
@list l0:level1
        {mso-level-number-format:bullet;
        mso-level-text:\F0B7;
        mso-level-tab-stop:.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:1.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:"Courier New";
        mso-bidi-font-family:"Times New Roman";}
@list l0:level3
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:1.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level4
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:2.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level5
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:2.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level6
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:3.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level7
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:3.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level8
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:4.0in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level9
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:4.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style>
</head>
<body lang="EN-US" link="blue" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">This is tough.  From MCwrapper’s POV it does nothing special when that card is in any given state.  Do you mean it crashes? We’ll need some stack traces.</p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thomas Britton<o:p></o:p></p>
<p class="MsoNormal">Staff Scientist, Scientific Computing<o:p></o:p></p>
<p class="MsoNormal">Jefferson Lab<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="mso-element:para-border-div;border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal" style="border:none;padding:0in"><b>From: </b><a href="mailto:gleasonc@jlab.org">Colin Gleason</a><br>
<b>Sent: </b>Friday, May 15, 2020 12:29 PM<br>
<b>To: </b><a href="mailto:richard.t.jones@uconn.edu">Richard Jones</a>; <a href="mailto:tbritton@jlab.org">
Thomas Britton</a><br>
<b>Cc: </b><a href="mailto:HallD-Offline@jlab.org">HallD Software Group</a><br>
<b>Subject: </b>Re: [EXTERNAL] auxilliary data file needed for running with HADR=4</p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">Hi all, <o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">As a follow up to this and to keep a record for others, I can not get the HADR 4 option to work when submitting jobs to the ifarm via MCWrapper batch=2. I get a reasonable output when I run the job interactively, as seen above. I'm using
 the same environment, but I'm guessing somehow the correct file is not being found in batch mode. I do not see anything that stands out in the log files. Thomas, any suggestions or ideas on why MCWrapper does not recognize this file? My CERNLIB is located
 at /group/halld/Software/builds/Linux_CentOS7.7-x86_64-gcc4.8.5/cernlib/2005/lib.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">-Colin<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">On Wed, May 13, 2020 at 9:48 AM Colin Gleason <<a href="mailto:gleasonc@jlab.org">gleasonc@jlab.org</a>> wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal">Thanks for the information, Richard. Sure enough, I do not have $CERNLIB defined using the standard build. As a workaround to what Sean suggested, and since I am usig C shell, I added 
<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p style="margin:0in;margin-bottom:.0001pt;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;background-color:rgba(220,220,220,0.8)">
<span style="font-size:8.5pt;font-family:"Menlo",serif;color:#AD5610">setenv</span><span style="font-size:8.5pt;font-family:"Menlo",serif;color:black"> CERNLIB /group/halld/Software/builds/Linux_CentOS7.7-x86_64-gcc4.8.5/cernlib/2005/lib<o:p></o:p></span></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">to my setup_gluex.csh file that gets sourced when calling my environment. When I tested with 1k generated events, I got 89 reconstructed. Before that, as in without flukaaf.dat, I was getting 8. This compares to the ~7% reconstructed events
 using HADR=1. I will rerun my simulation using this setup.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">-Ccolin<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">On Wed, May 13, 2020 at 8:53 AM Richard Jones <<a href="mailto:richard.t.jones@uconn.edu" target="_blank">richard.t.jones@uconn.edu</a>> wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal">Colin and all, <o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">An input data file flukaaf.dat is a needed input file for running hdgeant with HADR=4. This file usually resides in $CERNLIB. If CERNLIB is defined on your system, then things should work. If not, then you should be sure to place a copy
 of flukaaf.dat in the directory from which you run hdgeant. A copy of this is found in the halld-sim repo in the halld software area, or on cvmfs, or on github at the link provided below. Take your pick, they should all be the same.
<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<ul type="disc">
<li class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;mso-list:l0 level1 lfo1">
/cvmfs/<a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__oasis.opensciencegrid.org_gluex_group_halld_Software_builds_Linux-5FCentOS7-2Dx86-5F64-2Dgcc4.8.5-2Dcntr_cernlib_2005_lib_flukaaf.dat&d=DwMFaQ&c=CJqEzB1piLOyyvZjb8YUQw&r=_p_Zf1fP8D9GtGtaEgIPjViLbHJLGv_RV32KAKGtMbE&m=2yyxB2SUMQDNM7BpmwdbEPaT6IB-5Cn9bHhxQqrrQKg&s=63gpT7ZWLQ0R-Wa6hSh-zaVffpwWqaywCNXMmII8XB8&e=" target="_blank">oasis.opensciencegrid.org/gluex/group/halld/Software/builds/Linux_CentOS7-x86_64-gcc4.8.5-cntr/cernlib/2005/lib/flukaaf.dat</a><o:p></o:p></li><li class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;mso-list:l0 level1 lfo1">
/u/group/halld/Software/builds/Linux_CentOS7-x86_64-gcc4.8.5/halld_sim/halld_sim-4.13.0/src/programs/Simulation/HDGeant/flukaaf.dat<o:p></o:p></li><li class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;mso-list:l0 level1 lfo1">
<a href="https://urldefense.proofpoint.com/v2/url?u=https-3A__github.com_JeffersonLab_halld-5Fsim_blob_master_src_programs_Simulation_HDGeant_flukaaf.dat&d=DwMFaQ&c=CJqEzB1piLOyyvZjb8YUQw&r=_p_Zf1fP8D9GtGtaEgIPjViLbHJLGv_RV32KAKGtMbE&m=2yyxB2SUMQDNM7BpmwdbEPaT6IB-5Cn9bHhxQqrrQKg&s=S73Xf0DOqe72vg3PyfcLRlVQxN1qwLRuyhuySiXPaDU&e=" target="_blank">https://github.com/JeffersonLab/halld_sim/blob/master/src/programs/Simulation/HDGeant/flukaaf.dat</a><o:p></o:p></li></ul>
<div>
<p class="MsoNormal">-Richard Jones<o:p></o:p></p>
</div>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><br clear="all">
<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">-- <o:p></o:p></p>
<div>
<div>
<div>
<p class="MsoNormal">Colin Gleason<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Postdoctoral Fellow<br>
Indiana University <br>
Department of Physics<o:p></o:p></p>
</div>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><br clear="all">
<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">-- <o:p></o:p></p>
<div>
<div>
<div>
<p class="MsoNormal">Colin Gleason<o:p></o:p></p>
</div>
</div>
</div>
<p class="MsoNormal">Postdoctoral Fellow<br>
Indiana University <br>
Department of Physics<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>