<div dir="ltr">Matt and all,<div><br></div><div>I am running a 15TB transfer right now (4 parallel streams / job, 2 simultaneous jobs at a time) and am only seeing 15 MB/s averaged (fluctuating, rising to 100MB/s and then sinking below 10MB/s for extended periods before rebounding). Our network folks are looking into it, but we have 10Gb/s all the way except for the last 3 feet. I suspect the problems are on our end, since iperf gives me steady 900Mb/s between the same uconn server and a perfsonar server at the lab. What did you use for the number of parallel streams / job, and number of simultaneous jobs to get the performance you saw?</div><div><br></div><div>Just so you know, I would be pretty happy to get 50MB/s sustained. By the end of the summer, my goal is to get 100MB/s sustained, but one step at a time. </div><div><br></div><div>-Richard Jones</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 16, 2016 at 2:23 PM, Shepherd, Matthew <span dir="ltr"><<a href="mailto:mashephe@indiana.edu" target="_blank">mashephe@indiana.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
Hi Sandy,<br>
<br>
(cc'ed to offline list in case anyone also cares about this topic or has input.)<br>
<br>
I copied about 10 TB of GlueX data (a calibration skim) from JLab to our machine here at Indiana.  I used the web-based globus-connect system.<br>
<br>
The source at JLab was:<br>
<br>
expphy/cache/halld/home/gxproj3/calib/GlueX-CalibRun-2016-04-04/<br>
<br>
The transfer took about 2.5 days (5/12 - 5/14) and when complete I had averaged 49 MB/s.<br>
<br>
49 MB/s (roughly 400 Mb/s) is not too shabby, but I'd like to know what you think we might be able to get going offsite.<br>
<br>
Here, we've got 10 gigabit everywhere:  fiber coming into a switch and then into 10 gigabit interface cards.  Some informal local testing has produced speeds in the neighborhood of about 3-4 Gb/s, roughly ten times what I got from JLab.  However, that doesn't necessarily rule out a bottleneck somewhere outside the lab.<br>
<br>
The transfer rate is acceptable, but I thought I'd ask in case there is some obvious things we can do to get a few factors speed up.<br>
<br>
Matt<br>
<br>
---------------------------------------------------------------------<br>
Matthew Shepherd, Associate Professor<br>
Department of Physics, Indiana University, Swain West 265<br>
727 East Third Street, Bloomington, IN 47405<br>
<br>
Office Phone:  +1 812 856 5808<br>
<br>
<br>
_______________________________________________<br>
Halld-offline mailing list<br>
<a href="mailto:Halld-offline@jlab.org">Halld-offline@jlab.org</a><br>
<a href="https://mailman.jlab.org/mailman/listinfo/halld-offline" rel="noreferrer" target="_blank">https://mailman.jlab.org/mailman/listinfo/halld-offline</a><br>
</blockquote></div><br></div>