Hi all,
Het is weer tijd voor een update over het XenonT0/lichtpad project: er zijn een paar leuke ontwikkelingen:
- er zijn enkele bandbreedte tests uitgevoerd tussen LNGS en Nikhef disk servers over de bestaande 2x1Gbps lijn. Het lijkt mogelijk om daar (met wisselende performance) tussen de ~400 en ~700 Mbps over heeb te pompen, maar dat is nog niet helemaal stabiel. Een vande issues is nog wel dat de TCP stack tuning aan de kant van LNGS nog niet optimaal is. Daar willen we nog iets aan doen - maar daar hebben nog wel wat help van LNGS bij nodig (of een doos aan die kant om mee te testen, of ze moeten zelf de tests herhalen na TCP tuning
- er komt (niet schrikken!) een commodity IP 10Gbps link naar GranSasso. Als die er is, is het zovel overprovisioned bandbreedte dat een dedicated 1G eigenlijk niet nodig is of zou moeten zijn. Alleen: de oplevering van die 10G link staat nu geplanned voor Q2 2015, en dat is eigenlijk net te laat. We (Arjen) heeft al wel met Enzo gesproken, en die vind het geen probleem op het naar voren te halen (zeg, Q3 van die jaar). Alleen: "dat moet INFN mij vragen". Mar als ze dat doen, vind GARR het allemal fantastisch. En wij volgens mij ook ;-)
- Willen wij aan de LNGS kant nog een traffic-shaping box (Juniper SRX of zo) achter laten en in Q3 gaan testen? Of denken we dat het met 10G overprovisioning allemaal gaat lukken? Dat laatste verwacht ik eigenlijk wel.
Ik wacht nu weer even op de kernel tuning door LNGS en en herhaling van de iperf tests LNGS->Nikhef-disk.
Grtn, DavidG.
Hi David,
Hartelijk dank voor de samenvatting - ik ben het helemaal mee eens dat het een paar goede ontwikkelingen zijn!
Hier een paar dingen van mijn kant: - Ik ben momenteel op LNGS en zal even met Sandra Parlati spreken om informeel te kijken of de 10Gbps link naar voren geschoven kan worden. Ik zal ook even het kernel tuning onderwerp opbrengen. - Ik heb met Prof. Gabriella Sartorelli (INFN Bologna) een mailwisseling gehad om van haar kant ook wat druk op GARR te zetten. Dit was voor het geval dat we de lightpath over CNAF zouden willen hebben, maar dit is dus misschien zelfs niet meer nodig. Ik zie Gabriella morgen en zal ook even met haar overleggen re de 10Gbps link.
Hartelijke groet, Patrick.
On Apr 14, 2014, at 11:46 , David Groep davidg@nikhef.nl wrote:
Hi all,
Het is weer tijd voor een update over het XenonT0/lichtpad project: er zijn een paar leuke ontwikkelingen:
- er zijn enkele bandbreedte tests uitgevoerd tussen LNGS en Nikhef
disk servers over de bestaande 2x1Gbps lijn. Het lijkt mogelijk om daar (met wisselende performance) tussen de ~400 en ~700 Mbps over heeb te pompen, maar dat is nog niet helemaal stabiel. Een vande issues is nog wel dat de TCP stack tuning aan de kant van LNGS nog niet optimaal is. Daar willen we nog iets aan doen - maar daar hebben nog wel wat help van LNGS bij nodig (of een doos aan die kant om mee te testen, of ze moeten zelf de tests herhalen na TCP tuning
- er komt (niet schrikken!) een commodity IP 10Gbps link naar GranSasso.
Als die er is, is het zovel overprovisioned bandbreedte dat een dedicated 1G eigenlijk niet nodig is of zou moeten zijn. Alleen: de oplevering van die 10G link staat nu geplanned voor Q2 2015, en dat is eigenlijk net te laat. We (Arjen) heeft al wel met Enzo gesproken, en die vind het geen probleem op het naar voren te halen (zeg, Q3 van die jaar). Alleen: "dat moet INFN mij vragen". Mar als ze dat doen, vind GARR het allemal fantastisch. En wij volgens mij ook ;-)
- Willen wij aan de LNGS kant nog een traffic-shaping box (Juniper SRX of zo)
achter laten en in Q3 gaan testen? Of denken we dat het met 10G overprovisioning allemaal gaat lukken? Dat laatste verwacht ik eigenlijk wel.
Ik wacht nu weer even op de kernel tuning door LNGS en en herhaling van de iperf tests LNGS->Nikhef-disk.
Grtn, DavidG.
-- David Groep
** Nikhef, Dutch National Institute for Sub-atomic Physics,PDP/Grid group ** ** Room: H1.50 Phone: +31 20 5922179, PObox 41882, NL-1009DB Amsterdam NL **
On 14/04/2014 13:13, Patrick Decowski wrote:
- Ik ben momenteel op LNGS en zal even
met Sandra Parlati spreken om informeel te kijken of de 10Gbps link naar voren geschoven kan worden. Ik zal ook even het kernel tuning onderwerp opbrengen.
Als jullie (of LNGS IT) een linux machine hebben met een 1G interface waarop wij een root account zouden mogen gebruiken, kunnen we een aantal van de tests hiervandaan uitvoeren. Misschien dat dat nog sneller is ...
DavidG.
- Ik heb met Prof. Gabriella Sartorelli (INFN Bologna) een
mailwisseling gehad om van haar kant ook wat druk op GARR te zetten. Dit was voor het geval dat we de lightpath over CNAF zouden willen hebben, maar dit is dus misschien zelfs niet meer nodig. Ik zie Gabriella morgen en zal ook even met haar overleggen re de 10Gbps link.
Hartelijke groet, Patrick.
On Apr 14, 2014, at 11:46 , David Groep davidg@nikhef.nl wrote:
Hi all,
Het is weer tijd voor een update over het XenonT0/lichtpad project: er zijn een paar leuke ontwikkelingen:
- er zijn enkele bandbreedte tests uitgevoerd tussen LNGS en Nikhef disk
servers over de bestaande 2x1Gbps lijn. Het lijkt mogelijk om daar (met wisselende performance) tussen de ~400 en ~700 Mbps over heeb te pompen, maar dat is nog niet helemaal stabiel. Een vande issues is nog wel dat de TCP stack tuning aan de kant van LNGS nog niet optimaal is. Daar willen we nog iets aan doen - maar daar hebben nog wel wat help van LNGS bij nodig (of een doos aan die kant om mee te testen, of ze moeten zelf de tests herhalen na TCP tuning
- er komt (niet schrikken!) een commodity IP 10Gbps link naar GranSasso.
Als die er is, is het zovel overprovisioned bandbreedte dat een dedicated 1G eigenlijk niet nodig is of zou moeten zijn. Alleen: de oplevering van die 10G link staat nu geplanned voor Q2 2015, en dat is eigenlijk net te laat. We (Arjen) heeft al wel met Enzo gesproken, en die vind het geen probleem op het naar voren te halen (zeg, Q3 van die jaar). Alleen: "dat moet INFN mij vragen". Mar als ze dat doen, vind GARR het allemal fantastisch. En wij volgens mij ook ;-)
- Willen wij aan de LNGS kant nog een traffic-shaping box (Juniper SRX of
zo) achter laten en in Q3 gaan testen? Of denken we dat het met 10G overprovisioning allemaal gaat lukken? Dat laatste verwacht ik eigenlijk wel.
Ik wacht nu weer even op de kernel tuning door LNGS en en herhaling van de iperf tests LNGS->Nikhef-disk.
Grtn, DavidG.
-- David Groep
** Nikhef, Dutch National Institute for Sub-atomic Physics,PDP/Grid group ** ** Room: H1.50 Phone: +31 20 5922179, PObox 41882, NL-1009DB Amsterdam NL **
Hi David et al,
Ik heb gisteren een aantal gesprekken gehad over de 10Gbps verbinding vanuit LNGS, hier een update:
- Ik heb uitvoerig met Gabriella Sartorelli (INFN Bologna) gesproken. Zij is het volledig met de opzet eens (data naar buiten, dan GRID) en heeft goede contacten in de hele INFN hiërarchie, vooral ook in “Commissione Duo” dat over de APP experimenten gaat (naast XENON ook VIRGO, AMS etc.) en ook “Commissione Calculo” dat over computing gaat. Na mijn email wisseling met haar, heeft ze inmiddels een gezamenlijke meeting aangevraagd met de vice-president van GARR, een afgevaardigde van INFN C2 en de directeur van CNAF om een betere LNGS verbinding vanuit de INFN kant te initiëren. Omdat blijkbaar niet veel meer in Italië de rest van april gaat gebeuren, zal deze meeting waarschijnlijk pas in mei gebeuren. Morgen heeft Gabriella ook een onderhoud met Ragazzi, directeur van LNGS, en zal dit onderwerp ook met hem bespreken. Ik hoop dat hiermee INFN de zaak van hun kant zal initiëren.
- Los van Gabriella heb ik ook met Sandra Parlati, Nazarreno Taborgna en Giuseppe Di Carlo (allen INFN networking) gesproken. Sandra heeft in het netwerk verhaal vrij weinig sturing op strategisch niveau (het moet van INFN komen), maar is zeker bereidwillig ons verder te helpen met technische vraagstukken. Zij kan ook kijken wat technisch nodig is om de 10Gbps link wat verder naar voren in tijd te schuiven. Op dit moment is het voor ergens in Q1-2015 gepland. Qua HW hebben zij vooral HP, de router aan de rand (dus aansluitend op TELEKOM IT) is CISCO - zoals bij alle INFN labs. Die router is ook niet 10Gbps-klaar - moet nog de juiste kaart in. Ik heb ook de root-op-een-machine vraag gesteld om netwerk optimalisatie remote te kunnen doen, maar zij waren niet heel enthousiast om dat nu al te doen. Nazarreno is momenteel met een aantal urgente locale netwerk zaken bezig maar was van plan om binnen twee weken hierop terug te komen (maar zie boven over april). Ik moet eerlijk zeggen dat ik niet heel erg onder de indruk was van de expertise (bv. een van de LNGS test-machines met een 10Gbps NIC lijkt langzamer te werken dan met een 1Gbps NIC, tot nu toe waren ze van plan om een oplossing “te googelen").
- In mijn gesprek met Sandra heb ik ook over de Underground -> Aboveground (intern) netwerk verbinding gesproken, dit is dus belangrijk voor de XENON DAQ. Wij krijgen toegang tot 2x10Gbps fibers, maar moeten aan beide kanten onze eigen HW erop aansluiten (en maintainen!). HW mogen wij geheel vrij kiezen, Juniper Networks is expliciet ook OK. David, misschien kunnen wij bespreken of het mogelijk zou zijn om iemand met de juiste expertise eens op LNGS langs te laten komen en twee vliegen in een klap te vangen? De DM groep is de komende maanden veel op LNGS, dus een goede tijd om gasten te ontvangen…
Groet, Patrick
On Apr 14, 2014, at 15:01 , David Groep davidg@nikhef.nl wrote:
On 14/04/2014 13:13, Patrick Decowski wrote:
- Ik ben momenteel op LNGS en zal even
met Sandra Parlati spreken om informeel te kijken of de 10Gbps link naar voren geschoven kan worden. Ik zal ook even het kernel tuning onderwerp opbrengen.
Als jullie (of LNGS IT) een linux machine hebben met een 1G interface waarop wij een root account zouden mogen gebruiken, kunnen we een aantal van de tests hiervandaan uitvoeren. Misschien dat dat nog sneller is ...
DavidG.
- Ik heb met Prof. Gabriella Sartorelli (INFN Bologna) een
mailwisseling gehad om van haar kant ook wat druk op GARR te zetten. Dit was voor het geval dat we de lightpath over CNAF zouden willen hebben, maar dit is dus misschien zelfs niet meer nodig. Ik zie Gabriella morgen en zal ook even met haar overleggen re de 10Gbps link.
Hartelijke groet, Patrick.
On Apr 14, 2014, at 11:46 , David Groep davidg@nikhef.nl wrote:
Hi all,
Het is weer tijd voor een update over het XenonT0/lichtpad project: er zijn een paar leuke ontwikkelingen:
- er zijn enkele bandbreedte tests uitgevoerd tussen LNGS en Nikhef disk
servers over de bestaande 2x1Gbps lijn. Het lijkt mogelijk om daar (met wisselende performance) tussen de ~400 en ~700 Mbps over heeb te pompen, maar dat is nog niet helemaal stabiel. Een vande issues is nog wel dat de TCP stack tuning aan de kant van LNGS nog niet optimaal is. Daar willen we nog iets aan doen - maar daar hebben nog wel wat help van LNGS bij nodig (of een doos aan die kant om mee te testen, of ze moeten zelf de tests herhalen na TCP tuning
- er komt (niet schrikken!) een commodity IP 10Gbps link naar GranSasso.
Als die er is, is het zovel overprovisioned bandbreedte dat een dedicated 1G eigenlijk niet nodig is of zou moeten zijn. Alleen: de oplevering van die 10G link staat nu geplanned voor Q2 2015, en dat is eigenlijk net te laat. We (Arjen) heeft al wel met Enzo gesproken, en die vind het geen probleem op het naar voren te halen (zeg, Q3 van die jaar). Alleen: "dat moet INFN mij vragen". Mar als ze dat doen, vind GARR het allemal fantastisch. En wij volgens mij ook ;-)
- Willen wij aan de LNGS kant nog een traffic-shaping box (Juniper SRX of
zo) achter laten en in Q3 gaan testen? Of denken we dat het met 10G overprovisioning allemaal gaat lukken? Dat laatste verwacht ik eigenlijk wel.
Ik wacht nu weer even op de kernel tuning door LNGS en en herhaling van de iperf tests LNGS->Nikhef-disk.
Grtn, DavidG.
-- David Groep
** Nikhef, Dutch National Institute for Sub-atomic Physics,PDP/Grid group ** ** Room: H1.50 Phone: +31 20 5922179, PObox 41882, NL-1009DB Amsterdam NL **
-- David Groep
** Nikhef, Dutch National Institute for Sub-atomic Physics,PDP/Grid group ** ** Room: H1.50 Phone: +31 20 5922179, PObox 41882, NL-1009DB Amsterdam NL **
xenon-lightpath-team@nikhef.nl
-
David Groep -
Patrick Decowski