Muestra simple de los resultados obtenidos. SuperComputing 2008.
114 gigabits por segundo (Gbps) es el nuevo record de transferencia de datos entre sistemas de almacenamiento establecido por un equipo internacional de físicos, científicos informáticos e ingenieros de redes conducidos por el CALTECH (California Institute of Technology). Fue el pico alcanzado sobre un flujo de datos sostenido en más de 110 Gbps entre clusters de servidores durante la reciente conferencia SuperComputing 2008, que ha tenido lugar en Austin, Texas.
A este lado del Atlántico, el Gran Colisionador de Hadrones (LHC) de la Organización Europea para la Investigación Nuclear (CERN), con el que se pretende confirmar experimentalmente el modelo estándar de la física una vez que consiga detectar el bosón de Higgs, “la partícula de Dios”, requiere un sistema un sistema de telecomunicaciones acorde a tan descomunal y meritoria ambición. El CALTECH y sus socios parecen estar a la altura de los requerimientos y dispuestos a dar respuesta a los mismos.
El corazón de la red
Para explotar a fondo la potencial riqueza de estos y otros futuros logros del LHC se ha desarrollado un sistema grid a escala global que hace coincidir, según el CALTECH, el poder computacional y la capacidad de almacenamiento de 11 principales centros Tier1 y 120 centros Tier2 situados en laboratorios y universidades de todo el mundo, “con objeto de procesar, distribuir y analizar volúmenes sin precedentes de datos, pasando de decenas a 1000 petabytes durante los próximos años”.
El corazón del sistema está tejido de redes de alta capacidad y aplicaciones de última generación lo hacen latir. En la demostracción de la Conferencia SuperComputing 2008 se utilizó, por ejemplo, Fast Data Transport (FDT), una aplicación Java desarrollada por el equipo del Caltech en estrecha colaboración con el equipo de de la Polytehnica bucharest, y que permite hacer fluir grandes conjuntos de archivos, que habitualmente se mueven en el orden de miles en aplicaciones de física de alta energía.
Otra de esas herramientas fue dCache, un proyecto que aporta un sistema de almacenamiento y recuperación de inmensas cantidades de datos, destribuidos en un gran número de nodos, utilizando un sistema virtual de archivo en árbol con una variedad de métodos de acceso estándar. El sistema proporciona entre otras cosas valiosos métodos de intercambio de datos con los sistemas de almacenamiento y gestión del espacio, así como recuperación tras fallos en los discos o en los nodos.
Tambien se hizo uso de Fast TCP, desarrollado por el profesor Steven Low del departamento de ciencias computacionales del CALTECH como una algoritmo alternativo de control de la congestión en TCP, y diseñado para transferencias de datos de alta velocidad a larga distancia, por ejemplo hacer cruzar el Atlántico a decenas de archivos de tamaño gigabyte.
Difusión científica
“Compartiendo nuestros métodos y herramientas con científicos de diversos campos, esperamos que la comunidad de investigación esté bien posicionada para dar a conocer sus descubrimientos, tomando gran ventaja de las redes actuales, así commo de las redes de próxima generación, de mucha mayor capacidad, tan pronto como éstas estén disponibles”, ha declarado Harvey Newman, profesor de física del CALTECH y presidente del grupo de Física de Alta Energía, según lo recogido en un reciente artículo de Physorg.com.
Newman añadió: “En particular, esperamos que estos desarrollos proporcionen a los físicos y jóvenes estudiantes de todo el mundo la oportunidad de participar directamente en el programa del LHC, y potencialmente hacer importantes descubrimientos.”
Por su parte, David Foster, director de Comunicaciones y Redes en el CERN, dijo que el uso eficiente de redes de alta velocidad para transferir grandes paquetes de datos es un componente esencial del grid computacional del LHC, una infraestructura que permitirá difundir las misiones y resultados de sus científicos.
Extensión mundial
Entre los socios del CALTECH y su Centro para la Investigación Computacional Avanzada (CACR) se cuentan entre otros, y además del CERN, la Universidad de Michigan, la Universidad Nacional de Ciencias y Tecnología (NUST), el Fermmi National Accelerator Laboratory (Fermilab), la Universidad Estatal de Río de Janeiro (UERJ) y la Universidad Estatal de Sao Paulo, además de prestigiosas organizaciones como Internet2 y organismos institucionales como la Fundación Nacional de Ciencias, creada por el Congreso en 1950.
Estos y otros colaboradores cuya lista puede consultarse en la página del CALTECH, han demostrado con sus inmensos y habituales flujos continentales y transoceánicos de datos, y con este nuevo récord de velocidad de transferencia, que la comunidad científica y tecnológica está preparada para explotar en profundidad la próxima generación de redes, y que –en palabras de Richard Cavanaughh, de la Universidad de Illinois y coordinador del proyecto UltraLigh– “la visión de un Grid dinámico de extensión mundial que dé soporte a muchos terabytes y más amplias transacciones de datos, es practicable”.
A este lado del Atlántico, el Gran Colisionador de Hadrones (LHC) de la Organización Europea para la Investigación Nuclear (CERN), con el que se pretende confirmar experimentalmente el modelo estándar de la física una vez que consiga detectar el bosón de Higgs, “la partícula de Dios”, requiere un sistema un sistema de telecomunicaciones acorde a tan descomunal y meritoria ambición. El CALTECH y sus socios parecen estar a la altura de los requerimientos y dispuestos a dar respuesta a los mismos.
El corazón de la red
Para explotar a fondo la potencial riqueza de estos y otros futuros logros del LHC se ha desarrollado un sistema grid a escala global que hace coincidir, según el CALTECH, el poder computacional y la capacidad de almacenamiento de 11 principales centros Tier1 y 120 centros Tier2 situados en laboratorios y universidades de todo el mundo, “con objeto de procesar, distribuir y analizar volúmenes sin precedentes de datos, pasando de decenas a 1000 petabytes durante los próximos años”.
El corazón del sistema está tejido de redes de alta capacidad y aplicaciones de última generación lo hacen latir. En la demostracción de la Conferencia SuperComputing 2008 se utilizó, por ejemplo, Fast Data Transport (FDT), una aplicación Java desarrollada por el equipo del Caltech en estrecha colaboración con el equipo de de la Polytehnica bucharest, y que permite hacer fluir grandes conjuntos de archivos, que habitualmente se mueven en el orden de miles en aplicaciones de física de alta energía.
Otra de esas herramientas fue dCache, un proyecto que aporta un sistema de almacenamiento y recuperación de inmensas cantidades de datos, destribuidos en un gran número de nodos, utilizando un sistema virtual de archivo en árbol con una variedad de métodos de acceso estándar. El sistema proporciona entre otras cosas valiosos métodos de intercambio de datos con los sistemas de almacenamiento y gestión del espacio, así como recuperación tras fallos en los discos o en los nodos.
Tambien se hizo uso de Fast TCP, desarrollado por el profesor Steven Low del departamento de ciencias computacionales del CALTECH como una algoritmo alternativo de control de la congestión en TCP, y diseñado para transferencias de datos de alta velocidad a larga distancia, por ejemplo hacer cruzar el Atlántico a decenas de archivos de tamaño gigabyte.
Difusión científica
“Compartiendo nuestros métodos y herramientas con científicos de diversos campos, esperamos que la comunidad de investigación esté bien posicionada para dar a conocer sus descubrimientos, tomando gran ventaja de las redes actuales, así commo de las redes de próxima generación, de mucha mayor capacidad, tan pronto como éstas estén disponibles”, ha declarado Harvey Newman, profesor de física del CALTECH y presidente del grupo de Física de Alta Energía, según lo recogido en un reciente artículo de Physorg.com.
Newman añadió: “En particular, esperamos que estos desarrollos proporcionen a los físicos y jóvenes estudiantes de todo el mundo la oportunidad de participar directamente en el programa del LHC, y potencialmente hacer importantes descubrimientos.”
Por su parte, David Foster, director de Comunicaciones y Redes en el CERN, dijo que el uso eficiente de redes de alta velocidad para transferir grandes paquetes de datos es un componente esencial del grid computacional del LHC, una infraestructura que permitirá difundir las misiones y resultados de sus científicos.
Extensión mundial
Entre los socios del CALTECH y su Centro para la Investigación Computacional Avanzada (CACR) se cuentan entre otros, y además del CERN, la Universidad de Michigan, la Universidad Nacional de Ciencias y Tecnología (NUST), el Fermmi National Accelerator Laboratory (Fermilab), la Universidad Estatal de Río de Janeiro (UERJ) y la Universidad Estatal de Sao Paulo, además de prestigiosas organizaciones como Internet2 y organismos institucionales como la Fundación Nacional de Ciencias, creada por el Congreso en 1950.
Estos y otros colaboradores cuya lista puede consultarse en la página del CALTECH, han demostrado con sus inmensos y habituales flujos continentales y transoceánicos de datos, y con este nuevo récord de velocidad de transferencia, que la comunidad científica y tecnológica está preparada para explotar en profundidad la próxima generación de redes, y que –en palabras de Richard Cavanaughh, de la Universidad de Illinois y coordinador del proyecto UltraLigh– “la visión de un Grid dinámico de extensión mundial que dé soporte a muchos terabytes y más amplias transacciones de datos, es practicable”.