Cloud Dataflow, plataforma de Google para procesar datos en tiempo real

Con la enorme cantidad de servidores que Google tiene, es una buena idea ofrecer la potencia a los desarrolladores que lo necesiten. Una de las nuevas herramientas presentadas, disponible desde la plataforma de desarrollo en la nube, es Cloud Dataflow, una aplicación que permitirá configurar “pipes” que capturen datos de Internet, con filtros y funciones que acabarán obteniendo datos útiles para nuestro proyecto. Lo presentan en el blog de google como la evolución de MapReduce.

En el ejemplo mostrado se realizan consultas en Twitter, millones de ellas, obteniendo, tal y como veis en las capturas, textos relacionados con la copa del mundo.

Una vez creadas las funciones, podemos programar para que se capture la emoción que los tweets desprenden, procesando cada tweet en tiempo real para generar información lo más rápido posible.

El resultado es un informe completo del sentimiento que se desprende de los tweets que hablaron sobre un partido de fútbol, aunque las posibilidades son enormes.

La idea es semejante a la que ofrece Yahoo Pipes, aunque en este caso estamos hablando de algo más que de bloques con funciones predeterminadas, hablamos de procedimientos programados, lo que permitirá desarrollar plataformas impresionantes procesando datos con el poder de Google.

Os avisaremos cuando tengamos más datos relacionados con el uso de DataFlow.

Juan Diego Polo

Estudió Ingeniería de Telecomunicaciones en la UPC (Barcelona), trabajando como ingeniero, profesor y analista desde 1998 hasta 2005, cuando decidió emprender creando wwwhatsnew.com.