15.09.04
Crunching Data
Para celebrar que ya me voy encontrando mejor y que ya no tengo fiebre (solo unos dolores de cabeza del copón ;)). Voy a comentarles un poco por encima una de las experiencias más frustrantes que puede vivir uno como trabajador en este ramo de la informática: el data crunching
Cuando hablo de “Data Crunching”, me refiero a operaciones que han de machacar muchisimos datos para obtener un resultado. ¿Pero en que anda el colega metido? Se preguntarán ustedes. Pues no, no ando usando clusters para multiplicar matrices enormes ni nada parecido, me estoy dedicando a realizar medidas (no les voy a decir de que, ni para que, eso queda como secreto de confesión ;)). El problema es que yo no se si la cosa ha ido bien o mal hasta que:
- Casca el programa por algo
- Termina el programa pero los resultados no son los correctos
Si lo que pasa es lo primero, estamos en el mejor de los males, ya que se arregla y se intenta de nuevo la iteracción, pero… si la cosa termina mal solo se sabe cuando termina y eso me supone esperar a veces hasta 3 horas para saber si lo que he hecho no ha servido para nada, vamos, la época del procesamiento brutal con tarjetas perforadas ha vuelto ;)
Por si esto fuera poco, el sistema es en tiempo real, y los datos tienen que ser ofrecidos ya mismo, es decir, de un dia para otro tiene n que ser correctos, lo que me obliga a tener datos listos de un dia para otro y a realizar los cambios con sumo cuidado para no romper nada.
Es posiblemente uno de los sistemas más complejos (por muchas razones, no solo por esta :)), que he tenido que programar. Sepan que afortunadamente va para adelante ya, pero mi sudor me ha costado. :)
Jacobo
16 de Septiembre de 2004 a las 0:50
"Crunching data" son datos que mastican :-)
La expresión es "data crunching", mascado de datos :-)
JJ
17 de Septiembre de 2004 a las 12:18
Eso es el pan de cada día para los que hemos hecho tesis. La única solución es hacer pruebas exhaustivas con subconjuntos de los datos, meter checkpoints para ver cómo va la cosas en un momento determinado, cosas así.
Benji
18 de Septiembre de 2004 a las 0:00
sí, si es lo que he acabado haciendo, pero a veces no es tan facil. En la tesis por ejemplo uno investiga y si sale mal pues vaya por dios, el problema es que aquí si algo sale mal… lo mismo me peligran los genitales, y tampoco es pa andarselos jugando alegremente ;) (Mis amigos son las salidas por salida estandar y los logs lo más granulares posibles y bien fechados :))