Reflexiones sobre el Cloud Computing

Durante los dos últimos años (aprox.) he estado diseñando sistemas distribuidos de computación de alto rendimiento. Por diversos motivos, Amazon ha sido una arquitectura muy útil para su implementación. Uno de los sistemas más interesantes y cercanos en Amazon es el desarrollado por Ricardo Galli en Menéame (http://gallir.wordpress.com/2009/12/30/como-montamos-meneame-en-amazon-ec2/). Sin embargo, la reciente crisis (http://gallir.wordpress.com/2011/08/10/la-crisis-con-amazon-aws/) ocasionada en los datacenters de Amazon en Dublín por la caída de un rayo ha generado una tormenta de reflexiones (http://www.nubeblog.com/2011/08/10/el-otro-efecto-meneame/). Aprovechando que he retomado el blog, me gustaría compartir las mías:

1. Es cierto que los problemas con los EBS han hecho cuestionar la madurez de Amazon. ¿Pero la solución consiste en replicar en distintas áreas/datacenters de Amazon? ¿Por qué no replicar en distintas nubes? Puede parecer impensable un fallo de Amazon a nivel global, pero también lo era el fallo que se ha producido con los EBS.
2. ¿La replicación es un tema exclusivo de la arquitectura? Siguiendo la evolución de Menéame considero que también ha fallado la replicación de conocimiento. Que sólo un trabajador sea capaz de gestionar una crisis (por inesperada que sea) es un punto único de fallo que podría ser solventado mediante formación.

Cambio de aires

El abandono del blog puede derivar en que ya nadie lea esta entrada, pero sigo siendo optimista. La mayoría de los hipóteticos lectores sabrán que recientemente cambié los ventosos desiertos de Zaragoza por las soleadas playas de Barcelona.

Una de las principales razones de esta decisión fue profesional y ha conducido a tener que adaptarse a nuevos entornos sin perder los intereses anteriores. Estos cambios como Ingeniero en Informática incluyen gestionar nuevos tipos de datos en diferentes lenguajes de programación, en concreto Python. Para dar los primeros pasos me he ayudado de un tutorial para iniciados muy recomendable. Al contar con licencia de Creative Commons me dispongo a compartirlo con todos vosotros. El autor, Raúl González Duque, ha elaborado un manual muy didáctico y bien estructurado.

Por otro lado, está el tema de las estructuras de datos, particularmente grafos. Una reacción esperada de un aficionado a Hadoop es la de buscar estrategias para aprovechar su potencial. Ya hace meses había encontrado el libro de Jimmy Lin “Data-Intensive Text Processing with MapReduce”. En el quinto capítulo muestra una representación MapReduce para grafos y algoritmos clásicos como Recorrido en anchura y PageRank. Esta semana también descubrí otros diseños como la representación vértice-arista-vértice o estrategias para que el criterio de particionado+replicación+ubicación de los datos dependa de la estructura del grafo.

Sin duda, es agradable que se estén dedicando esfuerzos a orientar tecnologías tan potentes como Hadoop para este entorno. Sin embargo, me planteo si estas líneas de investigación están abiertas por un fenómeno de fanboy. Existen excelentes tecnologías diseñadas para procesar grafos (por ejemplo Neo4j) y, pese a mi corta experiencia como informático, sigo siendo muy escéptico ante una posible panacea computacional…

P.D. Si has llegado a este post por una búsqueda relacionada con la escalabilidad puede que te interese unirte a este grupo Google: https://groups.google.com/group/spain-scalability-users

P.D.2. Ya que estamos con enlaces, el próximo 24 de agosto se celebra un webminar sobre el futuro de Hadoop impartido por su creador (Doug Cutting) y el fundador de Cloudera (Jeff Hammerbacher): https://www1.gotomeeting.com/register/707543209

Instalación de Solr con múltiples cores en Tomcat y Windows XP

Cualquier lector que haya trabajado con Solr en Tomcat (http://wiki.apache.org/solr/SolrTomcat) con una arquitectura multicore (http://wiki.apache.org/solr/CoreAdmin) puede detenerse en este punto. Sin embargo, ya que recientemente he tenido que documentar todos los pasos, me parece interesante compartir las instrucciones en castellano para su instalación con la configuración de los cores de ejemplo:

1. Descarga el instalador de la última versión de Tomcat para Windows (http://tomcat.apache.org/download-70.cgi) y ejecútalo
2. Arranca el servicio y comprueba que está correctamente configurado (http://localhost:8080)
3. Descarga la última versión de Apache Solr (http://apache.rediris.es//lucene/solr/3.1.0/apache-solr-3.1.0.zip)
4. Descomprime el zip y copia la carpeta “example/multicore” donde desees, por ejemplo: c:/multicore
5. Detén el servicio de Tomcat
6. Renombra el war de Solr que se encuentra en el directorio “dist” del zip como solr.war, cópialo y pégalo en la carpeta de “webapps” de Tomcat
7. En las opciones del Monitor de Tomcat, añade al text box de las Java Options la variable que indica el home de solr:  -Dsolr.solr.home=c:\multicore
8. Arranca de nuevo Tomcat y comprueba la instalación (http://localhost:8080/solr)

Buenas prácticas para utilizar MySQL en Amazon EC2

Hace unos días estuve echando una lectura rápida a “MySQL High Availability“. En este libro se exponen técnicas para la gestión de sistemas de información como la replicación, el particionado de tablas, o los planes de recuperación ante desastres. Muchos de estos conceptos son universales y, en mi caso, han sido fundamentales en otras tecnologías como Apache Solr.

El libro dedica una sección para MySQL en sistemas de computación en la nube centrándose en Amazon EC2 y considero interesante compartir el listado de buenas prácticas que propone (para Solr se publicó hace año este fantástico post):

• Ejecute sólo un servidor de MySQL por cada instancia de EC2
• Aproveche las instancias de tipo large/extralarge para computación intensiva
• Utilice volúmenes adicionales EBS para minizar el impacto de las peticiones I/O
• Caliente (warm up) las particiones de datos
• Configure correctamente MySQL
• No se olvide de la monitorización del sistema
• Utilice los mecanismos de replicación de MySQL
• Emplee una AMI estándar que ya haya sido testeada
• Diseñe y mantenga buenas prácticas de seguridad
• Monte particiones con las opciones noatime y nodiratime
• Utilice EBS con MySQL
• Realice snapshotting de las instancias empleando S3
• Balancee adecuadamente la carga

El contenido completo, y por ende la extensión de este listado, puede consultarse en la copia disponible en la Biblioteca Hypatia de la Universidad de Zaragoza:
http://roble.unizar.es/record=b1109922~S1

The International Conference on Web Intelligence, Mining and Semantics WIMS’11

La semana pasada fue publicada la agenda preliminar de “The International Conference on Web Intelligence, Mining and Semantics” (WIMS’11). En este congreso se celebrarán numerosas conferencias, workshops y tutoriales abordando un gran abanico de temáticas relacionadas con la recuperación de información, procesos semánticos y procesos de minería de textos.

En la sesión “Social Network Analysis” tendré la oportunidad de exponer los resultados del trabajo realizado durante los últimos meses con la presentación titulada “Graph Visualization Tool for Twittersphere Users based on a High-Scalable Extract, Transform and Load System”.

Sogndal, Der jeg går!

Más información:  Agenda del congreso

---

Last week, the preliminary schedule of “The International Conference on Web Intelligence, Mining and Semantics” (WIMS’11) was published . The congress will held numerous conferences, workshops and tutorials boarding a wide range of topics related to information retrieval, semantic processing and text mining processes.

In the Session “Social Network Analysis” I will have the opportunity to present the results of the work done during the last months with the presentation entitled “Graph Visualization Tool for Users Twittersphere based on a Scalable High-Extract, Transform and Load System. “

Sogndal, Der jeg går!

More information: Conference Schedule

Richard Stallman: “El Movimiento del Software Libre y el Sistema Operativo GNU/Linux”

Ayer Richard Stallman se acercó al Parque Tecnológico de Walqa (Huesca) para impartir una conferencia titulada “El Movimiento del Software Libre y el Sistema Operativo GNU/Linux“. Durante más de horas abordó el concepto del software libre, su evolución hasta nuestros días y la necesidad de fomentarlo en las escuelas. Como era de esperar, la sesión finalizó con Stallman, en su alter ego San Ignucio, evangelizando al público con su mensaje de la Iglesia de Emacs.

Podrían recogerse muchas citas de la conferencia, algunas de ellas fueron las siguientes:

• Si tienes elección entre hacer un programa privativo y no hacer nada… es mejor no hacer nada
• Cuando me preguntan por la piratería digo que no me gusta que se atraquen barcos
• Windows es malware… Macintosh también
• Apple es pionero en atacar la libertad del usuario
• (Amazon) Kindle en inglés es incendiar, un producto para incendiar los libros
• A los programadores les gustan las bromas recursivas
• Mi meta es entregar libertad a la gente
• Cuando me llaman el padre del “opensource” respondo que fue concebido por inseminación artificial
• El objetivo no es desarrollar más programas libres sino educar a los usuarios para que exijan su libertad
• Usar software como servicio (SaaS) es como usar software privativo con vigilancia y una gran puerta trasera
• Las escuelas deben rechazar las drogas y el software privativo, deben enseñar buenos hábitos
• El software privativo es el enemigo de la educación
• Para escribir buenos códigos fuente hay que leer antes mucho código
• Con la Ley Sinde los españoles perdieron una batalla pero la guerra contra el Partido Corporativista y el Partido Pendular continua
• No hay más sistema que GNU, y Linux es uno de sus núcleos
• VI, VI, VI es el editor de la bestia

Untethered Jailbreak para Ipod touch 2G MC con GreenPois0n

Cuando me hice con un Ipod Touch 2G no contaba con que la versión que adquirí era MC. Realizando el primer jailbreak con blackra1n descubrí lo que era un tethered jailbreak y el pesado proceso de realizar un nuevo jailbreak cada vez que se apagaba el dispositivo.

Hace unos días me vi forzado a restaurar el Ipod con la versión 4.2.1, me incliné por probar la nueva versión de Greenpois0n y… ¡POR FIN! El soñado untethered jailbreak para mi aparato (es posible que ya hubiera otras alternativas que desconozco). Los pasos son los siguientes:

1. Descarga Greenpoison de http://www.greenpois0n.com/ (windows, linux y mac)
2. Conecta el Ipod al equipo
3. Sincronízalo con Itunes
4. Apaga el Ipod
5. Ejecuta Greenpois0n siguiendo las instrucciones para entrar en el modo DFU

Si alguno se ha perdido o necesita más información siempre puede utilizar este videotutorial: http://www.youtube.com/watch?v=wegF5BOE09Y

---

When I got an iPod Touch 2G I did not expect that the version I bought was MC. When I performed the first jailbreak with blackra1n I discovered what a tethered jailbreak means and the heavy process of performing a new jailbreak every time the device was turned off.

A few days ago I was forced to restore the device to version 4.2.1, I opted to try the new version of Greenpois0n and … FINALLY! The dreamed untethered jailbreak for my device (there could be other alternatives I did not know). The steps are the followings:

1. Download Greenpoison from http://www.greenpois0n.com/ (windows, linux and mac)
2. Connect your iPod to your computer
3. Sync with Itunes
4. Turn off the Ipod
5. Run Greenpois0n and follow the instructions to enter DFU mode

If you are lost or you need more information you can always use this video tutorial: http://www.youtube.com/watch?v=wegF5BOE09Y

Top 5 de juegos para Ipod Touch en 2010

Como todos los diciembres, se sucede una avalancha de listas y reconocimientos del año que acaba: portada de la revista TIME, nominados para el Balon de Oro, los mejores momentos de APM…

Itunes ha publicado recientemente su Rewind 2010 con las mejores aplicaciones del año por categorías. Para muchos la categoría más interesante es la de juegos así que queriendo aportar el enésimo listado, ahí va mi TOP 5 de juegos para Ipod Touch de este año:

Número 5
	Canabalt La quinta plaza ha sido la que más me ha costado elegir. Entre todas las candidatas escojo Canabalt por lograr una altísima jugabilidad con un planteamiento de lo más sencillo.

Número 4
	Doodle Jump Divertido juego de plataformas en el que nuestro amigo el Doodler tendrá que ir ascendiendo utilizando distintas herramientas y evitando obstáculos.

Número 3
	Plantas vs. Zombies Defiende tu casa del ataque de zombies con un variado arsenal de plantas. Pese a que inicialmente no prometía mucho se ha convertido en un adictivo clásico de sofá.

Número 2
	Cut the rope Consigue llegar llevar el caramelo a la boca del “monstruito” ayudándote de cuerdas, burbujas… Un excelente juego de puzzle para poner a prueba tu astucia.

Número 1
	Angry Birds Como no podía ser de otra manera el número 1 de descargas del AppStore es también el número 1 de esta lista. Los desarrolladores de Rovio han conseguido un juego díficilmente superable.

• // 0diggsdigg
• 0 Comments
• +7 Recommends
• Email

iTunes Rewind 2010

Por último me gustaría citar algunos de los juegos que,  aún quedándose fuera de lista, merecen una mención:

• Solipskier
• Flight Control
• Dark Nebula 2
• Fruit Ninja
• Mani Golf
• Edge
• Need for Speed™ Hot Pursuit
• Trivial Pursuit
• The Simpsons Arcade 

Escritorio remoto para instancias Fedora en Amazon EC2

Una de las muchas diferencias en Amazon EC2 a la hora de elegir entre Windows o Linux es el acceso: Terminal Server o SSH respectivamente. Optar por Linux requiere conocer un buen repertorio de comandos para administrar la instancia correctamente.  Además, si el acceso  se realiza desde Windows con un cliente SSH como Putty, hará falta un escritorio instalado y utilizar X Window System para visualizar las aplicaciones de escritorio en remoto. Por otra parte, para acceder al escritorio desde un Ipod Toch con un cliente como EzShare será necesario darle una vuelta de tuerca más.

Este tutorial detalla en pocos pasos cómo instalar un escritorio y un servidor VNC en una instancia de Amazon para acceder desde un gran número de dispositivos.

Nota: El tutorial se ha realizado con Fedora release 8 (Werewolf), para otras distribuciones los pasos serán los mismos salvo la instalación de los paquetes. De igual manera, hay que tener en cuenta que todo el proceso se ha ejecutado accediendo como root.

INSTALACIÓN DEL ESCRITORIO

Si el AMI de la instancia no incluye un escritorio habrá que instalarlo. No pretendo polemizar entre GNOME y KDE así que cada uno es libre (nunca mejor dicho):

1) yum groupinstall “X Window System”
2a) yum groupinstall “GNOME Desktop Environment”
2b) yum groupinstall “KDE (K Desktop Environment)”

INSTALACIÓN DE VNC

Similar al anterior

3) yum install vnc-server
4) yum install vnc

CONFIGURACIÓN DEL SERVIDOR VNC

Una vez instalado el servidor, hará falta registrar el usuario root con una contraseña. Para ello, hay que añadir con un editor (por ejemplo vi) las dos siguientes líneas al fichero /etc/sysconfig/vncservers

VNCSERVERS=”1:root”
VNCSERVERARGS[1]=”-geometry 1444×900″

De este modo, se indica que root utilizará el display 1 y su puerto de acceso sera 5900+1 = 5901. Al igual que se puede fijar la resolución (geometry), existen otros parámetros de configuración.

A continuación, con el siguiente comando se establece la contraseña para el usuario root:

5) vncpasswd

Si todo ha ido correctamente se debería haber creado el fichero encriptado /root/.vnc/passwd

Nota: El puerto elegido, 5901 en este tutorial, debe estar correctamente configurado en el grupo de Amazon.

Por último, ya sólo queda arrancar el servicio y disfrutar

6) service vncserver start

Fácil, ¿no?

yum install vnc

Presentación del PFC

Éxodo 34:29 “Y aconteció que descendiendo Moisés del monte Sinaí con las dos tablas del testimonio en su mano, al descender del monte, no sabía Moisés que la piel de su rostro resplandecía, después que hubo hablado con Dios”.

Lunes 21 de junio:  “Y aconteció que descendiendo Aragón de la Stylo con los 3 tomos de la memoria del PFC en su mano, al descender en Juslibol, no sabía Aragón que la piel de su rostro resplandecía, después que hubo depositado en Secretaría”.

Los próximos versículos serán escritos durante la presentación en el Seminario del Departamento de Informática el próximo 6 de julio a las 10,50…