Archivi tag: cloud

Tesi Magistrale: Soluzioni distribuite per l’analisi di dati biomedici in ambiente Virtual Data Center

Sono stato un pò fermo con il blog a causa del mio lavoro di tesi magistrale: benchmark di applicazioni distribuite biomediche su un cluster privato del GARR. In sostanza avevo due applicazioni per l’estrazione dei k-mer, una Hadoop e l’altra Spark e ne ho testato le performance su di un cluster composto da server con tecnologia convergente.

 

Approfondimenti:

Microservice: unikernel vs container

Negli ultimi anni per quanto riguarda il cloud si stanno diffondendo sempre più i microservice, per farsi un’idea dell’importanza basta leggere questo post sul blog di Microsoft Azure, oltre che andare su linux.com dove i container,l’ambiente dove girano i microservice (di seguito spiego cosa sono), sono uno dei  tranding topics insieme alla blockchain. Continua a leggere

How to compile Hadoop 2.7.1 on Raspberry Pi B+

A day I friend of mine give me an old Raspberry B+ and I  found on internet this tutorial by The University of Glasgow’s Raspberry Pi Project Blog . I tried to compile Hadoop on it, in the way that native libraries are loaded (you can check this with hadoop checknative -a) 

But why are native libraries (libhadoop, zlib, snappy, lz4, bzip2 and openssl) so important? I get the answer from the Hadoop page:

“Hadoop has native implementations of certain components for performance reasons and for non-availability of Java implementations.”

Raspberry B+ is not so fast and use more possible native code is better! (Raspberry Zero was also released: it is 40% faster than B+ but it has not ethernet support ).

So I started to compile it on hardware. I started from this tutorial by Headamage for Raspi2 and after some days of experiments, I have successfully compiled Hadoop!
First: I used an external USB disk also because compile projects of this dimension can destroy your SD card. You need at least 1.5GB  of free memory on an ext2  partition  (or some other file system that support symbolic links) only to compile Hadoop without protobuf: so I suggest you 3GB of free memory on disk for everythings. Continua a leggere