Es recomana estar al dia dels continguts de l'assignatura. Si no es pot assistir a alguna classe, es convenient preguntar al professor sobre el material corresponent.
Assignatura/matèria en el conjunt del pla d'estudis (màx. 4000 caràcters)
L'adquisició de dades i el seu anàlisi posterior és una valuosa font d'informació en la indústria. Quan la quantitat de dades a analitzar és molt gran, el tractament clàssic basat en un únic equip es queda curt. En aquesta assignatura, es dóna una visió global sobre el processament massiu de dades que va des d'emmagatzematge massiu al processament paral.lel de dades en múltiples nuclis i arquitectures distribuïdes.
Requisits per cursar-la
Prerequisits
Corequisits
Professorat
Nom
Correu
Horari de consulta
Crèdits teòrics
Crèdits pràctics
Josep Lluis Lerida Monso
jlerida@diei.udl.cat
3
Francisco Sebé Feixas
fsebe@matematica.udl.cat
1.5
Competències
Competències estratègiques de la Universitat de Lleida
Respecte als drets fonamentals d'igualtat entre homes i dones, a la promoció dels Drets Humans i als valors propis d'una cultura de pau i de valors democràtics.
Objectius
Tenir un comportament correcte a classe, sent respectuos amb la resta de companys de classe.
Domini d'una llengua estrangera
Objectius
Escriure un informe tècnic en llenguatge científic.
Preparar i realitzar una presentació pública en anglès.
Domini de les Tecnologies de la Informació i la Comunicació.
Objectius
Utilitzar eines TIC per a la recerca d'informació a Internet, escriure documents i preparació de presentacions amb diapositives.
Competències específiques de la titulació
Coneixement dels mètodes i les tècniques necessàries per al desenvolupament de la tesi doctoral.
Objectius
Analitzar de forma acurada informació proporcionada en articles científics i altres fonts d'informació.
Sintetitzar els conceptes i les idees claus obtinguts de diferents fonts d'informació
Expressar de forma clara i resumida les principals idees i conceptes adquirits.
Treballar el plantejament de nous objectius de recerca en l'àmbit de treball
Analitzar amb rigorositat i amb esperit crític els resultats obtinguts
Contrastar i comparar de forma rigorosa i adequada els resultats i/o informacions obtingudes de la experimentació amb altres fonts d'informació.
Capacitat de disseny de sistemes informàtics interactius, intel·ligents i complexos en equips multidisciplinaris i entorns distribuïts.
Objectius
Identificar els principals paradigmes de les aplicacions d'ús intensiu de dades seqüencials, simultànies i paral·leles.
Identificar i utilitzar els mecanismes més adequats per emmagatzemar, manipular, recuperar i processar grans quantitats d'informació.
Utilitzar el model relacional de dades per dissenyar, organitzar, emmagatzemar i accedir a la informació.
Capacitat per plantejar objectius de recerca.
Objectius
Cercar de forma eficient textos científics claus en l'àmbit de treball
Identificar clarament els trets característics dels textos científics treballats
Identificar els trets diferencials i noves oportunitats de recerca
Capacitat de dissenyar, executar, avaluar i optimitzar experiments dels àmbits relacionats.
Objectius
Identificar el conjunt adequat de proves que permetin demostrar i/o validar els objectius plantejats en la recerca
Processar i analitzar de forma correcta conjunts de dades obtinguts de forma experimental.
Coneixement de les fonts d'informació principals dels àmbits de treball i habilitat per a consultar-les, entendre-les i aplicar-les.
Objectius
Seleccionar i utilitzar adequadament la informació científica sobre els últims paradigmes de computació i les seves aplicacions per al processament massiu de dades.
Seleccionar i utilitzar adequadament les fonts d'informació sobre el maneig de bases de dades.
Competències transversals de la titulació
Capacitat de redacció d'articles científics i presentació oral.
Objectius
Identificar les parts principals d'un article científic
Expressar de forma clara i concisa la informació i resultats obtinguts
Aplicar de forma correcta formats i estàndards en la elaboració de documentació científica en l'àmbit de coneixement.
Capacitat de recerca, anàlisi i selecció d'informació tècnica i científica.
Objectius
Identificar les fonts d'informació més significatives de l'àrea de coneixement sobre el tema que es tracta
Analitzar i sintetitzar les idees principals de la informació consultada
Contrastar i comparar les diferents fonts d'informació i identificar-ne els trets diferencials i/o característics
Capacitat de treball cooperatiu en grups multidisciplinaris i multiculturals.
Objectius
Treballar en comú amb altres companys de l'aula els conceptes adquirits tant a l'aula com en un procés de cerca d'informació individual.
Demostrar ment oberta i tolerància a la diversitat d'idees i enfocaments.
Capacitat d'aprenentatge permanent.
Objectius
Integrar-se i participar de forma activa a nivell de grup
Mostrar-se actiu en l'aula i interessat en l'adquisició de nous coneixements
Participar en els debats d'aula
Continguts
Continguts de la matèria
1.Introducció al processament massiu de dades.
1.1. Dades, informació i coneixement.
1.2. Processament de dades mitjançant ordinadors.
1.3. Gestió massiva de dades.
2. Organització, manipulació i consulta de dades
2.1. Conceptes RDBMS .
2.2. Organització de dades.
2.3. Manipulació i Consulta de dades.
2.4. Mètodes d'accés a dades.
3. Sistemes RAID
3.1. Nivells RAID
3.2. Anàlisi de rendiment
4. Compressió de dades
4.1. Algorismes sense pèrdues
4.2. Algorismes amb pèrdua
5. Àrees de xarxes d'emmagatzematge
5.1. Tipus d'emmagatzematge IP
5.2. Anàlisi de rendiment
6.Processament de dades paral·lels i distribuïdes
6.1. Computació Paral·lela
6.2. Arquitectures Multicore
6.3. GPUs (Graphics processing Units)
6.4. Computació Distribuïda
6.5. Cassos d'estudi reals
Bibliografia
Bibliografia recomanada
EMC (2009), Information Storage and Management: Storing, Managing, and Protecting Digital Information
James Abello (Author), Panos M. Pardalos (Author), Mauricio G. C. Resende (2002), Handbook of Massive Data Sets (Massive Computing)
Bruce Jacob, Spencer Ng, David Wang, Memory Systems: Cache, DRAM, Disk, Morgan Kaufmann, 2008
I.H.Witten, A.Moffat, T.C.Bell, Managing gigabytes: compressing and indexing documents and images. Morgan Kaufmann; 2 Sub edition (1999)
W.C.Preston, Using SANs and NAS, O'Reilly Media; 1 edition (February 2002).
Beighley, Lynn. Head First SQL. Your brain on SQL. O'Reilly Media. pp 608. August 2007. ISBN: 978-0-596-52684-9
Momjian, Bruce. PostgreSQL: Introduction and Concepts. http://www.postgresql.org/files/documentation/books/aw_pgsql/index.html
Matthew, Neil. Stones, Richard. Beginning Databases with PostgreSQL: From Novice to Professional. Appres: 2nd edition. pp 664. April 2006. ISBN: 978-1590594780
Georg Hager, Gerhard Wellein, Introduction to High Performance Computing for Scientists and Engineers, Chapman & Hall/CRC Computational Science, 2010
White, Tom (June 16, 2009). Hadoop: The Definitive Guide (1st ed.). O'Reilly Media. pp. 524. ISBN 0596521979. http://oreilly.com/catalog/9780596521974.
Lam, Chuck (July 28, 2010). Hadoop in Action (1st ed.). Manning Publications. pp. 325. ISBN 1935182196. http://www.manning.com/lam/.
Jason Sanders, Edward Kandrot, CUDA by Example: An Introduction to General-Purpose GPU Programming, Addison-Wesley, 2010.