Data engineering I

Om kursen

Den här kursen handlar om hur man angriper analys av datamängder som är så stora så att det inte längre går att hantera dem med traditionella databaser och traditionell programvara. Sådan datamängder kan till exempel genereras från experiment och simuleringar inom många vetenskapsområden. Ett vanligt problem inom storskalig maskininlärning är preprocessing och transformation av massiva datamängder innan modeller tränas.

Kursen handlar dels om hur moderna system är designade för att klara av att hantera snabbt växande datamängder på både ett robust och ekonomiskt sätt, och hur man praktiskt använder olika plattformar och hjälpmedel för den här typen av stora datamängder. Fokus i kursen ligger på analys av stora dataset med hjälp av beräkningskluster och så kallade batch-beräkningar, samt på praktiskt användning av molnresurser.