Skladista Podataka
Skladista Podataka
Stipe elar 1
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 2
Assis. Prof. Stipe elar, Ph.D.
Experience Education
TU Wien Ph.D. (tech.sc.)
1994 - 1997
Uni Zagreb B.sc. (philos.)
1991 - 1995
Uni Split M.sc. (elec.eng.)
1987 1992
IEEE member
PMI member
ACM member
DAAAM member
current:
o Assis. Prof. at FESB, University of Split
o Head of the CCSE at FESB, University of Split
o Visiting Prof. at University of Mostar, FSR
past:
o honorary professor at FESB, University of Split
www.fesb.hr
o vice director, project manager at ENEL-Split (CRO)
www.enel.hr
o consultant, project manager at PULSAR (CRO)
www.pulsar.hr
o Research Fellow at TU Wien, IFLT (AT)
www.ift.at
o lecturer at FESB, University of Split (CRO)
www.fesb.hr
www.fesb.hr/ccse
EDW Is Driving Next Best Actions Across Optimized Business Processes
February 2011 The Forrester Wave: Enterprise Data Warehousing Platforms, Q1 2011
The Forrester Wave: Enterprise Data Warehousing Platforms, Q1 2011
February 2011 The Forrester Wave: Enterprise Data Warehousing Platforms, Q1 2011
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 5
Kolegij
Predavanja
5 ECTS
30 h, 2 h tjedno
od danas
Vjebe (lab) 30 h
od slijedeeg tjedna
u laboratoriju B523
rad na projektnim zadacima
3-4 osobe u timu
konzultacije s profesorom i demonstratorom
prezentacije projekta tijekom semestra
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 6
Nain rada
Statut
Pravilnici
Odluke
Raspored i dogovori
Prisutnost i evidencija
Nismo prvi put zajedno
SURADNJA!
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 7
Metoda rada
Predavanja
osnovni koncepti DW i BI
Vjebe (B523)
demonstrator
diplomant Marinko Peo
Projekt
definiranje teme
rad na temi
Povremene prezentacije
Prezentacija finalna
Gostujua predavanja iz prethodnih godina
www.tetral.hr
Tomislav Piasevoli
EMC Croatia
Poslovna Inteligencija
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 8
Kula babilonska
Zapoeti prepisku:
oznakom FELK16 i/ili
Rijeima DW i/ili SKLADITA PODATAKA
(u naslovu poruke)
Konzultacije:
prema najavi i dogovoru
mailom
ili prije vjebi
Stalni termin e biti objavljen na portalu
Vjerojatno srijeda 14-15 h
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 9
Ocjenjivanje
OCJENA KROZ PROJEKT I PREZENTACIJE
svaki lan tima doprinosi projektu
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 10
Literatura
Books:
Ralph Kimball & Margy Ross, The Data Warehouse Toolkit, Second Edition (The
Complete Guide to Dimensional Modeling), Wiley Computer Publishing, 2002
Ralph Kimball, The Fundamentals of Data Warehousing, Inteligent Enterprise,
http://www.keeboo.com
W. H. Inmon, Building the Data Warehouse, Third Edition, Wiley Computer Publishing,
2002
Chris Todman, Designing a Data Warehouse: Supporting Customer Relationship
Management , 1st Edition, Prentice Hall PTR, ISBN: 0-13-089712-4, 2000
Kimball University
http://www.kimballgroup.com/
materijali s predavanja
Web sites:
Gartner
Teradata
IBM
Oracle
Microsoft
forumi
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 11
Ciljevi kolegija
Upoznati studente s temeljnim pricipima izgradnje i
primjene tehnologije skladita podataka.
Studenti trebaju stei znanje za:
odabir DW projekta,
odabir strategije i planiranje DW projekta,
odabir odgovarajue arhitekture,
izgradnju kvalitetnog skladita podataka,
integraciju znanja o poslovnom sustavu i informacijskoj
tehnologiji,
ostvarenje maksimalne vrijednost DW investicije
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 12
Nastavne jedinice
Uvod u DW i BI
1. Osnovne informacije i osnovni pojmovi
2. Okvir za razumijevanje skladita podataka
3. Arhitekture skladita podataka
Dizajn i konstrukcija
4. ivotni ciklus izgradnje skladita podataka (faze izgradnje)
5. Modeliranje skladita podataka
Poslovna inteligencija
6. Koritenje skladita podataka
7. Informacijska obrada (upiti i izvjetaji)
8. Analitika obrada
9. Stanje prakse
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 13
Big data
2000: 0,8 ZB
2020: 35 ZB
Godinji prirast:
Twitter: 7 TB
FB: 10 TB
Prefiks Znak Vrijednost
jota Y 10
24
zeta Z 10
21
eksa E 10
18
peta P 10
15
tera T 10
12
giga G 10
9
mega M 10
6
kilo k 10
3
hekto h 10
2
deka da 10
deci d 10
1
centi c 10
2
mili m 10
3
mikro 10
6
nano n 10
9
piko p 10
12
femto f 10
15
ato a 10
18
zepto z 10
21
jokto y 10
24
Prefiksi mjernih jedinica prema SI sistemu
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 14
NIST Enterprise Architecture Model
Developed by the National Institute of
Standards and Technology (NIST) in
1989, became in the 1990s widely
accepted and promoted within the
U.S. federal government as an
Enterprise Architecture management
tool
Business Architecture drives the
information architecture
Information architecture prescribes the
information systems architecture
Information systems architecture
identifies the data architecture
Data Architecture suggests specific data
delivery systems, and
Data Delivery Systems (Software,
Hardware, Communications) support
the data architecture
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 15
Skladite podataka
Skladite podataka
Data Warehouse
usko povezan pojam s poslovnom inteligencijom
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 16
Pretpostavke (2007)
Do 2012, analitike aplikacije koje se proteu kroz vie
poslovnih podruja initi e vie od 50% ukupno
implementiranih analitikih aplikacija
0,8 vjerojatnosti
Do 2015, Business Intelligence metodologije i
tehnologije bit e prepoznate kao kljune i integralne
komponente u 80% korporativnih aplikacija
0,7 vjerojatnosti
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 17
Pretpostavke (2002)
Svjetski trendovi pokazuju da se u sljedeih 5-7 godina
oekuje ravnopravna zastupljenost standardnih
relacijskih i "data-warehouse" sustava u veini srednjih
i velikih kompanija
Projekt OLAP PEKO DAL, 18.02.2002.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 18
Krenimo od definicija
Skladite podataka
datawarehouse (Data Warehouse) DW
Poslovna inteligencija
Business Intelligence BI
Umjetna inteligencija
Artificial Intelligence AI
Online Analytical Processing OLAP
Sustavi za podrku odluivanju
Decision Support System DSS
Knowledge-based systems
Rudarenje po podacima otkrivanje znanja iz podataka
Data Mining
...dakle mnoto pojmova!
I poprilino zbunjujui njihov meuodnos!
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 19
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 20
Krenimo od definicija
Skladite podataka
datawarehouse (Data Warehouse) DW
Poslovna inteligencija
Business Intelligence BI
Umjetna inteligencija
Artificial Intelligence AI
Online Analytical Processing OLAP
Sustavi za podrku odluivanju
Decision Support System DSS
Knowledge-based systems
Rudarenje po podacima otkrivanje znanja iz podataka
Data Mining
...dakle mnoto pojmova!
I poprilino zbunjujui njihov meuodnos!
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 21
Razjasnimo poevi od ovjeka
"ovjek je mjerilo svih stvari; onih koje jesu da jesu, a onih koje
nisu da nisu".
Protagora (481 420. p.n.e.)
Iako NETONA, ova tvrdnja primjenjuje se za:
mjeru inteligentnosti neivih bia
Tj. njih oznaavamo inteligentnim po analogiji s ovjekom
A za ovjeka esto ujemo da je:
inteligentan
pametan
mudar
razborit
razuman
...
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 22
Odakle poeti?
Krenimo od pojmovnog odreenja INTELIGENCIJE
intellect
1
a: the power of knowing as distinguished from the power to feel and
to will : the capacity for knowledge
b: the capacity for rational or intelligent thought especially when
highly developed
2:
a person with great intellectual powers
(www.merriam-webster.com/dictionary)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 23
Informacija & Podatak & znanje
Podatak
injenica/zapis o dogaaju ili pojavi
naglasak je na specifikaciji sintakse
Informacija
sadri sintaksu (formu) i semantiku (sadraj)
odgovor na pitanja: tko, to, gdje, kada
ZNANJE i RAZUMIJEVANJE
sadri pragmatinu dimenziju
povezano s ciljem i svrhom
odgovor na pitanje: kako i zato
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 24
Podatak informacija znanje mudrost
http://www.systems-thinking.org/dikw/dikw.htm
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 25
Znanje i mudrost
Znanje je skup ljudskih vjerovanja i vrednovanja koja
se temelje na smisleno organiziranom skupu obavijesti
(poruka) do kojih se dolazi iskustvom, komunikacijom
ili zakljuivanjem (Tehniki leksikon, Leksikografski
zavod Miroslav Krlea, Zagreb, 2007.)
ZNANJE omoguuje interpretaciju podataka, uoava
njihovu uzrono-posljedinu povezanost
MUDROST ukljuuje i sposobnost prosuivanja,
donoenja zakljuaka, to je sposobnost ljudskog UMA
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 26
Aristotel
Svaki ovjek po prirodi tei
znanju.
Znanja su se najprije pojavila u
zemljama u kojima su ljudi
imali napretek slobodnog
vremena. Tako je Egipat bio
kolijevka matematike nauke,
jer je tu sveenikom staleu
bilo ostavljeno mnogo
slobodnog vremena.
(Metafizika)
Konfucije
Ko ne zna, a ne zna da ne zna - opasan je -
izbjegavajte ga!
Ko ne zna, a zna da ne zna - dijete je - nauite
ga!
Ko zna, a ne zna da zna - spava - probudite ga!
Ko zna i zna da zna - mudar je - slijedite ga!
Temelj nove tehnoloke revolucije: Znanje
Kudikamo je bolje znati o svakoj stvari
poneto nego o jednoj sve.
Pametan ovjek nikad nee rei da sve
zna.
Znati ne znai biti.
Naueno morate pokuati prenijeti u
svakodnevni ivot.
Pascal
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 27
O spoznaji i intelektu
ovjek ima sposobnost spoznavati, jer ima INTELEKT.
Stoga kaemo da je ovjek inteligentno bie.
Bitne karakteristike inteligentnog bia:
spoznaja
mogunost spoznavanja neega
SAMOspoznaja
mogunost spoznavanja samoga sebe kao bia
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 28
O spoznaji i intelektu
Postoje 2 naina spoznavanja (dvije mogunosti naeg
intelekta):
1. razumska spoznaja (sposobnost RAZUMA)
sustav pravila, premisa i zakljuaka
sustav logikih premisa i zakljuaka
2. umna spoznaja (sposobnost UMA)
ono to je naprosto takvo!
za to nisu potrebni postupci i zakljuci i zakljuci
To su poetne postavke, postulati na kojima gradimo daljnja znanja
Npr: Dio je manji od cjeline!
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 29
Znaajke i svojstva inteligentnog sustava
ovjek je inteligentan Sustav je inteligentan
Inteligentan sustav Zrcalni sustav ovjeka
PROBLEM
STROJ
RJEENJE
PROBLEMA
OVJEK
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 30
Inteligentni stroj
Sustav (neivo bie, stroj) je inteligentan SAMO po
analogiji s ovjekom
Stroj moemo nauiti samo onom razumnom dijelu
naeg intelekta:
sustav pravila
ako je, onda... (if then)
ovjek ovjek
intelekt
um
razum SUSTAV
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 31
Inteligencija sustava i ovjeka
Dakle, sustavi su inteligentni ako probleme rjeavaju na
nain kako bi ih i ovjek rijeio, tj. analogno ovjekovoj
razumskoj karakteristici.
Jer ovjek osim razumske spoznaje posjeduje jo i umnu
spoznaju. Te dvije vrste spoznaja ine ovjekov intelekt,
inteligenciju.
Taj zemaljski svat
osta onakav kakav bje jo prvi sat.
Jo nekako bi ivotarit znao
da nebeskog svjetla
trak mu nisi dao.
On razumom to zove i slui se njim
zvijer najvea da bude me zvijerima svim.
J.V. Goethe, Faust (V) (preveo Tito Strozzi)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 32
Poslovna INTELIGENCIJA?
to je to?
Kakva je njena veza s umom i razumom?
Na emu se temelji?
Kakva je veza s poslom (biznisom)?
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 33
BI definition
Larisa T. Moss, Shaku Atre:
Poslovna inteligencija nije niti proizvod niti sustav.
To je arhitektura i kolekcija integriranih operativnih
aplikacija i aplikacija za potporu odluivanju te baza
podataka koje poslovnoj zajednici omoguavaju lak
pristup poslovnim podacima.
Poslovna inteligencija je posebnost svake organizacije, ba
kao to je sluaj i s politikama i poslovnim pravilima u
skladu s kojima se upravlja tvrtkom i vodi poslovna
praksa.
Tu jedinstvenost treba istraiti kako bi se mogla ostvariti
konkurentska prednost.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 34
Podaci u informacijskom sustavu
podaci nastaju u IS
podaci se zapisuju
podaci se obrauju, tumae i pretvaraju u informacije
informacije slue za analize i donoenje poslovnih
odluka
POSLOVNA INTELIGENCIJA (BI) je opi naziv za metode
i alate koji omoguavaju:
prikupljanje,
analizu,
distribuciju i
djelovanje na osnovi poslovnih informacija
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 35
IS i baza podataka
INFORMACIJSKI SUSTAV je sustav koji prikuplja,
pohranjuje, uva, obrauje i isporuuje
informacije vane za organizaciju i drutvo, tako da budu
dostupne i upotrebljive za svakog tko ih eli koristiti,
ukljuujui poslovodstvo, klijente, osoblje i ostale.
Informacijski sustav aktivni je drutveni sustav koji moe,
ali ne mora, koristiti suvremenu informacijsku tehnologiju.
Baza podataka je centralno mjesto informacijskog
sustava. Pohranjeni podaci u bazi podataka opisuju
trenutno stanje dijela realnog svijeta za koji je i razvijen
informacijski sustav, naravno na nain pogodan za
raunalnu obradu.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 36
Baza podataka
BAZA PODATAKA je organizirana zbirka podataka.
BAZA PODATAKA je zbirka zapisa pohranjenih u raunalu na sustavni nain,
takav da joj se raunalni program moe obratiti prilikom odgovaranja na
problem.
Svaki se zapis za bolji povratak i razvrstavanje obino prepoznaje kao
skup elemenata (injenica) podataka.
Predmeti vraeni u odgovoru na upitnike postaju informacije koje se mogu
koristiti za stvaranje odluka koje bi inae mogle biti mnogo tee ili nemogue
za stvaranje.
iroko proireno miljenje:
Zbirka podataka stvara bazu podataka jedino ako ima odreena svojstva:
ako se podatcima upravlja kako bi osigurali svoj integritet i kvalitetu,
ako omoguuje zajedniki pristup nekoj zajedinici korisnika,
ako ima shemu, ili
ako podrava upitni jezik.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 37
Model podataka
Osnovni elementi modela podataka:
Struktura podataka
Struktura podataka opisuje elemente modela, entitete, atribute, relacije i
sl. koji se odabiru iz sustava koji se analizira i za koji se formira model
podataka.
Skup operacija
operacije nad strukturom modela
njima se izraava dinamika realnog sustava
Operacije kojima se mogu pretraivati, dobivati i modificirati podaci o tim
objektima
Skup opih pravila integriteta podataka
Statiki opis realnog sustava
pravila koja implicitno ili eksplicitno definiraju skup konzistentnih stanja
podataka ili promjena stanja, ili oboje
pravila koja su openita u smislu da su primjenjiva na bilo koju bazu
podataka koja koristi taj model
pravila koja razdvajaju doputena od nedoputenih stanja realnog
sustava
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 38
Osnovni modeli podataka
Konceptualni
odreuje nain shvaanja dogaaja, nain shvaanja
podataka o dogaaju.
On je cjelovit, konzistentan i neredudantan
Logiki
polazi od logikog, a rezultira izraenim fizikim modelom
Fiziki model je opis stvarne fizike organizacije podataka.
Model ima oblik unutranje sheme baze podataka.
Logiki model podataka je konceptualni model podataka koji
slui za daljnju razradu.
Tri su tipa logikih modela podataka:
Hijerarhijski
relacijski i
mreni.
Fiziki
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 39
Sustav za upravljanje bazom podataka DBMS
... je programski sustav koji osigurava osnovne
funkcije odabranog modela podataka u postupku
kreiranja i koritenja baze podataka. Sastoji se od
integrirane kolekcije programske podrke koja
omoguava:
opis i manipulaciju podacima pomou posebnog jezika
(posebnih jezika),
visoki nivo suelja prema podacima nezavisan od strukture
podataka u raunalu,
efikasno koritenje i razumijevanje informacija pohranjenih
u bazi podataka, zahvaljujui skupu programskih alata.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 40
Vrste baza u IS-u
Transakcijski sustav - jo se koriste i nazivi:
operacijski sustav, operacijska baza podataka, OLTP sustav
(OLTP - On-Line Transaction Processing),
velik broj transakcija od kojih svaka sadrava malu koliinu podataka
Sustav skladitenja podataka analiza podataka,
izvjea, obrada velike koliine podataka, OLAP sustav
(On-Line Analytical Processing)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 41
What is DW?
Ralph Kimballs definition from his first edition of The
Data Warehouse Toolkit:
A data warehouse is a copy of transaction data specifically
structured for querying and reporting.
Sometimes non-transaction data are stored in a data
warehouse - though probably 95-99% of the data
usually are transaction data.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 42
Kako nastaje DW?
DW je logicki transformiran i fizicki odvojen od izvora podataka
ETL Extraction, Transformation and Loading
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 43
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 44
Kako nastaje DW?
DW je logicki transformiran i fizicki odvojen od izvora podataka
ETL Extraction, Transformation and Loading
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 45
Povijesni pregled skladitenja podataka
Koncept skladitenja podataka datira iz kasnih 1980-tih, period kada
IBM-ovi istraivai Barry Devlin i Paul Murphy razvijaju poslovno
skladite podataka. U sutini je taj koncept trebao pruati model toka
podataka od operacijskog sistema do okruenja za pomo odluivanju
te uputiti panju na rjeavanje raznih problema s tokom. U nedostatku
arhitekture skladita podataka potrebna je bila velika koliina
redundancije za podrku viestrukim okruenjima za pomo
odluivanju.
Osoba koja je smatrana ocem skladitenja je Bill Inmon koji u 1970-
tima poinje definirati i predstavljati tu temu, a 1991. godine njegova
tvrtka, Prism Solutions, lansira softversko rjeenje za razvoj skladita
podataka. Sljedee godine, 1992., izdaje knjigu o detaljnoj izradi
skladita podataka koja se zvala Building the Data Warehouse.
Par godina prije se poinje isticati kasniji Inmonov rival na tom
podruju, osoba s oprenim miljenjima oko optimalnog razvoja
skladita, Ralph Kimball. On 1990. godine sa svojom tvrtkom, Red
Brick Systems, takoer razvija sustav za upravljanje skladitima
podataka. 1996. godine izdaje poznatu knjigu The Data Warehouse
Toolkit.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 46
Povijesni pregled razvoja DW
60-te i 70-te godine: Unapreenje operacijskih sistema
stari podatci se uklanjali iz OLTP i spremali na magnetske medije
monolitni, centralizirani, mainframe sustavi
naslijeeni sustavi (engl. legacy systems)
80-tih godina dolazi do popularizacije osobnih racunala
snaga raunala raste
GUI
jaz izmeu programera i krajnjih korisnika.
izvlaenje podataka iz naslijedenih sustava na osobna racunala
razvili su se alati za izradu izvjetaja i za analizu
Ovakav nain rada imao je mana:
fragmentacija podataka na razna osobna raunala i
oni su bili usmjereni prema odreenim svrhama
nije postojao standard za izvlaenje podataka na osobna raunala
ovakav nain rada zahtijevao je od korisnika da poznaje strukturu dijela baze
Napredak na polju elektronike doveo je do znatnog poboljanja performansi sustava.
procesorska mo
napredne arhitekture procesora
ulazno/izlazni procesi se ubrzavaju
najvanije gustoa zapisa postaje vea
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 47
Povijesni pregled razvoja DW
Daljnji preduvjeti za DW:
sve snaniji PC
razvoj klijent/server arhitekture
distribuirano raunarstvo
sve monije aplikacije za PC platformu
Koncept Intraneta
Putem Intraneta podaci u skladitu podataka postaju dostupni svima unutar kompanije.
Tijekom 90-tih su se dogodile velike promjene u svijetu.
komunizam se raspao,
nastale su nove drave koje su prele na trino orjentiranu ekonomiju te su se tako stvorila nova trita
ritam ivota se ubrzao,
vrijeme je postalo izuzetno vano.
Javio se globalizacijski pokret, kompanije su prerasle granice drava i pocele su se iriti po svijetu
U tom modernom nainu rada informacija je postala izuzetno bitna
informacija koja je isporuena na vrijeme
Koritenje web baziranih aplikacija, drutvenih mrea i mobilnih tehnologija
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 48
Reporting and analysing architecture (Inmon, 2002)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 49
Cilj i svrha skladitenja podataka
Kao dio poslovne inteligencije, skladitenje obuhvaa posao
pripreme logike strukture koja poiva na potrebama
poslovanja pritom pruajui optimalnu brzinu i tonost za
izvjetaje koje e na kraju analitiar pregledavati.
Skladite podataka uva kopiju informacija iz transakcijskih
izvora i zbog toga korisniku prua znaajne pogodnosti. U
sluaju da transakcijski sustavi ne vode rauna o povijesnim
podacima, npr. briu ih i zamjenjuju, u skladitu se mogu
nalaziti podaci od poetka poslovanja. Primjer toga je
poslovanje prethodnih godina ili npr. promjene u tablici o
radnicima poput prebacivanja na druge radne pozicije,
mijenjanje prezimena, itd.
Takoer, skladite objedinjuje podatke dosljednim
kodovima i opisima pa esto slui za poboljanje kvalitete
podataka te ispravljanje krivih informacija.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 50
Cilj i svrha skladitenja podataka
Jedna od glavnih prednosti skladitenja je okupljanje
informacija cijelog poslovanja na centralnom mjestu,
posebice integracija iz razliitih tipova izvora. To je
posebno korisno kada organizacija nastaje spajanjem
tvrtki pa svaka strana donosi svoje informacije.
Skladite podataka moe pruiti jedan zajedniki model
za sve podatke koji nas zanimaju bez obzira na
strukturu izvora podataka. Takoer, podatci se
organiziraju tako da imaju smisla poslovnim
korisnicima i da se na njihove analitike upite brzo
generiraju rezultati.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 51
Definicija i karakteristika DW (Inmon)
DW je skup podataka koji je:
orijentiran ka subjektu
nepromjenjiv
integriran
vremenski orijentiran
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 52
Usmjerenost ka subjektu
U DW se podaci organiziraju oko predmeta, odnosno
funkcionalnih podruja (npr. podaci o prodaji, podaci o
nabavi, i dr.) i za to je potrebno integrirati podatke iz
vie poslovnih aplikacija u jedan datamart
Kod OLTP baza podataka su podaci organizirani oko
operativnih (poslovnih) aplikacija, pa se tako vode
podaci vezani uz studentove dokumente (upis na faks,
prijavu ispita, polaganje ispita,...) obradu narudbe ili
uz kalkulaciju prodajne cijene i sl.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 53
Sadrajna nepromjenjivost
U DW se jednom pohranjeni podaci uglavnom ne
mijenjaju
Ako ih i treba promijeniti, mijenjaju se prvo u OLTP a ne
izravno u DW!!!
broj upisanih studenata
podaci o prodaji na odreeni dan u odreenom duanu
Broj roenih/umrlih/vjenanih/...
U OLTP bazi podataka se podaci mijenjaju jer uvijek
odraavaju tekue stanje
broj upisanih studenata
podaci o trenutnoj cijeni proizvoda
trenutna koliina na skladitu, i dr.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 54
Integriranost
U DW su podaci konzistentni, tj. prikazuju se na
dosljedan nain (npr. nain zapisa datuma), kako bi se
mogli koristiti u raznim analizama
U OLTP operativnoj bazi se konzistentnost ne
provjerava strogo, pa se moe dogoditi npr. razliit
nain pisanja datuma.
Zbog toga se prije pohrane u DW, podaci iz baze
trebaju predprocesirati, da bi postali konzistentni
(integrirani)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 55
Vezanost uz vrijeme
u DW se gotovo uz svaki podatak pohranjuje i
vremenska odreenost (dan-sat-minuta-sekunda), pa
su podaci u skladitu povijesni
stoga se mogu raditi vremenske analize i predvianja
u OLTP bazama podataka nalaze se samo aktualni,
najsvjeiji podaci potrebni za operativno poslovanje
Ne upisuje se svuda vremenska dimenzija
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 56
Definicija i karakteristika DW (Inmon)
DW je skup podataka koji je:
orijentiran ka subjektu
nepromjenjiv
integriran
vremenski orijentiran
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 57
DW & OLAP
Izvori podataka za skladita podataka su heterogeni:
transkacijske baze podataka (vlastite baze u poduzeu),
internet,
strune udruge,
saznanja djelatnika s terena,
strune publikacije
Skladite podataka ne postoji kao gotov proizvod
Skladita podataka sadre podatke i informacije
Do tog skupa podataka dolazi se OLAP-om (On-Line Analitycal Processing)
OLAP metoda uvedena je od strane tvorca relacijskih baza podataka
(E.F.Codd). To je tehnologija koja nadopunjuje relacijsku tehnologiju.
OLAP tehnologija je namijenjena krajnjem korisniku.
Gartner Group:
Umjesto odreenog broja analitiara koji provode 100% svog radnog vremena
analizirajui podatke, svi menaderi i profesionalno osoblje provodit e mali postotak
svog vremena analizirajui podatke sami.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 58
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 59
OLTP vs. OLAP
OLAP (On-Line Analytical Processing) pristup obraivanju podataka u svrhu
dobivanja brzih odgovora na viedimenzionalne analitike upite. OLAP je dio ire
kategorije - poslovne inteligencije (engl. Business Intelligence), koja takoer obuhvaa
relacijsko izvjetavanje (engl. Relational Reporting) i rudarenje podataka (engl. Data
Mining).
Tipine OLAP aplikacije ukljuuju poslovna izvjetavanja za prodaju, marketing,
izvjetavanje u menadmentu, upravljanje poslovnim procesima (engl. Business
Process Management; BPM), odreivanje prorauna i poslovno planiranje, financijska
izvjetavanja i slina podruja, uz nova nadolazea, poput poljoprivrede.
U praksi se esto pojmovi Skladite podataka i OLAP zamjenjuju, iako se oni zapravo
odnose na razliite komponente sistema za poslovnu inteligenciju.
OLAP tehnologija omoguuje skladitima podataka efektivno koritenje za analizu, uz
brze odgovore na kompleksne upite
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 60
OLTP vs. OLAP
OLTP OLAP
Normaliziran u velikoj mjeri U velikoj mjeri denormaliziran
Modeliran za brzu i efikasnu promjenu Modeliran za brze i efikasne upite
Izvjetavanje zahtijeva brojne joinove koji
mogu troiti dosta resursa
Denormalizirani modeli znae manje joinova
Viedimenzionalne agregacije zahtijevaju
GROUP BY i ROLLUP ili CUBE operatore
Viedimenzionalne agregacije su dio
strukture i sadraja baze
Agregacije se izraunavaju svaki put kada
pokrenemo upit
Agregacije su prethodno izraunate i
spremljene u bazi
Unakrsno izvjetavanje je zahtjevno (PIVOT
operator)
Unakrsno izvjetavanje je standardno kod
koritenja MDX jezika
EDW Is Driving Next Best Actions Across Optimized Business Processes
February 2011 The Forrester Wave: Enterprise Data Warehousing Platforms, Q1 2011
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 62
OLAP
OLAP (On-Line Analytical Processing)
analiza - analiza velikog broja podataka na brz, konzistentan i
interaktivan nain:
Podaci se organiziraju, te pomou tablica i grafova prikazuju na nain
na koji krajnji korisnik razmilja pri analizi poslovanja
Prikazuju se sumarni i detaljni podaci
Pogled na podatke iz razliitih perspektiva
Implementacija:
relacijska baza podataka (ROLAP rjeenje)
osnovna struktura je tzv. zvjezdasta shema, odnosno zvijezda spoj
viedimenzionalna baza podataka (MOLAP rjeenje)
podaci se spremaju u viedimenzionalna polja
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 63
Data Mining
Dubinska analiza podataka (data mining)
Analiza velikih koliina podataka s ciljem pronalaenja
neoekivanih veza i patterna (uzoraka) u skupovima podataka
ili sumarnog prikaza skupa podataka na nain da korisniku
podataka prui nove, razumljive i korisne informacije.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 64
Kako nastaje DW?
DW je logicki transformiran i fizicki odvojen od izvora podataka
ETL Extraction, Transformation and Loading
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 65
BI i Performance Management okruenje
poslovna inteligencija d.o.o.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 66
DW i Data Marts
upload.wikimedia.org/wikipedia/commons/4/46/Data_warehouse_overview.JPG
A data mart is a subset of an organizational data store, usually oriented to a specific purpose
or major data subject, that may be distributed to support business needs
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 67
Data Mart
Data Mart je podskup podataka
iz DW
Podaci su vezani za neki
poslovni proces u organizaciji
(proizvodnja, nabava, financije,
marketing, prodaja,...)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 68
DW & OLAP
nije sustav koji aurira operativne podatke
veliki broj istovremenih korisnika
brzo zapisivanje, itanje i izmjena malih koliina podataka,
najee samo jednog sloga
nije transakcijski poslovni sustav (OLTP)
nije sustav za integraciju poslovnih podataka
On je, jednostavno, sustav koji omoguuje brzo
pretraivanje postojeih poslovnih podataka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 69
Data Mining (DM)
Data Mining (DM) je proces brzog otkrivanja prethodno
nepoznatih zakonitosti meu podacima u bazi podataka
Npr., nekad moramo izvui podatke iz velikih baza podataka
(viegodinjih). Krajnji korisnik ne mora imati programerskog
iskustva a eli postaviti neke upite da dobije eljene odgovore
relativno brzo.
Softver za rudarenje podacima je alat koji se jednostavno
koristi da se dobiju podaci te se jednostavno pretvaraju u
tabline podatke i podatke za procesiranje u drugom softveru,
tako da "rudareni" podaci mogu biti brzo analizirani i
procesirani.
Zahtijeva primjenu matematikih metoda i algoritama, umjetnu
inteligenciju metode strojnog uenja.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 70
Zahtjevi prema kvaliteti podataka u DW
Standardizirani (tj. podudarni)
datumi
25.07.2009.
25.07.2009
2009-07-25
25. srpnja 2009
...
pridjevi unose zabunu (tj. nepreciznost)
Stipe ili Stipo?
elar, elar ili Celar?
I kombinacija Ime/prezime (Prezime/ime)
Veliko-malo slovo
Integrirani
iz svih izvora tvrtke
iz vanjskih izvora
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 71
Zahtjevi prema kvaliteti podataka u DW
Verificirani
usporeeni s poznatim predlokom
temelj su za ispravne odluke
mala greka na poetku, velika teta na kraju
Proirivi
potrebno je dodavati nove podatke s vremenom
web servisi (XML)
podaci nisu od danas do sutra, nego za due razdoblje
npr. LLOYDS birtija iz 1741.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 72
Veliina DW
Standardne veliine DW baze:
stotine GB mala skladita
> 1 TB velika skladita
deseci TB najvea skladita (telekomunikacijska)
ak i PB
Data mart skladite podataka jednog dijela
poslovnog procesa
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 73
Veliina DW
Razlozi za to:
pohrana povijesnih podataka
velik broj izvor podataka
denormalizacija i kreiranje novih kolona i tablica (agregacija)
Posljedice:
potrebna vea procesorska mo i
potrebno vie diskovnog prostora i
pojaani komunikacijski zahtjevi
Opasnost: od ume ne vidjeti stabla!
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 74
Metrics on eBays main Teradata DW
>2 petabytes of user data
10s of 1000s of users
Millions of queries per day
72 nodes
>140 GB/sec of I/O, or 2 GB/node/sec, or maybe thats a peak when the workload is scan-heavy
100s of production databases being fed in
Metrics on eBays Greenplum data warehouse (or, if you like, data mart) include:
6 1/2 petabytes of user data
17 trillion records
150 billion new records/day, which seems to suggest an ingest rate well over 50 terabytes/day
96 nodes
200 MB/node/sec of I/O (thats the order of magnitude difference that triggered my post on disk drives)
4.5 petabytes of storage
70% compression
A small number of concurrent users
eBays Teradata installation is a full enterprise data warehouse. Besides size and scope, it is most notable for its implementation of Olivers
misleadingly named analytics-as-a-service vision. In essence, eBay spins out dozens of virtual data marts, which:
Combine views and aggregations on the central data warehouse with (optionally) additional private data the data mart user loads in.
Are usually <5 terabytes in size, and indeed often <500 gigabytes.
Can be created instantaneously by setting permissions, resource quotas, and the like.
The whole scheme relies heavily on Teradatas workload management software to deliver with assurance on many SLAs (Service-Level
Agreements) at once. Resource partitions are a key concept in all this.
So far as I can tell, eBay uses Greenplum to manage one kind of data web and network event logs. These seem to be managed primarily at
two levels of detail Oliver said that the 17 trillion event detail records reduce to 1 trillion real event records. When I asked where the 17:1
ratio comes from, Oliver explained that a single web page click which is what is memorialized in an event record resulted in 50-150
details. That leaves a missing factor of 3-8X, but perhaps other less complex kinds of events are also mixed in.
The Greenplum metrics I quoted above represent over 100 days of data. Ultimately, eBay expects to keep 90-180 days of ultimate detail,
and >1 years of event data. The 6 1/2 petabyte figure comes from dividing 2 terabytes of compressed data by (100%-70%). Since that all fits
on a 4 1/2 petabyte system, I presume theres only one level of mirroring (duh), not much temp space, and even less in the way of indexes.
Two uses of eBays Greenplum database are disclosed whittling down from detailed to click-level event data, and sessionization. The
latter seems to be done in batch runs and take 30 minutes per day. A couple of other uses are undisclosed. I assume eBay is doing something
that requires UDFs (User-Defined Functions), because Oliver remarked that he likes the language choices offered by Greenplums Postgres-
based UDF capability. But basically eBays Greenplum database is used for and evidently does very nicely at:
h
t
t
p
:
/
/
w
w
w
.
d
b
m
s
2
.
c
o
m
/
2
0
0
9
/
0
4
/
3
0
/
e
b
a
y
s
-
t
w
o
-
e
n
o
r
m
o
u
s
-
d
a
t
a
-
w
a
r
e
h
o
u
s
e
s
/
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 75
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 76
Model Entiteta i veza (ER-model)
Model entitet_veza (engl. entity-relationship
model, MEV) je konceptualni model podataka koji
je prvi opisao Chen 1976.
Model ER ine entiteti, njihovi atributi i veze
izmeu entiteta
Konceptualna shema predoava se grafiki
dijagramom entiteti_veze
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 77
Relacijski (ER) i dimenzijski (DM) model
ER is a logical design technique that seeks to
remove the redundancy in data
The ER modeling technique is a discipline used
to illuminate the microscopic relationships
among data elements. It is safe to say that the
success of transaction processing in relational
databases is mostly due to the discipline of ER
modeling.
All of us are familiar with the big chart on the
wall of the IS database designer's cubicle. The
ER model for the enterprise has hundreds of
logical entities! High-end systems such as SAP
have thousands of entities. Each of these
entities usually turns into a physical table when
the database is implemented. This situation is
not just an annoyance, it is a showstopper:
End users cannot understand or remember an ER
model
Software cannot usefully query a general ER model
Use of the ER modeling technique defeats the basic
allure of data warehousing, namely intuitive and
high-performance retrieval of data.
http://www.kimballgroup.com
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 78
Viedimenzionalni model
Osnovni koncepti viedimenzionalnog modela
Tablica dimenzija
Tablica injenica
Model zvijezde
Model pahuljice
OLAP kocka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 79
Principi skladitenja podataka
Viedimenzionalni koncepti
Dimenzijske tablice (engl. Dimension tables) se koriste za opisivanje
dimenzija, a sadre:
kljueve dimenzija,
vrijednosti i
atribute.
Npr., dimenzija vremena moe sadravati
svaki sat,
dan,
tjedan,
mjesec,
kvartal i
godinu od poetka poslovanja organizacije.
Najee su to opisne, tekstualne vrijednosti, npr. dimenzija
proizvoda moe imati ime i opis proizvoda kojeg prodajemo, cijenu,
boju, teinu i ostale atribute koji su nam potrebni.
Dimenzijska tablica je esto strukturirana u jednu ili vie hijerarhija
koje kategoriziraju podatke u njoj.
Ako dimenzija nema hijerarhije i razine tada je zovemo ravna
dimenzija (engl. Flat dimension) ili lista.
Dimenzijske tablice su openito male u usporedbi s tablicama
injenica
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 80
Principi skladitenja podataka
Tablica injenica (engl. Fact table)
se sastoji od poslovnih injenica
koje nazivamo mjerama (engl.
Measures) i stranih kljueva
(engl. Foreign keys) koji se odnose
na identifikacijske (najee
primarne) kljueve u tablicama
dimenzija.
Primarni kljuevi svake dimenzije
ine sloeni primarni klju (engl.
Composite Key) tablice injenica.
Mjere su mjerljive, brojane
injenice koje bi analitiari eljeli
promatrati, npr. za lanac
proizvodnje moemo imati
koliinu prodanih proizvoda,
cijenu izrade, trokove dostave,
prihode po proizvodu, itd.
Tablice injenica mogu znaajno
narasti, sadravajui milijune ili
ak i milijarde redova.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 81
Principi skladitenja podataka
Model zvijezde
Model zvijezde (engl. Star Schema) je set
relacijskih tablica u skladitu podataka i
predstavlja najjednostavniju
viedimenzionalnu shemu.
Tablice injenica u ovom modelu su
obino u treoj normalnoj formi (3NF)
dok su dimenzijske tablice
denormalizirane.
Glavne karakteristike modela zvijezde:
jednostavna struktura lako razumljiv
model,
dobra uinkovitost upita malen broj
tablica koje pripajamo (joinamo),
relativno dugo vrijeme uitavanja podataka
u dimenzijske tablice denormalizacija;
redundantni podaci ine tablice veima,
najee koriten model kod izrade skladita
podataka podrava ga velik broj alata za
poslovnu inteligenciju.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 82
Principi skladitenja podataka
Model pahuljice (engl. Snowflake Schema) je
logiki raspored tablica u viedimenzionalnoj
bazi iji dijagram oblikom nalikuje na snjenu
pahuljicu.
Proirena verzija modela zvijezde, gdje svaki vrh
(dimenzija) moe biti povezan s jo vrhova.
Za razliku od modela zvijezde, u ovom modelu
dimenzijska tablica je normalizirana u vie
povezanih tablica, od kojih svaka predstavlja
razinu u dimenzijskoj hijerarhiji.
Glavna prednost ovakvog modela, tj.
normalizacije je poboljanje rada upita jer je
potrebno manje prostora za spremanje
podataka i zbog toga to spajamo manje tablice.
Meutim, dimenzijske tablice su openito
malene u usporedbi s tablicama injenica pa se
tako gubi prednost modela pahuljice u utedi
prostora.
Glavni nedostatci se javljaju zbog poveanog
broja tablica koje moramo pregledati da bi doli
do podataka to ini upite sloenijima i teima
za pisati i izvoditi.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 83
Principi skladitenja podataka
Viedimenzionalni koncepti:
OLAP kocka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 84
Osnove dimenzijskog modela
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 85
Kocka
Kocke su kljuni elementi u OLAP sustavu. To su podskupovi
podataka iz OLAP kolekcije, organizirani u viedimenzionalne
strukture. Takvi podskupovi pruaju mehanizam koji
omoguava brzo i ujednaeno vrijeme pristupa podacima za
koje bi inae bili potrebni kompleksni upiti.
Temeljni koncepti kocke koje je potrebno razumjeti su
dimenzije i mjere.
Dimenzije pruaju kategorike opise pomou kojih su mjere
podijeljene za analizu.
Mjere identificiraju numerike vrijednosti koje su saete za
analizu, kao to su cijena, troak ili koliina koja je prodana.
Skup mjera stvara dimenziju, ali specijalnu koja se naziva
Dimenzija (engl. Measures).
Svaka dimenzija kocke moe sadravati hijerarhiju razina za
specifikaciju kategorizacije za korisnike.
Na primjer, dimenzija Trgovina moe ukljuivati slijedeu hijerarhiju
razina: Drava, Grad, Ime Trgovine. Svaka razina u dimenziji je manjeg
obuhvata od vie razine.
Analogno, vremenska hijerarhija moe sadravati razine poput
godine, kvartala, mjeseca i tjedna.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 86
Kocka
Za istu dimenziju moe postojati vie
hijerarhija. Na primjer, za vremensku
hijerarhiju. Moe postojati fiskalna i
kalendarska. Fiskalna bi se sastojala od
fiskalne godine, kvartala i mjeseca, a
kalendarska od kalendarskih.
Dimenzija se moe stvoriti za koritenje za
pojedinu ili vie kocki. Ona koja se izrauje
samo za jednu kocku se naziva privatna
dimenzija, dok se ona koja je predviena za
koritenje za vie kocki naziva dijeljena
dimenzija. Dijeljene dimenzije
omoguavaju standardizaciju poslovnih
mjera kroz kocke unutar baze podataka.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 87
Kocka
Vaan dio na koji je potrebno obratiti pozornost je
koncept lana.
lan je element u dimenziji ili mjeri.
Izraunati lan je dimenzijski lan ija vrijednost se
izraunava pri pokretanju koristei specificirani izraz.
Izraunati lanovi takoer mogu biti definirani kao
mjere.
Samo definicije izraunatih lanova se spremaju.
Vrijednosti se izraunavaju u memoriji kada je
potrebno odgovoriti na upit.
Izraunati lanovi omoguavaju dodavanje lanova i
mjera u kocku bez poveavanja njezine veliine. Iako
izraunati lanovi moraju biti bazirani na postojeim
podacima unutar kocke, mogue je kreirati
kompleksne izraze kombinirajui te podatke s
aritmetikim operacijama, brojevima i velikim brojem
funkcija.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 88
Principi skladitenja podataka
Viedimenzionalni koncepti:
Tablica dimenzija
Tablica injenica
Model zvijezde
Model pahuljice
OLAP kocka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 89
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 90
Adventure works 2008 ER model
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 91
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 92
Adventure works 2008 ER model
BI
BUSINESS
TEHNOLGIJA ANALITIKA
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 93
Elementi BI sustava
DM is a logical design technique that seeks to present the data in a
standard, intuitive framework that allows for high-performance
access.
It is inherently dimensional, and it adheres to a discipline that uses
the relational model with some important restrictions.
Every dimensional model is composed of
one table with a multipart key, called the fact table, and
set of smaller tables called dimension tables
each dimension table has a single-part primary key that corresponds
exactly to one of the components of the multipart key in the fact table
This characteristic "star-like" structure is often called a star join
The term star join dates back to the earliest days of relational
databases.
A fact table, because it has a multipart primary key made up of two
or more foreign keys, always expresses a many-to-many
relationship. The most useful fact tables also contain one or more
numerical measures, or "facts" that occur for the combination of
keys that define each record
Dimension tables, by contrast, most often contain descriptive
textual information. Dimension attributes are used as the source
of most of the interesting constraints in data warehouse queries,
and they are virtually always the source of the row headers in the
SQL answer set.
The charm of the database design in DM is that it is highly
recognizable to the end users in the particular business, its "their
business.
http://www.kimballgroup.com
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 94
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 95
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 96
Reasons for spliting of operational and DW database
Thera are many reasons:
The data serving operational needs is physically different data
from that serving informational or analytic needs.
The supporting technology for operational processing is
fundamentally different from the technology used to support
informational or analytical needs.
The user community for operational data is different from the one
served by informational or analytical data.
The processing characteristics for the operational environment
and the informational environment are fundamentally different.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 97
Operativna (OLTP) vs. DW baza
svojstvo OLTP DW/OLAP
Sadraj podataka Trenutne vrijednosti Povijesni podaci
Vrijednost podataka Vrlo promjenljivi podaci Nepromjenljivi podaci
Namjena Voenje operativnih transakcija Analiza i izvjeivanje
Jedinica obrade Transakcija Upit
Korisnici Operateri (iroki krug) Analitiari i manageri
Raspoloivost Vrlo vana Manje bitna
Izmjena podataka Polje po polje na dokumentu Nema izmjene
Radna svojstva itanje/pisanje itanje
Interakcija korisnika Predodreena Ad-hoc
Pristup zapisima Nekoliko zapisa odjednom Milijunima zapisa
odjednom
Fokus Nesmetano spremanje podataka Dobivanje informacija
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 98
OLAP
Rije OLAP potjee od On Line Analytical Processing
Posebna vrsta tehnologije, razvijena za analitike
namjene
Ova tehnologija suprotna je od OLTP (On Line
Transactional Processing) tehnologije koja se koristi u
transakcijske svrhe
Najpoznatiji primjeri OLTP tehnologije su RDBMS:
Microsoft SQL Server, Oracle, DB2, Informix, MySQL,...
Kao to postoje relacijski serveri tako postoje i OLAP
serveri
OLAP serveri su specijalizirani serveri kojima je
namjena pretraivanje velikih koliina podataka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 99
Viedimenzijski OLAP MOLAP
Viedimenzijski OLAP (engl. Multidimensional Online
Analytical Processing, MOLAP) je klasina forma OLAP-
a pa se esto tako i naziva
Podaci se spremaju u viedimenzijskom obliku.
Prilikom kreiranja kocke podaci se razliitim
algoritmima i postupcima procesiraju
MOLAP nudi bri odaziv na upite zbog optimiziranog
spremanja podataka i viedimenzijskog indeksiranja
Podaci se kompresiraju to rezultira manjim zauzeem
diskovnog prostora za razliku od OLTP baza podataka
Ukoliko se dimenzije sastoje od vie milijuna zapisa,
oekivan je pad performansi procesiranja upita
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 100
Relacijski OLAP ROLAP
Relacijski OLAP (engl. Relational Online Analytical
Processing, ROLAP) radi sa na relacijskim bazama podataka.
ROLAP ne zahtijeva prijevremeno agregiranje podataka na
odreenoj razini granulacije ve navedene radnje odradi
prilikom upita korisnika tako da postavi SQL upit u
relacijsku bazu kojim rauna ono to je korisnik zatraio.
Mogue je napraviti dodatne tablice u bazi podataka koje
e sadravati navedene agregacije na odreenoj razini
granulacije, sumarne tablice.
Zbog raunanja korisnikih upita u trenutku postavljanja
upita, ROLAP ima pad performansi u odnosu na MOLAP.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 101
Hibridni OLAP
Hibridni OLAP (engl. Hybrid Online Analytical
Processing) je kombinacija MOLAP-a i ROLAP-a
Objedinjuje prednosti oba pristupa
Postoje dva moda HOLAP-a
Vertikalni mod
agregacije se spremaju u MOLAP
detaljne informacije se spremaju u ROLAP nainu
Horizontalni mod
svjei podaci podijeljeni prema vremenskoj dimenziji spremaju u
MOLAP nainu radi breg odaziva upita
stariji podaci u ROLAP nainu.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 102
Primjer poslovnog sustava
HACCP Hazard analysis and critical control points,
or HACCP /hsp/, is a systematic preventive
approach to food safety and allergenic, chemical,
and biologicalhazards in production processes that can
cause the finished product to be unsafe, and designs
measurements to reduce these risks to a safe level.
Taskovi
Evidencije
Korektivne mjere (ako neto nije u redu)
MNOGO PAPIROLOGIJE za mnoge firme!!!
Rijetka kvalitetna SW rjeenja
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 103
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 104
17.04.
Primjeri DW
MODELLING OF THE ATHLETE'S TRAINING DECISION
SUPPORT
Ladislav Hava, Zoran Skoir, Vladimir Medved
Diplomski radovi
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 105
Slaven Zebi, 2009-10
ANALIZA I PRAKTINO KORITENJE SUSTAVA ZA
UPRAVLJANJE ODNOSIMA S KORISNICIMA (ANALITIKI
CRM) U TELEKOMUNIKACIJSKIM TVRTKAMA
u suradnji s tvrtkom KRON d.o.o. Split
The task of this work is the analysis of Customer Relationship Management
Systems based on a constructed data warehouse.
An overview of CRM system functionalities is given. Every CRM supporting
technology consists of three main parts and the role of every part is
described in this work. The focus of this work is the analytical CRM. A
database of a telecommunication operator is used as the data source for the
data warehouse, and Business Intelligence Development Studio is used for
the construction of the data warehouse.
The construction of a data warehouse is a complex and demanding task,
because it requires defined knowledge of relational bases, SQL and good
understanding of business processes. The most appropriate model for the
design of a data warehouse is a dimensional one.
CubePlayer serves as the presentation layer where analysis is done and it is
possible to get an overview of business processes based on fresh data and
therefore it is easier for managers to take decisions.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 106
Koritene tehnologije
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 107
Model DW-a
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 108
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 109
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 110
MS SQL Server platforma
SQL Server Management Studio
SQL Server Integration Services
SQL Server Analysis Services
SQL Server Reporting Services
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 111
Microsoft SQL Server 2005 Compact Edition Developer SDK
Microsoft SQL Server 2005 Mobile Edition Device SDK
Microsoft SQL Server 2008 R2 Express
Microsoft SQL Server 2008 R2 Management Studio Express
Microsoft SQL Server 2008 R2 Workgroup
Microsoft SQL Server 2008 Reporting Services Report Builder 2.0
Microsoft SQL Server 2008 Upgrade Advisor
Microsoft SQL Server 2008 Web
Microsoft SQL Server 2008 Workgroup
Microsoft SQL Server 2012
Microsoft SQL Server Data Tools
Microsoft SQL Server Migration Assistant for Oracle V2.0
Microsoft SQL Server 2008 R2 Enterprise
Microsoft SQL Server 2008 Enterprise
Microsoft SQL Server 2005 Developer
Microsoft SQL Server 2005 Standard
Microsoft SQL Server 2008 R2 Developer
Microsoft SQL Server 2008 Developer
Microsoft SQL Server 2008 R2 Standard
Microsoft SQL Server 2008 R2 Web
Microsoft SQL Server 2008 Express
Microsoft SQL Server 2005 Express
Microsoft SQL Server 2005 Workgroup
FELK16 Skladita podataka FESB, 2012/13
doc.dr.sc. Stipe
elar
112
1987. godine Microsoft i Sybase
poinju partnerstvo za izradu i
prodaju sistema za upravljanje
bazama podataka baziranog na
Sybaseovom proizvodu.
Sybase bi tada imao prava za
Unix/Mini platformu, a Microsoft
za OS/2 te ostale operacijske
sustave koje razvije.
1989. godine Microsoft, Sybase i
Ashton-Tate zajedno stvaraju i
izdaju prvu verziju, SQL Server 1.0
za operacijski sustav OS/2.
Ashton-Tate je tada imao vodei
proizvod za sisteme s bazama
podataka, a zvao se dBase.
Nakon prve verzije Microsoft i Ashton-
Tate se razilaze i proizvod postaje
Microsoft SQL Server, ali veinu razvoja
i dalje radi Sybase.
Microsoft zapoinje rad na 32-bitnoj
verziji SQL Servera, a s OS/2 postaje
manje odriva platforma, odluuju ga
raditi za Windows NT koji je tada bio u
beta fazi.
U to vrijeme se partnerstvo izmeu
Microsofta i Sybasea sve vie smanjuje
jer je Sybase htio ostati neovisan o
platformi, a Microsoft je htio raditi
samo za NT platformu.
1994. godine partnerstvo prestaje i
Microsoft vodi proizvod u svom smjeru,
prepravljajui stari Sybaseov kod i
stvarajui novi, a potpuno istiskivanje
Sybaseovog koda dolazi s izdanjem SQL
Server 2005.
Povijesni razvoj SQL Servera
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 113
Povijesni razvoj SQL Servera
Verzija Godina Ime izdanja Kodno ime
1.0 (OS/2) 1989. SQL Server 1.0 (16-bit) -
1.1 (OS/2) 1991. SQL Server 1.1 (16-bit) -
4.21 (WinNT) 1993. SQL Server 4.21 SQLNT
6.0 1995. SQL Server 6.0 SQL95
6.5 1996. SQL Server 6.5 Hydra
7.0 1998. SQL Server 7.0 Sphinx
- 1999. SQL Server 7.0 s OLAP alatima Plato
8.0 2000. SQL Server 2000 Shiloh
8.0 2003. SQL Server 2000 (64-bit
izdanje)
Liberty
9.0 2005. SQL Server 2005 Yukon
10.0 2008. SQL Server 2008 Katmai
10.25 2010. SQL Azure DB CloudDB
10.5 2010. SQL Server 2008 R2 Kilimanjaro (KJ)
11.0 2012. SQL Server 2012 Denali
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 114
SQL Server 2008 R2 vs. SQL Server 2008 (dio novosti)
PowerPivot for SharePoint
PowerPivot for SharePoint adds shared services and infrastructure for loading, querying, and managing PowerPivot
workbooks that you publish to a SharePoint 2010 server or farm. To create PowerPivot workbooks, you use PowerPivot
for Excel.
PowerPivot for Excel
PowerPivot for Excel is an add-in to Excel 2010 that can be downloaded from the web and installed on client
workstations. You use PowerPivot for Excel to assemble and create relationships in large amounts of data from
different sources, and then use that data as the basis for PivotTables and other data visualization objects that support
data analysis in Excel.
Multi-Server Administration and Data-Tier Application
The SQL Server Utility forms a central repository for performance data and management policies that tailor the
operation of instances of the Database Engine that have been enrolled in the utility. It also includes a Utility Explorer
for centralized management, and dashboards that report the state of the managed instances. A data-tier application
(DAC) forms a single unit for developing, deploying, and managing the database objects used by an application.
Master Data Services
Master Data Services is comprised of a database, configuration tool, Web application, and Web service that you use to
manage your organization's master data and maintain an auditable record of that data as it changes over time. You use
models and hierarchies to group and organize data to prepare it for further use in business intelligence and reporting
tools, data warehouses, and other operational systems. Master Data Services integrates with source systems and
incorporates business rules to become the single source of master data across your organization.
Features Supported by the Editions of SQL Server 2008 R2
The largest database supported by SQL Server Express has been increased from 4 GB to 10 GB.
Connecting to the Database Engine Using Extended Protection
SQL Server now supports Extended Protection, using service binding and channel binding to help prevent an
authentication relay attack. Also, seeExtended Protection for Authentication with Reporting Services.
http://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspx
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 115
Povijesni razvoj SQL Servera
Od SQL Server 2000 izdanja je prolo preko deset
godina i dosta poboljanja je napravljeno po pitanju
performansi, klijent IDE alata (softverska rjeenja za
razvoj i programiranje) te je razvijano i nekoliko
komplementarnih sustava upakiranih sa SQL Server
2005 izdanjem:
ETL alat (SQL Server Integration Services ili SSIS),
Reporting Server,
OLAP i Data Mining server (Analysis Services)
te nekoliko tehnologija za razmjenu poruka,
posebno Service Broker i Notification Services
FELK16 Skladita podataka FESB, 2012/13
doc.dr.sc. Stipe
elar
116
SQL Server alati
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 117
SQL Server alati Configuration Manager
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 118
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 119
SQL Server Management Studio (SSMS)
SQL Server Management
Studio (SSMS) je softverska
aplikacija za konfiguriranje,
upravljanje i administriranje
svih komponenti u okviru
Microsoft SQL Servera, a prvi
put je predstavljena u
njihovom izdanju SQL Server
2005.
Ukljuuje ureivae skripti i
grafike alate koji rade s
objektima i elementima na
serveru.
Glavni element je pretraiva
objekata, Object Explorer,
preko kojeg korisnik moe
pretraivati, odabirati i
djelovati na bilo koji objekt na
serveru, a moemo ga vidjeti
na lijevoj strani. Na sredini
slike vidimo napisan upit te
ispod njega i rezultate upita.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 120
SQL Server Integration Services (SSIS)
Komponenta za
ETL, platforma za
integraciju
podataka i
aplikacije o
radnom toku
(engl. Workflow
applications).
Od v. 2005
zamjenjuje DTS
(Data
Transformation
Services).
Ukljuena je u
Standard i
Enterprise
izdanjima SQL
Servera.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 121
SQL Server Analysis Services (SSAS)
Sustav za upravljanje viedimenzionalnim
bazama podataka.
Analysis Services ukljuuju skup mogunosti za
OLAP i rudarenje podataka.
Prvi OLAP servis dolazi kao dio SQL Servera 7.0,
a poslije toga izlazi izdanje Analysis Services
2000, promijenjenog imena jer osim OLAP
servisa ukljuuje i servise za rudarenje
podataka.
Dolazi u Standard i Enterprise izdanjima
Enterprise ne mora reprocesirati kocke!!!
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 122
SQL Server Analysis Services (SSAS)
Karakteristike SSAS-a:
Sprema kocke i dimenzije te obrauje upite nad kockama
SSAS nije SQL Server to je sasvim odvojen mehanizam baze
podataka
SSAS ne zahtijeva instalaciju SQL Servera, moe koristiti
podatke sa SQL Servera ako je dostupan, a moe koristiti
podatke i s drugih mehanizama za baze podataka (Oracle,
DB2, itd.)
Ima vlastiti jezik za upite - MDX (Multi-Dimensional
Expressions)
Za SSAS se takoer koristi razvojno okruenje SQL
Server Business Intelligence Development Studio
(BIDS)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 123
Dimenzioniranje raznih verzija SQL servera
http://msdn.microsoft.com/en-us/library/cc645993.aspx
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 124
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 125
Indikatori kvalitete podataka u DW
Tonost podataka
Tonost podataka je jedan od najbitnijih indikatora kvalitete.
Zahtjevi su da je upis / itanje podataka tono.
Netonost podataka obino se kaskadno propagira i uzrokuje jo vee greke.
Podaci su spremljeni u skladu sa naznaenim tipom podataka
(standardizirani)
Ulazni podaci moraju biti tipa kojeg je polje u koje se spremaju.
Npr. ubacivanje tipa realnog broja na mjesto gdje se oekuje cjelobrojni tip e
oito uzrokovati netonost.
Podaci imaju integritet
Relacije izmeu entiteta moraju biti ispravno postavljene te ako jesu tada
operacije promjene / brisanje referencijalno uzrokuju druge promjene.
Konzistentnost podataka
Ako je zadovoljeno svojstvo konzistentnosti to znai da isti podaci mogu biti
dijeljeni izmeu vie odjela na vie aplikacija preko vie platformi
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 126
Indikatori kvalitete podataka u DW
Redundantnost podataka
Ni u jednom sustavu nije u potpunosti eliminirana redundantnost podataka, no nastoji
se redundantnost svesti na najmanju moguu mjeru.
Toga moraju biti svjesni dizajneri skladita podataka pri izgradnji.
Redundantnost podataka obino uzrokuje vii sustav koji ne radi dovoljne provjere o
redundantnosti.
Podaci moraju biti dobro razumljivi
Sama tonost i pravovremenost podataka nema smisla ako korisnici ne razumiju
podatke koji im se predouju. Stoga je vano da podaci budu dobro razumljivi.
Podaci su integrirani
Integracija podataka zahtijeva neko znanje nad karakteristikama podataka.
To znanje obino se uva u nekim vanjskim spremitima.
Podaci su pravovremeni
Pravovremenost je relativan pojam, pa ova stavka ovisi o kranjim korisnicima.
Moe biti specificirano da su pravovremeni podaci koji su stari sat, dan, mjesec...
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 127
ETL Extraction, Transformation and Loading
Uvod
ETL proces
ETL alati
Zakljuak
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 128
Uvod
ETL je jedan od najvanijih procesa, koji
zajedno sa skladitem podataka tvori srce
svakog sustava za poslovno izvjetavanje
Najzapostavljeniji i u veini sluajeva glavni
krivac za neuspjean projekt implementacije
Nepoznavanja mogunosti u oima
NARUITELJA i implementatora
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 129
ETL proces
ETL (Extract Transform Load) proces
obuhvaa:
dohvaanje podataka iz vanjskih izvora
prilagodbu podataka za radne potrebe
uitavanje dobivenih podataka u konano odredite (baza
podataka ili skladite podataka)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 130
ETL proces - dohvaanje
Integriranje podataka iz vie razliitih izvora
koji koriste razliitu organizaciju podataka
Pretvara podatke u format pogodan za proces
prilagodbe
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 131
ETL proces - prilagodba
Primjena niza pravila i funkcija na dohvaene
podatke u svrhu pripreme podataka za
uitavanje u konano odredite
Manipulacija nad podacima ovisi iskljuivo o
tipu i formatu izvora iz kojeg su podaci
dohvaeni
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 132
ETL proces - uitavanje
Uitavanje podataka u konano odredite,
najee skladite podataka
Korak varira ovisno o potrebama pojedine
organizacije:
Odabir vremena i dosega zamjene ili dodavanja podataka
ovisi o dostupnom vremenu i poslovnim potrebama (svaki
tjedan, svaki sat.)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 133
ETL proces u praksi
1. Inicijalizacija
2. Izgradnja referentnih podataka
3. Dohvaanje
4. Validacija
5. Prilagodba (ienje, provjera integriteta)
6. Stage
7. Revizijska izvjea
8. Izdavanje (u odredine tablice)
9. Arhiviranje
10. ienje
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 134
ETL proces - izazovi
Profiliranje podataka izvora
Uspostavljanje homogenog okruja iz
heterogenih i asinkronih izvora
Uspostava skalabilnosti ETL sustava kroz vijek
trajanja
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 135
ETL alati
Mogunost razvijanja generikih ETL procesa
koristei bilo koji programski jezik
Velika kompleksnost i zahtjevnost kod velikih
sustava
Koritenje utemeljenih ETL platformi
poveava ansu za boljom povezanosti i
skalabilnosti
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 136
ETL alati
Dobar ETL alat mora omoguavati
komunikaciju sa razliitim relacijskim bazama
podataka i itanje raznih formata datoteka
Evolucija ETL alata u Enterprise Application
Integration, ili ak Enterprise Service Bus
sustave koji pokrivaju mnogo vie od samo
dohvaanja, prilagodbe i uitavanja podataka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 137
ETL alati
Na tritu ETL alata je velika konkurencija
Mnogi dobavljai ETL alata sad nude
profiliranje podataka, kvalitetu podataka i
mogunosti metapodataka
Unato velikoj konkurenciji odreeni alati i
proizvoai su po kvaliteti i viziji iznad ostalih
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 138
ETL alati - analiza
Vodei dobavljai softvera za integraciju
podataka su oni koji tee ka kvaliteti podataka
i metapodacima
IBM, SAS, Pervasive, Tibco i Informatica su
jako napredovali u potpunosti vizije, dok su u
sposobnosti izvoenja ostali gotovo
nepromijenjeni
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 139
ETL alati - analiza
Sun i SAP-Business Objects su imali najvee
dijagonalno napredovanje po obe osi
Prva godina u kojoj se Business Objects i SAP
pojavljuju kao jedan entitet, te ih je prema
oekivanju ovaj potez gurnuo u kategoriju vodeih
na tritu
Microsoft i Oracle zaostaju zbog nedostatka
strategije u razvoju metapodataka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 140
ETL alati Usporedba 2007. i 2008. godine
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 141
Analiza (IBM)
IBM nastavlja demonstrirati najjau viziju na
tritu za opsene mogunosti integracije
podataka. Njihov vodei igra Information Server
nastavlja napredovati prema ulozi uobiajene
platforme za integraciju podataka koja sadri
mogunosti metapodataka, alata za dizajniranje,
te jednostavnim izgledom i koritenjem. IBM
nudi fleksibilnost kod licenciranja pomou
brojnih pristupa.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 142
Analiza (Informatica)
Informatica je potovana zbog svoje
konzistentnosti u isporuivanju pouzdane
tehnologije, regularnih izdanja i pozitivnog
iskustva u podrci i usluzi
IBM i Informatica se meusobno utrkuju s
tim da Informatica ove godine sustie IBM u
pogledu platforme za integraciju podataka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 143
Analiza (SAP-Business Objects)
Po prvi put se nalazi meu vodeim igraima
na tritu
Spajanje alata i nova izdanja su potpomogla
potpunosti vizije, te meusobna promocija
meu SAP i Business Objects korisnicima
jasno dovodi do poveanih mogunosti za
prodaju
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 144
Analiza (SAS)
SAS je dobio blistav izvjetaj od Gartnera
esto se podcjenjuje u polju integracije
podataka
Hvaljen je za jake mogunosti u polju
kvalitete podataka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 145
Analiza (Oracle)
Odaje se priznanje zbog planova za
integracijom Oracle Data Integrator-a i Oracle
Warehouse Builder-a
Povezivanje Oracle-ovih proizvoda integracije
podataka iskljuivo sa skladitenjem
podataka
Glasine o preuzimanju Informatica-e
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 146
SQL Server Integration Services
Komponenta Microsoft SQL Server-a 2005 i
2008
Zamjenjuje Data Transformation Services
Nudi platformu za razvoj aplikacija integracije
podataka
Primarna primjena - skladitenje podataka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 147
SQL Server Integration Services
Odravanje SQL Server baza podataka i
auriranja viedimenzionalnih kocki
Kreiranje i odravanje SSIS paketa pomou
vizualnog razvojnog alata Business
Inteligence Development Studio
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 148
Zakljuak ETL
Metode skladitenja podataka sve vie postaju integrirane u
softverske pakete temeljnog informacijskog sustava tvrtke
Menaderima nije potrebno angairati poseban tim analitiara za
obradu kljunih pokazatelja o stanju tvrtke
Kljuni dio skladitenja podataka su upravo ETL procesi sve vei
naglasak na ETL alatima
Olakavanje i ubrzavanja procesa dohvaanja, prilagodbe i
uitavanja podataka iz raznovrsnih izvoru u homogenu centralnu
bazu podataka
U bliskoj budunosti se vjerojatno nee dogaati znaajne
promjene na tritu ETL alata
IBM vrsto dri primat na tritu, te predstavlja odreeni standard
na ovome podruju
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 149
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 150
Softverska kriza
Software 1958
(http://www.maa.org/mathland/mathtrek_7_31_00.ht
ml, 10.1109/MC.2012.147)
Software crisis 1968
Problemi s razvojem
A Report on a Conference Sponsored by the NATO Science
Committee
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 151
Softverska kriza
https://secure.standishgroup.com/reports/reports.php
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 152
Software Crisis 2.0
Brian Fitzgerald, "Software Crisis 2.0," Computer, vol. 45, no. 4, pp. 89-91, April, 2012.
http://doi.ieeecomputersociety.org/10.1109/MC.2012.147
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 153
Data crisis
In 2005, Eric Schmidt, Googles CEO
suggested that the amount of data available electronically
comprised 5 million Tbytes, of which Google indexed only
.004 percent
Schmidt estimated the amount of data to be doubling every
5 years.
Moores law
doubling of hardware capacity roughly every 18 months
(Kryders law storage)
(Butters law network capacity)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 154
Data crisis
In 2010, Dave Evans, Chief Futurist at Cisco Systems
35 billion devices were connected to the Internet
more than five times the planets Population
www.readwriteweb.com/archives/cisco_futurist_predicts_internet_of_t
hings_1000_co.php
increase to 100 billion devices by 2020
concept of the Internet of Things (IoT)the virtual representation
of uniquely identifiable things in an Internet-like structure
An exemplar project designed for the IoT is Hewlett-Packards plan to
place one trillion smart dust sensors all over the world as part of a
planet-wide sensing network infrastructure. These sensors will detect a
wide variety of factors, including
motion, vibration, light, temperature, barometric pressure, airflow, and
humidity, and will have obvious applications in transportation, health,
energy management, and building automation.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 155
Poslovna podruja izvori podataka
Zatita okolia
PLM ivotni ciklus proizvoda
Plan
Design
Proizvodnja
Transport
Skladitenje
Odravanje
Odravanje
Tradicionalni
Financije
Proizvodnja
Kadrovska
HRM Human Capital Management
SVE VIE I VIE PODATAKA
PODRUJA SE ISPREPLIU
SVE INSTANCE TRAE PODATKE
ZAHTIJEVAJU SE NA NOVIM UREAJIMA
DOSTUPNI SVUDA
NISU UVIJEK STRUKTURIRANI
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 156
Wirths law
Software is getting slower more rapidly than hardware
becomes faster
(N. Wirth, A Plea for Lean Software, Computer, Feb., 1995,
pp. 64-68)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 157
Digitalne generacije (digital native)
Nove generacije
Nema straha od tehnologije
Sati i sati dnevnog koritenja interneta, SW i podataka
Do 2010. se brojalo sate gledanja TV
Sada se broji sate rada/igranja na raunalu
Do 20. godine skupe se tisue sati
Nove spoznaje
Npr. smart mobitel
Kako ga koristi 5-godinjak a kako 40-godinjak?
to je jednome a to drugome intuitivno?
Nova istraivanja
umjetna inteligencija
ontologije
probabilistike (vjerojatnosne) metode
interdisciplinarna istraivanja
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 158
Zakljuak
Skladita su potrebna kada:
Kada su izvori podataka raznorodni
Strukturirani
Razne baze podataka uglavnom o njima govorimo
Nestrukturirani
Dokumenti ovakvih podataka ima mnogo vie nego strukturiranih
IDC 2010
Godinji prirast podataka
Strukturirani: 20-ak%
Nestrukturirani: 60-ak%
Ima vie izvora podataka
Arhivski podaci
OLTP
Izvori nisu kompatibilni
Razliiti su:
Dobavljai
Verzije
Tehnologije
INTEROPERABILNOST veliki izazov i za istraivanje
Podataka ima mnogo
Lake ih je obraivati pitanje je SW
Uinkovitost
Effectiveness (ISO/IEC 25010): accuracy and completeness with which users achieve specified goals
Produktivnost
Efficiency (ISO/IEC 25010): resources expended in relation to the accuracy and completeness with which
users achieve goals
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 159
Big Data dodatak
Niko Duki EMC
Predavanje na FESB-u, 2012-05-16
Cern: Where the Big Bang meets
big data
http://www.techrepublic.com/blog
/european-technology/cern-
where-the-big-bang-meets-big-
data/636?tag=nl.e098
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 160
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
[email protected]
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 161
Tijek projektnih aktivnosti (PMBOK)
poetak vrijeme kraj
s
t
u
p
a
n
j
a
k
t
i
v
n
o
s
t
i
p
r
o
c
e
s
a
Initiating
PG
Planning
PG
Executing
PG
Closing
PG
Monit.&Contr.
PG
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 162
Koraci u izgradnji skladita podataka
Specifino za samo skladite:
1. Odabrati proces i varijable za analizu
2. odabrati platformu (DBMS) npr. Oracle, SQL Server ili dr.
3. definiranje potrebnih podataka u DW i grupiranja podataka
4. definiranje strukture skladita (obavljaju projektanti)
5. ETL procesi ekstrakcija, transformacija, punjenje -
inicijalno uitavanje podataka u DW (initial load)
6. provjera uitanih podataka
7. automatizirano osvjeavanje podataka u jednakim
vremenskim razmacima (incremental load)
8. testiranje funkcionalnosti DW sustava
9. odreivanje autorizacije pristupa
10. sistem integracija
11. koritenje sustava
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 163
Kimball-Ross, 2002
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 164
Stakeholders & Project (PMBOK)
1) Osobe i organizacije poput naruitelja, sponzora, izvoaa i
javnosti, koje su aktivno ukljuene u projekt, ili na ije interese
zavretak projekta moe pozitivno ili negativno utjecati. One
takoer mogu utjecati na projekt i njegove isporuke.
2) Pojedinci i organizacije koje su aktivno ukljuene u projekt, ili
na ije interese se moe pozitivno ili negativno utjecati
provoenjem projekta ili njegovim zavretkom.
Takoer mogu utjecati na projekt i njegove rezultate.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 165
Kljuni imbenici za uspjeh projekta
Pronai jakog sponzora
s vizijom DW u tvrtki
S utjecajem u tvrtki i projektu
Imati jak poslovni motiv za DW
Ako to moe jednostavnije,...
Izvodljivost
Ekonomska
Resursna
PODATKOVNA najzahtjevnija
Opa spremnost tvrtke
Ima li dovoljno analitiara?
Tko e to koristiti?
Margaritas ante porqos
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 166
Preduvjeti za izgradnju DW i OLAP baze
Poznavanje relacijskih RDBMS
Poznavanje poslovnog podruja
Osnovni problem: razluiti dimenzijski model iz ume
podataka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 167
Koje podatke (varijable) izabrati?
Veza s Business Intelligence: poslovna inteligencija nastoji
iznai informacije koje su kljune za uspjenost tvrtke:
informacije o konkurenciji
informacije o kupcima
informacije o dobavljaima
Prije upotrebe DW poradi BI, nuno je da manageri sami
definiraju jasne poslovne ciljeve, a zatim prema njima odrede
koji e biti kljuni pokazatelji uspjenosti poslovanja.
Treba definirati i nain grupiranja podataka radi dimenzijskih
tablica, npr.:
pojedinane artikle i grupe artikala,
prodavaonice,
odjele,
vremenska razdoblja za analize (sat-dan-tjedan-mjesec-kvartal-godina)
i dr.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 168
ABC-analiza
ABC+ analiza vrlo je koristan alat sa velikom
mogunou primjene.
Analiza pretstavlja proirenje Parettovog pravila 20-
80% koje kae da se sve u prirodi odvija po principu da
20% elemenata donosi 80% rezultata a 80% elemenata
donosi 20% rezultata.
Primijenjeno u poslovanju: 20% produkata donosi 80%
zarade, a 80% elemenata donosi 20% zarade.
Segment lan Doprinos
A 5% lanova
doprinosi sa 30% rezultata
B 15% lanova doprinosi sa 50% rezultata
C 80% lanova doprinosi sa 20% rezultata
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 169
Pretpostavke o BI (2007)
do 2012. analitike aplikacije koje se proteu kroz vie
poslovnih podruja init e vie od 50% ukupno
implementiranih analitikih aplikacija
0,8 vjerojatnosti
do 2015. BI metodologije i tehnologije bit e
prepoznate kao kljune i integralne komponente u 80%
korporativnih aplikacija
0,7 vjerojatnosti
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 170
...a veliki ERP i BI igrai napravie...
Velike akvizicije megaproizvoaa BI softvera:
SAP _ Business Objects
IBM _ Cognos
Oracle _ Hyperion
Uz par manjih akvizicija time
su zavrene tzv. megaakvizicije
Od vodeih nezavisnih tvrtki
preostale su samo dvije
SAS u privatnom vlesnitvu
Panorama izraelska tvrtka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 171
Zato ERP-ovci kupie BI-ovce?
ERP trite u zadnjih nekoliko godina znaajno je
usporeno
Time je i jasnija elja velikih ERP tvrtki da kroz BI
funkcionalnosti zadre svoju poziciju
CILJ ovih akvizicija bila je integracija BI aplikacija u
postojee ERP sustave
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 172
Potencijal BI trita
broj SMB tvrtki koje ne pretendiraju ka velikim ERP
sustavima raste velikom brzinom
zato se izdaju manji ERP paketi
npr. SAP All-in-One (umjesto npr. SAP R/3)
i manje tvrtke nude poslovna aplikativna rjeenja
uz sve dosadanje aktivnosti na BI tritu jedan od najee
koritenih alata za analize na SMB tritu je Microsoft
Excel (koji to doista po svojoj ideji nije)
daljnja Gartnerova predvianja su poveanje prodaje na
godinjoj razini od 77,9% do 2012. godine
trite BI aplikacija stabilno i recesijom najmanje pogoeno
podruje
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 173
Prioriteti pri odabiru BI rjeenja (prvih 5)
1. Funkcionalnost/mogunosti proizvoda (41,4%)
2. Jednostavnost upotrebe za krajnje korisnike (36,2%)
3. Integracija s drugim proizvodima u upotrebi (21,4%)
4. Brzina rada (19,4%)
5. Podrka veeg broja istovremenih korisnika (16,1%)
Business Aplication Center 2008
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 174
DW i BI
nisu sinonimni pojmovi
ALI: u svjetlu trendova i brojki BI-a treba gledati i
trendove DW-a
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 175
I nakon prezentacija i seminara...
...zavrne misli
ako elite, seminare moemo staviti na portal
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 176
OLAP kocke
OLAP serveri svoje podatke dre u posebnim
strukturama nazvanim KOCKE
Kocka je osnovni element koji OLAP klijent koristi kao
svoj izvor podataka
Svaki puta kada elite analizirati podatke, morat ete se
spojiti na OLAP kocku
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 177
OLAP baza kocka (konekcija)
NazivServera (fizikog)
NazivBazePodataka
NazivKocke
Svaka baza podataka je zapravo skup kocaka
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 178
OLAP kocke
Svaka baza podataka unutar OLAP servera je zapravo skup
kocaka
Primjer: jedno poduzee jedna baza.
Svaka kocka predstavlja logiki povezanu cjelinu ili bolje
reeno poslovni proces.
Primjer; prodaja, nabave, financije
Osnovni element (Konekcija) sastoji se od:
NazivServera (fizikog).NazivBazePodataka.NazivKocke
Ova tri elementa odreuju gdje e biti izvren MDX upit
spremljen u bilo kojem objektu unutar CubePlayera.
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 179
OLAP kocke i dimenzije
Svaka kocka sastoji se od dimenzija
Dimenzije predstavljaju pojedine logike cjeline unutar
kocke
one su prirodni
poslovni parametri
koji odreuju svaku
injenicu
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 180
OLAP dimenzije
Postoje tri osnovne vrste dimenzija
Standardne dimenzije
Vremenske dimenzije
Mjere
Dimenzije predstavljaju pojedine logike cjeline unutar kocke
Primjer: artikli (proizvodi), kupci, dobavljai, konta, broj cipela,...
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 181
OLAP standardne dimenzije
Standardne dimenzije su sve dimenzije osim
vremenskih dimenzija i mjera
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 182
OLAP vremenske dimenzije
Vremenska dimenzija izdvojena je u posebnu sekciju
Svi poslovni procesi odvijaju se unutar nekog vremena.
Kao i standardne dimenzije,
i vremenske dimenzije mogu
a ne moraju sadravati hijerarhije
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 183
OLAP dimenzija mjera ipak treba brojati!
Iako dimenzija moe biti mnogo, ipak je potrebno
uvesti i BROJEVE
Dana im je dimenzija MJERE
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 184
OLAP dimenzije i hijerarhije
Pojedine dimenzije mogu a ne moraju sadravati hijerarhije
Hijerarhija je nain gledanja (pogled) na elemente neke dimenzije
Primjer: kupce iz dimenzije kupci moemo pormatrati kroz
hijerarhije:
Regionalno (zemljopisna podjela)
Indeks (abecedno)
Po kategorijama (mali, srednji, veliki)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 185
OLAP dimenzija hijerarhija nivo
Svaka dimenzija (hijerarhija ako su definirane) sastoji
se od nivoa
Svaki nivo sastoji se od odreenog broja elemenata
Primjer:
vremenska dimenzija nivo godine sadri
sve godine poslovanja
dimenzija kupci nivo gradovi sadri
sve gradove iz baze s kojima se posluje
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 186
OLAP nivoi
Svaki nivo sastoji se od elemenata
Elementi nivoa su pojedinani elementi poslovanja
Primjer:
jedan kupac
jedan grad
jedan proizvod
jedan artikl
jedna godina
s
l
i
k
e
n
a
s
t
r
a
n
i
c
a
m
a
4
5
-
5
4
v
l
s
n
i
t
v
o
s
u
t
v
r
t
k
e
S
o
f
t
P
r
o
T
e
t
r
a
l
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 187
Daljnja literatura
www.kimballgroup.com/html/articles.html
www.inmoncif.com/home
www.softpro.hr web sjedite tvrtke SoftPro Tetral, update za CubePlayer (free)
www.ssas-info.hr portal za Microsoft OLAP (SQL Server Analysis Services)
www.microsoft.com/bi Microsoft BI portal
http://social.msdn.microsoft.com/Forums/en-US/category/sqlserver SQL Server forum
http://msdn.microsoft.com/en-us/library/bb545450.aspx MSDN/TechNet on SQL
Server
http://www.biblogs.com/ BI blogovi, sakupljani s raznih strana/izvora
http://blogs.msdn.com/bi/default.aspx Microsoft BI blog
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 188
http://www.microsoft.com/sqlserver/2008/en/us/default
.aspx SQL Server 2008
http://www.microsoft.com/sqlserver/2008/en/us/try-
it.aspx free trial verzija SQL Servera 2008
http://www.sqlbi.eu/Projects/Manytomanydimensional
modeling/tabid/80/language/en-US/Default.aspx
Many-to-many DW dizajn, lanak
www.codeplex.com primjeri koda, demo baze, slino
(traiti pod SQL Server ili SSAS, SSIS, SSRS, ...)
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 189
Ispit
Materijali na portalu
zavrni materijal s predavanja
Ispiti prema kalendaru
poaljite prezentacije i mail najave
moe i u terminu kolokvija