Számítás a társulási szabályok alapján - ppt letöltés
A társulási szabályok kiszámítása előadás az adattárházban és a bányászatban
Tartalom Bevezetés: Eredet, nómenklatúra Apriori: alapvető algoritmus Hierarchikus elemek Mennyiségértékű elemek Outlook asszociációs szabályok
Bevezetés A priori hierarchia, mennyiség megalkotása Bevezetés Nagyobb adathalmazok, pontosabb adathalmazok, jobb hardverforrások létrehozása. Érdekesség az érdekes szabályok felismerésére ezekben a nagy adathalmazokban.
Tranzakciós nómenklatúra: Művelet az adatbázison (vásárlás.) Bevezetés Apriori hierarchia, mennyiség Nomenklatúra-tranzakció: Művelet az adatbázison (vásárlás.) Tétel: Tranzakció része (tej.) Tételkészlet: Tételek száma Társítási szabály: X Y (ha a tranzakció X-et tartalmaz, akkor Y-t is tartalmaz) Bizalom c: a tranzakciók c% -a betartja az asszociációs szabályokat (minconf: algoritmus alsó határa) Támogatás s: s a tranzakciók% -a X-et és Y-t tartalmaz (minsup: algoritmus alsó határa) Társulási szabályok
T1 T2 példa Bevezetés Apriori hierarchia mennyisége T1 T2 T3 T3 T4 T5 bizalomtámogató kenyér sajt 100% 40% sajt tej 66,6% 40% fogkrém csokoládé 50% 20% társulási szabályok
Bevezetés Apriori hierarchia Mennyiség Motiváció A társulási szabályok gépi felismerésének vágya: „Apriori” algoritmus Egyes tételek alapvető függőséggel, hierarchikus származással (tej (teljes tej) rendelkeznek. Egyes társulási szabályoknak mennyiségi elemekre van szükségük (2 autó 2 18 év feletti gyermek)
Bevezetés Apriori hierarchia mennyiségi algoritmus Apriori társulási szabályok felfedezése két problémára osztható. Minden elemkészlet megkeresése minimális támogatással Használja ezeket az elemkészleteket a társítási szabályok társítási szabályainak meghatározásához
Tételkészletek keresése Minden elemkészlet megkeresése minimális támogatással Bevezetés A priori hierarchia Mennyiség Tételkészletek keresése Az összes elemkészlet megkeresése minimális támogatással Kezdje az egyelemes halmazokkal (1 készlet) -> egyszerű "számlálás" A meghatározott (k-1) halmazokat egyesítse új k-halmazokba Csatlakozási lépés: A jelöltek létrehozása A metszés lépés: Azok a jelöltek törlése, akiknek "hibás" a társulási szabályzata van
Példa: Elemkészletek Példa: 3 halmazjelöltek 4 készletre Bevezetés Apriori hierarchia Mennyiség Példa: Tételkészletek Példa: 3 készlet jelöltek 4 készlethez Csatlakozzon a Prune 4 készlet készlet társulási szabályaihoz
Társulási szabályok generálása Generáció Társulási szabályok generálása Bevezetés Apriori Hierarchia Mennyiség Társulási szabályok generálása Az I a (I - a) tétel halmazának összes a részhalmazának vizsgálata, ha a Support (I) támogatás (a)> = minconf társulási szabályok
Példa: A priori hierarchia bevezetésének generálása, mennyiség Példa: I generáció = [40%] Részhalmazok: minconf = 75% Támogatás (I) = 40% Támogatás (a) = 50% Bizalom = 80% OK! Támogatás (I) = 40% Támogatás (a) = 80% Bizalom = 50% NEM! Egyesületi szabályok
Bevezetés Apriori Hierarchia Mennyiség Bevezetés Eddig: Tej read Kenyér [80%] sokkal informatívabb lenne, ha Diet Diet k Fehér Kenyér [75%] kívánná a Hierarchia Egyesület szabályait
Példa Minél mélyebb egy elem van a hierarchiában, annál több a priori bevezetés hierarchia, mennyiség, példa, étel, tej, kenyér. Diéta. Teljes fehér teljes kiőrlésű. Minél mélyebben van egy elem a hierarchiában, annál kisebbnek kell lennie a társítási szabályoknak
Az Apriori kódolási kiterjesztése: Az Apriori hierarchia mennyiségének bevezetése Az Apriori kódolási kiterjesztése: A különböző termékek kódolása Tej 1 Diétás tej 11 Teljes tej 12 Kenyér 2 Fehér kenyér 21 Teljes kiőrlésű kenyér 22 Tranzakciós táblázat: T1: T2:. Egyesületi szabályok
Első elemkészletek Első a legfelső szinten Tételkészletek keresése: Bevezetés a priori hierarchiába, mennyiség Első elemkészletek Először a legfelső szinten, az elemkészletek keresése: Az asszociációs szabályok kiszámítása és a tranzakciós tábla szűrése 30% 40% 30% T1: T2: Társítási szabályok
Bevezetés Apriori hierarchia Mennyiségi iterációs iteráció: A következő elemkészletek keresése egy szűrt táblán (üres tábláig vagy a hierarchia végén) Az asszociációs szabályok kiszámítása és a tranzakciós tábla szűrése 20% 30% 30% 20% 20% Társítási szabályok
Bevezetés Eddig: csak "bináris" társulási szabályok, pl. Kenyér tej Apriori hierarchia mennyiség Bevezetés Eddig: csak "bináris" társulási szabályok, pl. Kenyér Tej kiterjesztése "kvantitatív" társulási szabályokra, pl. Társulási szabályok
Problémák A bináris táblára beállított érték triviális konvertálása, DE: Bevezetés a priori hierarchia mennyiségére Problémák A bináris táblára beállított érték triviális konverziója, DE: A tétel száma felrobban (végrehajtási idő!) A szabályok száma felrobban Asszociációs szabályok
Intervallumok módosított algoritmus: Bevezetés Apriori hierarchia Mennyiség intervallumok módosított algoritmus: Az egyes mennyiségattribútumokhoz intervallumot választanak Társítási szabályok
Intervallumok kiválasztása Probléma az intervallum választásával: Bevezetés Apriori hierarchia mennyisége Intervallumok kiválasztása Probléma az intervallum választásával: túl sok intervallum kombinációja Részleges teljesség bevezetése: az információ elvesztésének mértéke intervallum általánosításakor
Részleges teljesség k-Részleges teljesség: Bevezetés Apriori hierarchia Mennyiség Részleges teljesség k-Részleges teljesség: Egy tételkészlet általánosításához a támogatás nem nőhet k tényezőnél többet, 1,5-részleges-teljes: 5% 6% 8% 5% 6 % 6% 8% 6% Társulási szabályok
Az AR csökkenése A "várható" társulási szabályok törlése Bevezetés Apriori hierarchia mennyiség Az AR várható törlése A "várható" társulási szabályok törlése 12x 3x -> 8% -os támogatás, 70% -os magabiztosság -> 2% -os támogatás, 70% -os megbízhatóság Törölhető, mert nincs új eredmény Egyesületi szabályok
Apriori hierarchia mennyiségi kilátások outlook algoritmusa 'apriori': optimalizált verziók gyorsabb futási idővel vagy kevesebb memóriaigényű hierarchikus elemekkel: nemcsak ugyanazon a szinten találnak társítási szabályokat, hanem különböző szintű társítási szabályokat is