婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁(yè) > 知識(shí)庫(kù) > FP-growth算法發(fā)現(xiàn)頻繁項(xiàng)集——構(gòu)建FP樹(shù)

FP-growth算法發(fā)現(xiàn)頻繁項(xiàng)集——構(gòu)建FP樹(shù)

熱門(mén)標(biāo)簽:企業(yè)彩鈴地圖標(biāo)注 銀川電話機(jī)器人電話 長(zhǎng)春極信防封電銷卡批發(fā) 外賣(mài)地址有什么地圖標(biāo)注 上海正規(guī)的外呼系統(tǒng)最新報(bào)價(jià) 如何地圖標(biāo)注公司 煙臺(tái)電話外呼營(yíng)銷系統(tǒng) 電銷機(jī)器人錄音要學(xué)習(xí)什么 預(yù)覽式外呼系統(tǒng)

FP代表頻繁模式(Frequent Pattern),算法主要分為兩個(gè)步驟:FP-tree構(gòu)建、挖掘頻繁項(xiàng)集。

FP樹(shù)表示法

FP樹(shù)通過(guò)逐個(gè)讀入事務(wù),并把事務(wù)映射到FP樹(shù)中的一條路徑來(lái)構(gòu)造。由于不同的事務(wù)可能會(huì)有若干個(gè)相同的項(xiàng),因此它們的路徑可能部分重疊。路徑相互重疊越多,使用FP樹(shù)結(jié)構(gòu)獲得的壓縮效果越好;如果FP樹(shù)足夠小,能夠存放在內(nèi)存中,就可以直接從這個(gè)內(nèi)存中的結(jié)構(gòu)提取頻繁項(xiàng)集,而不必重復(fù)地掃描存放在硬盤(pán)上的數(shù)據(jù)。

一顆FP樹(shù)如下圖所示:

通常,F(xiàn)P樹(shù)的大小比未壓縮的數(shù)據(jù)小,因?yàn)閿?shù)據(jù)的事務(wù)常常共享一些共同項(xiàng),在最好的情況下,所有的事務(wù)都具有相同的項(xiàng)集,F(xiàn)P樹(shù)只包含一條節(jié)點(diǎn)路徑;當(dāng)每個(gè)事務(wù)都具有唯一項(xiàng)集時(shí),導(dǎo)致最壞情況發(fā)生,由于事務(wù)不包含任何共同項(xiàng),F(xiàn)P樹(shù)的大小實(shí)際上與原數(shù)據(jù)的大小一樣。

FP樹(shù)的根節(jié)點(diǎn)用φ表示,其余節(jié)點(diǎn)包括一個(gè)數(shù)據(jù)項(xiàng)和該數(shù)據(jù)項(xiàng)在本路徑上的支持度;每條路徑都是一條訓(xùn)練數(shù)據(jù)中滿足最小支持度的數(shù)據(jù)項(xiàng)集;FP樹(shù)還將所有相同項(xiàng)連接成鏈表,上圖中用藍(lán)色連線表示。

為了快速訪問(wèn)樹(shù)中的相同項(xiàng),還需要維護(hù)一個(gè)連接具有相同項(xiàng)的節(jié)點(diǎn)的指針列表(headTable),每個(gè)列表元素包括:數(shù)據(jù)項(xiàng)、該項(xiàng)的全局最小支持度、指向FP樹(shù)中該項(xiàng)鏈表的表頭的指針。

構(gòu)建FP樹(shù)

現(xiàn)在有如下數(shù)據(jù):

  

FP-growth算法需要對(duì)原始訓(xùn)練集掃描兩遍以構(gòu)建FP樹(shù)。

第一次掃描,過(guò)濾掉所有不滿足最小支持度的項(xiàng);對(duì)于滿足最小支持度的項(xiàng),按照全局最小支持度排序,在此基礎(chǔ)上,為了處理方便,也可以按照項(xiàng)的關(guān)鍵字再次排序。

第一次掃描的后的結(jié)果

第二次掃描,構(gòu)造FP樹(shù)。

參與掃描的是過(guò)濾后的數(shù)據(jù),如果某個(gè)數(shù)據(jù)項(xiàng)是第一次遇到,則創(chuàng)建該節(jié)點(diǎn),并在headTable中添加一個(gè)指向該節(jié)點(diǎn)的指針;否則按路徑找到該項(xiàng)對(duì)應(yīng)的節(jié)點(diǎn),修改節(jié)點(diǎn)信息。具體過(guò)程如下所示:

事務(wù)001,{z,x}

事務(wù)002,{z,x,y,t,s}

事務(wù)003,{z}

事務(wù)004,{x,s,r}

事務(wù)005,{z,x,y,t,r}

事務(wù)006,{z,x,y,t,s}

從上面可以看出,headTable并不是隨著FPTree一起創(chuàng)建,而是在第一次掃描時(shí)就已經(jīng)創(chuàng)建完畢,在創(chuàng)建FPTree時(shí)只需要將指針指向相應(yīng)節(jié)點(diǎn)即可。從事務(wù)004開(kāi)始,需要?jiǎng)?chuàng)建節(jié)點(diǎn)間的連接,使不同路徑上的相同項(xiàng)連接成鏈表。

代碼如下:

def loadSimpDat():
    simpDat = [['r', 'z', 'h', 'j', 'p'],
               ['z', 'y', 'x', 'w', 'v', 'u', 't', 's'],
               ['z'],
               ['r', 'x', 'n', 'o', 's'],
               ['y', 'r', 'x', 'z', 'q', 't', 'p'],
               ['y', 'z', 'x', 'e', 'q', 's', 't', 'm']]
    return simpDat
def createInitSet(dataSet):
    retDict = {}
    for trans in dataSet:
        fset = frozenset(trans)
        retDict.setdefault(fset, 0)
        retDict[fset] += 1
    return retDict
class treeNode:
    def __init__(self, nameValue, numOccur, parentNode):
        self.name = nameValue
        self.count = numOccur
        self.nodeLink = None
        self.parent = parentNode
        self.children = {}
    def inc(self, numOccur):
        self.count += numOccur
    def disp(self, ind=1):
        print('   ' * ind, self.name, ' ', self.count)
        for child in self.children.values():
            child.disp(ind + 1)

def createTree(dataSet, minSup=1):
    headerTable = {}
    #此一次遍歷數(shù)據(jù)集, 記錄每個(gè)數(shù)據(jù)項(xiàng)的支持度
    for trans in dataSet:
        for item in trans:
            headerTable[item] = headerTable.get(item, 0) + 1
    #根據(jù)最小支持度過(guò)濾
    lessThanMinsup = list(filter(lambda k:headerTable[k]  minSup, headerTable.keys()))
    for k in lessThanMinsup: del(headerTable[k])
    freqItemSet = set(headerTable.keys())
    #如果所有數(shù)據(jù)都不滿足最小支持度,返回None, None
    if len(freqItemSet) == 0:
        return None, None
    for k in headerTable:
        headerTable[k] = [headerTable[k], None]
    retTree = treeNode('φ', 1, None)
    #第二次遍歷數(shù)據(jù)集,構(gòu)建fp-tree
    for tranSet, count in dataSet.items():
        #根據(jù)最小支持度處理一條訓(xùn)練樣本,key:樣本中的一個(gè)樣例,value:該樣例的的全局支持度
        localD = {}
        for item in tranSet:
            if item in freqItemSet:
                localD[item] = headerTable[item][0]
        if len(localD) > 0:
            #根據(jù)全局頻繁項(xiàng)對(duì)每個(gè)事務(wù)中的數(shù)據(jù)進(jìn)行排序,等價(jià)于 order by p[1] desc, p[0] desc
            orderedItems = [v[0] for v in sorted(localD.items(), key=lambda p: (p[1],p[0]), reverse=True)]
            updateTree(orderedItems, retTree, headerTable, count)
    return retTree, headerTable

def updateTree(items, inTree, headerTable, count):
    if items[0] in inTree.children:  # check if orderedItems[0] in retTree.children
        inTree.children[items[0]].inc(count)  # incrament count
    else:  # add items[0] to inTree.children
        inTree.children[items[0]] = treeNode(items[0], count, inTree)
        if headerTable[items[0]][1] == None:  # update header table
            headerTable[items[0]][1] = inTree.children[items[0]]
        else:
            updateHeader(headerTable[items[0]][1], inTree.children[items[0]])
    if len(items) > 1:  # call updateTree() with remaining ordered items
        updateTree(items[1:], inTree.children[items[0]], headerTable, count)

def updateHeader(nodeToTest, targetNode):  # this version does not use recursion
    while (nodeToTest.nodeLink != None):  # Do not use recursion to traverse a linked list!
        nodeToTest = nodeToTest.nodeLink
    nodeToTest.nodeLink = targetNode
simpDat = loadSimpDat()
dictDat = createInitSet(simpDat)
myFPTree,myheader = createTree(dictDat, 3)
myFPTree.disp()

上面的代碼在第一次掃描后并沒(méi)有將每條訓(xùn)練數(shù)據(jù)過(guò)濾后的項(xiàng)排序,而是將排序放在了第二次掃描時(shí),這可以簡(jiǎn)化代碼的復(fù)雜度。

控制臺(tái)信息:

項(xiàng)的順序?qū)P樹(shù)的影響

值得注意的是,對(duì)項(xiàng)的關(guān)鍵字排序?qū)?huì)影響FP樹(shù)的結(jié)構(gòu)。下面兩圖是相同訓(xùn)練集生成的FP樹(shù),圖1除了按照最小支持度排序外,未對(duì)項(xiàng)做任何處理;圖2則將項(xiàng)按照關(guān)鍵字進(jìn)行了降序排序。樹(shù)的結(jié)構(gòu)也將影響后續(xù)發(fā)現(xiàn)頻繁項(xiàng)的結(jié)果。

圖1 未對(duì)項(xiàng)的關(guān)鍵字排序

圖2 對(duì)項(xiàng)的關(guān)鍵字降序排序

總結(jié)  

本派文章就到這里了,下篇繼續(xù),介紹如何發(fā)現(xiàn)頻繁項(xiàng)集。希望能給你帶來(lái)幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!

您可能感興趣的文章:
  • FP-Growth算法的Java實(shí)現(xiàn)+具體實(shí)現(xiàn)思路+代碼
  • 詳解Java如何實(shí)現(xiàn)FP-Growth算法
  • Java編程實(shí)現(xiàn)A*算法完整代碼
  • python+pyqt5實(shí)現(xiàn)24點(diǎn)小游戲
  • FP-growth算法發(fā)現(xiàn)頻繁項(xiàng)集——發(fā)現(xiàn)頻繁項(xiàng)集

標(biāo)簽:潮州 上饒 佳木斯 湖北 西寧 盤(pán)錦 珠海 宜昌

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《FP-growth算法發(fā)現(xiàn)頻繁項(xiàng)集——構(gòu)建FP樹(shù)》,本文關(guān)鍵詞  FP-growth,算法,發(fā)現(xiàn),頻繁,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《FP-growth算法發(fā)現(xiàn)頻繁項(xiàng)集——構(gòu)建FP樹(shù)》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于FP-growth算法發(fā)現(xiàn)頻繁項(xiàng)集——構(gòu)建FP樹(shù)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    主站蜘蛛池模板: 大悟县| 聂拉木县| 龙川县| 织金县| 会泽县| 眉山市| 天水市| 克拉玛依市| 科技| 巨野县| 广南县| 汉川市| 兰西县| 东丽区| 托里县| 六枝特区| 沭阳县| 崇州市| 沁源县| 修水县| 华安县| 宕昌县| 山东| 奉贤区| 台湾省| 北辰区| 淮滨县| 东阿县| 阿坝| 潮州市| 浮山县| 洛浦县| 澎湖县| 全椒县| 波密县| 福鼎市| 通城县| 汉源县| 新邵县| 芦山县| 高淳县|