聚类分析综述

一篇聚类分析的综述性的文章

聚类算法综述

聚类是数据挖掘的重要工具， 根据数据间的相似性将数据库分成多个类， 每类中数据应尽可能相似。 从机器学习的观点来看， 类相当于隐藏模式， 寻找类是无监督学习过程。目前己有应用于统计、模式识别、机器学习等不同领域的几十种聚类算法。该文对数据挖掘中的聚类算法进行了归纳和分类，总结了几类算法并分析了其性能特点。

关键词：聚类算法;相似性度量;K-means;EM;

Abstract

Clustering plays an outstanding role in data mining applications.Clustering is a division of databases into groups of similar objects based on the similarity.From amachine learning perspective clusters correspond to hidden patterns,the search for clusters is unsupervised learning.There are tens of clustering algorithms used in various fields such as statistics,pattern recognition and machine learning now.This paper concludes the clustering algorithms used in data mining and assorts them into many classes.Each types of algorithms are summarized and their performances are analyzed here.

KeyWords: clustering algorithm; similarity measurement;K-means;EM;

1、引言

聚类就是将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合，这些对象与同一簇中的对象彼此相似，与其它簇中的对象相异。聚类分析是一种无监督的过程，它同分类的根本区别在于：分类是需要开始知道所根据的特征，而聚类是要准确的找到这个数据特征，因此在许多的应用中，聚类分析更是定义为一种数据预处理的过程，是进一步解析和处理数据的根本。它已经被广泛地应用于统计学、机器学、空间数据库、生物学以及市场营销等领域，聚类分析还可以作为独立的数据挖掘工具来了解数据分布，或者作为其他数据挖掘算法（如关联规则、分类等）的预处理步骤。聚类算法可以分为基于的层次方法、基于划分的方法、基于网格的方法、基于密度的方法和基于模型的方法。

2、数据的相似性度量

聚类分析按照样本点之间的亲疏远近程度进行分类。为了使类分得合理，必须描述样本之间的亲疏远近程度。刻画聚类样本点之间的亲疏远近程度主要的方法是利用距离度量的方法，常用的距离度量方法有欧几里德距离、余弦距离和马氏距离等，下面分别对这几种距离进行了阐述。给定数据集Z={z1,z2,…,zp,…,zNp},其中zp是Nd维特征空间中的一个特征向量，而Np是特征空间Z中特征向量的个数。

2.1、欧几里德距离

欧几里德距离又叫欧氏距离，它的定义为：

dd(zu, zw) = j=1(zu,j zw,j)2=||zu zw|| 公式(1) [1]N

欧氏距离即两项间的差是每个变量值差的平方和再平方根，目的是计算其间的整体距离即不相似性。欧氏距离虽然简单而且最常用，但是它有一个缺点是它将样本的不同属性（即各指标或各变量）之间的差别等同看待。这一点在很多的应用中都不能满足要求。

2．2 余弦距离

余弦距离定义为如下：

＜zu,zw＞＝ Ｎd

ｊ＝１ｚｕ,ｊｚｗ,ｊ

zu | zw | 公式(2)