機器學習算法實踐 K均值聚類的實用技巧

編者按：本文作者為美國數據分析專家 Bilal Mahmood，他是用戶數據分析平臺 Bolt 的創始人之一。在本文中，他詳細介紹了一種稱為 K-Means Clustering（k均值聚類）的算法，其中包括如何衡量算法效果，以及如何確定你需要生成的數據段集數量。雷鋒網編譯整理，更多AI開發技術文章，關注AI研習社（微信號：okweiwu）。

Bilal Mahmood：我們最常做的分析之一,便是在數據中提取模式。 比方說，某公司的客戶可被劃分入哪些細分市場？ 我們如何在用戶網絡中找到特定群體的聚類？

通過機器學習的方式，我們可以得到這些問題的答案。 即使當我們不知道需要查找哪些特定數據段，亦或我們的數據格式是非結構化數據，我們都可以有這么一種技術手段，在算法上，分析出數據中合理的數據模式，合適的數據段和分類結果。

在本文中，我們將會詳細介紹一種算法，K-Means Clustering(K均值聚類)，包括如何衡量其效果，以及如何確定我們要生成的數據段集數量。

監督VS無監督學習

  

在數據分類領域里，有兩種有效的機器學習方式。

通過監督學習，如果你搞清楚哪些輸入能映射到哪些離散數據段，便可以對結果的分類做預測。 但在許多情況下，實際上不會有這些預定義好的標簽，而只有非結構化數據——根本沒有定義好的數據段。這時，您可能就需要借助無監督學習，從未標記的數據中推理出目標數據段。

為了更清楚一些，我們以分類T恤尺寸為例

如果我們拿到如圖1A所示數據集，我們將有一組寬度（X1）和長度（X2）的輸入，以及他們對應的T恤衫尺寸（S（藍色）L（綠色）） 。 在這種情況下，我們就可以通過監督學習的技術，如邏輯回歸，來繪制一個明確的決策邊界，并分離出各類T恤。

但如果我們得到一個如圖1B所示的數據集，我們得到一組寬度（X1）和長度（X2）的輸入，但沒有對應的T恤衫尺寸標簽。 在這種情況下，我們就需要使用K均值聚類等無監督式學習技術，來找到相似的T恤衫，并將它們聚集到?。ㄋ{色圓圈）和大（綠色圓圈）的各個類中。

在現實世界的許多應用中，你將面臨如圖2A所示的情況，因此搞明白如何從非結構化的數據中提取出結構，會有很大的用處。

K均值聚類 

K均值聚類給無監督機器學習提供了一個非常直觀的應用，在非結構化的數據中歸納出結構，

K均值聚類，正如其名，會將您的數據中相似的觀察結果，分配到同組簇中。 它包括4個簡單重復的步驟，迭代地評估對每個觀察值有最近（平均）距離的簇。 因此，如果一組觀察結果彼此接近，它們可能屬于一組簇。

讓我們逐步細細了解該算法。 第一步，隨機初始化一組聚類中心（上面圖2A中的X），或者說，是各組簇的中心。在開始之前，你可以將這些聚類中心設置在任何地方，但我們建議，在你對其初始化的時候，用與你設定的觀察值相匹配的隨機點。您將依次利用這些類中心，來對你的觀察值進行分組，將那些與類中心平均距離最近的觀察值（圖2B中的藍色和綠色圓圈）確定一個聚類歸屬。

該步驟會將數據初始化成幾組簇，將你的數據中與類中心最接近的觀察值聚集到一起。 但是這些第一次分配后的數據簇，可能不是十分合適的。 所以下一步，你會將你的聚類好的數據簇移動到一個更接近，更合適的位置。即在每個當前已有的各個簇中 找到它們的平均觀察值，然后你的聚類中心移動到該位置來（圖2C）。 然后，以新的聚類中心為基準，找到的平均距離最近的觀察值，并將其分配到新的簇（圖2D）

您可以重復進行此過程：簇分配-查找平均距離-移動聚類中心，直到達到收斂。 一旦你找到了一組簇，而且其中所有的觀察值都能找到最接近的聚類中心，那就不需要再繼續評估最近的平均距離和移動了。 那些分組在一起的觀察值將被聚類，這樣的話它們可以在輸入中共享相似性（如由它們對同一聚類中心所表現出的接近度），你也為你的數據找到了一組合適的聚類方式。

你使用了多少組簇？

K均值聚類是一種有效的方法，可以為你的數據找到一個良好的聚類方式。 但仍然有一個問題，一開始你如何決定要使用多少組簇？

當你不清楚非結構化數據集的標簽或者分類時，需要無監督學習的方式（如K均值聚類）來輔助。 因此，數據本身不會告訴你，簇的正確數量（或標簽）是多少。

那么，你該如何衡量自己數據用多少組簇呢？ 最簡單的方法是利用測量簇的誤差，具體如下：

此函數通過比較觀察值（X）與其指定的聚類中心（μ）之間的距離來評估簇的誤差。 如果每個對應的聚類中心均呈現最低距離，或者最低總體誤差最低，那么這些聚類中心就是與數據最符合的聚類結果。

回到我們T恤衫尺寸的示例，我們如何使用該誤差函數來確定正確的簇的數目？ 一種方法是“肘部法則”，如上圖3所示。 通過繪制數據相對于你初始化的簇的數量的誤差，你可以發現誤差變化率最尖銳的點。 圖3中似乎是在兩個簇的地方，表明我們應該可能去劃分為小和大兩種。

雷鋒網提醒，該方法需要注意：通常在你的誤差曲線中沒有明顯的拐點。 因此，不可能總是使用肘部法則來確定合適數量的簇。

在這種情況下，建議依靠你的直覺或者待解決的問題的上下文。 例如，在T恤尺寸案例中，你可能很清楚你想將T恤分為5種尺寸 - 超小型，小型，中型，大型和超大型。但這并不是數據給你提示清楚的，但基于你的直覺，你可以初始化為五個簇數量，并得到合適的聚類。

總而言之，對于到一個聚類問題，K均值聚類提供了一種可迭代的并且有效的算法來發掘數據中的結構。

雷鋒網注：這篇博文是基于吳恩達在 Coursera 機器學習課程中教授的概念。

via kdnuggets