<mark id="oztn4"></mark>
0
| 本文作者： skura | 2019-12-10 18:39 |
許多組織正試圖收集和利用盡可能多的數(shù)據(jù)，以改進(jìn)其業(yè)務(wù)運營方式、增加收入或?qū)χ車澜绠a(chǎn)生更大的影響。因此，數(shù)據(jù)科學(xué)家面對 50GB 甚至 500GB 大小的數(shù)據(jù)集的情況變得越來越普遍。
但是現(xiàn)在，這些數(shù)據(jù)集使用起來并不方便。它們可能小到可以裝進(jìn)你日常筆記本電腦的硬盤，也可能大到和 RAM 匹配。因此，它們已經(jīng)很難被打開和檢查，更不用說探索或分析了。
在處理這些數(shù)據(jù)集時，通常使用 3 種策略。第一個是對數(shù)據(jù)進(jìn)行子抽樣。它的缺點是顯而易見的：可能會錯過關(guān)鍵的部分，或者更糟的是，不看全部內(nèi)容可能會對數(shù)據(jù)和它表達(dá)的事實有所曲解。還有一個策略是使用分布式計算。雖然在某些情況下這是一種有效的方法，但它會帶來管理和維護(hù)集群的巨大開銷。想象一下，必須為一個不在 RAM 范圍內(nèi)的數(shù)據(jù)集（比如在 30-50GB 范圍內(nèi)）設(shè)置一個集群會是什么樣子的。對我來說，這似乎難以承受。或者，你可以租用一個強大的云實例，該實例具有處理相關(guān)數(shù)據(jù)所需的足夠內(nèi)存。例如，AWS 提供了具有兆字節(jié) RAM 的實例。在這種情況下，你仍然需要管理云數(shù)據(jù)存儲桶，在每次實例啟動時等待從存儲桶到實例的數(shù)據(jù)傳輸，處理將數(shù)據(jù)放到云上帶來的遵從性問題，并處理在遠(yuǎn)程計算機上工作帶來的所有不便。當(dāng)然，成本就更不用說了，雖然起價很低，但隨著時間的推移，成本往往會越來越高。
在本文中，我將向你展示一種新的方法：只要數(shù)據(jù)可以被存進(jìn)筆記本電腦、臺式機或服務(wù)器的硬盤上，那么這種方法可以讓使用幾乎任意大小的數(shù)據(jù)進(jìn)行數(shù)據(jù)科學(xué)研究更快、更安全、更方便。
Vaex
Vaex 是一個開源的數(shù)據(jù)框架庫，它可以在與硬盤大小相同的表格數(shù)據(jù)集上進(jìn)行可視化、探索、分析甚至機器學(xué)習(xí)。為此，Vaex 采用了一些概念，如內(nèi)存映射、高效的核心外算法和延后計算。所有這些都被一個和 pandas 類似的 API 類綁定起來，任何人都可以馬上開始使用它。
十億出租車分析
為了說明這個概念，讓我們在一個數(shù)據(jù)集上做一個簡單的探索性數(shù)據(jù)分析，這個數(shù)據(jù)集非常大，可以放入一個典型的筆記本電腦的 RAM 中。在這篇文章中，我們將使用紐約（NYC）出租車數(shù)據(jù)集，其中包含 2009 至 2015 年之間的超過 10 億個標(biāo)志性黃色出租車。數(shù)據(jù)可以從這個網(wǎng)站下載，并以 CSV 格式提供。完整的分析可以在這個 Jupyter notebook 中單獨查看。
清理街道
第一步是將數(shù)據(jù)轉(zhuǎn)換為內(nèi)存可映射文件格式，如 Apache Arrow、Apache Parquet 或 HDF5。將 CSV 數(shù)據(jù)轉(zhuǎn)換為 HDF5 的示例可以在這里找到。一旦數(shù)據(jù)是內(nèi)存可映射格式，用 Vaex 打開它是即時的（0.052 秒！），盡管磁盤上的數(shù)據(jù)超過 100GB：
使用 Vaex 打開內(nèi)存映射文件只需要 0.052 秒，即使它們超過 100 GB
為什么這么快？使用 Vaex 打開內(nèi)存映射文件時，實際上沒有數(shù)據(jù)讀取。Vaex 只讀取文件元數(shù)據(jù)，如磁盤上數(shù)據(jù)的位置、數(shù)據(jù)結(jié)構(gòu)（行數(shù)、列數(shù)、列名和類型）、文件描述等。那么，如果我們想檢查數(shù)據(jù)或與數(shù)據(jù)交互呢？打開一個數(shù)據(jù)集會生成一個標(biāo)準(zhǔn)數(shù)據(jù)框，檢查它的速度是否也很快：
紐約市黃色出租車數(shù)據(jù)預(yù)覽
再一次注意，單元執(zhí)行時間非常短。這是因為顯示 Vaex 數(shù)據(jù)幀或列只需要從磁盤讀取前 5 行和后 5 行。這就引出了另一個重要的問題：Vaex 只會在必須的時候遍歷整個數(shù)據(jù)集，它會盡可能少地傳遞數(shù)據(jù)。
無論如何，讓我們首先從極端異常值或錯誤的數(shù)據(jù)輸入中清除這個數(shù)據(jù)集。一個好的開始方法是使用 describe 方法獲得數(shù)據(jù)的高層次概述，該方法顯示每個列的樣本數(shù)、缺少的值數(shù)和數(shù)據(jù)類型。如果列的數(shù)據(jù)類型是數(shù)字，則平均值、標(biāo)準(zhǔn)偏差以及最小值和最大值也將被顯示。所有這些統(tǒng)計數(shù)據(jù)都是通過對數(shù)據(jù)的一次傳遞來計算的。
使用 describe 方法獲得數(shù)據(jù)幀的高級概述。注意，數(shù)據(jù)幀包含 18 列，但在此屏幕截圖中只有前 7 列可見
描述方法很好地說明了 Vaex 的功耗和效率：所有這些統(tǒng)計數(shù)據(jù)都是在我的 MacBook Pro（15", 2018, 2.6GHz Intel Core i7, 32GB RAM）上 3 分鐘之內(nèi)計算出來的。其他的庫或方法需要分布式計算或 100GB 以上的云實例來執(zhí)行相同的計算。有了 Vaex，你所需要的只是數(shù)據(jù)，你的筆記本電腦只需要幾 GB 的內(nèi)存。
從 descripe 的輸出來看，很容易注意到數(shù)據(jù)中包含了一些嚴(yán)重的異常值。首先，讓我們從檢查取貨地點開始。刪除異常值的最簡單方法是簡單地繪制出上下車的位置，并直觀地定義我們希望重點分析的紐約市的區(qū)域。由于我們使用的數(shù)據(jù)集太大了，直方圖是最有效的可視化方法。用 Vaex 創(chuàng)建和顯示直方圖和熱圖是如此的快，這樣的繪圖可以更好地互動！
df.plot_widget(df.pickup_longitude,
df.pickup_latitude,
shape=512,
limits='minmax',
f='log1p',
colormap='plasma')
一旦我們以交互方式?jīng)Q定要關(guān)注紐約市的哪個區(qū)域，我們就可以簡單地創(chuàng)建一個過濾數(shù)據(jù)框：
上面代碼塊最酷的地方是它需要的內(nèi)存可以忽略不計！它在過濾 Vaex 數(shù)據(jù)幀時，不會生成數(shù)據(jù)的副本，相反，它只創(chuàng)建對原始對象的引用，并在其上應(yīng)用二進(jìn)制掩碼。掩碼選擇顯示哪些行并用于將來的計算。這為我們節(jié)省了 100GB 的 RAM。
現(xiàn)在，讓我們檢查一下乘客計數(shù)欄。在一次出租車行程中記錄的乘客人數(shù)最多為 255 人，這似乎有點極端。讓我們計算一下每一位乘客的出行次數(shù)。這很容易通過值計數(shù)方法實現(xiàn)：
對 10 億行應(yīng)用「value counts」方法只需大約 20 秒！
從上圖中我們可以看出，乘客數(shù)超過 6 人的旅行可能是罕見的異常值，或者只是錯誤的數(shù)據(jù)輸入。上面也有大量的 0 名乘客的旅行。既然現(xiàn)在我們還不知道這些旅行是否合理，那就讓我們把它們過濾掉吧。
讓我們做一個與前面的旅行距離相似的練習(xí)。由于這是一個連續(xù)變量，我們可以繪制行程的分布。參考最小和最大距離，我們用一個更合理的范圍繪制一個柱狀圖。
紐約出租車數(shù)據(jù)集的行程距離直方圖
從上面的圖表我們可以看出，旅行次數(shù)隨著距離的增加而減少。在大約 100 英里的距離上，分布會有一個很大的下降。目前，我們將使用此作為截止點，以消除基于行程距離的極端異常值：
出行距離列中極端離群值的存在是考察出租車出行持續(xù)時間和平均速度的動機。這些功能在數(shù)據(jù)集中不易獲得，但計算起來很簡單：
上面的代碼塊需要的內(nèi)存為零，不需要時間執(zhí)行！這是因為代碼導(dǎo)致創(chuàng)建虛擬列。這些列僅包含數(shù)學(xué)表達(dá)式，并且僅在需要時計算，否則，虛擬列的行為與任何其他常規(guī)列一樣。請注意，其他標(biāo)準(zhǔn)庫在相同的操作中需要 10GB 的 RAM。
好吧，我們來繪制旅行時間的分布圖：
紐約 10 億多次出租車出行持續(xù)時間的直方圖
從上面的圖中我們可以看到 95% 的出租車使用都不到 30 分鐘就能到達(dá)目的地，盡管有些旅程可以花費 4 到 5 個小時。你能想象在紐約被困在出租車?yán)锍^ 3 個小時嗎？不管怎樣，讓我們開誠布公，考慮一下總共持續(xù)不到 3 小時的所有旅行：
現(xiàn)在讓我們研究出租車的平均速度，同時也為數(shù)據(jù)限制選擇一個合理的范圍：
出租車平均速度的分布
根據(jù)上圖，我們可以推斷出出租車平均速度在 1 到 60 英里每小時的范圍內(nèi)，因此我們可以更新過濾后的 DataFrame：
讓我們把注意力轉(zhuǎn)移到出租車旅行的成本上。從 describe 方法的輸出中，我們可以看到 fare_amount、total_amount 和 tip_amount 列中有一些異常值。首先，這些列中的任何值都不應(yīng)為負(fù)。與此相反，這些數(shù)字表明，一些幸運的司機幾乎成了百萬富翁，只有一輛出租車。讓我們看看在一個相對合理的范圍內(nèi)，這些量的分布：
紐約 10 億多個出租車出行的票價、總金額和小費的分布情況。在筆記本電腦上創(chuàng)建這些圖只用了 31 秒！
我們看到上述三種分布圖都有很長的尾巴。在尾部的某些值可能是合法的，而其他值可能是錯誤的數(shù)據(jù)輸入。無論如何，現(xiàn)在我們還是保守一點，只考慮票價、總票價和小費低于 200 美元的行程。我們還要求票價金額、總金額值大于 0 美元。
最后，在對所有數(shù)據(jù)進(jìn)行初步清洗之后，讓我們看看我們的分析有多少出租車行程。
我們還有 11 億多次旅行！通過這樣大量的數(shù)據(jù)，可以獲得一些關(guān)于出租車旅行的寶貴見解。
坐進(jìn)駕駛座
假設(shè)我們是一個未來的出租車司機，或出租車公司的經(jīng)理，并有興趣使用這個數(shù)據(jù)集來學(xué)習(xí)如何最大限度地提高我們的利潤，降低我們的成本，或者只是改善我們的工作生活。
讓我們先找出平均來說能帶來最好收益的接送乘客的地點。天真地說，我們可以畫出一張接送地點的熱圖，用平均票價進(jìn)行編碼。然而，出租車司機自己也有成本，例如，他們得付燃料費。因此，把乘客帶到很遠(yuǎn)的地方可能會導(dǎo)致更高的票價，但這也意味著更大的油耗和時間損失。此外，要從偏遠(yuǎn)的地方找到一個乘客帶去市中心的某個地方可能不那么容易，因此在沒有乘客的情況下開車回去可能會花銷很大。一種解決方法是用車費和旅行距離之比的平均值對熱圖進(jìn)行顏色編碼。讓我們考慮這兩種方法：
紐約市彩色熱圖編碼：平均票價金額（左）和票價金額與行程的平均比率
在簡單的情況下，當(dāng)我們只關(guān)心為提供的服務(wù)獲得最大票價時，最佳接送乘客的區(qū)域是紐約機場以及主要的大道，如 Van Wyck 高速公路和 Long Island 高速公路。當(dāng)我們把旅行的距離考慮進(jìn)去時，我們得到的是一張稍微不同的圖片。 Van Wyck 高速公路、Long Island 高速公路大道以及機場仍然是接送乘客的好地方，但它們在地圖上的重要性要小得多。然而，在 Hudson 河的西側(cè)出現(xiàn)了一些新的熱點地區(qū)，這些地區(qū)似乎可以賺到相當(dāng)?shù)睦麧櫋?br/>
開出租車是一項相當(dāng)靈活的工作。為了更好地利用這種靈活性，知道什么時候開車是最有益的。為了回答這個問題，我們制作一個圖表，顯示每天和一天中每小時的車費與出行距離的平均比率：
一周中每天和一天中每小時的車費與出行距離的平均比率
上面的數(shù)字是有道理的：最好的收入發(fā)生在高峰時段，特別是在一周工作日的中午。作為出租車司機，我們的一小部分收入是出租車公司的，所以我們可能會對哪一天的顧客給的小費最多感興趣。因此，讓我們生成一個類似的圖，這次顯示平均小費百分比：
每周每天和每天小時的平均小費百分比
上面的圖很有趣。它告訴我們，乘客喜歡在早上 7 點到 10 點之間和在本周早些時候的晚上給出租車司機小費。如果你在凌晨 3 點或 4 點接乘客，不要指望會有太大的小費。結(jié)合上面兩個地塊的分析，早上 8 點到 10 點是上班的好時間：每個人每英里可以獲得不錯的車費和滿意的小費。
發(fā)動引擎！
在本文的前一部分中，我們簡要介紹了 trip_distance 列，在從異常值中清除它的同時，我們保留了所有小于 100 英里的行程值。這仍然是一個相當(dāng)大的截止值，特別是考慮到黃色出租車公司主要在曼哈頓經(jīng)營。Trimih 距離列描述出租車在接到乘客和乘客下車位置之間行駛的距離。然而，為了避免交通堵塞或道路工程等原因，人們通常可能會選擇不同的路線。因此，作為 trip_distance 列的對應(yīng)項，讓我們計算上車和下車位置之間的最短可能距離，我們稱之為 arc_distance：
對于用 numpy 編寫的復(fù)雜表達(dá)式，vaex 可以在 Numba、Pythran 甚至 CUDA（如果你有 NVIDIA GPU）的幫助下使用即時編譯來大大加快計算速度
弧長計算公式涉及面廣，包含了大量的三角函數(shù)和算法，特別是在處理大型數(shù)據(jù)集時，計算量很大。如果表達(dá)式或函數(shù)只使用來自 Numpy 包的 Python 操作和方法編寫，Vaex 將使用機器的所有核心并行計算它。除此之外，VAEX 支持通過 NUBBA（使用 LLVM）或 Pythran（通過 C++加速）及時編譯，從而提供更好的性能。如果你碰巧有一個 NVIDIA 圖形卡，你可以通過 jit_CUDA 方法使用 CUDA 來獲得更高的性能。
總之，讓我們畫出 trip_distance 和 arc_distance 的分布：
左：行程距離和弧距離的比較；右：弧距<100 米的行程分布。
有趣的是，arc_distance 從來沒有超過 21 英里，但是出租車實際行駛的距離可以是 5 倍大。事實上，有數(shù)百萬的出租車旅行，下車位置在上車地點 100 米（0.06 英里）以內(nèi)！
多年來的黃色出租車公司
我們今天使用的數(shù)據(jù)集跨越了 7 年。我們可以看到，隨著時間的推移，一些收益的數(shù)量是如何演變的。使用 Vaex，我們可以快速執(zhí)行核心分組和聚合操作。讓我們來探討 7 年來票價和行程是如何演變的：
對于一個超過 10 億個樣本的 Vaex 數(shù)據(jù)幀，在筆記本電腦上使用四核處理器進(jìn)行 8 個聚合的分組操作只需不到 2 分鐘
在上面的單元塊中，我們執(zhí)行一個分組操作，然后是 8 個聚合，其中 2 個在虛擬列上。上面的單元塊在我的筆記本電腦上執(zhí)行不到 2 分鐘。這相當(dāng)令人印象深刻，因為我們使用的數(shù)據(jù)包含超過 10 億個樣本。不管怎樣，讓我們看看結(jié)果。以下是多年來駕駛出租車的費用演變過程：
平均票價和總金額，以及乘客每年支付的小費百分比
我們看到出租車價格，以及小費隨著歲月的流逝而增加。現(xiàn)在讓我們來看一下出租車的 trip_distance 和 arc_distance，出租車是以年為單位行駛的：
出租車每年旅行的平均行程和弧距。
上圖顯示，出行距離和弧線距離都有小幅增加，這意味著，平均而言，人們每年的出行都會稍微遠(yuǎn)一點。
給我看看錢
在我們的旅程結(jié)束之前，讓我們再停一站，調(diào)查一下乘客如何支付乘車費用。數(shù)據(jù)集包含付款類型列，因此讓我們看看它包含的值：
從數(shù)據(jù)集文檔中，我們可以看到此列只有 6 個有效條目：
1 = credit card payment
2 = cash payment
3 = no charge
4 = dispute
5 = Unknown
6 =Voided trip
因此，我們可以簡單地將 payment_type 列中的條目映射為整數(shù)：
現(xiàn)在，我們可以按每年的數(shù)據(jù)分組，看看紐約人在出租車租賃支付方面的習(xí)慣是如何改變的：
每年付款方式
我們看到，隨著時間的推移，信用卡支付慢慢變得比現(xiàn)金支付更頻繁。我們真的生活在一個數(shù)字時代！注意，在上面的代碼塊中，一旦我們聚合了數(shù)據(jù)，小的 Vaex 數(shù)據(jù)幀可以很容易地轉(zhuǎn)換為 Pandas 數(shù)據(jù)幀，我們可以方便地將其傳遞給 Seaborn。不是想在這里重新發(fā)明輪子。
最后，讓我們通過繪制現(xiàn)金支付與信用卡支付的比率來確定支付方式是取決于一天中的時間還是一周中的某一天。為此，我們將首先創(chuàng)建一個過濾器，它只選擇用現(xiàn)金或卡支付的乘車。下一步是我最喜歡的 Vaex 特性之一：帶有選擇的聚合。其他庫要求對以后合并為一個支付方法的每個單獨篩選的數(shù)據(jù)幀進(jìn)行聚合。另一方面，使用 Vaex，我們可以通過在聚合函數(shù)中提供選擇來一步完成此操作。這非常方便，只需要一次傳遞數(shù)據(jù)，就可以獲得更好的性能。在此之后，我們只需以標(biāo)準(zhǔn)方式繪制結(jié)果數(shù)據(jù)幀：
在一周的某一時間和某一天，現(xiàn)金和卡支付的一部分
看上面的圖表，我們可以發(fā)現(xiàn)一個類似的模式，顯示小費百分比和一周中的一天和一天中的時間相關(guān)的函數(shù)。從這兩個圖中，數(shù)據(jù)表明，用卡支付的乘客往往比用現(xiàn)金支付的乘客小費更多。事實真的是這樣嗎？我想請你自己試著去弄清楚，因為現(xiàn)在你已經(jīng)掌握了知識、工具和數(shù)據(jù)！你也可以看看這個 notebook 來獲得一些額外的提示。
到達(dá)目的地
我希望這篇文章是對 Vaex 的一個有用的介紹，它將幫助緩解你可能面臨的一些「不舒服的數(shù)據(jù)」問題，至少當(dāng)涉及到表格數(shù)據(jù)集時會對你有幫助。如果你對本文中使用的數(shù)據(jù)集感興趣，可以直接從帶 Vaex 的 S3 中使用它。查看完整的 Jupyter notebook 了解如何執(zhí)行此操作。
有了 Vaex，你只需幾秒鐘就可以通過自己的筆記本電腦瀏覽超過十億行數(shù)據(jù)，計算出各種統(tǒng)計數(shù)據(jù)、聚合數(shù)據(jù)，并生成信息豐富的圖表。它不僅免費而且開源，我希望你會給它一個機會！
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
