Pandas on 300.Watts

台電跳電分析

morristai01@gmail.com (Morris) — Wed, 29 Aug 2018 11:47:17 +0800

使用資料

台灣電力公司_近三年每日尖峰備轉容量率.csv (http://data.gov.tw/node/25850)
台灣電力公司_本年度每日尖峰備轉容量率.csv (http://data.gov.tw/node/24945)
台灣電力公司_過去電力供需資訊.csv (https://data.gov.tw/dataset/19995)

觀察結果

首先台電並沒有提供跳電或停電紀錄，目前所知道最有可能導致跳電的數據為備轉容量(預留的發電量)，當被轉容量過低則可能導致供電不足。
新聞指出今年五月頻繁跳電(http://www.storm.mg/article/477780 )，而五月也是備轉容量率低於10%累積天數之首。現在我們看看台電實際數據。
以歷年平均備轉容量率來看，2018為目前最低的年份(6%以下為供電警戒)，但是2018尚未結束，所以我們用時間圖表看過去同時期的情況。
從年初到現在的備轉容量率較往年偏低，所以如果去年前年都有跳電的紀錄，今年也有可能會跳電。
分析過往用電紀錄，可以看到10月初是整體耗電最凶的時候，如果不算計畫性工作停電的話，今年最有可能在10月發生跳電。

台灣社群年齡分布

morristai01@gmail.com (Morris) — Wed, 25 Jul 2018 11:52:49 +0800

看到公開資料隨手來分析一下台灣社群年齡比例

表格一為台灣各年齡層Facebook用戶數量

年齡	人數
13-17	2372779
18-24	4898337
25-34	3151068
35-44	2557531
45-54	1842607
55-64	759609

表格二為18-24歲用戶，2017年最常互動之媒體排行

粉絲頁名稱	不重複互動人數	18-24歲用戶佔該媒體總互動人口比例
東森新聞	2114552	0.3068
ETtoday新聞雲	1759703	0.3216
ETtoday星光雲	1518584	0.3763

表格三為25-34歲用戶，2017年最常互動之媒體排行

粉絲頁名稱	不重複互動人數	25-34歲用戶佔該媒體總互動人口比例
東森新聞	1278274	0.1855
ETtoday新聞雲	1107137	0.2023
蘋果日報台灣	1008543	0.2362

表格四為55-64歲用戶，2017年最常互動之媒體排行

粉絲頁名稱	不重複互動人數	55-64歲用戶佔該媒體總互動人口比例
大紀元 epochtimes.com	150330	0.1979
東森新聞	99128	0.1305
ETtoday新聞雲	81543	0.1073

其中，互動表示Facebook用戶對該媒體粉絲專頁之貼文按讚、愛心、笑臉、憤怒、悲傷等表情符號，不重複互動人數代表每位用戶不論與該媒體多少篇貼文互動，都僅統計為1不重複互動人數。

以表格三25-34歲台灣Facebook使用者最愛媒體中東森新聞為例，代表在2017年東森新聞發出的全部貼文中，共有1278274位屬於25-34歲之用戶與這些貼文互動。

並且25-34歲人口佔所有與東森新聞互動者中的18.55%，(即25-34歲用戶佔該媒體總互動人口比例一欄)。

年齡	東森新聞(%)	ETtoday新聞雲(%)	東森新聞(人數)	ETtoday新聞雲(人數)	東森新聞佔使用者比例	ETtoday新聞雲佔使用者比例
18-24	0.3068	0.3216	2114552	1759703	0.431688	0.359245
25-34	0.1855	0.2023	1278274	1107137	0.405664	0.351353
55-64	0.1305	0.1073	99128	81543	0.130499	0.107349
其他	0.3772	0.3688	3400327	2523330	NaN	NaN

Pandas ufuncs小技巧

morristai01@gmail.com (Morris) — Sat, 26 Aug 2017 11:16:25 +0800

Pandas的ufuncs為什麼比apply command還建議使用?

Pandas 有一個apply function讓你可以針對所有在column的值執行任何functions。注意apply只是比python內建的loop還要快一點點而已！這就是為什麼pandas的內建ufuncs比較推薦使用在columns的預處理(preprocessing)。
ufuncs是特殊functions(建構在numpy的library)裡面並由C來實行，這就是為何ufuncs會如此之快。以下會介紹幾種ufuncs的例子(.diff, .shift, .cumsum, .cumcount, .str commands (作用在字串), .dt commands (作用在日期))。

範例數據 — 暑期活動

這裡透過下面的數據集來演示pandas的ufuncs(同一個人可以在不同的時間軸上進行不同的活動)

這裏假設我們的任務是要基於上面的數據集去預測誰是最有趣的同學

1. String commands

如果我們想要對字串做切割的話，string commands (which are Ufuncs)是最推薦的：

1

df['name'] = df.name.str.split(" ", expand=True)

除此之外你可以用pandas.Series.str.replace來更有效的清理字串。

2. Group by and value_counts

透過groupby和value_counts我們可以輕鬆數出每個人做過多少次活動：

1

df.groupby('name')['activity'].value_counts()

這稱為multi index，它可以讓我們同時在dataframe中擁有不同的index層，在圖片中人名就是level 0而activity是level 1。

3. Unstack

我們也可以創建每個人的活動計數特徵，透過unstack方法，可以將行與列互換，unstack會把最低level的index轉換成cloumns，每個人的活動計數會變成cloumns，對於沒有從事該活動的人欄位會維持缺失值NaN，可以對其進行缺失值填補。

1

df.groupby('name')['activity'].value_counts().unstack().fillna(0)

4. groupby, diff, shift, and loc + A great tip for efficiency

如果能了解一個人在活動中從事的時間，必定能對我們了解誰是最有趣的人有幫助。誰在party待最久？誰在海邊待最久？對於時間長短最有效的推算方式就是先使用groupby歸類人名，再用diff()算出時間差:

1
2


df = df.sort_values(by=['name','timestamp'])
df['time_diff'] = df.groupby('name')['timestamp'].diff()

如果你有大量的數據集，你可以跳過groupby，只做資料排序，刪除每個人的第一行(不相關的)後直接用diff。

1
2
3


df = df.sort_values(by=['name','timestamp'])
df['time_diff'] = df['timestamp'].diff()
df.loc[df.name != df.name.shift(), 'time_diff'] = None

順便一提 ⎯ .shift可以將每一行向下移動ㄧ格，所以我們就可以用df.name!=df.name.shift()看看哪一行有改變。然後.loc是最推薦用來在特定的indices的columns中set values的選擇！
接著我們把time_diff單位改成秒：

1

df['time_diff'] = df.time_diff.dt.total_seconds()

獲取每個row的持續時間：

1

df['row_duration'] = df.time_diff.shift(-1)

Pandas cut與qcut函數

morristai01@gmail.com (Morris) — Sat, 05 Aug 2017 11:46:56 +0800

如果我們今天有一些連續性的數值，可以使用cut及qcut進行離散化。 cut函数是利用數值區間將數值分類，qcut則是用分位數。換句話說，cut用在長度相等的類別，qcut用在大小相等的類別。

cut函數

假設我們有一些人的年齡
ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32, 101]
我們如果想要離散化這些數列，分成“18到25”、“25到35”、“35到60”以及“60以上”，可以使用cut函數

1
2
3
4
5
6
7


bins = [18, 25, 35, 60, 100]
cats = pd.cut(ages, bins)
cats
output:
[(18, 25], (18, 25], (18, 25], (25, 35], (18, 25], ..., (60, 100], (35, 60], (35, 60], (25, 35], NaN]
Length: 13
Categories (4, interval[int64]): [(18, 25] < (25, 35] < (35, 60] < (60, 100]]

第一個list是指每個年齡分別在哪個範圍內，如果超出了就變成NaN缺失值，cats有兩個屬性：

1
2
3


cats.labels
output:
array([ 0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1, -1], dtype=int8)

我們也可以賦予範圍標籤，比如：

1
2
3
4
5
6


group_names = ['Youth', 'YoungAdult', 'MiddleAged', 'Senior']
pd.cut(ages, bins, labels=group_names)
output:
[Youth, Youth, Youth, YoungAdult, Youth, ..., Senior, MiddleAged, MiddleAged, YoungAdult, NaN]
Length: 13
Categories (4, object): [MiddleAged < Senior < YoungAdult < Youth]

qcut函數

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


data = np.random.randn(1000) #高斯分佈
cats = pd.qcut(data, 4) #按四分位數分類，也可以用[0, .25, .5, .75, 1.]
cats
output:
[(0.624, 3.928], (-0.691, -0.0144], (-0.691, -0.0144], (-0.0144, 0.624], (0.624, 3.928], ..., (-0.0144, 0.624], (-0.0144, 0.624], [-2.949, -0.691], (-0.0144, 0.624], (0.624, 3.928]] Length: 1000 Categories (4, object): [[-2.949, -0.691] < (-0.691, -0.0144] < (-0.0144, 0.624] < (0.624, 3.928]]
pd.value_counts(cats) #計算每個區間的數值個數
output:
(0.624, 3.928] 250 
(-0.0144, 0.624] 250 
(-0.691, -0.0144] 250 
[-2.949, -0.691] 250 
dtype: int64

會發現qcut把所有數值平均分配了，當然如果不想用四分位的話還可以自行輸入list，只要範圍介在0~1，例如[0, 0.1, 0.5, 0.9, 1.]