2018年5月25日 星期五

數據分析步驟分享 EDA Exploratory Data Analysis



2. Data Collection
 
3. Tables(Dataframe = observations * variables)
    
    表格是由觀察樣本跟變數組成的,大家可以先看看每一個變數的定義。
 
4. Sort by each columns(variables)
       from … to …
 
    將連續變數由小到大排序,看看整個範圍區間是否符合預期。
 
 
5. Sampling 100 observations to check the portion of category in each variables.
 
    隨機抽取100筆樣本,看看資料筆數。例如抽樣的100筆中,有15筆是台北市。大概可以算
 
    出台北市的占比大約是15%。
 
6. Drop the useless data.(totally same values/ totally different values )
  
    如果一個變數內的值完全一樣/完全不一樣,代表這個變數無法對資料做出差異。
 
 
7. Observe each variables.
• Discrete variables = Bar chart
• Continuous variables = Hist chart
 
8. Observe the correlation
•Discrete variables * Discrete variables  = Stacked bar chart / Cross table
• Discrete variables  *  Continuous variables  =  Boxplot
• Continuous variables *  Continuous variables = Scatter

2017年6月12日 星期一

[R語言] 簡單文字雲


文字雲 一直是肉眼可以快速辨識重要性的重要工具,以下提供工作上需求用到的語法。





首先,因為Wordcloud僅能在2.2版本的R語言下操作,因此必須先安裝套件"devtools"。接著安裝套件"wordcloud"。


2017年4月24日 星期一

《寵物友善餐廳》大安森林公園_敲敲咖啡界的烤布雷_CApu caFE

抹茶與巧克
抹茶與巧克
輕盈的腳步、認真的神情,
看著小店長CACA和茶弟玩躲貓貓,
由衷感謝店家允許毛小孩可以在不打擾其他客人情況下,
自由自在的活動,
帶著毛小孩用餐,時常碰到不可進入或入袋的狀況,
也十分理解店家的顧慮,
並不是所有人可以接受毛小孩一起用餐,
所以對於寵物友善的餐廳,
抹茶和巧克一定要大聲放送,
而且CApu caFE還有驚為天人的咖啡界的烤布雷,
多層次的口感,品嚐前記得敲敲表面喔!

※店名:CApu caFE
※營業時間:Mon. - Sun.  12:00 - 21:00
※地址:台北市大安區瑞安街252號
電話:(02)2706-8393 
價格範圍:90-300
 低消每人任一餐點或飲品,無服務費。
 有插座,提供Wifi

2016年2月15日 星期一

[R語言] 中文文字探勘 - 以txt文字檔為例 - 文字雲


圖例: 某優質男孩團體討論版
經過分析,大家聊天的重點多為「工作」及「體育」項目。顯示社會新鮮人特有的童貞。


網路上有一些關於R語言的中文探勘方法,但有些文獻過於簡化,因此,巧克將過年期間摸索來的方法,在此向大家分享。

使用的套件為 Rwordseg及TM套件。
使用的版本為 32位元R 及32位元Java。→這點很重要,用64位元rjava無法順利執行。

記得先安裝rjava,才有辦法安裝Rwordseg。
安裝後記得要修改一些環境參數。(下周再來寫QQ)


程式碼如下:(還請大家參考)
install.packages("rJava")
install.packages("Rwordseg", repos="http://R-Forge.R-project.org")
install.packages("tm")
install.packages("tmcn", repos="http://R-Forge.R-project.org", type="source")
install.packages("wordcloud")
install.packages("XML")
install.packages("RCurl")
Sys.setenv(JAVA_HOME="C:\\Program Files (x86)\\Java\\jre1.8.0_71\\bin\\client\\")

library(rJava)
install.packages("Rwordseg", repos = "http://R-Forge.R-project.org")
library(Rwordseg)
library(tm) # 啟用Corpus使用
library(tmcn)  
library(rjson)
library(tm)
segmentCN("今天一直下雨")  # 測試


d.corpus <- Corpus(DirSource(directory ="C:/Users/vaio/Desktop/Wordlog/"), list(language = NA)) # 讀取文字檔(ANSI),指定到資料夾層級) 
d.corpus <- tm_map(d.corpus, removePunctuation) # 移除標點符號
d.corpus <- tm_map(d.corpus, removeNumbers) # 移除數字
d.corpus <- tm_map(d.corpus, function(word) {
  gsub("[A-Za-z0-9]", "", word)
})  # 移除大小寫英文

inspect(d.corpus)


d.corpus <- tm_map(d.corpus, segmentCN, nature = TRUE) # 進行中文斷詞

d.corpus <- tm_map(d.corpus, function(sentence) {
  noun <- lapply(sentence, function(w) {
    w[names(w) == "n"]
  })
  unlist(noun)
}) # 選取名詞


myStopWords <- c(stopwordsCN(), "貼圖", "圖片")
d.corpus <- tm_map(d.corpus, removeWords, myStopWords)


inspect(d.corpus)
d.corpus <- tm_map(d.corpus, PlainTextDocument)
d.corpus <- Corpus(VectorSource(d.corpus)) # 轉向量矩陣

inspect(d.corpus)

tdm <- TermDocumentMatrix(d.corpus, control = list(wordLengths = c(2, Inf)))
inspect(tdm)


library(wordcloud)
m1 <- as.matrix(tdm)
v <- sort(rowSums(m1), decreasing = TRUE)
d <- data.frame(word = names(v), freq = v)
wordcloud(d$word, d$freq, min.freq = 50, random.order = F, ordered.colors = F, 
          colors = rainbow(length(row.names(m1))))

2015年10月13日 星期二

(English Class1)日期/時間表達方式


今天老師一開始以日期/時間的表達來開場。希望我們能夠快速與老外約會議。
中文表達  11/14 (六) 18:40
英文表達  Saturday, November 14th, 6:40 in the evening.
順序為 1.星期  2.日期   3.時刻  4.上午/中下午/晚上

其中切記日期的表達是照著順序:
First
Second
Third
Fourth
Fifth
Sixth
Seventh
Eighth
Ninth
Tenth

(GA分享)_Dimension Widening 外部資料匯入

You publish articles by many different authors on your site. You want to create a  report that shows the total number of pageviews for each author. Which of the following features will allow you to add author information to Google Analytics?

A)Segments
B)Analytics Intelligence
C)Annotations
D)Dimension Widening
E)Custom Reports

當我們今天想要匯入一些外部資料時(add information) ,像是Customer ID、Order ID、Campaign owner、Cost...等。就會需要Dimension Widening這個步驟。簡單來說,就是想要自訂維度或指標。

2015年10月12日 星期一

(GA分享)_GAIQ Segment與Filter的差異?

Which of the following are possible uses of filters? Select all that apply.
A) report on only a subdomain or directory.
B) exclude visits from particular IP address.
C) include only traffic coming from a particular campaign.
D) replace complicated page URLs with readble text strings.

GA有兩種篩選器,
1. 帳戶管理 : 在最上面的"管理"裡面。


2015年10月7日 星期三

(開箱) 便宜好入手 小蟻夜視攝影機 安裝教學

巧克常好奇茶弟沒事待在家裡,做些什麼事情?
因此,手癢購入一組小蟻夜視攝影機


小蟻攝影機是小米集團旗下的一款商品。先前使用過小米手環,只能說,小米能夠以極高的CP值來驚豔消費者。巧克買二代的攝影機,具備夜視功能,並能夠透過手機遠端遙控
,即時監看畫面(可放大四倍!)。台灣官網的售價為899一代,999二代,但是台灣小米大缺貨阿!因此,巧克是透過3C購物中心購買,價格為$1080(含運)。下單兩天後,收到商品囉!!!

2015年10月6日 星期二

《寵物友善餐廳》宜蘭_梅花湖畔下午茶_天ㄟ CAFE


抹茶與巧克
抹茶與巧克
咖啡廳前為梅花湖,
梅花湖適合半日遊,
可騎腳踏車或步行環湖,
現在天氣涼爽~
走走踏青好樂活!

巧克與抹茶步行環湖約1個小時!

※店名:天ㄟCAFE
※營業時間:10:00 - 19:00
※地址:宜蘭縣冬山鄉大埤二路7526
※電話:(03) 961-5605
※價格範圍:100-300

2015年9月25日 星期五

《好薦》雙連_年屆60老饕推薦_太春小館

抹茶與巧克
抹茶與巧克
日式一直都是抹茶與巧克的愛<3
某日和長輩推薦某間日本料理,
立馬被打槍...QQ
"去○○還不如去吃太春!"
看不出長輩也會去探索美食,
有眼不識泰山阿!

※店名:太春新館
※營業時間:11:30 - 14:20/17:00-22:00每周一公休
※地址:台北市寧夏路81(大同分局旁)
※電話:(02) 2553-1841
※價格範圍:80-1680
※一成服務費。

2015年9月18日 星期五

《好薦》台中_ 美味爆表的鐵板奶油吐司_ALF TakeOut


抹茶與巧克
抹茶與巧克
台中真是個養肉的城市,
處處美食,處處驚奇,
一直呈現吃飽飽的狀態,
但美食當前,還是吃得完~
代表超讚!超好吃!

※店名:All Lovely Food TakeOut
※營業時間:Mon. - Fri. 7:30 - 15:00
                    Sat. - Sun. 7:30-16:00
※地址:台中市西屯區櫻花路48
電話:(04) 2312-0873
價格範圍:30-85
無服務費,無低消。

2015年9月17日 星期四

《好薦》迪化商圈_停下腳步看看百變車流_MIMOSA Coffee Tea

抹茶與巧克
抹茶與巧克
MIMOSA位於三角窗,
騎樓位置恰可看著汽機車來來往往,
看個規續性的動態,
好容易放空~
什麼都不想,平靜心情,飄飄然~

抹茶這次帶巧克一起去放空,
有次抹茶獨自去時,
恰巧在門口看到雙彩虹~
與大家分享囉:)

※店名:MIMOSA Coffee Tea
※營業時間:Mon. - Fri. 8:00 - 19:00
                   Sat. - Sun. 9:00-19:00
                 ※地址:台北市南京西路237-1(近捷運北門站)                
※電話:(02) 2559-9930
※價格範圍:25-70
※無服務費,無低消。

2015年9月9日 星期三

《好薦》華山_年滿拾捌請入_義麵坊小酒館

抹茶與巧克
抹茶與巧克
V愛西班牙料理,
V的愛情故事如同西班牙菜,
色彩豐富、鮮豔,
料理方式多元,
不變的是帶著微酸微甜的滋味!

我們總邀約一起吃西班牙料理,
親愛的V,去倫敦要好好照顧自己,
再談場自在的愛情吧~

※店名:AL CICCHETTO 義麵坊小酒館
※營業時間:Sun. - Thu. 12:00 - 0:00
                   Fri. - Sat. 12:00-1:00
※地址:台北市八德路一段一號(華山創意文化園區中四D)
※電話:(02) 2395-2017
※價格範圍:150-600
※一成服務費,每人低消300

2015年9月8日 星期二

《好公主》北車_落入凡間的公主_跳舞香水

抹茶與巧克
巧克每周都有兄弟會,
其中兄弟欲介紹新女友給大家,
大夥也非常熱情,
安排在跳舞香水相見歡,
大夥真會討女孩子歡心<3

抹茶一直掙扎要不要放這篇上來,
最後決定還是放上來,
讓大家參考再判斷要不要去~

※店名:Perfume Dance 跳舞香水(台北站前店)
※營業時間:11:00 - 22:00
※地址:台北市館前路82(麥當勞樓上)
※電話::(02)2370-1199
※價格範圍:180-500
※一成服務費

2015年9月4日 星期五

自動多個工作簿(workbooks)的合併 → Part 1.透過VBA視覺化選取檔案。

繼上次分享 (巧克的VBA分享) 如何利用VBA寫出EXCEL樞紐分析Pivot table-如何關閉掉subtotal合計欄位? 後,因為工作上的需求,閒暇之餘,撰寫了一個VBA,可以自動合併所選取的所有工作簿(workbooks)。

教材連結下載

簡單介紹一下主要會用到的程式碼(Source):
1.透過點選Source


2.跳出選取目標資料夾檔案的視窗。


2015年8月18日 星期二

《寵物友善》板橋_假日無限時好去處_Percent CAFE %

by 抹茶與巧克
難得遇到假日無限時的店家,
但也因無限時,所以抹茶與巧克用餐時,
看了好幾幕店員頻頻向剛進門的客人說抱歉,
SORRY~沒有座位!

有興趣的朋友,建議先去電詢問,
或像巧克抱持著隨興心態,有位子當作撿到~

※店名:Percent CAFE %
※營業時間:8:00 - 21:00(周二公休)
※地址:新北市板橋區仁化街671
※電話:02-2259-3293
※價格範圍:50-260
※無服務費

2015年8月5日 星期三

《好薦》車埕_澎派木桶餐還可DIY_木茶房

by 抹茶與巧克
by 抹茶與巧克
平凡上班族,餓不死也吃不飽,
若對升遷看淡些,似乎沒什麼壓力,
但總有些煩躁,
趁周休二日,臨時安排集集支線和台中兩天一夜旅遊,
掃除煩躁感!

抹茶與巧克第一次搭集集支線,
停留集集和車埕站,
車埕步行即可繞一圈,
推薦位於湖畔旁的木茶房,
簡餐、下午茶皆非常合適~

※店名:木茶房
※營業時間:10:00 - 18:00
※地址:南投縣水里鄉車埕村民權巷5
※電話:04 9277 2873
※價格範圍:40-390
※無服務費

2015年8月4日 星期二

《好薦》逢甲_百元有找脈博小酒館_MINI MAPPER

by 抹茶與巧克
by 抹茶與巧克
規劃中部旅遊時,挑選住宿於逢甲,
因逢甲商圈多采多姿,
玩、樂、食、飲、購,
店家幾乎營業到12點,
只怕沒體力,不怕沒處去~

MINI MAPPER是大學生介紹我們的,
巧克使用google map才找到店家,
非位於逢甲主要幹道;
當晚,心滿意足著帶著調酒回民宿,
調酒與下酒菜,癱軟在沙發上看影集,
為當天畫下完美的句點!

※店名:MINI MAPPER
※營業時間:16:00~22:00(周五六至23:00,周一二店休)
※地址:台中市西屯區文華路15021(文華道商場內)
※電話:04-2452-1937
※價格範圍:80-120
※無服務費

2015年7月30日 星期四

《好薦》瑞芳_別懷疑早餐吃牛肉麵_福哥牛肉麵

by 抹茶與巧克
by 抹茶與巧克
首次搭深澳支線火車,
深澳支線由瑞芳轉車,
巧克決定在瑞芳吃早餐,
9點抵達瑞芳時,
福哥已經快客滿了~

抹茶非常訝異,
原來這麼多人早餐吃牛肉麵阿~

※店名:福哥牛肉麵
※營業時間:8:00-23:00
※地址:新北市瑞芳區民生街21
※電話:02-2497-9959
※價格範圍:35-120

2015年7月28日 星期二

《好薦》東區_宛如飛到香港吃撈麵_嘜記飯堂

by 抹茶與巧克
by 抹茶與巧克
抹茶和巧克搞烏龍,原本兩人在南京東路,
南京東路上有茶水攤,
但兩人深深認為嘜記和茶水攤不同,
實際上嘜記屬茶水攤系列!
(兩人風塵僕僕從南京東路到東區)

此次已是第三次吃嘜記,
下班時間嘜記都大排長龍,
假日中午去不用排喔~

※店名:嘜記飯堂
※營業時間:11:30-22:00
※地址:台北市敦化南路一段190191
※電話:02-2778-6466
※價格範圍:40-280
※需一成服務費