其實我也估不到會寫 #3 。 在 Matlab/Octave ，做功課時用過一件叫 fminunc (Find minimum of unconstrained multivariable function) 的東西。上課時講是使用 advanced optimization algorithms 時用，而課上不停講的幾隻 advanced optimization algorithms 有 BFGS, L-BFGS, DFP 之類。但別問我那些時甚麼，我仍未有時間參透。我只知道 BFGS...
上回講到 Newton-Raphson 可用於取代 Gradient Descent ，今次一起看 Logistic Regression 的例子。 再用上次的 mtcars 數據，假設我想以車輛重量和汽油消耗量汽車去估計汽車的變速器類型(自動波/手動)。由於 response variable 是 binary ，故此此為 Logistic Regression 問題。有關 Logistic Regression 的 Gradient Descent 方法，不再詳講，可看 Andrew ...
第一次聽 Newton-Raphson 是在 MIT 的 6.00 ，當時講到找 Root 的方法。其中一種找 root 的方法是 bisection method ，屬 binary search 的一種，每次 iteration 的 search space 會減少一半。 要找 5 的 root ，用任何的計算機都可以得出 2.236 。設 θ = 2.236 ，那麼 θ * θ 應該等於 5 。而 2.236 * 2.236 - 5 應該是等於 0 。 那麼，如果要找 x 的 roo...
如果每天只做同一樣的東西，人是不會成長，故此要試不同的東西。又或者，要試不同的東西，才知道為何自己重覆做同一樣的東西。 現時的電腦是用 Xubuntu ，即是它是用 APT package management ((更正確的說法是 dpkg 格式)) 及 XFCE 作為 DE 的系統。以前是用 Ubuntu 的，故此是 APT 及 GNOME 2 的組合。自從 Ubuntu 轉用 Unity 後轉會 XFCE 。 過去幾天假期身困某地實在太無聊，故此想試用其他的 Linux 組合，甚至想試...
上回講過 Batch Gradient Descent ，今回講的是適用於 big data 的 Stochastic Gradient Descent 。 處理 Big data 的問題是，巨大的 data 無法一次過讀入記憶體，再一次過處理。此外，由於數據量龐大，如果次次都要將整份數據連算一次才算完成一次 iteration 更新 theta 的話，會好慢。 看看 batch gradient descent 每個 iteration 的算式，會發現有一個 summation 的計算。...
ml-class 最後一課講到 big data ，介紹了 stochastic gradient descent 。但是那一課只有一般習題，卻沒有編程功課，為美中不足。 實在很想試下玩下 Stochastic gradient descent ，於是自己亂寫來玩。 Gradient descent 是一種 Optimization 的方法。例如你有 y (dependent variable) 及 x (independent variable) ，你想找 regression equa...
某雜誌大字標題寫「蒙古症」三字，同公司某報的動新聞也大講一番。 我並不明白某人去某醫院測試「蒙古症」有何新聞價值，但令我不感高興的是「蒙古症」三字。而不幸的是，原來我幾年前寫過如此文章。
繼流水賬式的「雜談」後，本博再建立一個新的 tag ，叫做 papercut ，形容在生活上聽到、見到令我覺得不舒服的無聊小節。 ((這個 series 定必會把我變成「性格古怪」人仕。 Oh, wait! 原來我本身性格就好古怪。)) 頭炮是 cohort 一字。每次見到老闆用 cohort 一字，我就感覺很痛苦。原因有二： 一、令老闆把 cohort 此字加入常用字眼的人是我 二、他濫用此字 先講 cohort 一字的定義。查字典，此字有兩個意義： 1. a group of peop...
話說 Aphex Twin 曾經說過，訪問時會亂吹，告訴別人自己理想中的自己。當讀自己的訪問時，發現文中的人並不是自己。某天到出版社談出版事宜，編輯問我這個領了該出版社推理小說獎的人愛看那些推理小說。我結結巴巴地直言我很少讀推理小說，反而多看的是社會小說，如松本清張和山崎豐子，較新的只有讀過橫山秀夫。 ((其實三位的小說都沒有看很多，追問下去也會乾塘的。)) 編輯卻說喜歡讀東野圭吾。的確，東野圭吾是大部份推理小說愛好者都愛看的，但我只讀過一本叫《名偵探的守則》。正當他跟我說《嫌疑犯X的獻身...
英文差，常常要查字典。要查字的讀音。個人認為英文是一種好陰濕的語文。例如 Strong 一字， ng 發成 /ŋ/ 。 Strong 比較級是 Stronger 及 Strongest ，在比較級的情況卻會發出 /g/ 音。可是，同樣的規則用在 Sing 變成 Singer ，卻不成立。 ((雖然我曾聽過有人將 Singer 讀成 /ˈsɪŋgə/ 。 Singer Sewing Machine 漢譯為勝家縫紉機，也有誤導成份。)) 還有是讀音的 stress ，如 violent, vi...
AP: Elated, Last US Troops Leave Iraq, Ending War 2003 年開戰日 diaryland 時代對伊拉克之戰的評論。
上一篇文講了 Fixed effect methods 。其實上一次的 code 有些地方未講完。 Meta-analysis 要處理 heterogeneity 的問題。 Fixed effect methods 假設各個 trials 的 protocol 完全一樣。故此不同 trial 回報的 θi 不同的原因，純是因為 chance 。根據此假設， sample size 愈大的 trial 所回報的 θi 應該非常接近 bar θ 。 但事實卻並非如此。每個 study 的 pr...
最近有想為碩士班「贖罪」的感覺，一直在想，到底碩士班真的欠缺了甚麼？ 為甚麼給了十二萬教出來的人都好像沒有甚麼專業知識似的。到底是我自己的問題，還是人家教育的問題。 我假定是我自己的問題。應該是我水過鴨背，也沒有自行修讀精進。別人可能講得太少，但並不代表我也要知得太少，我有責任去滿足自己的好奇心，有責任去問，有責任去讀。或者就是因為我欠缺這種責任心，人家才覺得我不是讀博士材料。 ((講笑的，我因為甚麼原因落選，我是心照的。)) ((讀碩士時，課程視為仙水級奇書的 Kenneth Roth...
ml-class 將在十六日終結，我從此課獲益不淺，以下是五件我在此課學到最有用的東西。 1. Linear Algebra 之前說過，在上這個課前是完全沒有讀過 linear algebra 。奇就奇在為何我可以係生物統計學碩士。不會 linear algebra 的統計學人，就像彈結他不會彈 Barre Chord 那樣，你是會彈到某幾首歌的，但卻不能彈深奧的歌。 ((我最近都想問問以前在碩士課教 Stat 的教授，為何不教 Linear algebra 。我是知道此問題的答案，因為...
美麗的天文現象。 終於完成《大豐收》的最後修整工作，現在球已經交了給出版社。 從 ml-class 學到 recommender system 。原來 Amazon 之類網站見到的產品建議系統，是非常複雜的。那並非一個純粹的 regression 的問題，也不是 clustering 的問題。 Google 的 PageRank 也是屬於此類的 recommender system 。此系統為何 work ？例如 Alan 和 Becky 都愛 Twilight 此電影。假設我知道 B...
Previous — 27 of 209 — Next