PRML – cuốn sách khó nhằn

PRML chính là cuốn sách Pattern Recognition and Machine Learning của Bishop. Mình được thầy cho bản PDF của cuốn này vào năm thứ tư đại học, và vẫn chưa hoàn thành việc đọc nó cho đến bây giờ.Lý do duy nhất: ML đòi hỏi rất nhiều toán để có thể hiểu, và quan trọng hơn, hệ thống hóa những kiến thức bộn bề trong một ngành còn non trẻ.

Xuất phát điểm của ML là AI, hay còn gọi là trí tuệ nhân tạo. Sau đó nó khá tách ra khỏi AI và nhập vào nền tảng của Statistics. AI bây giờ đóng vai trò là một ngành tiền thân của ML, gồm các kiến thức học theo luật logic, các chiến thuật tìm kiếm heuristic trong bài toán tối ưu, v.v… Chắc cuốn AI, A Modern Approach sẽ cung cấp đầy đủ cái nhìn. Nhưng nói gì thì nói, ML giờ đây sexy hơn nhiều.

Cuốn PRML của Bishop không giống các cuốn sách về Pattern Recognition thông thường. So sánh với cuốn Pattern Recognition của Hart & Duda, PRML khác ở chỗ không chỉ tập trung vào bài toán Classification, Decision theory giờ cũng chỉ là một phần rất nhỏ, Neural Network giờ cũng không phải là người khổng lồ nữa.So sánh với Elements of Statistical Learning, PRML chú trọng vào Bayesian view hơn vì đơn giản là cách diễn dịch của xác suất Bayes phù hợp với bài toán máy học. Máy học thì cũng như người học: dựa vào các quan sát và dữ kiện thu nhận được để đánh giá khả năng xảy ra một sự kiện. Nói cách khác, đây là cái nhìn chủ quan (chủ quan tức là niềm tin và đánh giá của một con người, không phải của Chúa). Nếu coi mọi sự kiện từ cái nhìn của Chúa – tức là đấng tạo hóa, xác suất một sự kiện xảy ra là đáng tin cậy chỉ khi số lần thực hiện thí nghiệm đủ lớn, kiểu như định lý số lớn, hay trò tung đồng xu.

Điểm nhìn và sự xâu chuỗi của PRML rất tinh tế, nhưng sẽ không nhận ra nếu ta không hiểu nó Quả thật là khó nhằn ở điểm này. Nói trắng ra, nó dành cho advanced reader. Xuất phát điểm của nó là background math, một số phân phối cơ bản, giới thiệu sơ về Bayesian inference cũng như Maximum likelihood Estimation. Ngay lúc này thì kiến thức về Optimization đã cần rồi. Những chương ở giữa trình bày các phương pháp theo chiến thuật discriminative approach, tức là tìm một cách hiệu quả và nhanh để classify data mà không modeling data bằng một/nhiều phân phối xác suất. Các phương pháp dựa trên hình học chứng tỏ khả năng vượt trội, ví dụ SVM. Sau đó, PRML lại quay lại tiếp cận Bayes bằng việc giới thiệu graphical model, factor analysis, rồi một chương về EM, để mở đầu cho lĩnh vực approximate inference, một cách khả dụng hóa các phương pháp bayes dựa trên tính xấp xỉ các xác suất lề (marginal prob).

Đây cũng chỉ là một cái view rất thiếu sót và biased đối với mọt quyển sách đáng kính trọng như PRML. Hy vọng sẽ hiểu được nó.

Resources on Manifold Learning, Riemanian/Differential Geometry, and Spectral Graph Theory

• Partha Niyogi video lecture: tutorial on Geometric Methods for Manifold Learning: This lecture presents some innovations in manifold learning with the center of concentration is the Laplacian methods. A little flavour of differential geometry is presented (tangent space, gradient, tangent vector, Laplace-Beltrami operator) for audience to be able to cover various methods (LLE, ISOMAP, LE, Diffusion Maps,…). Not a very comprehensible lecture.
• Workshop on Multi-Manifold Data Modeling and Applications (IMA): various topics but bad video recording.
• The unreasonable effectiveness of mathematics in the natural sciences, On teaching mathematics
• Book: The Laplacian on Riemanian Manifold. The book can also be downloaded freely at Steve Rosenberg’s homepage. This book is highly rated but it is not for newbie. Personally, I think a course on Differential Geomtry or an introduction on Manifold is prerequisite.
• A List of Differential Geometry Books
• Refrences for Differentiable Manifolds:
  • Lee Introduction to Smooth Manifolds Springer 2003. Can be downloaded from torrent.
  • Boothby An introduction to differentiable manifolds and Riemannian geometry Acad. Press 2002. Need some prerequisite knowledge on Algebram Multivariate Calculus, and Topology.
  • Spivak A Comprehensive Introduction to Differential Geometry Vol I-II Publish & Perish 1999
• A couple of classical undergraduate texts are
  • Spivak Calculus on Manifolds Benjamin 1965. A booklet with 160 pages of real analysis and one chapter of manifold at the end. Published in 1965. Solutions to problems are HERE
    
  • Munkres Analysis on Manifolds Westview Press 1991: A not-so-long textbook with self-explained concepts from elementary topology, real analysis, to manifolds with Stokes’ theorem on intergration. Highly recommendation.
  • This is the course that use Spivak’s and Munkres’ books 18.101 Analysis II MIT Math
• A wikipedia site on Manifold Atlas
• Wulf Rossman, Lecture on Differential Geometry