Technical Handbook

Deep LearningDeep Learning

Neural networks from first principles to practical PyTorch training, including CNNs, RNNs, regularization, and transfer learning.Mạng nơ-ron từ nguyên lý nền tảng đến huấn luyện thực tế với PyTorch, gồm CNN, RNN, regularization và transfer learning.

12 articlesbài viết

  1. 01Where Linear Models Give UpWhere linear models stop improving without hand-engineered features, and why that approach does not scale to images or audio.
  2. 01Chỗ mô hình tuyến tính bó tayNơi mô hình tuyến tính ngừng cải thiện nếu thiếu đặc trưng do con người thiết kế, và vì sao cách này không mở rộng tốt sang ảnh hoặc âm thanh.
  3. 02A Neuron and Its Activation FunctionWhat is inside a neuron, why stacking layers is pointless without an activation function, how to pick one for hidden layers, and how it differs from the function on the output layer.
  4. 02Một nơ-ron và hàm kích hoạtBên trong một nơ-ron có gì, vì sao thiếu hàm kích hoạt thì xếp bao nhiêu tầng cũng vô ích, chọn hàm kích hoạt cho tầng ẩn, và phân biệt nó với hàm ở tầng ra.
  5. 03Stacking Layers: Networks Learn Their Own FeaturesWhat a hidden layer actually produces, how much "deep" buys and where it stops, and why two narrow layers usually beat one wide layer with the same parameter budget.
  6. 03Xếp tầng: mạng tự học lấy đặc trưngMột tầng ẩn thực chất tạo ra gì, chữ "sâu" mua được bao nhiêu và dừng ở đâu, vì sao hai tầng hẹp thường thắng một tầng rộng cùng số tham số.
  7. 04Computational Graphs: One backward() Call for Millions of ParametersComputing the gradients of a tiny network by hand and checking them against backward(), what a computational graph is, and measuring how gradients fade as they flow back through many layers.
  8. 04Đồ thị tính toán: một lời gọi backward() lo hàng triệu tham sốTính tay gradient của một mạng tí hon rồi đối chiếu với backward(), đồ thị tính toán là gì, và đo hiện tượng gradient yếu dần khi đi ngược qua nhiều tầng.
  9. 05PyTorch: Your First Training LoopWriting a neural network training program that runs end to end on real data, the five lines that make up the training loop, and the two modes, training and inference, that beginners often mix up.
  10. 05PyTorch: vòng lặp huấn luyện đầu tiênViết một chương trình huấn luyện mạng nơ-ron chạy trọn trên dữ liệu thật, năm dòng lệnh làm nên vòng lặp huấn luyện, và hai chế độ học với dự đoán mà người mới hay lẫn.
  11. 06Reading Training CurvesDiagnosing what is going wrong with a network from its two loss curves alone, four common problems and the signature of each, and why validation loss and accuracy can tell different stories.
  12. 06Đọc đường cong huấn luyệnChẩn đoán một mạng đang học sai kiểu gì chỉ bằng hai đường cong loss, bốn chứng bệnh thường gặp và dấu hiệu của từng cái, và vì sao validation loss với accuracy có thể nói hai điều khác nhau.
  13. 07Regularization for Deep NetworksWhat dropout, weight decay and data augmentation actually do, how much each is worth on a real overfitting case, and why turning on all three at once makes the model worse.
  14. 07Regularization cho mạng sâuDropout, weight decay và data augmentation thực sự làm gì, mỗi cái đáng bao nhiêu trên một ca overfitting thật, và vì sao bật cả ba cùng lúc lại làm mô hình tệ đi.
  15. 08Why Deep Networks Are Hard to TrainWhy a 20-layer network can fail to learn anything, tracing the cause to signal size layer by layer, and two fixes, proper initialization and batch normalization, with measurements for each.
  16. 08Vì sao mạng sâu khó huấn luyệnVì sao một mạng 20 tầng có thể không học được gì, truy nguyên nhân về độ lớn tín hiệu qua từng tầng, và hai cách chữa là khởi tạo đúng và batch normalization, kèm số đo.
  17. 09CNNs: Networks That Learn to SeeThe two ideas behind convolutional networks, local receptive fields and shared weights, what convolution and pooling do, and why a network with ten times fewer parameters beats a fully connected one on images.
  18. 09CNN: mạng học cách nhìnHai ý tưởng làm nên mạng tích chập là nhìn cục bộ và dùng chung trọng số, tích chập và pooling làm gì, và vì sao mạng ít hơn mười lần tham số lại thắng mạng kết nối đầy đủ trên ảnh.
  19. 10Sequence Data: RNNs and Where They Fall ShortMeasuring the two main failure modes of recurrent networks and seeing why they lead naturally to attention.
  20. 10Dữ liệu chuỗi: RNN và chỗ nó hụt hơiĐo hai điểm yếu chính của mạng hồi quy và thấy vì sao chúng dẫn tới attention một cách tự nhiên.
  21. 11Transfer Learning: Standing on the Shoulders of a Trained ModelWhy features learned on one task can be reused on another, the two ways to reuse them, freezing and fine-tuning, and how to choose based on how much data you have.
  22. 11Transfer learning: đứng trên vai mô hình đã họcVì sao đặc trưng học từ bài toán này dùng lại được cho bài toán khác, hai cách dùng lại là đóng băng và fine-tune, và chọn cách nào theo lượng dữ liệu bạn có.
  23. 12End-to-End Project: From Raw Data to a Model You Can Hand OverRunning a deep learning project in the right order: split the data, build a baseline, scale up the architecture, choose on validation, open the test set only once every choice is locked, then read the errors and hand it over.
  24. 12Project end-to-end: từ dữ liệu thô tới mô hình bàn giao đượcChạy trọn một dự án deep learning đúng thứ tự: chia dữ liệu, baseline, leo thang kiến trúc, chọn bằng validation, chỉ mở test sau khi mọi lựa chọn đã khóa, rồi đọc lỗi và bàn giao.