Dòng tin
Tất cả
Bài học từ việc xây dựng kiến trúc LLM từ đầu bằng Python và PyTorch
A little talk on what we can learn from implementing LLM architectures from scratch in Python and PyTorch.
And how I approach new open-weight models, compare them against reference implementations etc:
https://www.youtube.com/watch?v=TXzQ7PGpO6w
- ›Tìm hiểu kiến trúc LLM bằng cách lập trình từ đầu giúp hiểu sâu hơn các cơ chế nội tại.
Hiệu suất GPU thường xuyên không ổn định - thời gian chạy torch.linalg.solve_ex() tăng 10 lần khi ma trận từ 511×511 lên 512×512
GPU library performance can be very notchy -- runtime of batched torch.linalg.solve_ex() went up by over 10x going from 511x511 matrices to 512x512.
- ›Hiệu suất GPU có tính chất 'notchy' (gồ ghề) - thay đổi mạnh mẽ khi kích thước đầu vào thay đổi tí chút.