Dòng tin
Tất cả
MicroGPT
microgpt
- ›MicroGPT là dự án nghệ thuật chứa 200 dòng code Python thuần túy, không phụ thuộc bên ngoài, có thể train và inference GPT hoàn chỉnh.
- ›Code bao gồm toàn bộ thành phần cần thiết: dataset, tokenizer, autograd engine, kiến trúc GPT-2, optimizer Adam, vòng training và inference.
- ›Đây là culmination của các dự án trước (micrograd, makemore, nanogpt) nhằm đơn giản hóa LLMs đến bản chất cơ bản nhất.
- ›Mã nguồn có sẵn trên GitHub gist, trang web karpathy.ai, Google Colab, và được bán dưới dạng tranh triptych trên karpathy.art.