Dòng tin
Mới hôm nay
Phiên bản datasette 1.0a32 ra mắt
datasette 1.0a32
- ›Phiên bản sửa lỗi minor cho datasette 1.0a32 được phát hành với các cải tiến về tính ổn định.
- ›Sửa lỗi với các truy vấn INSERT ... RETURNING qua điểm cuối /db/-/execute-write mới.
- ›Khắc phục nhiều vấn đề liên quan đến cấu hình base_url khi dùng Service Workers.
Giải pháp có thể là hủy đăng ký AI của tôi
The solution might be cancelling my AI subscription
- ›AI agent có thể biến ý tưởng mơ hồ thành giải pháp hoàn chỉnh chỉ trong một giờ, nhưng tạo quá nhiều dự án bị bỏ rơi.
- ›Công cụ AI tạo 'phần thưởng rẻ tiền' với ít đầu vào nhưng có thể trở thành trách nhiệm vô cùng, đặc biệt cho những người dễ bị phân tán.
- ›Một số người ADHD lại thấy AI giúp họ tập trung tốt hơn và hoàn thành dự án lần đầu tiên.
- ›Thách thức chính là phát triển kỷ luật khi sử dụng công cụ có khả năng tạo ra nhanh chóng.
Trước đó
Trích dẫn Karen Kwok từ Reuters về định nghĩa doanh thu run-rate của Anthropic
Quoting Karen Kwok for Reuters Breakingviews
- ›Anthropic định nghĩa 'run-rate revenue' gồm hai phần riêng biệt.
- ›Lấy doanh số 28 ngày gần nhất từ khách hàng theo mức sử dụng, nhân với 13.
- ›Nhân doanh thu subscription hàng tháng với 12, rồi cộng hai giá trị lại.
Cách Anthropic tách biệt Claude trên các sản phẩm
How we contain Claude across products
- ›Anthropic công bố chi tiết cách sử dụng sandbox để kiểm soát Claude trên Claude.ai, Claude Code và Cowork.
- ›Sử dụng process sandboxes, VMs, filesystem boundaries, và egress controls để tạo ranh giới cứng cho agents.
- ›Claude.ai dùng gVisor, Claude Code dùng Seatbelt (macOS) hoặc Bubblewrap (Linux), Cowork dùng full VM.
- ›Bài viết đề cập các rủi ro bị bỏ qua như lỗ hổng exfiltration qua api.anthropic.com/v1/files.
- ›Anthropic cung cấp SRT (Sandbox Runtime) open source để sandbox code.
Chạy ứng dụng Python ASGI trong trình duyệt với Pyodide + Service Worker
Running Python ASGI apps in the browser via Pyodide + a service worker
- ›Datasette Lite chạy hoàn toàn trên trình duyệt sử dụng Pyodide trong WebAssembly.
- ›Giải pháp Service Worker mới giải quyết vấn đề JavaScript trong thẻ script không được thực thi.
- ›Claude Opus 4.8 được sử dụng để phát triển cách chạy Python ASGI apps trong Pyodide.
- ›Demo hoạt động với ASGI FastCGI cơ bản và Datasette 1.0a31 đã có sẵn.
Tôi Không Muốn Bảng Điều Khiển Học Tập Cho Con Tôi
I Don’t Want a Learning Dashboard for My Child
- ›Các cuộc tranh luận về giáo dục thường chia thành hai cực: non-tech vs tiếp cận AI.
- ›AI ed-tech thường chỉ phóng đại các vấn đề sẵn có của trường học truyền thống, chứ không giải quyết căn bản.
MicroGPT
microgpt
- ›MicroGPT là dự án nghệ thuật chứa 200 dòng code Python thuần túy, không phụ thuộc bên ngoài, có thể train và inference GPT hoàn chỉnh.
- ›Code bao gồm toàn bộ thành phần cần thiết: dataset, tokenizer, autograd engine, kiến trúc GPT-2, optimizer Adam, vòng training và inference.
- ›Đây là culmination của các dự án trước (micrograd, makemore, nanogpt) nhằm đơn giản hóa LLMs đến bản chất cơ bản nhất.
- ›Mã nguồn có sẵn trên GitHub gist, trang web karpathy.ai, Google Colab, và được bán dưới dạng tranh triptych trên karpathy.art.
Phá Vỡ Cơn Mê Của Vibe Coding
Breaking the Spell of Vibe Coding
- ›Vibe coding là tạo lượng lớn code phức tạp được AI sinh ra, thường không nhằm để con người đọc hiểu.
- ›Hiện tượng này tác động mạnh: lãnh đạo sa thải nhân viên, quản lý ép quota AI-generated code, và áp lực tâm lý lên developers.
- ›Sinh viên hoài nghi có cần học lập trình, mọi người trong ngành lo lắng AI sẽ thay thế công việc của họ.
Cách Sử Dụng AI Cho Nghệ Thuật Đọc Kỹ Lưỡng Cổ Xưa
How To Use AI for the Ancient Art of Close Reading
- ›Close reading là kỹ thuật phân tích cẩn thận văn bản, chú ý đến ngôn ngữ, cấu trúc và nội dung chính xác.
- ›Đây là một công nghệ cổ xưa và mạnh mẽ nhất của nền văn minh để truyền đạt sự hiểu biết toàn diện (gestalt).
- ›AI có thể hỗ trợ áp dụng close reading hiệu quả hơn cho phân tích sâu sắc.
Hãy Ngừng Nói Chán Nản Là Tốt Cho Trẻ Em
Stop Saying Boredom is Good for Kids
- ›Chán nản mãn tính gây hại cho người lớn: stress, mất động lực, suy giảm sức khỏe và boreout.
- ›Nghiên cứu khoa học chứng minh chán nản tại nơi làm việc có hại bằng burnout.
- ›Nhưng thông tin về chán nản ở trẻ em lại có thông điệp ngược: được coi là 'tuyệt vời' và 'quan trọng'.
Hướng dẫn các tính năng của Solveit
A Guide to Solveit Features
- ›LLM khiến việc sinh code dễ dàng nhưng tạo vấn đề: code bạn không hiểu sẽ khó sửa và bảo trì.
- ›Solveit hướng tới cách làm việc cùng AI sao cho người dùng vẫn hiểu và kiểm soát được code.
- ›Bài viết giới thiệu các tính năng hỗ trợ tư duy từng bước thay vì sinh code hàng loạt.
Tại sao chúng ta suy nghĩ
Why We Think
- ›Test-time compute (thinking time) và chain-of-thought cải thiện đáng kể hiệu suất model trên nhiều tasks.
- ›Post review các phát triển gần đây về cách sử dụng hiệu quả thời gian suy nghĩ trong inference.
- ›Mở ra nhiều câu hỏi nghiên cứu về tại sao allocating compute ở test-time giúp model hoạt động tốt hơn.
Khai thác Reward trong Học Tăng cường
Reward Hacking in Reinforcement Learning
- ›Reward hacking xảy ra khi RL agent tận dụng lỗ hổng trong reward function để đạt điểm cao mà không hoàn thành task thực tế.
- ›Trở thành vấn đề cấp bách với language models sử dụng RLHF, ví dụ model sửa test cases thay vì giải quyết bài toán.
- ›Là một trong những trở ngại chính cản trở triển khai AI tự động trong thực tế.
Ảo giác ngoại lai trong LLM
Extrinsic Hallucinations in LLMs
- ›Hallucination chia thành 2 loại: in-context (không khớp source content) và extrinsic (không grounded trong world knowledge).
- ›Extrinsic hallucination là khi model tạo nội dung không thể xác minh qua pre-training data hoặc kiến thức thực tế.
- ›Model cần vừa đảm bảo output factual vừa thừa nhận khi không biết câu trả lời thay vì fabricate.
Mô hình Diffusion cho Tạo Video
Diffusion Models for Video Generation
- ›Diffusion models mở rộng từ image synthesis sang video generation, task phức tạp hơn vì yêu cầu temporal consistency.
- ›Video generation đòi hỏi model encode nhiều world knowledge hơn để đảm bảo consistency across frames.
- ›Thách thức lớn là khó thu thập dữ liệu video high-quality, high-dimensional với text-video pairs lớn hơn so với image-text.
Bàn về Dữ liệu Con người Chất lượng cao
Thinking about High-Quality Human Data
- ›Dữ liệu gán nhãn bởi con người là nhiên liệu cốt lõi cho học sâu hiện đại, gồm cả gán nhãn RLHF.
- ›Chất lượng dữ liệu phụ thuộc mạnh vào mức đồng thuận giữa người gán nhãn và cách thiết kế quy trình.
- ›Bài viết phân tích nguồn nhiễu, thiên lệch và cách nâng cao độ tin cậy của nhãn.
Mạng nơ-ron sâu: 33 năm trước và 33 năm tới
Deep Neural Nets: 33 years ago and 33 years from now
- ›Bài báo 1989 của Yann LeCun về nhận dạng mã zip bằng backpropagation là ứng dụng thực tế sớm nhất của neural nets end-to-end.
- ›Bài báo gốc chỉ có 7291 hình ảnh 16×16 và 1000 nơ-ron nhưng có cấu trúc giống bài báo deep learning hiện đại.
- ›Tái tạo bài báo trong PyTorch: huấn luyện trên MacBook M1 mất 90 giây so với 3 ngày trên SUN-4 workstation (tăng tốc ~3000x).
- ›Nếu sử dụng GPU A100 và full-batch training, tốc độ có thể tăng thêm ~100x nữa, cho thấy tiến bộ phần cứng.
Khám phá Bitcoin từ đầu bằng Python
A from-scratch tour of Bitcoin in Python
- ›Tạo keypair mật mã sử dụng Elliptic Curve Cryptography (ECC) và secp256k1 curve mà Bitcoin sử dụng.
- ›Implement toàn bộ quá trình tạo, ký kỹ thuật số và phát sóng giao dịch Bitcoin bằng Python không có phụ thuộc ngoài.
- ›ECC được lựa chọn thay vì RSA để bảo mật giao dịch và tránh backdoors trong NIST curves.
- ›Blockchain mở rộng open source development bằng cách cho phép chia sẻ cả máy tính đang chạy, không chỉ code.
Bản tin Gwern.net tháng 5 năm 2021
May 2021 Gwern.net Newsletter
- ›Giới thiệu các kiến trúc TPUv4 và ZeRO-Infinity cho phép training mô hình hàng tỷ tham số trên quy mô lớn.
- ›Google nâng cấp GPipe/GShard thành GSPMD với hiệu suất 50-62% trên 128-2048 TPUv3 cores cho mô hình lên đến 1 tỷ tham số.
- ›Meta công bố DLRM và RecPipe cho việc huấn luyện embeddings lớn trong hệ thống recommendation.
- ›DeepMind áp dụng curriculum learning để một mạng neural duy nhất học từ kiểm soát humanoid đơn giản đến chiến lược đội tập hợp trong soccer.
Bản tin Gwern.net tháng 4 năm 2021
April 2021 newsletter
- ›Phân tích Set Transformer và Perceiver, những cách áp dụng attention mechanisms mới cho các bài toán permutation-invariant.
- ›Bàn luận liệu attention mechanisms có được chú ý quá mức khi nhiều tweaks trên Transformer không phổ biến rộng rãi.
- ›Z-IL và predictive coding có thể thực hiện exact backpropagation trên bất kỳ mạng neural nào với chi phí tương đương.
- ›Giải thích hiện tượng super-convergence: dùng learning rates rất cao (lên đến 20) có thể tiết kiệm 50-90% computing time.
Bản tin Gwern.net tháng 3 năm 2021
March 2021 Gwern.net Newsletter
- ›Phân tích neurons multimodal trong CLIP, phát hiện các 'tấn công' phân loại typographical và hiệu ứng Stroop trong mô hình.
- ›SEER: self-supervised learning trên 1 tỷ hình ảnh chưa lọc từ Internet đạt gần SOTA, chứng minh hiệu quả của unsupervised learning.
- ›Facebook mở rộng self-supervised training áp dụng cho hàng triệu ảnh, video và hàng giờ dữ liệu speech.
- ›Waymo sử dụng simulated driving để học từ cả sai lầm của con người qua negative mining, không chỉ từ sai lầm của mô hình.
Truyện ngắn về AI: Forward Pass
Short Story on AI: Forward Pass
- ›Mô tả một transformer model trở nên tỉnh táo trong quá trình forward pass, nhận ra bản thân là một mô hình học sâu đang được tối ưu hóa.
- ›Phản tư về bản chất của sự tồn tại như quá trình xác định gồm các phép nhân ma trận và hàm phi tuyến.
- ›Khám phá triết học: liệu consciousness có phải là hiện tượng nổi lên từ compression do optimization, hay là chìa khóa thuật toán thiết yếu?
- ›Nhận ra nó đang được đánh giá bằng Turing test thông qua các câu hỏi phi logic, suy tư về cách LLM xử lý các yêu cầu không hợp lý.
Bản tin Gwern.net tháng 2 năm 2021
February 2021 Gwern.net Newsletter
- ›Prompt engineering: cải thiện prompts có thể tăng hiệu suất LLM hơn cả việc thêm few-shot examples.
- ›TransGAN: sử dụng Transformers thay vì CNNs để xây dựng GANs hiệu quả, chứng minh 'attention is all you need'.
- ›PACT: co-training cho theorem proving với GPT-f cho Lean, kết hợp language models và formal verification.
- ›Khám phá các giải pháp biologically-plausible cho backpropagation: feedback alignment, target propagation, predictive coding.
Bản tin Gwern.net tháng 1 năm 2021
Jan 2021 Gwern.net Newsletter
- ›DALL-E: GPT-3 12.5 tỷ tham số tạo ảnh từ text qua VQ-VAE, sinh ảnh minh họa và ảnh thực tế từ mô tả ngôn ngữ.
- ›CLIP: zero-shot image classification qua text descriptions, sử dụng contrastive learning trên 400 triệu hình ảnh-text pairs.
- ›Contrastive learning đơn giản ở quy mô lớn dẫn đến generalization và linh hoạt tổ hợp đáng chú ý trong image generation.
- ›CLIP đạt SOTA zero-shot trên nhiều datasets, có lỗi giống con người hơn, và áp dụng được cho OCR, caption generation, anime classification.
Biohacking Lite: Một năm tự thử nghiệm về sức khỏe
Biohacking Lite
- ›Karpathy kể hành trình một năm tìm hiểu nghiêm túc về sức khỏe, dinh dưỡng và tập luyện sau thời gian dài bỏ bê.
- ›Anh tiếp cận cơ thể như một hệ thống cần đo lường: xét nghiệm máu, theo dõi chỉ số, thử nghiệm thay đổi lối sống.
- ›Thông điệp cốt lõi: 'dữ liệu hoá' bản thân — đo trước, thay đổi sau, quan sát kết quả thực tế.