Stars and mentions
Last 30 days, Oct 4 – Nov 2
Package downloads
Top repositories
turboderp’s repositories ranked by pull request authors, as on trending.
Contributes to
Repositories outside turboderp’s account where turboderp opened or reviewed pull requests in the past 365 days.
Who noticed turboderp
Everyone who starred or forked turboderp’s repositories since the archive began in 2011.
Notable accounts
Ordered by the stars their own repositories have received.
Biggest fans
Accounts that starred the most of these repositories.
Breakout weeks
Each repository’s best week of new stars, with the release published around it.
- Gold
- 01st place finishes
- Silver
- 02nd place finishes
- Bronze
- 03rd place finishes
- Awarded repositories
- 0Owned by turboderp now
No trending awards yet
None of the repositories turboderp owns has finished in the top three of a completed trending day or week, by stars, forks or PR authors. See who is trending now.
A repository earns an award for finishing first, second or third in a completed trending day or week, ranked by new stars, new forks or pull request authors. Awards follow a repository through renames and transfers and count toward its current owner. Weeks run Monday to Sunday, UTC.
Mentions
CHẠY SUY LUẬN LLM NHANH NHẤT TRÊN CARD ĐỒ HỌA NVIDIA: EXLLAMAV2 ĐƯA ĐỊNH DẠNG EXL2 LÊN ĐỈNH CAO TỐC ĐỘ Khi chạy các mô hình ngôn ngữ lớn cục bộ trên card đồ họa NVIDIA (RTX 3090, RTX 4090), các thư viện inference thông thường thường không khai thác hết băng thông bộ nhớ VRAM hoặc bị nghẽn ở tầng giải mã token (Token Generation Latency). ExLlamaV2 là thư viện suy luận LLM mã nguồn mở siêu tốc được tối ưu hóa chuyên biệt cho phần cứng GPU của NVIDIA, nổi tiếng với định dạng lượng tử hóa EXL2 độc quyền mang lại tốc độ sinh token nhanh nhất thế giới. Tech Stack: Được viết bằng C++ và CUDA kernel tùy biến cao độ kết hợp wrapper Python. Tối ưu hóa sâu cho kiến trúc GPU Ampere, Ada Lovelace và Hopper. Tại sao nên dùng? - Tốc độ sinh token vượt trội mọi đối thủ: ExLlamaV2 thường đạt tốc độ sinh từ 100 đến 150+ tokens/giây trên card đồ họa dân dụng cho các mô hình 8B-14B, mang lại trải nghiệm streaming chữ chạy như điện giật. - Định dạng lượng tử hóa EXL2 linh hoạt: Cho phép nén mô hình với độ chính xác số học tùy ý (ví dụ 3.5-bit, 4.25-bit hoặc 5.5-bit) để ép vừa khít dung lượng VRAM có sẵn mà không lãng phí một megabyte nào. - Hỗ trợ Context Window khổng lồ: Tối ưu hóa bộ nhớ đệm KV Cache thông minh, cho phép mở rộng ngữ cảnh lên tới 32k-128k tokens mà không làm sập bộ nhớ GPU. Dự án sở hữu hơn 4.500 stars trên GitHub và là sự lựa chọn số một của cộng đồng AI enthusiast muốn vắt kiệt từng giọt hiệu năng của card đồ họa NVIDIA. Link tham khảo: turboderp/exllamav2 #OpenSourceVN #VNOSS #opensourcevn #vnoss #DevCommunity #ExLlamaV2 #EXL2 #LLMInference #CUDA #NVIDIA #LocalAI