HAROONDINHO
New member
Xin chào mọi người!
Tôi có một máy chủ cũ từ năm 2013 có GPU Tesla M40, tôi đang cố chạy llms cục bộ trên GPU đó thông qua ollama nhưng không thành công, tôi biết nó không được hỗ trợ chính thức vì nó có khả năng tính toán là 3.5 nhưng tôi đã thử sử dụng phiên bản ollama đã sửa đổi nhưng nó vẫn quay lại sử dụng CPU.
Tôi đã quyết định mua một GPU mới hơn, tôi có ngân sách khoảng 500 đô la và đang cân nhắc RTX 3060 12 GB nhưng tôi lo rằng nó sử dụng PCIe 4.0 trong khi bo mạch chủ của tôi sử dụng PCIe 3.0, liệu GPU có bị hạn chế đáng kể không? Ngoài ra, bất kỳ giải pháp thay thế nào tốt hơn cho GPU cũng sẽ được đánh giá cao, tôi thích một GPU mới (không phải đồ cũ).
Cảm ơn trước!
Tôi có một máy chủ cũ từ năm 2013 có GPU Tesla M40, tôi đang cố chạy llms cục bộ trên GPU đó thông qua ollama nhưng không thành công, tôi biết nó không được hỗ trợ chính thức vì nó có khả năng tính toán là 3.5 nhưng tôi đã thử sử dụng phiên bản ollama đã sửa đổi nhưng nó vẫn quay lại sử dụng CPU.
Tôi đã quyết định mua một GPU mới hơn, tôi có ngân sách khoảng 500 đô la và đang cân nhắc RTX 3060 12 GB nhưng tôi lo rằng nó sử dụng PCIe 4.0 trong khi bo mạch chủ của tôi sử dụng PCIe 3.0, liệu GPU có bị hạn chế đáng kể không? Ngoài ra, bất kỳ giải pháp thay thế nào tốt hơn cho GPU cũng sẽ được đánh giá cao, tôi thích một GPU mới (không phải đồ cũ).
Cảm ơn trước!