Thuật toán mới hứa hẹn cắt giảm 95% mức tiêu thụ năng lượng của AI
Khi ngày càng nhiều công ty tham gia vào lĩnh vực trí tuệ nhân tạo (AI), việc tiêu thụ năng lượng của các mô hình AI đã trở thành một vấn đề cấp bách. Mặc dù các công ty lớn như Nvidia, Microsoft và OpenAI đã giảm thiểu tình hình, một công ty tuyên bố đã tìm ra giải pháp thuật toán mới.
Nhóm nghiên cứu tại BitEnergy AI đã phát triển một kỹ thuật có thể giảm tiêu thụ năng lượng của AI một cách đáng kể mà không ảnh hưởng nhiều đến độ chính xác và tốc độ. Nghiên cứu cho biết phương pháp này có thể cắt giảm lượng năng lượng sử dụng lên đến 95%. Nhóm gọi phát minh này là Nhân Độ Phức Tuyến (Linear-Complexity Multiplication), viết tắt là L-Mul. Quá trình tính toán sử dụng phép cộng số nguyên, yêu cầu ít năng lượng và bước xử lý hơn so với phép nhân số thực trong các tác vụ liên quan đến AI.
Các số thực rất phổ biến trong các phép toán AI khi xử lý những số rất lớn hoặc rất nhỏ. Những con số này tương đương với dạng ký hiệu khoa học trong hệ nhị phân, giúp các hệ thống AI thực hiện các phép tính phức tạp một cách chính xác. Tuy nhiên, độ chính xác này đòi hỏi một mức giá nhất định.
Nhu cầu năng lượng ngày càng tăng của cuộc bùng nổ AI đã đạt đến mức đáng ngại, với một số mô hình cần lượng điện khổng lồ. Ví dụ, sử dụng điện tương đương với 18.000 hộ gia đình tại Mỹ (564 MWh mỗi ngày). Các nhà phân tích tại Trung tâm Tài chính Thay thế Cambridge ước tính rằng ngành công nghiệp AI có thể tiêu tốn từ 85 đến 134 TWh hàng năm vào năm 2027.
Thuật toán L-Mul giải quyết sự lãng phí năng lượng này bằng cách xấp xỉ các phép nhân số thực phức tạp bằng các phép cộng số nguyên đơn giản hơn. Trong thử nghiệm, các mô hình AI vẫn duy trì được độ chính xác trong khi giảm tiêu thụ năng lượng tới 95% cho các phép nhân tensor và 80% cho các sản phẩm vô hướng.
Kỹ thuật L-Mul mang lại hiệu suất được cải thiện một cách tỷ lệ. Thuật toán này vượt qua chuẩn tính toán 8-bit hiện tại, đạt độ chính xác cao hơn với ít phép toán ở cấp độ bit hơn. Các thử nghiệm thực hiện trên nhiều tác vụ AI, bao gồm xử lý ngôn ngữ tự nhiên và thị giác máy tính, chỉ cho thấy sự giảm hiệu suất 0,07% – một mức đánh đổi nhỏ khi xem xét đến việc tiết kiệm năng lượng.
Các mô hình dựa trên Transformer, như GPT, là đối tượng thu lợi nhiều nhất từ L-Mul, do thuật toán tích hợp mượt mà vào cơ chế chú ý, một thành phần quan trọng nhưng tiêu tốn năng lượng của các hệ thống này. Các thử nghiệm trên những mô hình AI phổ biến, chẳng hạn như Llama và Mistral, thậm chí còn cho thấy độ chính xác cải thiện trong một số tác vụ. Tuy nhiên, tình hình có cả tin tốt và tin xấu.
Tin xấu là L-Mul hiện cần phần cứng chuyên dụng. Quy trình xử lý AI hiện tại chưa được tối ưu để tận dụng kỹ thuật này. Tin tốt là các kế hoạch phát triển phần cứng chuyên dụng và API lập trình đang được triển khai, mở đường cho AI tiết kiệm năng lượng hơn trong một khoảng thời gian hợp lý.
Chướng ngại duy nhất khác có thể xảy ra là các công ty, đặc biệt là Nvidia, làm chậm nỗ lực áp dụng kỹ thuật này, điều này là khả thi. Nhà sản xuất GPU đã tạo dựng danh tiếng như một nhà phát triển phần cứng hàng đầu cho các ứng dụng AI. Thật khó để họ từ bỏ phần cứng tiết kiệm năng lượng hơn khi đang nắm giữ phần lớn thị trường.
Những ai đam mê giải pháp toán học phức tạp có thể tìm thấy phiên bản chờ duyệt của nghiên cứu được đăng tải trên thư viện “arXiv” của Đại học Rutgers.
Theo Techspot
