Новата технология с отворен код на Huawei Zurich Lab Lets LLMS работи на потребителски графични процесори · Technode
Лабораторията за изчислителни системи на Huawei на Huawei пусна SINQ (квантоване на нормализиране на Sinkhorn), метод за квантоване с отворен код, който намалява изискванията за памет на големи езикови модели (LLM) с до 70%. Пробивът позволява натоварвания, които веднъж се нуждаят от Enterprise GPU като A100 или H100 на NVIDIA, за да работят ефективно на…










