Podjetje Raspberry Pi predstavilo nov modul za generativno umetno inteligenco
Podjetje Raspberry Pi je uradno predstavilo novo strojno razširitev AI HAT+ 2, ki računalniku Raspberry Pi 5 omogoča lokalno poganjanje zahtevnih modelov generativne umetne inteligence. Nova komponenta, katere cena znaša približno 130 ameriških dolarjev, temelji na zmogljivem pospeševalniku Hailo-10H s kapaciteto 40 TOPS. Ključna novost je vključitev 8 GB lastnega pomnilnika LPDDR4X neposredno na modulu, kar zmanjšuje odvisnost od sistemskih virov osnovnega računalnika in omogoča hitrejše delovanje kompleksnih nevronskih mrež. Naprava je zasnovana tako, da zapolni vrzel pri uporabi velikih jezikovnih modelov (LLM) na kompaktnih sistemih. Medtem ko so bile prejšnje različice omejene predvsem na vizualne modele, AI HAT+ 2 omogoča uporabo priljubljenih odprtokodnih modelov, kot sta Qwen in DeepSeek. S tem Raspberry Pi postavlja nove standarde za razvijalce, ki želijo generativno umetno inteligenco uporabljati na robu omrežja brez potrebe po povezovanju v oblak. Strojna oprema za povezavo uporablja vmesnik PCIe, kar zagotavlja visoko prepustnost podatkov med procesorjem in pospeševalnikom. Ta korak pomeni pomemben premik v zmogljivostih dostopnih računalniških sistemov, saj v kombinaciji z 8 GB namenskega pomnilnika omogoča obdelavo večjih delovnih nizov podatkov neposredno ob pospeševalniku, kar bistveno poveča učinkovitost inferenčnih procesov.