Tech hvg.hu 2024. május. 15. 18:03

Sokat fog tudni: 500 000 000 000 paraméterrel fejleszt mesterséges intelligenciát a Microsoft

A mesterséges intelligencia éllovasa, az OpenAI egyik legstabilabb partnere a Microsoft, meg is kap minden segítséget, no meg élvonalbeli technológiát tőle. Redmondban ennek ellenére úgy gondolják, azért nem árt a saját nagy nyelvi modell sem, és ambiciózus fejlesztésbe fogtak.

A Microsoft, az OpenAI partnerség révén már most is az iparág egyik legjobb nagy nyelvi modelljét (LLM) használja. Emellett azért a Microsoft Research kiad kisebb nyelvi modelleket (SLM-eket) is, épp azért, hogy versenyképes maradhasson. Most viszont nagyobb fába vágta a fejszéjét, ugyanis saját LLM-et fejleszt, amelyik a MAI-1 elnevezést kapta, és állítólag még ebben a hónapban bemutatkozhat, esetleg a május 16-án kezdődő Build fejlesztői konferencián.

A The Information által megosztottak szerint 500 milliárd paraméteres lesz az újdonság. Bár ez így igen lenyűgözően hangzik, azért érdemes egy kis összehasonlítást végezni. Az OpenAI GPT-3 kezdeti verziójának 175 milliárd paramétere volt. Bár a vállalat nem hozott nyilvánosságra konkrét számokat a fejlettebb GPT-4-gyel kapcsolatban, egyes jelentések szerint az LLM 1,76 billió paramétert tartalmaz. A Google LLC Gemini Ultra pedig, amely a GPT-4-hez hasonló teljesítményt nyújt, állítólag 1,6 billió paraméterrel gazdálkodik.

Ezen adatok fényében a Microsoft LLM-je a maga 500 milliárd paraméterével egyfajta „középkategóriás eszköznek” tekinthető a GPT-3 és a GPT-4 között. Mindenesetre egy ilyen konfiguráció lehetővé tenné, hogy a modell nagy válaszpontosságú legyen, viszont lényegesen kevesebb energiát fogyasszon, mint a GPT-4. Ez költségmegtakarítást jelentene a Microsoft számára.

Az MAI-1 fejlesztését Mustafa Suleyman vezeti, aki nemrég igazolt át a Microsofthoz, és a vállalat mesterséges intelligenciával foglalkozó részlegét vezeti. Nem akárkiről van szó, Suleyman volt a Google tulajdonában lévő Deep Mind társalapítója. Ő volt az alapítója az LLM-fejlesztő Inflection AI cégnek is.

A Microsoft állítólag felhasználhatja a képzési adatokat és bizonyos egyéb eszközöket az Inflection AI-ből a MAI-1 működtetésére. A modell tanítási adatkészlete különféle típusú információkat is tartalmaz, beleértve a GPT-4 által generált szöveget és a webes tartalmat. A Microsoft a hírek szerint a fejlesztési folyamatot Nvidia grafikus kártyákkal felszerelt „szerverek nagy klaszterével” végzi.

A The Information forrásai szerint a vállalat még nem határozta meg, hogyan fogja használni a MAI-1-et. Ha a modellnek valóban 500 milliárd paramétere lesz, akkor túl bonyolultnak tekinthető ahhoz, hogy fogyasztói eszközökön fusson. Ez viszont azt jelenti, hogy a Microsoft valószínűleg az adatközpontjaiba fogja telepíteni a MAI-1-et, így az LLM olyan szolgáltatásokba integrálható, mint a Bing vagy az Azure. A MAI-1 fejlesztésével kapcsolatos hírek arra utalnak, hogy a Microsoft nem akar teljes mértékben az OpenAI-tól függeni. Hozzá kíván jutni az OpenAI legmodernebb MI-modelljeihez, de azért igényt tart a házon belül kifejlesztett MAI-1-re, amely az OpenAI legmodernebb modelljeivel közel egyenértékű képességekkel rendelkezik.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.

Élet+Stílus Galicza Dorina 2024. december. 28. 20:00

Elillant történelem és babonamentes tűzvédelem – megnéztük a felújított Notre Dame-ot

Párizs székesegyháza fényesebben ragyog, mint valaha, de az évszázadok alatt felhalmozódott kosszal együtt mintha a történelmét is lemosták volna róla. Bár a felújítás még nem ért véget, ha a belső tér már nem változik, akkor az évtizedek múlva sebtében idelátogató turista azt se fogja tudni, mi történt az elmúlt öt évben a templom körül.