Kinijos mokslininkai parodė baitų kalbos modelių pranašumus

Rytų Kinijos pedagoginio ir Fudano universitetų tyrėjai paskelbė tyrimą „Byte Language Models“. Palyginus modelius iki 3 mlrd. parametrų, nustatyta, kad didėjant modeliui baitų modeliai pranoksta įprastus, žodžių dalimis paremtus modelius, ypač užduotyse, kur svarbios atskiros raidės ir tekstas vaizduose: viename smulkaus teksto suvokimo teste didžiausias baitų modelis surinko 99,9 proc., o įprastas – 80,8 proc. Tyrėjai taip pat pastebėjo, kad baitų modeliai patys išmoksta jungti simbolius į didesnius teksto vienetus.