Open source AI: daar kun je niet omheen

De toekomst van generative AI ligt niet alleen in handen van grote techbedrijven. Uiteindelijk wordt steeds vaker het verschil gemaakt met de collectieve kracht van de open source community.

Komst van ChatGPT

Toen Google in 2017 de zogeheten Transformer architectuur lanceerde, hadden we nauwelijks nog besef van de grote impact op het AI-landschap. Dat veranderde drastisch met de komst van ChatGPT. Tot dan toe had geen andere applicatie zoveel gebruikers voor zich weten te winnen in zo’n korte periode. Meer dan 1 miljoen gebruikers in vijf dagen tijd was niet weggelegd voor bijvoorbeeld TikTok. Dat populaire platform had negen maanden nodig om hetzelfde aantal te bereiken. Twee maanden na de lancering had de slimme contentgenerator ChatGPT al meer dan 100 miljoen gebruikers. Instagram deed daar tweeënhalf jaar over. En dat is nog maar het begin. Het einde van de groei is nog lang niet in zicht. Voor vele tekstschrijvers, klantondersteuners en legio andere creatievelingen is het ongekende taalbegrip van ChatGPT nu al absoluut onmisbaar gereedschap.

Belang open souce community

Bovendien onderstreept de tijdelijke alleenheerschappij van ChatGPT het belang van de open source community. Non-profit onderzoeksteams en start-ups zoals EleutherAI, Together.AI, het Technology Innovation Instituut (TII) en Mistal.AI zijn drijvende krachten achter de innovatie en samenwerking binnen de AI-gemeenschap. Zo speelt het AI-community platform HuggingFace een belangrijke rol in het delen van open source modellen, datasets en training codes. Dat alles versterkt de cultuur van actief kennis delen en publiekelijk met elkaar problemen oplossen.

Natuurlijk is er sprake van kinderziektes. Toch doen huidige open source modellen inmiddels niet veel onder voor die van de grote commerciële techbedrijven. Met TII’s Falcon en Mistral.AI’s Mixtral modellen rivaleert open source op het vlak van reguliere benchmarks met de modellen van bedrijven als OpenAI, Google en Anthropic. Met de lancering van LLaMa2 heeft techgigant Meta bijvoorbeeld ook voor de open source route gekozen. Volgens het HuggingFace platform ligt de kwaliteit van Falcon180B op dit moment ergens tussen GPT-3.5 (default model van ChatGPT) en GPT-4. Het eind vorig jaar gelanceerde Mixtral is meer dan drie keer kleiner dan Falcon180B. Ondanks dat presteert Mixtral beter op het merendeel van de benchmarks. Daarmee worden open source modellen steeds aantrekkelijker voor bedrijven die betaalbare AI-oplossingen willen ontwikkelen. Publieke softwarelicenties zorgen eveneens voor meer adoptie en integratie van open source modellen in verschillende marktsegmenten voor uiteenlopende toepassingen. Het AI-landschap wordt op die manier meer en meer gevormd door het succes van de open source community. Zij hebben in korte tijd een grote inhaalslag gemaakt waarmee de open source community zich nu echt kan meten met de gevestigde marktleiders in de techindustrie. Daarmee wordt bewezen dat technologische vooruitgang niet alleen voortkomt vanuit economische belang. Oprechte samenwerking en toegankelijkheid zorgen ook voor diezelfde vooruitgang. 

Large Language Modellen (LLM) 

De vraag is hoe de open source community zich zo snel heeft kunnen meten met de grote techbedrijven. Zowel de kwaliteit, snelheid, privacy en het op maat maken van Large Language Modellen (LLMs) zijn in rap tempo verbeterd. LLMs zijn nu toegankelijk voor iedereen. Daarmee wordt een concurrentielandschap gebaseerd op kennis delen steeds eerlijker.
De ontwikkeling van technologische ontwikkelingen zoals Low-Rank Adaptation (LoRa) heeft flink bijgedragen aan de toenemende kwaliteit van LLMs omdat het aantal te trainen parameters op die manier flink beperkt wordt. De open source community heeft zo de weg vrijgemaakt voor het laagdrempelig fine-tunen van LLMs. Dat kan nu zelfs al met de hardware van een reguliere laptop. Dankzij deze doorbraak kan elke willekeurige consument, startup of klein bedrijf zelf aan de gang met LLMs. Zo wordt AI echt toegankelijk voor iedere burger.

Het gebruik van innovatieve zogeheten quantization technieken als 4-bit en 1-bit quantization helpt daar natuurlijk ook bij. De omvang van LLMs wordt hiermee drastisch verminderd. Goed voor minder aanslag op opslag en uiteindelijk ook op het videogeheugen van GPU’s. Deze techniek laat een LLM op eigen hardware werken. Ideaal voor iedereen die op een veilige manier wil experimenteren met nieuwe en vooraanstaande AI-technologie.

Data en LLM

Ook data speelt een cruciale rol bij de LLM-wedloop. LLMs worden immers op grote hoeveelheden data getraind. Daarom is de beschikbaarheid van een grote databerg van groot belang voor de ontwikkeling van LLMs. Gelukkig is op dat vlak eveneens veel vooruitgang geboekt. Zo zijn steeds meer openbare datasets voorhanden die van hoogwaardige kwaliteit zijn. Denk aan de RedPajama dataset van Together.ai en dataset OASST van OpenAssistant.

Democratiseren van AI

Last but not least, de indrukwekkende prestaties die samengaan met de relatief beperkte resources zijn echt het meest opmerkelijke aspect van de huidige open source modellen. Je kan wel stellen dat de open source community staat voor het democratiseren van AI op weg naar een nieuw innovatietijdperk. Kortom, vooroplopen betekent het omarmen van de open source community. Daar kun je niet meer omheen.