Scinonova logo

AI

Magin bakom AI:n – Destillering

by

För startups kan AI vara en game changer – men stora språkmodeller (LLM:er) är ofta kostsamma och kräver mycket datorkraft. En lösning är destillering, en teknik som komprimerar AI-modeller för att göra dem mer effektiva utan att drastiskt försämra prestandan. Det innebär att även mindre företag kan använda avancerad AI utan skyhöga molnkostnader.

Vad innebär detta för din startup?

🔸 Lägre kostnader: Mindre AI-modeller minskar behovet av dyra molntjänster.
🔸 Bättre skalbarhet: AI kan växa med din verksamhet utan stora kostnader.
🔸 Snabbare AI: Responsiva system förbättrar användarupplevelsen.
🔸 AI på mobila enheter: Möjliggör AI på mobiler och IoT utan molnberoende.
🔸 Smartare AI: Effektiva reasoning-modeller för komplex problemlösning.

Destillering fungerar genom att en mindre modell (studenten) lär sig från en större modell (läraren), ofta genom att träna på lärarens output. Detta gör att startups kan bygga optimerade AI-lösningar som presterar på topp – utan att bränna hela budgeten på infrastruktur.

💫 Framtidens AI är kompakt, snabb och smart – är din startup redo att ta steget?

Kontakta oss för mer information!

PINK Sunday @ Scionova 2024

by

This Pink Sunday with Scionova, we’ll dive into the world of testing! In this interactive workshop, you’ll learn essential testing methods and apply them to a real Flutter app. Be sure to bring your laptop for a hands-on experience. The brilliant Zara Zamani, CEO at Lucky Kat Studios and Co-Founder of Neoki, will also be joining us to hold this Pink Sundays inspirational session – don’t miss out. Grab the opportunity to level up your development game, connect with fellow programming enthusiasts, and improve your testing skills.

WELCOME!

Pink Programming & Scionova
https://www.pinkprogramming.se
https://www.scionova.com/

Pink Sundays are our popular coding events where women and non-binary people can meet up, code, and network together.

SIGN ME UP!

Have you been curious about testing but don’t know where to start? This Pink Sunday with Scionova AB, our new partner, we’ll explore the world of testing! In this hands-on workshop, essential testing methods will be explored, applying these concepts in a real Flutter app. Hone your skills & connect with fellow programming enthusiasts, see you there!

WS-holder & Speaker: Kelly Bentes & Zara Zamani
Event Managers: Réka Madarász & Lisa Sjögren
Scionova host: Camilla Stanney

Read more about Scionova x Pink Programming partnership here

Magin bakom AI:n, LLM pt.2 

by

För att utmana föreställningen om att ChatGPT och andra avancerade språkmodeller är närmast magiska, gav vår kollega Jerker oss nyligen en genomgång av flera grundläggande komponenter som gör dessa AI-teknologier möjliga. Bland dessa komponenter nämndes “context”, “embeddings” och “attention”, vilka ligger till grund för modellernas förmåga att generera naturligt och precist språk.  

I vårt senaste inlägg diskuterade vi “context”, som hjälper modellen att förutse vilket svar den ska ge dig. Nu ska vi gå vidare till att utforska “tokenization”, som omvandlar dina skrivna ord till förståbara siffror för modellen, samt “embeddings”, vilka fångar den språkliga betydelsen av ord och deras relationer. 

Innan vår “context” kan bearbetas av modellen måste den först genomgå något som kallas tokenisering eller “tokenization”. Detta är den process där text, som vi människor kan förstå, översätts till siffror som LLM:en sedan kan arbeta med.  

Exempel: Om vi tar meningen “This is a tokenized context” och tokeniserar den med GPT-4 (olika språkmodeller har olika tokenisering) blir utfallet följande sex siffror:  

 2028(This), 374( is), 264( a), 4037( token), 1534(ized), 2317( context).  

När jag skriver ovanstående mening ser alltså GPT-4 följande token: “2028 374 264 4037 1534 2317”. Tokeniseringen är en avgörande optimering för att göra kontexten lättare att hantera. Utan denna process skulle det vara för många siffror att bearbeta, vilket skulle försämra modellens effektivitet. 

Efter tokeniseringen kan tokens sedan omvandlas till “embeddings”. Embeddings fångar den språkliga betydelsen av olika ord och deras relation till varandra. Detta möjliggör en djupare förståelse för språkliga mönster och sammanhang, vilket är kritiskt för att AI-modellen ska kunna generera begripligt innehåll. 

Exempel: Tänk dig att varje ord har en slags kod, en “embedding”, som representerar dess betydelse. Om vi har koden för ordet “kung” och sedan tar bort koden för “man” och lägger till koden för “kvinna”, så hamnar vi nära koden för “drottning”. Detta beror på att embeddings fångar de språkliga relationerna mellan ord. “Kung” och “drottning” är relaterade på ett sätt som liknar relationen mellan “man” och “kvinna”. På detta sätt hjälper således embeddings AI-modeller att förstå och producera språkligt korrekt innehåll. 

Avslutningsvis är tokenisering och embeddings viktiga delar av AI-modellens effektivitet och förmåga. Det är dock värt att notera att medan kontext är synligt för användaren, förblir embeddings dolda och är en intern del av modellens funktion. Vidare är embeddings en del av transformer-tekniken, som vi kommer gå igenom i nästa inlägg. 

Magin bakom AI:n, LLM pt.1

by

Nyligen fick vi en grundlig genomgång av de avancerade funktionerna bakom ett av de mest omtalade AI-verktygen just nu: LLM:er (Large Language Models), såsom ChatGPT. Sammanfattningsvis är en LLM en typ av AI som tränats för att till exempel skapa, översätta och/eller sammanfatta stora mängder text.  

För att utmana föreställningen om LLM:er som nästintill magiska ting gick vår kollega Jerker igenom flera nyckelkomponenter som möjliggör AI:ns funktion, däribland “kontext”, “embeddings” och “attention”. Dessa utgör grundläggande byggstenar som ger LLM:en sin förmåga att generera naturligt språk på ett precist och nyanserat sätt.  

“Kontext” innebär både den information du ger modellen i chatten samt den information modellen själv genererat i samtalet. Kontexten gör det möjligt för LLM:en att bättre prediktera svar, eftersom modellen vet inom vilket sammanhang den ska hämta information ifrån. När du startar en ny chatt ger du modellen en ny kontext, och LLM:en börjar sedan om med att utgå från den nya information du delger.  

Kontexten är således något vi kan ändra för att påverka vad modellen genererar. Väldigt små skillnader i kontext kan innebära stora skillnader i output. Om du exempelvis skriver “Jag korsade vägen för att komma till banken.” kommer LLMen ge dig en helt annan output än om du istället skriver “Jag korsade floden för att komma till banken”.  

Förutom den kontext du ger den har ChatGPT en förutbestämd grundkontext (kallad en “system prompt”). Denna grundläggande kontext gör att programmet vet att det är en hjälpsam AI-assistent som finns till för att generera svar till dig som användare. Det finns möjlighet att ändra denna ‘system prompt’, beroende på vad du har för interface i modellen. 

Att få en djupare förståelse för hur dessa verktyg fungerar hjälper oss inte bara att upptäcka deras potential och begränsningar, utan också att utforska nya möjligheter och anpassningar av tekniken.  

I nästa inlägg kommer vi att gå igenom embeddings, en av modellens effektiviseringsverktyg där ord omvandlas till siffror.