F\u00f6r att utmana f\u00f6rest\u00e4llningen om att ChatGPT och andra avancerade spr\u00e5kmodeller \u00e4r n\u00e4rmast magiska, gav v\u00e5r kollega Jerker oss nyligen en genomg\u00e5ng av flera grundl\u00e4ggande komponenter som g\u00f6r dessa AI-teknologier m\u00f6jliga. Bland dessa komponenter n\u00e4mndes “context”, “embeddings” och “attention”, vilka ligger till grund f\u00f6r modellernas f\u00f6rm\u00e5ga att generera naturligt och precist spr\u00e5k. <\/p>\n\n\n\n
I v\u00e5rt senaste inl\u00e4gg diskuterade vi “context”, som hj\u00e4lper modellen att f\u00f6rutse vilket svar den ska ge dig. Nu ska vi g\u00e5 vidare till att utforska “tokenization”, som omvandlar dina skrivna ord till f\u00f6rst\u00e5bara siffror f\u00f6r modellen, samt “embeddings”, vilka f\u00e5ngar den spr\u00e5kliga betydelsen av ord och deras relationer. <\/p>\n\n\n\n
Innan v\u00e5r “context\u201d kan bearbetas av modellen m\u00e5ste den f\u00f6rst genomg\u00e5 n\u00e5got som kallas tokenisering eller “tokenization”. Detta \u00e4r den process d\u00e4r text, som vi m\u00e4nniskor kan f\u00f6rst\u00e5, \u00f6vers\u00e4tts till siffror som LLM:en sedan kan arbeta med. <\/p>\n\n\n\n
Exempel: Om vi tar meningen “This is a tokenized context” och tokeniserar den med GPT-4 (olika spr\u00e5kmodeller har olika tokenisering) blir utfallet f\u00f6ljande sex siffror: <\/p>\n\n\n\n
2028(This), 374( is), 264( a), 4037( token), 1534(ized), 2317( context). <\/p>\n\n\n\n
N\u00e4r jag skriver ovanst\u00e5ende mening ser allts\u00e5 GPT-4 f\u00f6ljande token: \u201c2028 374 264 4037 1534 2317\u201d. Tokeniseringen \u00e4r en avg\u00f6rande optimering f\u00f6r att g\u00f6ra kontexten l\u00e4ttare att hantera. Utan denna process skulle det vara f\u00f6r m\u00e5nga siffror att bearbeta, vilket skulle f\u00f6rs\u00e4mra modellens effektivitet. <\/p>\n\n\n\n
Efter tokeniseringen kan tokens sedan omvandlas till \u201cembeddings\u201d. Embeddings f\u00e5ngar den spr\u00e5kliga betydelsen av olika ord och deras relation till varandra. Detta m\u00f6jligg\u00f6r en djupare f\u00f6rst\u00e5else f\u00f6r spr\u00e5kliga m\u00f6nster och sammanhang, vilket \u00e4r kritiskt f\u00f6r att AI-modellen ska kunna generera begripligt inneh\u00e5ll. <\/p>\n\n\n\n
Exempel: T\u00e4nk dig att varje ord har en slags kod, en “embedding”, som representerar dess betydelse. Om vi har koden f\u00f6r ordet “kung” och sedan tar bort koden f\u00f6r “man” och l\u00e4gger till koden f\u00f6r “kvinna”, s\u00e5 hamnar vi n\u00e4ra koden f\u00f6r “drottning”. Detta beror p\u00e5 att embeddings f\u00e5ngar de spr\u00e5kliga relationerna mellan ord. “Kung” och “drottning” \u00e4r relaterade p\u00e5 ett s\u00e4tt som liknar relationen mellan “man” och “kvinna”. P\u00e5 detta s\u00e4tt hj\u00e4lper s\u00e5ledes embeddings AI-modeller att f\u00f6rst\u00e5 och producera spr\u00e5kligt korrekt inneh\u00e5ll. <\/p>\n\n\n\n
Avslutningsvis \u00e4r tokenisering och embeddings viktiga delar av AI-modellens effektivitet och f\u00f6rm\u00e5ga. Det \u00e4r dock v\u00e4rt att notera att medan kontext \u00e4r synligt f\u00f6r anv\u00e4ndaren, f\u00f6rblir embeddings dolda och \u00e4r en intern del av modellens funktion. Vidare \u00e4r embeddings en del av transformer-tekniken, som vi kommer g\u00e5 igenom i n\u00e4sta inl\u00e4gg. <\/p>\n","protected":false},"excerpt":{"rendered":"
F\u00f6r att utmana f\u00f6rest\u00e4llningen om att ChatGPT och andra avancerade spr\u00e5kmodeller \u00e4r n\u00e4rmast magiska, gav v\u00e5r kollega Jerker oss nyligen en genomg\u00e5ng av flera grundl\u00e4ggande komponenter som g\u00f6r dessa AI-teknologier m\u00f6jliga. Bland dessa komponenter n\u00e4mndes “context”, “embeddings” och “attention”, vilka ligger till grund f\u00f6r modellernas f\u00f6rm\u00e5ga att generera naturligt och precist spr\u00e5k. I v\u00e5rt senaste […]<\/p>\n","protected":false},"author":3,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_genesis_hide_title":false,"_genesis_hide_breadcrumbs":false,"_genesis_hide_singular_image":false,"_genesis_hide_footer_widgets":false,"_genesis_custom_body_class":"","_genesis_custom_post_class":"","_genesis_layout":""},"categories":[59],"tags":[60,63,62,66,14,65,64],"_links":{"self":[{"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/posts\/3305"}],"collection":[{"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/comments?post=3305"}],"version-history":[{"count":1,"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/posts\/3305\/revisions"}],"predecessor-version":[{"id":3306,"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/posts\/3305\/revisions\/3306"}],"wp:attachment":[{"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/media?parent=3305"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/categories?post=3305"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.scionova.com\/en\/wp-json\/wp\/v2\/tags?post=3305"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}