Bigramu Zisizowezekana: Udhaifu katika Vitambuzi-vyenye-vigezo vya BPE kwa Kiwango cha Baiti

Yaliyomo

1. Utangulizi

Utambuzi-vyenye-vigezo hutumika kama daraja muhimu kati ya maandishi yanayoweza kusomwa na binadamu na vitoksi tofauti vinavyoweza kushughulikiwa na mfumo katika mitindo mikubwa ya lugha (LLM). Utafiti wa hivi karibuni umeonyesha udhaifu mkubwa katika sehemu hii ya msingi, hasa katika vitambuzi-vyenye-vigezo vya BPE kwa kiwango cha baiti. Karatasi hii inachunguza vitoksi visivyokamilika—vitoksi visivyoweza kutafsiriwa vilivyo na baiti zisizofuatana zinazotokana na utambuzi-vyenye-vigezo wa BPE kwa kiwango cha baiti—na uwezekano wao wa kutumiwa vibaya kupitia bigramu zisizowezekana.

Udhaifu wa msingi unatokana na utegemezi mkubwa wa vitoksi visivyokamilika kwa vitoksi vya karibu kwa ajili ya utafsiri sahihi. Linapounganishwa na vitoksi visivyojulikana katika michanganyiko isiyo ya kawaida, vitoksi hivi visivyokamilika huwa vya kuvunjika na huwa na uwezekano wa kusababisha tabia za uwongo katika LLM. Utafiti wetu unaonyesha kuwa udhaifu huu unaendelea hata wakati vitoksi vinavyounda vimefunzwa vyema, jambo ambalo hutofautisha na matatizo ya vitoksi vya kiharusi yaliyogunduliwa awali.

2. Misingi ya Utambuzi-vyenye-vigezo wa BPE

2.1 Utekelezaji wa BPE kwa Kiwango cha Baiti

BPE kwa kiwango cha baiti huongeza algoriti ya jadi ya BPE kwa kufanya kazi moja kwa moja kwenye baiti zilizosimbwa kwa UTF-8 badala ya herufi za Unicode. Algoriti hii huunganisha kwa kurudia jozi za baiti au mfuatano wa baiti unaotokea mara kwa mara kulingana na fomula:

$$\text{unganisha}(x,y) = \arg\max_{(x,y) \in V} \frac{\text{hesabu}(x,y)}{\text{hesabu}(x) \cdot \text{hesabu}(y)}$$

ambapo $V$ inawakilisha msamiati wa sasa na $\text{hesabu}(x,y)$ inaashiria mzunguko wa jozi ya baiti $(x,y)$ katika mkusanyiko wa mafunzo.

2.2 Ufafanuzi wa Vitoksi Visivyokamilika

Vitoksi visivyokamilika ni vitoksi vya kiwango cha baiti ambavyo haviwezi kutafsiriwa peke yao kuwa herufi sahihi za Unicode. Vitoksi hivi vina baiti zisizofuatana ambazo zinahitaji kuchanganywa na vitoksi maalum vya karibu ili kuunda mfuatano halali wa UTF-8. Udhaifu hutokea kwa sababu:

• Vitoksi visivyokamilika havina maana ya kimaana peke yake
• Vinaonyesha utegemezi mkubwa wa muktadha kwa vitoksi vya jirani
• Mifumo yao ya baiti huunda utata wa utafsiri

3. Mbinu ya Bigramu Zisizowezekana

3.1 Mbinu ya Uundaji

Bigramu zisizowezekana ni michanganyiko iliyoundwa kwa uangalifu ya vitoksi viwili visivyokamilika ambavyo huunda jozi zisizo za kawaida. Uundaji huu hufuata kanuni hizi:

1. Chagua vitoksi visivyokamilika kutoka kwenye msamiati wa kitambuzi-vyenye-vigezo
2. Hakikisha mchanganyiko unaunda mfuatano halali wa baiti za UTF-8
3. Ongeza uwezekano wa kistatisti wa kuunganishwa kwa jozi
4. Thibitisha kuwa bigramu haionekani kwenye data ya mafunzo

3.2 Uchambuzi wa Udhaifu

Utaratibu wa udhaifu hufanya kazi kupitia njia tatu kuu:

Utata wa Kutafsiri: Vitoksi visivyokamilika huunda uhakika wa uchambuzi ambao huenea kupitia tabaka za mfumo. Uwakilishi wa kihisabati unaonyesha jinsi vekta za kuingiza kwa vitoksi visivyokamilika $e_i$ zinaonyesha tofauti kubwa zaidi:

$$\text{Tofauti}(e_i | \text{kisichokamilika}) > \text{Tofauti}(e_j | \text{kikamilifu})$$

Uvunjaji wa Kimuktadha: Muundo wa utegemezi hufanya vitoksi hivi vikuwe vya kuvunjika vinapotolewa kwenye miktadha inayotarajiwa, sawa na kutopata utulivu kumegunduliwa katika mifano ya upinzani kutoka kwa utafiti wa kuona kwa kompyuta.

4. Matokeo ya Majaribio

4.1 Viwango vya Uwongo

Majaribio yetu katika familia nyingi za LLM yanaonyesha tofauti kubwa katika viwango vya uwongo kati ya utambuzi-vyenye-vigezo wa kawaida na wa mbadala wa misemo ile ile:

4.2 Ulinganishaji wa Mitindo Mbalimbali

Kiwango cha udhaifu kinatofautiana kwa kiasi kikubwa kati ya vitambuzi-vyenye-vigezo, kama inavyoonyeshwa katika uchambuzi wetu wa kina:

5. Mfumo wa Uchambuzi wa Kiufundi

Ufahamu wa Msingi

Dhana ya utambuzi-vyenye-vigezo wa BPE kwa kiwango cha baiti, ingawa ni yenye ufanisi wa kihesabu, inaleta udhaifu wa msingi wa usanifu ambao huunda mapengo ya kimfumo katika LLM. Hii sio tu hitilafu ya utekelezaji—ni dosari ya kimuundo katika jinsi vitambuzi-vyenye-vigezo vya kisasa vinavyoshughulikia utata wa Unicode.

Mfuatano wa Kimantiki

Mnyororo wa udhaifu hufuata muundo unaotabirika: Mgawanyiko wa kiwango cha baiti → Uundaji wa kitoksi kisichokamilika → Uundaji wa utegemezi wa kimuktadha → Kutumiwa kwa uwezekano usio wa kistatisti → Kusababisha uwongo. Mnyororo huu unaonyesha kuwa utambuzi-vyenye-vigezo sio tu usindikaji wa awali—ni tabaka muhimu ya usalama.

Nguvu na Mapungufu

Nguvu: Mbinu ya utafiti ni madhubuti, ikiwa na uthibitishaji wa mitindo mbalimbali na vipimo vya kiasi. Dhana ya bigramu isiyowezekana inatoa njia maalum ya shambulio kwa ajili ya kujaribu uthabiti wa kitambuzi-vyenye-vigezo.

Mapungufu: Karatasi hii haikazi mkazo kwa kutosha upande wa uchafuzi wa data ya mafunzo. Michanganyiko mingi "isiyowezekana" huenda ikawa inaakisi muundo halali lakini nadra wa maandishi ya lugha nyingi badala ya vifaa tu.

Ufahamu Unaoweza Kutekelezwa

Wasanidi programu wa LLM lazima wachukue vitambuzi-vyenye-vigezo kama sehemu muhimu za usalama, sio tu zana za usindikaji wa awali. Tekeleza ukaguzi wa usahihi wa utambuzi-vyenye-vigezo wakati wa kukimbia, omba mbinu mchanganyiko za utambuzi-vyenye-vigezo, na fanya majaribio ya upinzani yanayolenga hasa michanganyiko ya vitoksi visivyokamilika.

Uchambuzi wa Asili: Dhana ya Usalama wa Utambuzi-vyenye-vigezo

Utafiti huu hubadilisha kimsingi jinsi tunavyopaswa kufikiria kuhusu utambuzi-vyenye-vigezo katika mazingira ya usalama wa LLM. Matokeo yanaonyesha kuwa vitambuzi-vyenye-vigezo vya BPE kwa kiwango cha baiti huunda udhaifu wa kimfumo unaozidi usanifu wa mfumo binafsi, ukikumbusha udhaifu wa msingi uliogunduliwa katika mifumo ya awali ya usimbu fiche. Tofauti na matatizo yaliyorekodiwa vyema kuhusu vitoksi vya kiharusi—ambavyo huathiri hasa vitoksi visivyofunzwa vyema—udhaifu wa kitoksi kisichokamilika unaendelea hata katika mitindo iliyofunzwa vyema, jambo ambalo linaonyesha tatizo la kina la usanifu.

Kupunguzwa kwa 90% kwa viwango vya uwongo wakati wa kutumia utambuzi-vyenye-vigezo mbadala kwa misemo ile ile ya pembejeo ni hasa hatari. Ukubwa huu wa uboreshaji unaonyesha kuwa utekelezaji wa sasa wa BPE kwa kiwango cha baiti unaingiza msukumo mkubwa kwenye mfuatano wa usindikaji wa mfumo. Linapolinganishwa na fasihi ya uthabiti wa upinzani katika uona wa kompyuta—ambapo udhaifu kama huo wa usanifu umesomwa kwa kina—tabaka la utambuzi-vyenye-vigezo linajitokeza kama sawa na NLP ya uovu wa mpaka wa maamuzi katika vitambuzi-vyenye-vigezo vya picha.

Kinachofanya utafiti huu kuwa wa kuvutia hasa ni muunganisho wake na wasiwasi pana zaidi wa usalama wa Unicode. Shirikisho la Unicode limewahi kuonya kuhusu vitu vinavyochanganyika na udhaifu wa kawaida, lakini kazi hii inapanua wasiwasi huo hadi kwenye kikoa usanifu wa neva. Ugunduzi kwamba msamiati mkubwa wa Command-R-v01 unahusiana na bigramu nyingi zaidi zisizokamilika (1.47M ikilinganishwa na 71k katika Llama3.1) inaonyesha kuwa kuongeza ukubwa wa msamiati bila kushughulikia suala hili la msingi kunaweza kuongeza eneo la shambulio.

Kwa kuangalia mbele, utafiti huu unapaswa kuhimisha mabadiliko ya dhana kuelekea "utambuzi-vyenye-vigezo wa kwanza-kwa-usalama" sawa na kukubalika kwa jamii ya usimbu fiche wa vitu vya msingi vilivyothibitishwa kuwa salama. Mbinu mbadala za utambuzi-vyenye-vigezo ambazo hupunguza kwa kiasi kikubwa uwongo zinaelekeza kuelekea mbinu mchanganyiko ambazo huchanganya ufanisi wa BPE kwa kiwango cha baiti na uthabiti wa mbinu za kiwango cha herufi au kipande cha neno. LLM zinapokuwa zinatumiwa katika matumizi muhimu ya usalama, kushughulikia udhaifu huu wa kiwango cha utambuzi-vyenye-vigezo hakuwa tu wasiwasi wa kitaaluma bali ni jambo la msingi la vitendo.

6. Mwelekeo wa Baadaye na Matumizi

Matumizi ya Kinga

• Viwango vya Nguvu vya Utambuzi-vyenye-vigezo: Uundaji wa mbinu za utambuzi-vyenye-vigezo ambazo hupunguza vitoksi visivyokamilika huku zikiendelea kudumisha ufanisi
• Mifumo ya Kijaribio ya Upinzani: Mifumo ya kiotomatiki ya kugundua udhaifu wa utambuzi-vyenye-vigezo wakati wa ukuzaji wa mfumo
• Ufuatiliaji wa Wakati wa Kukimbia: Ugunduzi na upunguzaji wa mashambulio ya bigramu zisizowezekana katika mifumo ya uzalishaji

Fursa za Utafiti

• Uchambuzi wa lugha mbalimbali wa usambazaji wa vitoksi visivyokamilika
• Unganisho na uzalishaji ulioimarishwa kwa utaftaji ili kupunguza uovu wa muktadha
• Uundaji wa mbinu za uthibitishaji rasmi za sifa za usalama za kitambuzi-vyenye-vigezo

Athari ya Sekta

Matokeo yana athari za haraka kwa:

• Vipimo vya tathmini ya usalama wa LLM
• Usanifu wa kitambuzi-vyenye-vigezo katika mitindo ya kizazi kijacho
• Mifumo ya udhibiti kwa usalama wa mfumo wa AI

7. Marejeo

1. Jang, E., Lee, K., Chung, J.-W., Park, K., & Shin, S. (2025). Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers. arXiv:2410.23684v2
2. Rumbelow, J., & Watkins, M. (2023). SolidGoldMagikarp: A analysis of glitch tokens in large language models.
3. Land, K., & Bartolo, A. (2024). Embedding layer heuristics for identifying glitch tokens.
4. Wang, X., et al. (2024). Adversarial questions through tokenizer segmentation attacks.
5. Petrov, A., et al. (2023). Tokenization fairness in multilingual models.
6. Geiping, J., et al. (2024). Jailbreaking through token manipulation.
7. Unicode Consortium. (2024). Unicode Security Considerations. Unicode Technical Report #36
8. Vaswani, A., et al. (2017). Attention is All You Need. NeurIPS 2017