Mae cywiriad yn edrych fel dyblyg
Async Digital Ltd Caerdydd, DU
Rwy’n cadw set o ffeiliau testun bach y mae fy asiantau codio yn ysgrifennu iddynt ac yn eu darllen yn ôl rhwng sesiynau. Roedd un ohonynt yn disgrifio sut mae fy mheiriant fy hun wedi ei osod at ei gilydd, ac am sawl wythnos dywedodd y ffeil honno’r gwrthwyneb i’r gwir. Ni chodwyd baner gan ddim. Cefais hyd iddo â llaw, ar amheuaeth, yng nghanol gwaith cwbl arall. Mae papur a gyhoeddwyd ym mis Mehefin yn mesur pam mae hynny’n digwydd, ar system nad yw’n rhannu dim â fy un i heblaw un siâp: mae’r gwiriad sy’n gwrthod ysgrifeniadau bron-ddyblyg yn rhedeg cyn y gwiriad sy’n gweld gwrthddywediadau, ac mae cywiriad bron yn union yr un testun â’r peth y mae’n ei gywiro. Eu cyfradd ganfod bennawd oedd 0.490, sy’n darllen fel canfodwr wedi torri. Roedd y canfodwr yn gadarn. Datrysodd bob gwrthddywediad y cafodd ei adael i’w weld, 90 pâr allan o 90. Ni chyrhaeddodd 206 o’r 400 ysgrifen mohono erioed.
Rwyf wedi treulio’r flwyddyn hon yn ceisio darganfod beth sy’n torri mewn gwirionedd pan roddwch waith go iawn i asiantau AI, yn hytrach na’r hyn y dywed pobl sy’n torri. Cyfrifais fis ohono unwaith. Cymerodd hwn bapur i mi ei weld, ac roedd wedi bod yn eistedd yn fy ngosodiad fy hun drwy’r amser.
Y ffeil a ddywedodd y gwrthwyneb
Mae fy asiantau codio yn dechrau pob sesiwn heb wybod dim am yr un ddiwethaf. Felly rwy’n rhoi rhywle iddynt roi pethau. Ffeiliau markdown bach, tua un ffaith yr un, wedi eu hysgrifennu gan ba sesiwn bynnag a ddysgodd y ffaith ac wedi eu darllen yn ôl gan ba sesiwn bynnag sydd eu hangen yn ddiweddarach. Dyma’r peth agosaf sydd ganddynt at gofio ddoe.
Nid oes dim ohono’n glyfar, ac mae hynny’n bwysig fel mae’n digwydd. Nid y rhan glyfar a fethodd.
Rwy’n gweithio ar draws tair ystorfa git ar unwaith. Roedd un ffeil yn y storfa’n cofnodi faint ohonynt y mae’n rhaid i sesiwn eu hymrwymo cyn iddi orffen. Dywedodd un.
Felly byddai unrhyw sesiwn a ymddiriedodd ynddi’n ymrwymo’r un ystorfa honno, yn gadael y ddwy arall yn fudr, ac yn dweud wrthyf fod gwaith y diwrnod wedi ei gadw.
Roedd y ffeil honno wedi bod yn anghywir ers wythnosau. Cefais hyd i’r gwall drwy gyfrif yr ystorfeydd fy hun, ar amheuaeth, wrth wneud rhywbeth arall.
Nid y gwall yw’r rhan ddiddorol. Mae unrhyw beth a ysgrifennir i lawr yn mynd yn hen, ac roeddwn yn gwybod hynny’n barod. Y rhan ddiddorol yw i’r cywiriad bron â pheidio â goroesi chwaith.
Mae fy asiantau’n dilyn cyfarwyddyd sy’n swnio’n amlwg gywir. Cyn cadw ffaith newydd, gwiriwch a oes ffeil sy’n bodoli eisoes yn ei chynnwys, a diweddarwch y ffeil honno yn hytrach nag ychwanegu copi tebyg. Hebddo, mae’r storfa’n llenwi â deuddeg ymadrodd ychydig yn wahanol am yr un peth ac yn peidio â bod yn ddarllenadwy.
Nawr daliwch gywiriad i fyny yn erbyn y cyfarwyddyd hwnnw. Mae cywiriad am yr un pwnc â’r peth y mae’n ei gywiro. Mae’n ailddefnyddio’r rhan fwyaf o’r un geiriau. Mae, yn ôl pob prawf y gall y cyfarwyddyd hwnnw ei gymhwyso, eisoes wedi ei gynnwys.
Goroesodd y ffeil am fod sesiwn flaenorol wedi dewis, â llaw, gadw’r hen destun anghywir yn weladwy o dan y testun cywir newydd, gyda dýddiad arno. Arfer oedd hynny, nid mecanwaith. Ni fyddai dim wedi atal sesiwn fwy taclus rhag plygu’r ddau at ei gilydd a gadael pa un bynnag oedd orau ganddi.
Y rhif sy’n pwyntio at y gydran anghywir
Ym mis Mehefin, cyhoeddodd Yanki Margalit a phedwar cydawdur Governed Shared Memory for Multi-Agent LLM Systems, sef mesuriad o wasanaeth cof a rennir a ddefnyddir gan fflydoedd o asiantau. Rhagargraffiad yw’r papur, ac mae’n werth dweud yn blaen fod yr awduron yn gwerthu’r gwasanaeth a fesurwyd ganddynt. Fe’i darllenais ar y telerau hynny. Cymerais eu dadleuon pensaernïol fel barn un tîm. Cymerais eu rhifau o ddifrif, ac mae’n werth dweud pam yn hytrach na’i awgrymu. Ymrwymasant yr olion crai y tu ôl i bob ffigur. Agorasant eu hadran gyfyngiadau drwy gyfaddef eu bod yn gwerthuso eu cynnyrch eu hunain. A phan gawsant fwlch diogelwch yn y cynnyrch hwnnw, fe’i datgelwyd, ei drwsio, ac ymrwymo olion yr ailbrawf yn hytrach na honni’r trwsiad a symud ymlaen. Nid yw dim o hynny’n profi eu bod yn iawn. Mae’n dystiolaeth eu bod yn ceisio cael eu dal petaent yn anghywir, sef y mwyaf y gallwch ei ofyn gan bapur â diddordeb masnachol ynghlwm.
Mae gan eu gwasanaeth ddau fecanwaith ar y llwybr ysgrifennu. Mae un yn gwrthod ysgrifen sy’n edrych yn rhy debyg i rywbeth sydd eisoes wedi ei storio. Mae’r llall yn sylwi pan fo ffaith newydd yn gwrthddweud hen un ac yn nodi’r hen un fel un sydd wedi ei disodli. Mae’r cyntaf yn rhedeg ar unwaith, cyn i’r ysgrifen lanio. Mae’r ail yn rhedeg wedyn, yn y cefndir.
Felly gall y cyntaf daflu ysgrifen i ffwrdd cyn i’r ail ei gweld o gwbl.
Rhoesant 400 o ysgrifeniadau gwrthgyferbyniol bwriadol iddo. Gwrthododd y gwiriad bron-ddyblyg 206 ohonynt. Eu cyfradd ganfod gyhoeddedig yw 0.490, a phetaech yn darllen y rhif hwnnw’n unig byddech yn mynd i ailysgrifennu’r canfodwr gwrthddywediadau.
Byddech yn trwsio’r rhan a weithiodd. O gofio bod y ddwy ysgrifen wedi glanio mewn gwirionedd, datrysodd y canfodwr gwrthddywediadau nhw’n gywir 90 gwaith allan o 90.
Ni thorrodd y canfodwr erioed. Cafodd ei lwgu.
Yr hyn sy’n gwneud hyn yn fwy na nam mewn un cynnyrch yw bod y methiant wedi ei adeiladu i mewn i’r siâp yn hytrach nag i’r trothwy. Mae gwrthddywediad a fynegir mewn iaith gyffredin bron yn union yr un testun. Mae rhywun yn ysgrifennu bod gwasanaeth yn rhedeg mewn un rhanbarth, yna’n ddiweddarach yn ysgrifennu ei fod yn rhedeg mewn un arall. Yr un pwnc, yr un ymadrodd, un gair yn wahanol ar y diwedd. Yr ysgrifeniadau mwyaf gwerth eu dal yw’r rhai y mae gwiriad tebygrwydd fwyaf hyderus ei fod wedi eu gweld o’r blaen.
Efallai nad yw eich gwarchodwr yn edrych fel gwarchodwr
Dyma pam rwy’n meddwl bod hyn yn cyrraedd ymhellach nag un biblinell un gwerthwr.
Cydran go iawn yw eu gwiriad dyblygion, â throthwy a chôd gwall. Brawddeg mewn anogwr yw fy un i, heb y naill na’r llall, a hyd nes i mi ddarllen eu papur ni fyddwn wedi ei galw’n warchodwr o gwbl. Mae fy mrawddeg yn gwneud yr un gwaith â’u cydran nhw, ac mae’n methu yn yr un modd.
Os ydych yn gwifrio cof i mewn i asiantau ar hyn o bryd, mae’n debyg iawn fod gennych un hefyd. Dyma’r llinell sy’n dweud am wirio am gofnod sy’n bodoli cyn ysgrifennu un newydd. Gallai fod yn sgôr tebygrwydd fector, neu’n gyfatebiaeth enw ffeil, neu’n gyfarwyddyd i fodel ddefnyddio ei farn. Nid yw’r mecanwaith o bwys. Yr hyn sydd o bwys yw bod rhywbeth yn penderfynu bod ysgrifen newydd yn ddiangen, a bod y penderfyniad hwnnw’n digwydd cyn i ddim ofyn a yw’r ysgrifen newydd yn anghytuno â’r hyn sydd yno’n barod.
Lle mae honno’n drefn, cywiriadau yw’r ysgrifeniadau mwyaf tebygol o gael eu gollwng, ac mae eu gollwng yn dawel. Mae’r storfa’n edrych yn iach. Mae’n fyrrach, sef fel arfer yr union beth roeddech yn ei optimeiddio. Mae’r hen ffaith yn dal yno, yn dal yn hyderus, yn dal i gael ei darllen i mewn i bob sesiwn sy’n gofyn.
Rwy’n cael hyn yn fwy anghyfforddus nag asiant yn rhithweld, oherwydd nid oes allbwn anghywir i’w ddal. Ymddygodd popeth i lawr yr afon yn gywir, o ystyried yr hyn a ddywedwyd wrtho.
Dyma’r eildro i mi daro ar yr un siâp. Ddeg diwrnod yn ôl ysgrifennais am fanyleb ffeilio tocynnau lle roedd ei thri gwarchodwr i gyd yn gofyn a oedd canfyddiad yn wir, ac nid oedd yr un yn gofyn a oedd yn werth ei ffeilio. Rhan wahanol o’r system, methiant unfath. Mae’r gwiriad yn rhedeg yn union fel y’i hadeiladwyd, ac nid y cwestiwn y mae’n ei ofyn yw’r cwestiwn a fyddai wedi dal y broblem.
Trydydd trwsiad, a pham y gallaf ei ddefnyddio
Mae’r papur yn cynnig dau atgyweiriad. Rhedeg y gwiriad gwrthddywediadau yn gyntaf pan fo ysgrifen yn cario digon o strwythur i wneud hynny’n bosibl, neu lacio’r trothwy dyblygion ar gyfer yr ysgrifeniadau hynny, gan mai’r arwydd strwythurol yw’r un craffach. Mae’r ddau’n gadarn ac mae’r ddau’n ymwneud ag aildrefnu peiriannau.
Mae trydydd y gallaf i ei gyrraedd ac na allant hwy, ac mae’n dibynnu ar bwy sy’n ysgrifennu.
Rhaglen fympwyol yn galw API yw eu hysgrifennwr nhw. Mae’r rhaglen honno’n trosglwyddo cofnod, ac ni ellir gofyn iddi beth yw ystyr y cofnod, am nad yw’n gwybod. Model iaith yw fy un i, un sydd newydd ddarllen y ffeil sy’n bodoli ac ar fin ei newid. Gellir gofyn un cwestiwn i fodel cyn i’r rheol ddyblygion gymhwyso: a yw hyn yn ymestyn yr hyn sydd yno, neu’n ei wrthddweud?
Ymestyn, ac mae’r rheol arferol yn dal. Diweddaru yn ei le, dim seremoni. Gwrthddweud, ac mae’n ddigwyddiad hollol wahanol. Mae’r hen honiad yn aros yn weladwy â dýddiad arno ac mae’r un newydd yn mynd uwch ei ben, fel na all sesiwn ddiweddarach ail-greu’r ateb anghywir yn dawel o’r un ffynhonnell a’i cynhyrchodd y tro cyntaf.
Mae hynny’n troi’r arfer a achubodd fy ffeil yn rhywbeth y mae’r system yn ei wneud yn fwriadol. Rwyf wedi ei ysgrifennu i lawr fel gwaith i’w wneud yn hytrach na gwaith sydd wedi ei wneud, ac nid wyf am esgus fy mod yn gwybod eto a yw’n dal. Mae cyfarwyddyd yn beth gwannach na throthwy. Mae’n tanio pan fo model yn barnu y dylai, sef yn union y briodwedd sy’n ei wneud yn rhad ac yn union y briodwedd sy’n ei wneud yn annibynadwy. Byddaf yn gwybod ymhen mis.
Yr hyn rwy’n weddol sicr ohono’n barod yw’r diagnostig. Pan fo rhywbeth mewn gosodiad asiant yn edrych fel ei fod yn methu hanner yr amser, gwiriwch a yw’n methu neu a yw’n cael ei fwydo hanner yr amser. Mae’r rheini’n galw am drwsiadau cwbl wahanol, a dim ond un ohonynt sy’n weladwy yn y rhif pennawd.
Enw’r gosodiad y digwyddodd hyn ynddo yw Ordova. Nid oes dim i’w lawrlwytho ac nid wyf yn ei werthu. Rwy’n ysgrifennu i lawr sut mae’n gweithio wrth fynd, ac mae’r rhan honno’n gyhoeddus.
Fy stori i yw’r digwyddiad a digwyddodd. Cefais hyd i’r ffeil anghywir yn union fel y disgrifir uchod, drwy gyfrif yr ystorfeydd fy hun ar amheuaeth, wrth wneud rhywbeth arall.
Nid fy mhapur i yw’r papur. Dyfynnir pob ffigur yn §2 ohono, ac mae’r ddolen yn mynd at y crynodeb yn hytrach na’r PDF fel y gallwch eu gwirio yn erbyn y ffynhonnell yn hytrach na chymryd fy ngair.
Ysgrifennais hwn gydag asiant AI, sef yr un math o offeryn ag y mae’r nodyn amdano. Cefais hyd i’r papur, dewisais y ddadl a golygais y canlyniad. Daeth y trydydd atgyweiriad yn §4 allan o’r sesiwn waith honno yn hytrach nag allan o’r papur.
O ystyried y pwnc, ei ddweud yw’r lleiaf y gallaf ei wneud.