Ei ddal yn iawn
Async Digital Ltd Caerdydd, DU
Mae'n ymddangos bod dwy sgwrs o gynhadledd AI Engineer yn anghytuno am harneisiau asiant. Cymerodd Tejas Kumar o IBM GPT-3.5 Turbo a gwneud iddo wneud gwaith go iawn drwy ysgrifennu cod o'i gwmpas, heb newid yr anogiad. Mae Dex Horthy o HumanLayer yn dadlau nad oes harnais sy'n trwsio'r hyn mae ffatrïoedd meddalwedd sy'n cael eu rhedeg gan asiantau yn ei wneud i gronfa god, oherwydd bod modelau'n cael eu hyfforddi i basio profion a does dim byd yn yr hyfforddiant yn sgorio dyluniad. Rhoddais y gorau i ddarllen pob llinell o'm cod fy hun ers tro, sef yr hyn mae Horthy yn dweud bod rhaid i chi ei wneud o hyd ar gyfer unrhyw beth nad yw'n fach. Felly didolais y gwiriadau o gwmpas fy ngwaith yn ôl beth sy'n gwneud y gwirio, ac edrych ar ddau a aeth yn ddall yn dawel. Fy ateb i yw bod y sgyrsiau'n cwrdd ar un llinell, sef beth all cod ei wirio. Mae fy nghofnod fy hun yn cefnogi disgrifiad Horthy o'r mecanwaith. O ran beth i'w wneud amdano, rydw i wedi dod i farn wahanol.
Model gwan gyda chod o'i gwmpas
Yn ei sgwrs o'r enw "Harnesses in AI: A Deep Dive", adeiladodd Kumar asiant yn fyw ar y llwyfan. Ei waith oedd pleidleisio dros y stori uchaf ar Hacker News, a rhoddodd GPT-3.5 Turbo iddo yn fwriadol.
Cyrhaeddodd y rhediad cyntaf y dudalen fewngofnodi, rhoi'r gorau iddi, ac adrodd llwyddiant beth bynnag. Wnaeth e ddim cyffwrdd â'r anogiad. Ychwanegodd god plaen o gwmpas y model yn lle hynny, un darn ar y tro, gan gynnwys gwiriad bod y bleidlais wedi digwydd go iawn, nes i'r rhediad olaf weithio. Dyma .
Yn gyntaf terfyn camau a thociwr cyd-destun. Yna ffwythiant a ddarllenodd hanes offer yr asiant ei hun a gwrthod derbyn pleidlais na ddigwyddodd erioed. Methodd y rhediad hwnnw o hyd, ond rhoddodd y gorau i ddweud celwydd. Yn olaf daeth triniwr mewngofnodi a sylwodd ar y dudalen fewngofnodi a llenwi'r manylion ei hun, felly welodd y model mohonyn nhw erioed. Gweithiodd y rhediad olaf.
Ei ddiffiniad o harnais yw "everything around the model that gives it grounding in reality". Tua'r diwedd mae'n cyfeirio at OpenRAG, prosiect cod agored mae'n dweud bod IBM yn ei adeiladu.
Nid yw peirianneg harnais yn ddigon
Yn ei sgwrs o'r enw "Harness Engineering is not Enough: Why Software Factories Fail", mae Horthy yn mynd i'r afael â'r "ffatri feddalwedd heb oleuadau", lle mae asiantau'n ysgrifennu'r cod a neb yn ei ddarllen. Rhoddodd HumanLayer gynnig ar redeg asiantau fel hyn eu hunain ym mis Gorffennaf 2025, ac mae'n dweud bod asiantau'n dechrau cael trafferth mewn cronfa god ar ôl tri i chwe mis. Ei ddadl yw nad oes unrhyw faint o beirianneg harnais yn trwsio hyn, oherwydd mai problem hyfforddi yw hi. Mae modelau'n cael eu hyfforddi i basio profion, a does dim byd yn yr hyfforddiant hwnnw'n sgorio dyluniad.
Ei ateb yw dal ati i ddarllen pob llinell o unrhyw beth nad yw'n fach, a gwario'r ymdrech cyn yr adeiladu ar adolygu cynnyrch, pensaernïaeth, dylunio rhaglenni a threfn gweithredu.
Fel Kumar, mae'n cyfeirio at waith ei gwmni tua'r diwedd. Y gwahaniaeth yw bod HumanLayer yn gwerthu offer ar gyfer y llif gwaith sy'n cynllunio'n gyntaf mae'r sgwrs yn ei argymell, ac mae demo platfform y cwmni yn dilyn yr un camau.
Yr achos gorau dros Horthy
Roedd tasg Kumar yn fach ac wedi'i diffinio'n llawn. Un mewngofnodi, un clic, ac mae llwyddiant yn un ffaith y gall y cod ei chwilio. Does gan gronfa god go iawn ddim ffaith o'r fath ar gyfer "bydd y dyluniad hwn yn goroesi'r chwe mis nesaf o newidiadau". Mae dull Kumar angen ffwythiant gwirio, ac ar gyfer dyluniad does neb yn gwybod sut i ysgrifennu un.
Y ffordd amlwg o'i chwmpas yw cael model i adolygu'r cod. Mae gan Horthy ateb i hynny hefyd. Yn ei eiriau ef, "if the model knew what good code looks like, it would probably write it in the first place." Mae adolygydd a hyfforddwyd yn yr un ffordd yn etifeddu'r un man dall.
Mae hynny'n glanio'n sgwâr arna i. Mae fy nhudalen amdanaf yn dweud nad ydw i'n darllen pob llinell bellach, oherwydd i mi adeiladu system o asiantau i adolygu'r cod yn lle hynny. Dyna'n union y math o adolygydd mae'n amheus ohono. Dydw i ddim yn cytuno ag ef ar y pwynt hwn, ac mae §5 yn esbonio pam.
Lle mae'r ddwy sgwrs yn cwrdd
Mae harnais Kumar yn gweithio oherwydd bod cod yn gallu gwirio a lwyddodd. Naill ai cafodd y stori ei phleidlais neu ddim. Mae ei ffwythiant gwirio'n darllen hanes yr offer ac yn cael ie neu na.
Mae Horthy yn sôn am rywbeth na all cod ei wirio. Does dim ffwythiant sy'n dychwelyd gwir i ddweud a fydd dyluniad yn dal.
Felly dydy'r sgyrsiau ddim yn gwrth-ddweud ei gilydd. Mae Kumar yn dangos beth mae harnais yn dda am ei wneud, ac mae Horthy yn pwyntio at beth na all ei weld. Y cwestiwn defnyddiol i unrhyw un sy'n rhedeg asiantau yw ar ba ochr i'r llinell honno mae pob un o'u gwiriadau.
Beth sy'n gwirio fy ngwaith
Enw'r gosodiad rwy'n gweithio ynddo yw Ordova, a dydy e ddim ar werth. Didolais ei wiriadau yn ôl beth sy'n gwneud y gwirio.
Cod plaen yw rhai. .
Pan fydd asiant yn golygu ffeil Swift drwy ei offer ffeiliau, mae bachyn yn rhedeg SwiftLint ac yn trwsio beth all. Mae bachyn arall yn stopio i ofyn i mi cyn i olygiad o'r fath ychwanegu sylw sy'n diffodd rheol lint. Dydy'r naill na'r llall ddim yn gweld golygiad a wnaed o sgript cragen. Tra oeddwn i'n drafftio'r nodyn hwn, gwrthododd ategyn diogelwch redeg un o orchmynion yr asiant, oherwydd na allai ddadansoddi'r sgript Python oedd y tu mewn iddo. Mae gwiriadau fel hyn yn rhad a dydyn nhw byth yn blino. All dim un ohonyn nhw ddweud a yw dyluniad yn dda.
Modelau yw rhai, a dyma lle byddwn i'n gosod y nenfwd ychydig yn uwch nag y mae Horthy yn ei osod. .
Mae asiant archwilio'n darllen Swift yn erbyn fy nghonfensiynau ysgrifenedig ar gyfer pensaernïaeth, llwytho adnoddau, rheoli mynediad a lleoleiddio. Mae asiantau arwain prosiect yn adolygu tocyn neu gais tynnu yn erbyn cwmpas cynnyrch pan fydda i'n eu galw. Dyma'r rhai sy'n dod agosaf at farnu dyluniad, a nhw yw'r adolygydd o §3.
Mae gwirio'n haws na chynhyrchu, ac mae adolygydd gyda rheolau ysgrifenedig ac un cwestiwn cul yn sylwi ar bethau na edrychodd yr awdur arnyn nhw erioed. Ond model yw e o hyd, a does gen i ddim ffigur ar gyfer pa mor aml mae'n iawn.
Fi yw'r gwiriad olaf. .
Mae'r asiant wedi'i gyfarwyddo i ofyn cyn unrhyw beth sy'n anodd ei ddadwneud neu unrhyw beth sy'n gadael y peiriant, ac i aros am ganiatâd. Cyfarwyddyd yw hynny, nid bachyn, felly dim ond tra bo'r model yn ei ddilyn mae'n dal. Mae rhestr fer o orchmynion dinistriol, fel ailosod caled a gwthio gorfodol, wedi'u rhwystro yn y gosodiadau. Ac mae pob rhediad yn gorffen gyda fi'n penderfynu a ddylwn i gredu'r hyn a ddaeth yn ôl.
Felly dydy Ordova ddim yn ffatri heb oleuadau. Dydy e ddim chwaith yr hyn mae Horthy yn ei ragnodi, gan nad ydw i'n darllen pob llinell. Mae'n eistedd rywle rhwng y ddau, a dyna'r safle mae ei ddadl yn ei roi ar brawf.
Lle aeth y gwiriadau'n ddall
Mae'r dystiolaeth well yn y mannau lle methodd fy ngwiriadau'n dawel.
O fewn wythnos ym mis Medi, trodd golygiad a sgriptiwyd gan asiant nodyn yn bedwar copi ohono'i hun, a phasiodd y gwiriad oedd i fod i ddal hynny. Ni allai un o'r gardiau a ychwanegwyd wedyn, yr un roedd fy rheolau'n ei alw'r pwysicaf, fyth fethu ar olygiad go iawn. Dyma yn llawn.
Ar 8 Medi golygodd asiant nodyn gyda sgript Python fer. Oherwydd llithriad yn nhrefn y gweithredwyr, daeth y testun newydd yn ddogfen gyfan, a daeth y nodyn allan yn bedwar copi ohono'i hun. Gorffennodd y sgript gyda 0. Roedd y gwiriad oedd i fod i ddal golygiad gwael yn chwilio am nod fformatio, ac mae pedwar copi'n pasio'r gwiriad hwnnw mor hawdd ag un. Daliodd chwiliad amherthnasol y gwall funudau cyn iddo gael ei ymrwymo.
Y trwsiad oedd modiwl golygu bach sy'n gwrthod ysgrifennu oni bai bod y testun angor yn ymddangos y nifer disgwyliedig o weithiau ac nad y ddogfen gyfan yw'r testun newydd. Am bedwar diwrnod roedd fy rheolau ysgrifenedig hefyd yn enwi'r hyn roedden nhw'n ei alw'n gymhariaeth cyfrif bytiau fel y gard pwysicaf. Ar 12 Medi daeth yn amlwg na allai'r gymhariaeth honno fyth fethu, oherwydd bod gwiriad a redodd o'i blaen eisoes yn gwarantu'r rhifyddeg. Taniodd sero gwaith mewn 60,000 o dreialon ar hap. Gwnaeth mewnbwn anghywir a adeiladwyd ar wahân iddi danio, felly roedd y cod yn gweithio. Allai dim byd go iawn fyth ei chyrraedd. Fyddai hi ddim wedi dal y pedwar copi chwaith.
Chafodd yr un o'r ddau fethiant ei ddal gan y gard oedd yno i'w ddal. Cafwyd hyd i'r cyntaf ar ddamwain. Cafwyd hyd i'r ail drwy ofyn a allai'r gwiriad fethu o gwbl. Roedd y cwestiwn hwnnw eisoes yn rheol yn fy egwyddorion gwaith, a ysgrifennwyd ar 6 Medi, ddau ddiwrnod cyn y methiant cyntaf. Dydy gwiriad yn dweud dim wrthych chi nes eich bod wedi plannu'r nam mae'n bodoli i'w ddal a'i wylio'n gwrthod. Wnaeth cael y rheol ar bapur ddim atal y gard hwnnw rhag mynd heb ei brofi am bedwar diwrnod.
Mae gan bob gwiriad fan dall, ac mae'n rhaid i rywbeth y tu allan i'r gwiriad ei orchuddio.
Mae fy nau fethiant yn ddadl Horthy ar raddfa fach. Mae modelau'n cael eu hyfforddi i fodloni'r gwiriad, ac mae gwiriadau a adeiladwyd gyda'r modelau hynny'n mynd yn ddall yn yr un ffordd, un lefel i fyny.
Felly, ydw i'n ei ddal yn anghywir?
Yn rhannol. Dyma'r rhaniad.
Lle rydw i'n ei ddal yn anghywir. Mae fy ngwiriadau'n mynd yn ddall yn y ffordd mae ei ddadl yn ei rhagweld, fel mae §6 yn ei ddangos. Mae'r adolygwyr model rwy'n dibynnu arnyn nhw o'r math mae'n amheus ohono, a does gen i ddim ffigur ar gyfer pa mor aml maen nhw'n iawn. Ac alla i ddim dangos bod fy nghronfeydd cod yn dal, oherwydd does dim byd rwy'n ei redeg yn ei fesur.
Lle dydw i ddim. Nid peidio â darllen pob llinell yw'r camgymeriad ynddo'i hun. Y camgymeriad yw peidio â gwybod ble mae fy ngwiriadau'n dod i ben. Lle rydw i'n gwybod eu bod nhw'n dod i ben, rydw i'n darllen.
Dydy Horthy ddim yn dweud bod gwiriadau'n ddiwerth. Mae'r sgwrs yn gwneud tri phwynt o'u plaid:
- Mae asiantau adolygu'n codi'r llawr.
- Mae newidiadau bach yn gallu mynd yn syth at asiant o hyd.
- Mae ei gwmni'n dweud ei fod yn adeiladu gwirwyr gwell ar gyfer ansawdd meddalwedd.
Ei safbwynt yw nad oes gwiriad sy'n codi'r nenfwd, felly mae angen i berson ddarllen pob llinell o unrhyw beth nad yw'n fach.
Dyna lle rwy'n anghytuno. Gall harnais droi rhywfaint o'r hyn mae dyluniad da yn ei olygu yn wiriadau sy'n rhedeg, fel rheol lint, confensiwn ysgrifenedig, neu fachyn sy'n gofyn yn gyntaf. Dull Kumar yw hynny wedi'i anelu at ansawdd cod. Lle na all y gwiriadau hynny farnu, gallan nhw ddweud wrtha i ble i edrych o hyd, felly mae fy narllen yn mynd i'r man lle mae'r gwiriadau'n dod i ben. Mae hefyd yn ofalus i ddweud na all brofi nad yw modelau wedi gwella wrth gynnal cod, oherwydd does dim meincnod da sy'n ei fesur.
Mae ei ddisgrifiad o'r mecanwaith yn dal, ac mae fy nghofnod fy hun yn ei gefnogi. Yr hyn rwy'n ei gymryd o'r ddwy sgwrs yw bod ei ddal yn iawn yn golygu gwybod ble mae pob gwiriad yn dod i ben, a rhoi person yn y fan honno. Yr harnais sy'n penderfynu ble mae fy sylw'n mynd. Dydy e ddim yn cymryd ei le.
Mae gen i fuddiannau yma hefyd. Rwy'n gwerthu llyfr am weithio gydag asiantau AI, Mastering the AI Coworker, ac mae dyfarniad mai'r harnais yw'r rhan fwyaf o'r ateb yn ei siwtio. Fy ngosodiad fy hun yw Ordova, a byddai'n well gen i iddo ddod allan yn dda. Gwnes i'r achos dros beth mae'r harnais yn ei wneud yn Mae cydlynu'n byw yn yr harnais, nid yn yr anogiad.
Yn ôl disgrifiad Horthy, rwy'n rhedeg ei arbrawf. Dydw i ddim yn darllen pob llinell, felly dylwn i allu dweud a yw fy nghronfeydd cod yn chwalu. Alla i ddim eto, a'r rheswm gonest yw'r un mae ef yn ei roi. Does dim byd rwy'n ei redeg yn ei fesur. Dyna wiriad mae angen i mi ei adeiladu, ac yn ôl fy rheol fy hun fydd e ddim yn cyfrif nes i mi ei wylio'n methu.
Trawsgrifiwyd y ddwy sgwrs ar fy Mac gyda model Whisper bach WhisperKit, nid o gapsiynau'r platfform. Mae'r ddau ddyfyniad yn cyfateb i'r capsiynau hynny air am air, ond ni wiriwyd y naill na'r llall drwy wrando.
Gwiriwyd pob brawddeg am beth mae fy ngosodiad yn ei wneud ar 15 Medi 2026 yn erbyn gosodiadau byw'r harnais, sgriptiau'r bachau, diffiniadau'r asiantau a fy nghyfarwyddiadau ysgrifenedig, i'r manylder maen nhw'n ei ddangos. Daw'r ddau fethiant yn §6 o fy rheolau gwaith dyddiedig fy hun.
Gweithiais ar hyn gydag asiant AI, a drawsgrifiodd y sgyrsiau, darllen y ffurfweddiad a drafftio'r testun. Fi oedd biau'r anghytundeb â Horthy, a sawl un o'r diwygiadau hefyd. Gofynnodd dau asiant adolygu am rai eraill. Dadleuodd yr asiant drafftio yn ôl, ac mae peth o'r ddadl honno yn §3 a §5.