Gwerthusiad o Raglen Cymru’n Cofio: 2013 i 2020 (crynodeb)

Comisiynwyd y Rhaglen Ymchwil Fewnol (Gwasanaethau Gwybodaeth a Dadansoddi, Llywodraeth Cymru) gan yr Is-adran Diwylliant a Chwaraeon, Llywodraeth Cymru i gynnal gwerthusiad o'r gwaith o gyflwyno rhaglen Cymru'n Cofio Wales Remembers 1914-1918, rhaglen goffáu cyfraniad Cymru i'r Rhyfel Byd Cyntaf.

Cynrychiolodd Cymru'n Cofio gyfraniad Llywodraeth Cymru i raglen ehangach y DU o nodi canmlwyddiant y Rhyfel Byd Cyntaf ac yn arbennig i nodi cyfraniad Pobl Cymru, ar flaen y gad a gartref. Amcanion y rhaglen oedd:

• nodi dyddiadau pwysig, gan weithio gyda sefydliadau a gwasanaethau Cymru, gwledydd eraill y DU a phartneriaid rhyngwladol
• cefnogi rhaglen addysgol sy'n annog ysgolion a sefydliadau pobl ifanc i gymryd rhan lawn mewn gweithgareddau coffa
• datblygu a chefnogi partneriaethau cynhyrchiol i ddarparu gweithgareddau a digwyddiadau drwy gydol y cyfnod coffa i gynulleidfaoedd amrywiol
• cefnogi digwyddiadau a gweithgareddau dehongli diwylliannol a hanesyddol bywiog gan ein cyrff diwylliannol a threftadaeth sy'n adlewyrchu safbwyntiau gwahanol o’r cyfnod
• gweithio gyda Cronfa Dreftadaeth y Loteri a chyllidwyr eraill i gefnogi prosiectau cymunedol sy'n adrodd hanes Cymru a'r Rhyfel Byd Cyntaf
• sicrhau bod gwybodaeth am y coffáu yng Nghymru ar gael yn hawdd i bawb yng Nghymru a thu hwnt
• gadael etifeddiaeth ddigidol gyfoethog o'r coffáu ar gyfer cenedlaethau'r dyfodol

Nod y gwerthusiad hwn oedd asesu'n ôl-weithredol y ffyrdd y cyflwynwyd y rhaglen, i ddarparu argymhellion ar gyfer cyflwyno rhaglenni coffáu yn y dyfodol yn effeithiol a deall sut y gellid mesur effaith y gweithgaredd a ariannwyd fel rhan o'r rhaglen. Oherwydd comisiynu'r gwerthusiad ar ddiwedd y prosiect, nid oedd yn bosibl mesur effaith yn effeithiol oherwydd diffyg monitro seilwaith data. Felly, mae hwn yn werthusiad proses; canolbwyntio ar asesu'r gwaith o gyflwyno'r rhaglen yn seiliedig ar ystyriaethau gan Fwrdd y Rhaglen, swyddogion Llywodraeth Cymru, a'r rhai a gyflwynodd brosiectau cymunedol fel rhan o'r Rhaglen.

Roedd y fethodoleg werthuso yn cynnwys yr elfennau canlynol.

• Gweithdy Theori Newid gyda swyddogion allweddol yn yr Is-adran Diwylliant a Chwaraeon a swyddogion eraill Llywodraeth Cymru (Addysg, Cyfathrebu a Cadw) i fapio'r rhaglen yn ôl-weithredol mewn model rhesymeg.
• Cyfres o gyfweliadau ansoddol gydag aelodau o Fwrdd Rhaglen Cymru'n Cofio sy'n ymdrin ag agweddau ar gydlynu a chyflwyno'r rhaglen, rôl y strategaeth gyfathrebu, ac archwilio argaeledd data a phosibiliadau ar gyfer asesu effaith mewn rhaglenni yn y dyfodol.
• Adolygiad o'r data sydd ar gael o'r rhaglen a'r gweithgaredd y mae wedi'i ariannu (gan gynnwys y Cynllun Grantiau Ysgolion Uwchradd a Chynllun Cadw), y gwnaed argymhellion ohono ar gyfer gweithredu monitro a gwerthuso mewn rhaglenni coffa yn y dyfodol.
• Arolwg byr yn gofyn am farn rhanddeiliaid ynglŷn â'u profiad o gyflawni eu prosiect a natur ac ansawdd y cyswllt â bwrdd y rhaglen a'u gwaith o gyflawni'r rhaglen.

Arolwg o brosiectau cymunedol

Datgelodd yr arolwg nad oedd y rhan fwyaf o'r 16 prosiect a ymatebodd i'r arolwg yn gofyn am gymorth gan y rhaglen i gyflawni eu prosiect, a'r rheswm mwyaf cyffredin oedd nad oeddent yn ymwybodol bod cymorth ar gael. Mae'n bwysig cofio yma fod brandio Cymru'n Cofio yn cael ei ddefnyddio ar gyfer prosiectau a ariennir gan Lywodraeth Cymru a'r rhai a ariannwyd gan sefydliadau partner yn unig.

Roedd y rhan fwyaf o brosiectau cymunedol yn ymwybodol o frandio'r rhaglen a'i fod yn cael ei ddarparu gan Lywodraeth Cymru. Dywedodd ychydig dros hanner y prosiectau a arolygwyd eu bod wedi defnyddio'r brandio. Roedd ymwybyddiaeth o Fwrdd y Rhaglen a'u rôl hefyd yn uchel, a nododd ymatebwyr brofiadau cadarnhaol o ansawdd ac amlder yr ymgysylltu, gan gynnwys barn am brosiectau, cymorth i ddatrys problemau a pharchu ymreolaeth prosiectau.

Dywedodd deg o'r 16 prosiect eu bod wedi casglu data monitro, gyda dim ond un prosiect yn casglu gwybodaeth ddemograffig am ymwelwyr a chyfranogwyr. Roedd y data a gasglwyd amlaf yn cynnwys nifer y mynychwyr i ddigwyddiad neu fenter ac adborth gan ymwelwyr.

Safbwyntiau Bwrdd y Rhaglen

Cyfeiriodd aelodau Bwrdd y rhaglen at y ffaith bod y Bwrdd yn alluogwr o ran creu cyfleoedd i gydweithio â sefydliadau perthnasol i gyflawni nodau'r rhaglen. Dywedasant hefyd fod Llywodraeth Cymru wedi darparu mwy o gapasiti i symud prosiectau ymlaen a bod cynnwys y Prif Weinidog yn codi proffil y rhaglen goffáu.  Er bod y ffaith bod holl aelodau'r Bwrdd yn gallu mynegi eu barn yn cael ei ystyried yn beth cadarnhaol, roedd hyn hefyd yn golygu bod gwneud penderfyniadau weithiau'n cymryd mwy o amser. Roedd heriau eraill i'r Bwrdd yn cynnwys y diffyg cyfatebiaeth o ran cyflymder gwneud penderfyniadau, a oedd weithiau'n heriol i brosiectau gyflawni.

Trafodwyd y strategaeth gyfathrebu mewn goleuni cadarnhaol ar y cyfan, ond byddai'n well gan rai aelodau o'r Bwrdd i’r strategaeth fod yn gliriach wrth fynegi sut y gallai gynnig cymorth i brosiectau. Dywedwyd bod cyfathrebu mewnol yn dda iawn, er bod rhai aelodau o'r Bwrdd yn gweld bod yr ymrwymiadau teithio i fynd i gyfarfodydd yng Nghaerdydd weithiau'n feichus. Gellid defnyddio'r gwelliannau TGCh a weithredwyd o ganlyniad i'r pandemig yn ddefnyddiol ar gyfer byrddau rhaglenni yn y dyfodol i ddileu'r broblem hon.

O ran mesur effaith y rhaglen yn gyffredinol, datgelodd cyfweliadau fod gwerthusiadau ar lefel prosiect wedi rhoi adborth da ar sut i wella digwyddiadau yn y dyfodol. Fodd bynnag, dywedodd llawer o'r rhai a gafodd eu cyfweld fod dehongliadau o'r hyn y gallai'r rhaglen ei gyflawni amrywio rhwng aelodau'r Bwrdd a bod natur y rhaglen yn golygu bod llwyddiant yn anodd ei fesur.

Wrth ymgysylltu â'r rhai â nodweddion gwarchodedig yn y digwyddiadau coffa, dywedodd aelodau'r Bwrdd eu bod yn teimlo bod prosiectau'n ystyried y materion hyn yng nghyd-destun eu mentrau. Fodd bynnag, fel y dengys yr arolwg, ychydig o ddata sydd i gefnogi ymgysylltiad llwyddiannus grwpiau ymylol, gan fod cyn lleied o ddata demograffig ar bwy a ymgysylltodd wedi'i gasglu. Roedd sefydliadau ymbarél perthnasol hefyd yn cymryd rhan yn y rhaglen, ond teimlai aelodau'r Bwrdd y gellid bod wedi gwneud hyn mewn ffordd fwy systematig o ddechrau'r rhaglen. Roedd hefyd yn anodd penderfynu a oedd y rhai â nodweddion gwarchodedig yn teimlo eu bod wedi'u cynnwys. Mae'r canfyddiadau hyn yn awgrymu y byddai mwy o dystiolaeth o effaith gwella cynwysoldeb o fudd.

Argaeledd data ac ansawdd

Dangosodd yr adolygiad o ddogfennaeth y rhaglen fod y rhan fwyaf o fentrau, ar lefel y prosiect, wedi cyflwyno achos busnes a oedd yn amlinellu amcanion y prosiect, sut y byddai'n cael ei gyflawni a'r adnoddau sydd eu hangen, yn ogystal ag amserlenni a dulliau monitro. Roedd yn ofynnol hefyd i brosiectau gwblhau adroddiad diwedd prosiect yn manylu ar y data a gasglwyd fel rhan o'r dull monitro ac i ddangos effaith y prosiect. Er i'r rhain gael eu cyflwyno a'u cynnwys mewn data defnyddiol, roedd yn anodd clymu'r data a gasglwyd i'r ymrwymiadau monitro a nodwyd yn yr achos busnes. Roedd diffyg data sylfaenol i gymharu'r data ar ôl y prosiect hefyd yn ei gwneud yn anodd penderfynu ar yr effaith. Byddai achosion busnes wedi elwa yn y rhan fwyaf o achosion o gynllun monitro a gwerthuso manylach, gan gynnwys cynlluniau ar gyfer casglu data sylfaenol. Byddai hyn hefyd wedi darparu dull clir o gasglu a dehongli data a allai fwydo i amcanion cyffredinol y rhaglen.

Felly, gwneir yr argymhellion canlynol ar gyfer rhaglenni coffa yn y dyfodol, yn gyntaf ar lefel rhaglen.

Argymhellir bod rhaglenni yn y dyfodol yn ymgysylltu â chydweithwyr KAS cyn gynted â phosibl i gynllunio dull gwerthuso o ymdrin â rhaglenni coffa. Argymhellir y gweithgareddau canlynol:

• cynllunio cynllun monitro a gwerthuso cyffredinol ar gyfer y rhaglen, gan gynnwys dull o gynorthwyo prosiectau a ariennir i fonitro a gwerthuso eu gweithgarwch a phenderfynu sut mae data prosiect yn bwydo i mewn i'r asesiad cyffredinol o effaith
• cynnal gweithdy theori newid ar ddechrau'r rhaglen i bennu'r rhesymeg ymyrryd, ac i ddeall pa ddata sydd fwyaf priodol a hyfyw i'w gasglu ar lefel prosiect a rhaglen
• ystyried creu capasiti ychwanegol o fewn tîm y rhaglen i reoli monitro a gwerthuso data drwy gydol y rhaglen goffáu
• sicrhau cyllid ar gyfer gwerthusiad llawn o ddechrau'r rhaglen, er mwyn galluogi neilltuo adnoddau i sicrhau bod data llawn ar gael ac i gasglu a dadansoddi'r data

Byddai rhaglenni coffa yn y dyfodol yn elwa o ymgysylltu cynharach a chydgysylltiedig â chyrff cynrychioliadol ar gyfer grwpiau gwarchodedig er mwyn deall yr hyn sy'n effeithiol o ran ymgysylltu â chymunedau lleiafrifoedd ethnig, er enghraifft. Byddai hyn yn caniatáu dull wedi'i dargedu mwy o ymgysylltu â grwpiau gwarchodedig a deall a yw prosiectau a ariennir wedi cyrraedd y gynulleidfa a fwriedir.

Mae angen mwy o ystyriaeth wrth gynllunio gwerthuso i ddeall beth yw ystyr y term 'gwaddol' a sut y gellir dangos tystiolaeth o effaith creu gwaddol. Gallai deall sut y gellir cyflawni hyn hefyd fod yn ddefnyddiol i ddeall manteision tymor hwy y rhaglen. Gellir cynnwys hyn yn y dull theori newid.

Ar gyfer prosiectau a ariennir, gwneir yr argymhellion canlynol.

Dylai rhaglenni coffa roi cymorth i brosiectau i ddatblygu cynllun gwerthuso sy'n gysylltiedig â'r gwerthusiad ar lefel rhaglen. Wedi'i ddatblygu ar ddechrau'r prosiect fel rhan o'r achos busnes, byddai hyn yn galluogi casglu gwybodaeth fonitro sylfaenol a chanol tymor a all ddangos tystiolaeth glir o effaith wrth i'r prosiect ddod i ben.

Dylid cydgysylltu'r gwerthusiad o brosiectau a ariennir ar lefel rhaglen er mwyn sicrhau bod data monitro a gesglir gan brosiectau yn cael ei ystyried o fewn data monitro cyffredinol y rhaglen. Gellid cyflawni hyn orau drwy ddefnyddio adnoddau ychwanegol i reoli monitro a gwerthuso. Byddai hyn yn galluogi i amcanion a chanlyniadau'r rhaglen gael eu clymu'n gliriach at amcanion a chanlyniadau lefel y prosiect.

Lle bo'n bosibl, dylid casglu data demograffig i ddeall pwy sy'n ymgysylltu ag allbynnau prosiectau cymunedol a ariennir. Nid oedd y rhan fwyaf o'r prosiectau a arolygwyd yn casglu'r data hyn, gan arwain at fwlch o ran deall (i) i ba raddau yr oedd y rhai â nodweddion gwarchodedig yn ymwneud â gweithgarwch coffa a (ii) i ba raddau yr oedd grwpiau ymylol yn teimlo eu bod yn cael eu cynrychioli yn y gweithgaredd coffa. Byddai'r data hyn yn helpu i benderfynu a oedd yr amcan o ehangu cynrychiolaeth a chyfranogiad mewn coffáu wedi digwydd.

Er mwyn gwneud y mwyaf o ansawdd y data monitro a gyflwynir, dylai cyflwyno data sylfaenol, canol tymor a diwedd prosiect fod yn orfodol, gyda chymorth ar gael i brosiectau i'w galluogi i gyflwyno'r wybodaeth hon. Er i'r rhan fwyaf o brosiectau gyflwyno data ar ddiwedd y prosiect, nid wnaeth rhai ac mae hyn yn golygu bod cyfle gwerthfawr i ddeall effaith yn cael ei golli. Mae gwneud cyflwyno data i'w ddefnyddio fel rhan o werthusiad ar lefel rhaglen yn orfodol a darparu cymorth i'w galluogi i gyflwyno'r data yn cynyddu dibynadwyedd cyflwyno data o brosiectau ac yn codi pwysigrwydd gwerthuso ar gyfer prosiectau a ariennir.

Awduron yr Adroddiad: Coates, J, Campbell, L, and Heywood Heath, C

Mae’r safbwyntiau a fynegwyd yn yr adroddiad hwn yn perthyn i’r ymchwilwyr ac nid o reidrwydd Llywodraeth Cymru.

I gael rhagor o wybodaeth, cysylltwch â:
Jo Coates
E-bost: rhyf.irp@llyw.cymru

Cyfryngau: 0300 025 8099

Rhif ymchwil cymdeithasol: 9/2022
ISBN digidol: 978-1-80391-507-4

Image