Changes between Version 8 and Version 9 of AGMFM - 5.6. Тјурингов тест


Ignore:
Timestamp:
03/01/19 12:03:07 (6 years ago)
Author:
Vangel V. Ajanovski
Comment:

Legend:

Unmodified
Added
Removed
Modified
  • AGMFM - 5.6. Тјурингов тест

    v8 v9  
    11**5.6. Тјурингов тест**
    22
    3 {{{#!box type=todo
    4 Ова сѐ треба да се напише малку поформално. Прво протокол за тестирање - значи да се опише околината каде се прави тестот, да се опише како се реализира тестот, чекор по чекор, да се опишат сите прашања, сите интеракции, можните одговори итн. На крај се опишуваат резултатите што се собрани и се дискутира.
    5 }}}
     3Во вештачката интелигенција постои метод на  испитување за утрвдување дали компјутерот е способен да размислува како човечко суштество. Овој тест е наречен Тјурингов тест, крстен по името на математичарот кој го измислил, Alan Turing. Тјуринговиот тест во неговата оригинална формулација претпоставува дека луѓето имаат ум, а природниот јазик е добра и доволна репрезентација за нивниот ум.   Во овој тест се испитуваат и компјутерот и човекот, а компјутерот се смета за интелигентен доколку човековиот испитувач не може да направи разлика помеѓу нив. 
    64
    7 {{{#!box type=todo
    8 Прашањето што е наведено не е од тип на прашање што би припаѓало во вакот тест бидејќи го наведува испитаникот. Турингов тест по дефиниција претпоставува дека испитаникот не знае за што се работи, па треба да препознае. Предлагам ова да се преработи, но за почеток би тргнал од листа на пример пракси кои ги користат други автори - каков точно протокол тие користат, какви прашања поставуват.
    9 }}}
    10 
    11 Во вештачката интелигенција постои метод на  испитување за утрвдување дали компјутерот е способен да размислува како човечко суштество. Овој тест е наречен Тјурингов тест, крстен по името на математичарот кој го измислил, Alan Turing .   Тјуринговиот тест во неговата оригинална формулација претпоставува дека луѓето имаат ум, а природниот јазик е добра и доволна репрезентација за нивниот ум.   Во овој тест се испитуваат и компјутерот и човекот, а компјутерот се смета за интелигентен доколку човековиот испитувач не може да направи разлика помеѓу нив. 
    12 
    13 Креативноста на компјутерот е подкатегорија  на вештачката интелигенција, во која истражувачите преку имплементирање на програми за моделирање на креативноста автономно создаваат  нови дела, кои се од вредност за подобрување на човековата креативност.   Музички Тјуринг тест кој ќе ја оцени креативноста на делата не постои, но постојат предложени “музички Тјуринг тестови”, како на пример предложениот во следниов труд: Toward a musical Turing test for automatic music performance - Antonio Rodà , Emery Schubert , Giovanni De Poli , and Sergio Canazza. За да ја оценам креативноста на добиените мелодии од системот за автоматско генерирање на м. н. мел-
    14 Одија како урнек ќе го користам Тјуринг тестот предложен во претходно споменатиот труд.
     5Креативноста на компјутерот е подкатегорија  на вештачката интелигенција, во која истражувачите преку имплементирање на програми за моделирање на креативноста автономно создаваат  нови дела, кои се од вредност за подобрување на човековата креативност.   Музички Тјуринг тест кој ќе ја оцени креативноста на делата не постои, но постојат предложени “музички Тјуринг тестови”, како на пример предложениот во следниов труд: Toward a musical Turing test for automatic music performance - Antonio Rodà , Emery Schubert , Giovanni De Poli , and Sergio Canazza. За да ја оценам креативноста на добиените мелодии од системот за автоматско генерирање на м. н. мелодија како урнек ќе го користам Тјуринг тестот предложен во претходно споменатиот труд.
    156
    167Тјуринг тестот беше спроведен на следниот начин:
    178
    18        Избор на петмина испитаници без музичко познавање и петмина со музичко познавање, значи 10 испитаници поделени во две групи, група А и група Б, при што испитаниците не знаеја дека се поделени во групи.
     9*       Избор на петмина испитаници без музичко познавање и петмина со музичко познавање, значи 10 испитаници поделени во две групи, група А и група Б, при што испитаниците не знаеја дека се поделени во групи.
    1910
    20        Експериментот се изведуваше во домашни услови
     11*       Експериментот се изведуваше во домашни услови
    2112
    22        На секој испитаник му беше доделен прашалник во писмена форма, со две прашања, дискутирани подоле
     13*       На секој испитаник му беше доделен прашалник во писмена форма, со две прашања, дискутирани подоле
    2314
    24        Двете групи добија различна верзија од прашалникот, односно на првата група  во прашалникот стоеше дека треба да слушнат 5 мелодии, од кои една е изворна м. н. песна, а другите компјутерски генерирани мелодии, додека на втората група стоеше дека треба да слушнат 5 мелодии, од кои сите се компјутерски генерирани мелодии.
     15*       Двете групи добија различна верзија од прашалникот, односно на првата група  во прашалникот стоеше дека треба да слушнат 5 мелодии, од кои една е изворна м. н. песна, а другите компјутерски генерирани мелодии, додека на втората група стоеше дека треба да слушнат 5 мелодии, од кои сите се компјутерски генерирани мелодии.
    2516
    26        Од испитаниците потоа беше побарано да ја одберат мелодијата која најмногу звучи дека е човечка композиција, со одговарање на следното прашање:
     17*       Од испитаниците потоа беше побарано да ја одберат мелодијата која најмногу звучи дека е човечка композиција, со одговарање на следното прашање:
    2718
    2819**Пр. 1. “Која мелодија најмногу наликува на човечка?”**
    2920
    30 o       Мелодија 1 – mel-01.mid
     21* Мелодија 1 – mel-01.mid
    3122
    32 o       Мелодија 2  - mel-02.mid
     23*       Мелодија 2 – mel-02.mid
    3324
    34 o       Мелодија 3 – mel-03.mid
     25*       Мелодија 3 – mel-03.mid
    3526
    36 o       Мелодија 4 – mel-04.mid
     27*       Мелодија 4 – mel-04.mid
    3728
    38 o       Мелодија 5 – mel-05.mid
     29*       Мелодија 5 – mel-05.mid
    3930
    4031Изворна м.н. песна е mel-03.mid, додека останатите мелодии се резултат на системот за автоматско генерирање на м.н. мелодија.
    4132
    42        Oткако одговорија на ова прашање требаше да го оценат нивото на сигурност при неговото одговарање, односно да одговорат на прашањето:
     33*       Oткако одговорија на ова прашање требаше да го оценат нивото на сигурност при неговото одговарање, односно да одговорат на прашањето:
    4334
    4435**Пр. 2. “Колку сте сигурни во вашиот одговор на претходното прашање?”** ,
     
    6253**Табела 2.** Резултати од спроведениот “музички Тјуринг тест’ со десетмина испитаници
    6354
    64 Од добиените резултати гледаме дека 3 испитаници ја препознале изворната мелодија, додека останатите 7 мислеле дека автоматски генерираните мелодии се човечки композиции, правејќи го изборот со високо ниво на сигурност, со оцени од 75-100% сигурност, односно оцени 4 и 5. Според ова повеќе од 50% неможеа да направат разлика помеѓу изворната и новокомпонираните мелодии, што значи резултатите се задоволителни, па системот е способен да генерира мелодии кои потсетуваат на македонски народни мелодии.
     55Од добиените резултати гледаме дека 3 испитаници ја препознале изворната мелодија, додека останатите 7 мислеле дека автоматски генерираните мелодии се човечки композиции, правејќи го изборот со високо ниво на сигурност, со оцени од 75-100% сигурност, односно оцени 4 и 5. Според ова повеќе од 50% неможеа да направат разлика помеѓу изворната и новокомпонираните мелодии, што значи резултатите се задоволителни, па системот е способен да генерира мелодии кои потсетуваат на македонски народни мелодии.
     56
     57{{{#!box type="question"
     58Мислам дека треба на крајот да се продискутираат негативностите на пристапот како критика. На пример - прашањето ги наведува да се суспектни. Па ако испитаниците препознаваат некои песни, а не препознаваат некои други песни веднаш ќе направат елиминација и тоа ќе влијае на исходот. Можеби има и други негативности или специфични ситуации кои се појавиле на лице место при испитувањето што треба да се документираат во насока на подобрување на идни тестови.
     59}}}
     60