ÀÛ¼ºÀÏ : 23-10-09 16:29
[N.Learning] ÃÊ¿¬°á »çȸ¿¡¼­ »ç¾÷°¡ÀÇ ¾È¸ñ: ¿¬°áÀ» ã¾Æ³»´Â ´É·Â
 ±Û¾´ÀÌ : Administra¡¦
Á¶È¸ : 897  

ÃÊ¿¬°á »çȸ¿¡¼­ÀÇ »ç¾÷°¡ÀÇ ¾È¸ñ
¿¬°áÀ» ã¾Æ³»´Â ÅëÂû·Â
Áö±Ý Chat GPT¿Í ÀÌ¿¡ ¿¬°üµÈ ´Ù¾çÇÑ »ç¾÷ÀÇ ±Ù°£Àº GoogleÀÇ Transformer ModelÀÌ´Ù. ÀÌ Æ®·£½ºÆ÷¸Ó¸¦ ¸¸µç 8¸íÀÌ ¸ðµÎ GoogleÀ» ¶°³µ´Ù´Â ±â»ç¸¦ Àоú´Ù.
chat GPTÀÇ ±â¹ÝÀÌ µÈ ³í¹®ÀÌ 2017³â¿¡ À̵éÀÌ °øµ¿ÀúÀÚ·Î ¹ß°£ÇÑ "´äÀº ÁÖÀÇ ÁýÁß (Attention is all you need)"ÀÌ´Ù.
À̵éÀÌ ÀÌ ³í¹®À» ÅëÇØ »ý°¢Çس½ Transformer ¿ø¸®´Â »ý°¢º¸´Ù °£´ÜÇÏ´Ù.
±âÁ¸ÀÇ ¾ð¾î ¸ðµ¨µéÀº RNN(Recurrent Neural Network)À» »ç¿ëÇÏ¿© ½ÃÄö½º µ¥ÀÌÅ͸¦ ó¸®ÇÏ´Â ¹æ½ÄÀ» »ç¿ëÇß´Ù. ÇÏÁö¸¸ RNNÀº Àå±â ÀÇÁ¸¼º(long-term dependency)À» ÇнÀÇÏ´Â µ¥ ¾î·Á¿òÀÌ ÀÖ¾ú´Ù.
À̵éÀÌ »ý°¢Çس½ Æ®·£½ºÆ÷¸Ó ¸ðÇüÀº RNNÀ» »ç¿ëÇÏÁö ¾Ê°í, Attention ¸ÞÄ¿´ÏÁòÀ» »ç¿ëÇÏ¿© µ¥ÀÌÅ͸¦ ó¸®ÇÏ°Ô ÇÏ´Â ¹æ½ÄÀÌ´Ù. Attention ¸ÞÄ¿´ÏÁòÀº ÀÔ·Â ½ÃÄö½ºÀÇ °¢ ´Ü¾î¿Í ´Ù¸¥ ´Ü¾îµé °£ÀÇ °ü°è¸¦ ÇнÀÇÏ¿©, °ü°èÀÇ Á߿伺ÀÌ ÀÖ´Â Á¤º¸¿¡ °ü½ÉÀ» ÁýÁßÇÒ ¼ö ÀÖµµ·Ï µ½´Â´Ù.
¿¹¸¦ µé¾î, "I am a student"¶ó´Â ¹®ÀåÀ» ó¸®ÇÑ´Ù°í °¡Á¤ÇÒ ¶§ °¢ I, am, a, student°¡ »ç¿ëµÇ¾ú´ø °æ¿ìµéÀÇ º¤Å͵éÀ» ã¾Æ³»¼­ ÀÌ º¤Å͵鿡 À¯»ç¼º¿¡ µû¶ó °¡ÁßÄ¡¸¦ ºÎ¿©ÇÏ°í °¡ÁßÄ¡ÀÇ ¼ø¼­¿¡ µû¶ó ¾î¶² ´Ü¾î°¡ Á¦½ÃµÇ¸é ´ÙÀ½ ´äÀ» ¿¬°áÇÏ´Â ¹æ½ÄÀÌ´Ù.
ÀÌ ¶§ AttentionÀº °ü°èÀÇ °¡ÁßÄ¡°¡ ³ôÀº °÷¿¡ ´äÀ» ÁýÁß½ÃÅ°´Â ¿ø¸®´Ù. "I"¶ó´Â ´Ü¾î°¡ "am"À̶ó´Â ´Ü¾î¿Í "student"¶ó´Â ´Ü¾î¿Í ¹ÐÁ¢ÇÑ °ü°è°¡ ÀÖ´Ù´Â °ÍÀ» ã¾Æ³» °¡ÁßÄ¡¸¦ ºÎ¿©ÇÑ´Ù. Attention ¸ÞÄ¿´ÏÁòÀº ½ÃÄö½º µ¥ÀÌÅ͸¦ ó¸®ÇÏ´Â µ¥ ÀÖ¾î °¡ÁßÄ¡°¡ ³ô°Ô ºÎ¿©µÈ ´Ü¾î¿¡ "½Ã¼±À» ÁýÁß½ÃŲ´Ù. ½Ã¼±ÀÌ ÁýÁßµÈ ºÎºÐÀº ¸ðµ¨ÀÌ ´õ Áß¿äÇÏ°Ô Ã³¸®ÇÑ´Ù.
¿¹¸¦ µé¾î, ¿µÈ­¸¦ º¸¸é¼­ ÀÚ½ÅÀÌ Áß¿äÇÏ´Ù°í ±ÔÁ¤ÇÑ Àå¸éÀ» ³õÄ¡Áö ¾Ê±â À§ÇØ ÁýÁßÇؼ­ º¸µíÀÌ, Attention ¸ÞÄ¿´ÏÁòÀº Áß¿äÇÑ Àå¸é°ú Àå¸é »çÀÌÀÇ °ü°è¿¡ °¡ÁßÄ¡¸¦ µÖ¼­ Á¦¾ÈÇØ¾ß ÇÒ ¸Æ¶ôÀ» ³õÄ¡Áö ¾Êµµ·Ï µµ¿ÍÁØ´Ù.
ÀÌ·± ¿ø¸®´Â Áö±¸ÀÇ ÁöÆòÀÌ ÁøÈ­ÇÏ´Â ¿ø¸®¿Í ºñ½ÁÇÏ´Ù. Å« °í¿ø¿¡ ¿©·¯ °³ÀÇ ºÀ¿ì¸®°¡ ¸¸µé¾îÁ³´Ù°í °¡Á¤ÇÏÀÚ. Æ®·£½ºÆ÷¸Ó ¸ðÇüÀº ÀÌ ºÀ¿ì¸®¸¦ ÁöÅÊÇÏ°í ÀÖ´Â ¼û°ÜÁø ¿¬°áÀÇ ±¸Á¶¸¦ ºÐ¼®ÇÒ °ÍÀÌ´Ù. ÀÌ ¼û°ÜÁø ¿¬°áÀÇ ±¸Á¶°¡ ºñ½ÁÇÑ ºÀ¿ì¸®µéÀÌ ¾Æ¸¶µµ ´ÙÀ½ ´Ü°è¿¡¼­ »ç¶÷µéÀÌ ¿¬°áÀ» ½ÃµµÇÒ ÀáÀç·ÂÀÌ °¡Àå ºÀ¿ì¸®µéÀÌ´Ù. ³×Æ®¿öÅ© ÇÐÀÚÀÎ ½ÃÄ«°í ´ëÇÐÀÇ Burt´Â ºñ½ÁÇÑ ¿¬°á±¸Á¶¸¦ °¡Áø ºÀ¿ì¸®µéÀ» ±¸Á¶Àû µ¿Àϼº Structural EquivalenceÀ̶ó°í ¸í¸íÇÏ°í ½ÇÁ¦ ÀÌ·± ±¸Á¶Àû µ¿ÀϼºÀ» °®Ãá ºÀ¿ì¸®µéÀº »ý°¢, öÇÐ, Çൿµµ ºñ½ÁÇؼ­ ´ÙÀ½ ¿¬°áÀÇ °¡´É¼ºÀÌ ³ô´Ù´Â °ÍÀ» ¹àÇû´Ù. ¿ì¸®ÀÇ ÀÏ»ó»ýÈ°À» ¶°³ª ÃÖ±Ù ¾çÀÚ ¹°¸®Çп¡¼­µµ ÀÌ·± ±¸Á¶°¡ °°Àº ¿øÀÚµéÀÇ ÁýÇÕÀº ½ÅÅ©·Î³ªÀÌÁîÀÇ ²ø¸²À» ÅëÇØ ¿¬°áµÉ °³¿¬¼ºÀÌ ³ô´Ù´Â ¿¬±¸ °á°úµéÀÌ ¸¹ÀÌ ¹ßÇ¥µÇ°í ÀÖ´Ù.
ÃÊ¿¬°á»çȸ¿¡¼­ ¹Ì·¡ÀÇ ¸ðµç »ç¾÷Àº ¿¬°áÀÌ ¾ø´ø ºÀ¿ì¸®µéÀ» ¿¬°áÇßÀ» ¶§ °¡Àå Å« È¿¿ëÀ» °¡Á®¿À´Â ÀáÀçÀû ¿¬°áÀ» ã¾Æ¼­ ¿¬°á½ÃÅ´À» ÅëÇØ »õ·Î¿î °¡Ä¡ üÀÎ ³»Áö´Â °¡Ä¡ Á¦¾ÈÀ» ¸¸µé¾î°¡´Â ºñÁî´Ï½ºÀÌ´Ù. ÀÌ·± °¡Ä¡ ÀÖ´Â ÀáÀçÀû ¿¬°áÀ» ã¾Æ³» ÀÌ°ÍÀ» ¹Ì¸® ¿¬°áÇؼ­ ºñÁî´Ï½º¸¦ ¸¸µé°í ÁÖº¯ÀÇ ¿¬°áÀ» ±ÔÇÕÇؼ­ Ç÷§ÆûÀ» ±¸¼ºÇÏ´Â ¾È¸ñÀÌ ÀÖ´Â »ç¶÷µé¸¸ ÃÊ¿¬°á »çȸ¿¡¼­ »ç¾÷°¡°¡ µÉ ¼ö ÀÖ´Ù. °á±¹ ¾ÆÁ÷Àº ¿¬°áµÇÁö ¾ÊÀº ºÀ¿ì¸®µéÀÇ ÀáÀçÀû ¿¬°á °¡´É¼ºÀ» ã¾Æ³» ºñÁî´Ï½ºÀÇ ÁÖÀÇ(Attention)¿Í Àǵµ(Intention)À» ÁýÁßÇØ ÀÚ±â Á¶Á÷Àû ¿ïŸ¸®·Î ȸ»ç¸¦ ¸¸µé ¼ö ÀÖ´Â »ç¾÷°¡°¡ ÃÊ¿¬°á»çȸ »ç¾÷ÀÇ ½ÂÀÚ´Ù.
ÃÊ¿¬°á »çȸ¿¡¼­ ÀÌ·± ºÀ¿ì¸®´Â ¸ðµâÀÌ°í ÀÌ ºÀ¿ì¸®¿Í ºÀ¿ì¸®¸¦ ¿¬°áÇØ ¸¸µé¾î³½ ÆòÆòÇÑ ¿îµ¿ÀåÀÌ Ç÷§ÆûÀ̱⠶§¹®¿¡ ÃÊ¿¬°á»çȸÀÇ ¸ðµç »ç¾÷Àº Ç÷§Æû ºñÁî´Ï½º¸¦ ÁöÇâÇÑ´Ù.
(»ç)Çѱ¹Á¶Á÷°æ¿µ°³¹ßÇÐȸÀÇ »ç¸íÀº õ °³ ºÀ¿ì¸®¸¦ °¡Áø °í¿øÀ» ¸¸µé¾î³»´Â ÀÏÀÌ´Ù. ÇÐȸÀÇ È¸¿øµéÀº °¢ÀÚ°¡ ¼¼¿î õÀÇ ºÀ¿ì¸®µéÀÌ ¿¬°áµÇ¾î ´õ ³ôÀº °÷¿¡ ÆòÆòÇÑ ¿îµ¿ÀåÀÌ ¸¸µé¾îÁö´Â ¹Ì·¡¸¦ ½ÇÇèÇϱâ À§ÇØ °í±ººÐÅõÇÏ°í ÀÖ´Ù.
±¸±ÛÀ» ¶°³­ 8¸íÀº °¢ÀÚÀÇ ¿µ¿ª¿¡¼­ ºÀ¿ì¸®¸¦ ¸¸µå´Â ÀÛ¾÷À» ½ÃÀÛÇÒ °ÍÀÌ´Ù. À̵éÀÌ ¸¸µé¾î³½ ºÀ¿ì¸®µéÀÌ ¿¬°áµÉ °³¿¬¼º¿¡ ÁÖÀǸ¦ ÁýÁßÇغ¼ ÇÊ¿ä°¡ ÀÖ´Ù. À̵éÀÌ ¸¸µç ºÀ¿ì¸®µéÀÌ ¿¬°áµÇ¸é ´õ ³ôÀº °÷¿¡ ´õ ÆòÆòÇÑ ¿îµ¿ÀåÀÌÀÚ °í¿øÀÌ ¸¸µé¾îÁú °ÍÀÌ´Ù.
´õ ³ôÀº °÷¿¡ ¼¼¿öÁö´Â ¿îµ¿ÀåÀº °øµ¿ÀÇ ¸ñÀûÀ» ½ÇÇöÇÏ´Â °øÀÇ(Common Purpose)ÀÇ ¿îµ¿ÀåÀÌ´Ù. ¸ñÀûÀ» ÀÒÀº »ç¶÷µéÀÌ ´Ù¸¥ ºÀ¿ì¸®¿¡ ÀÇÇؼ­ ¿¬°áµÉ ¼ö ÀÖ´Â ºÀ¿ì¸®¸¦ ¼¼¿ï °³¿¬¼ºÀº ³«Å¸°¡ ¹Ù´Ã±¸¸Û Åë°úÇÏ´Â °Íº¸´Ù Èûµé °ÍÀÌ´Ù.