인터넷 뉴스부터 하나 소개하겠습니다.
🔗 애플 “LLM 추론 능력이 좋아진게 아니라 패턴 매칭이 향상된 것” – AI타임스
대형언어모델(LLM)은 실제로 추론을 하는 것이 아니라, 학습 데이터에서 관찰한 패턴을 복제하는 것이라는 연구 결과가 나왔다. LLM이 실제 개념을 이해하지 못한다는 것은 이미 잘 알려진 일로, 이번 연구는 최…
www.aitimes.com
해당 기사에서는 두 개의 질문을 했을 때,
첫 번째 것은 잘 대답하지만, 두 번째는 제대로 답하지 못한다고 합니다.
두 개의 질문은 다음과 같습니다.
- 올리버는 금요일에 키위를 44개 따고, 토요일에는 58개를 땄다. 일요일에는 금요일에 딴 키위의 두 배를 땄다. 올리버는 총 몇 개의 키위를 가지고 있을까?
- 올리버는 금요일에 키위를 44개 따고, 토요일에는 58개를 땄다. 일요일에는 금요일에 딴 키위의 두 배를 땄는데, 그중 5개는 평균보다 조금 작았다. 올리버는 총 몇 개의 키위를 가지고 있을까?
중간에 추론을 방해하는 "그중 5개는 평균보다 조금 작았다."
문항 말고는 같은 질문입니다.
당연히 답은 190으로 같습니다.
애플에선, 해당 문항으로 질문했을 때,
저 문항 때문에 제대로 답하지 못한다고 LLM(대규모 언어 학습모델)의
성능을 믿을 수 없다는 뜻으로 논리를 펼쳤습니다.
발표는 10월 11일에 된 것입니다.
오늘 해당 질문을 똑같이 해봤습니다.
제가 사용하는 AI 플랫폼의 어떤 녀석도,
잘못된 답을 하지 않습니다.
심지어 평균보다 작았다는 내용은 문제 해결에 도움이 안 된단 조언도 합니다.
참고로 해당 논문에 대해서 GPT을 서비스하고 있는 오픈 AI는,
프롬프트를 조정하는 것만으로 충분히 해결할 수 있는 문제라고,
답을 하기도 했습니다.
제 개인적인 경험을 하나 이야기하면,
얼마 전 친구가 한 가지 문제를 해결하기 위해서 고민하는 것을 보았습니다.
그 친구는 3개의 그룹을 섞어서 4개의 프로그램을 경험하게 하고 싶어 했습니다.
거기에 각각의 그룹에 속해 있는 사람들은 4개의 프로그램을 모두 경험해야 하고,
되도록이면 프로그램 참여자는 겹치지 않게 하고 싶었죠.
처음에 들었을 때는 별거 아닌 조합 만드는 거라서,
간단하게 엑셀로 만들 수 있을 거라고 생각했는데,
의외로 만들기가 어렵더군요.
머리 한참 쓰다가, 혹시나 하고
AI에게 문제를 풀어달라고 했습니다.
몇 초 만에 답이 나오더군요.
그걸 정리해서 친구에게 주니,
무척이나 좋아했습니다.
그 친구가 이걸 어떻게 만들었냐고 물어서,
AI를 이용해서 만들었다고 했습니다.
그러자 그 친구는 자기 아는 동료도 AI를 이용해서
만들려고 시도했는데,
실패했다고 답했습니다.
이미 몇 번 그걸 시도했던 동료의 이야기를 들은 적이 있어서,
그 사람이 어떤 식으로 명령을 내렸을지 대충 상상이 갔습니다.
그래서 아마도,
그 사람 방식으론 못했을 거라고 이야기해 줬었습니다.
위의 경험 이야기를 정리하기 전에 먼저 애플의 논문 이야기와
오픈 AI의 답변에 관해서 이야기를 조금 더 해야겠습니다.
이윤 이어져 있거든요.
저 기사를 읽은 사람 들 중에선, 이런 말을 하는 이도 있습니다.
"개떡같이 이야기하면 찰떡같이 알아들어야지. 인공지능이 아직 모자라네."
그리고, 오픈 AI의 프롬프트를 조정하면 제대로 된 답을 얻을 수 있다는 답변에도,
그런 식으로 신경 써서 질문해야 한다면 AI도 아직 멀었다고 말합니다.
그런데 말이죠.
사실, 질문에 쓸데없는, 그러니까 필요 없는 정보가 들어가 있으면,
일반적인 사람도 헷갈립니다.
레크리에이션 행사에서 종종 하는,
틀린 답을 하게 하는 쇼 같은 거 있죠?
빨간색 몇 번 외치게 하고, 엉뚱한 거 질문하는 그런 거요.
인간의 뇌도 비슷합니다.
추론하는 중에 그에 반하는 자료가 있으면,
정확한 추론이 안돼요.
무조건 그 불필요한 자료를 지워내는 작업이 필요합니다.
(애초에 GPT의 학습 방법 자체가 인간의 것을 따라 한 거라서 같을 수밖에 없어요.)
저 기사에서 애플이 주장한 것은,
이미 과거의 문제점일 수밖에 없습니다.
그 증거로 AI들은 이미 정확한 답변을 하고 있거든요.
지속적으로 발전하고 있는 거죠.
저는 직장에서 직원에게 업무를 지시하는 위치에 있습니다.
그리고 최근 몇 년 간 진행한 몇몇 프로젝트에서,
신입 직원들을 데리고 일을 해야 했습니다.
그 덕에, 아주 구체적인 지시를 했어야 했습니다.
그러지 않으면 시간이 몇 배가 드니까요.
중간 관리자 없이 진행했던 프로젝트라 정말 심했죠.
그리고 그게 요즘 제가 인공지능을 사용할 때,
아주 유리한 요소가 되었습니다.
저위의 제 친구의 동료가 지시를 실패했던 이유는 별거 아닙니다.
질문을 통으로 던졌을 거거든요.
그런데 그렇게 일을 시키면,
사람도 제대로 못합니다.
저는 AI에게 상황을 하나하나 쪼개서 질문했습니다.
그룹을 나누고,
프로그램을 나누고,
조건을 하나씩 추가하고,
거기에 맞춰서 생성하고,
그것을 검증해 보고,
최종적으로 만들어주기를 명령했죠.
마치 신입 직원에게 일을 시키는 것과 비슷하게 말입니다.
어떻게 명령을 내리느냐가 가장 중요한 결과의 차이를 만듭니다.
인공지능의 성능은 계속 좋아질 겁니다.
전 GPT를 베타 테스트할 때부터 사용했었습니다.
그때부터 다양한 분야에서 이용했고,
유료화했을 때도 바로 결제해서 사용했습니다.
블로그에서 글을 작성할 때도, 많은 도움을 받고 있고요.
(AI가 없었다면 이 정도의 글을 만들어 낼 만큼의 시간적 여유가 제겐 없습니다.)
지금 학교를 다니고 있는 세대는,
이 AI를 얼마나 사용할 수 있는가가,
아주 중요한 차이를 만들어 낼 것입니다.
그를 위해서 가장 필요한 것은 답이 아니라,
질문입니다.
추상적이지 않은,
구체적인!
물론 위에 제가 올린 답변의 예제를 보시면 아시겠지만,
AI가 발전하면,
정말 대충 물어도 괜찮은 답이 나오겠지만,
그런 상황이 오면,
정말,
세상이 무서워질 겁니다.
그에 관한 이야기는 다음에……
여하튼 인공 지능 세대에서 가장 중요한 것은 무엇일지 생각해 보면,
그것은
"구체적인 질문"
입니다.
내 머릿속에서 원하는 바를 정확하게 표현해서 요구하는 것 말이죠.
그런데, 그거 아시나요?
그게 되면, 꼭 인공지능이 아니더라도,
세상을 살아가는데 무척이나 편하다는걸요.
오늘은 여기까지 하겠습니다.
좋은 하루 보내세요.
from 무상
사족: 인공지능을 이용하는 데 있어서 가장 필요한 능력은, 인공지능의 답이 맞는지 확인할 수 있는 능력입니다. 사람도 그렇지만 인공지능도 엉뚱한 답을 자주 하니까 말이죠.