RTX와 채팅(출처: NVIDIA)
그래픽카드 제조사 엔비디아(NVIDIA)는 맞춤형 인공지능(AI) 챗봇을 컴퓨터에서 실행할 수 있는 ‘Chat with RTX’라는 데모 앱을 2월 13일(현지시간) 발표했다. 문서나 영상의 주요 내용을 요약하고, 관련된 질문에 답변해 주는 간단한 기능을 담고 있습니다. 사용되는 대규모 언어 모델(LLM)은 ‘미스트랄’과 ‘라마 2’ 중에서 선택할 수 있다. 미스트랄은 지난해 설립된 프랑스 AI 기업으로, 최근 GPT-4에 가까운 성능을 갖춘 오픈소스 AI 모델을 개발해 주목을 받았다. 라마2(Rama 2)는 메타가 지난해 7월 공개한 오픈소스 언어 모델이다. 파일 및 유튜브 콘텐츠 정리 및 답변에 최적화되어 있습니다.
컴퓨터에 저장된 텍스트 파일에서 레스토랑 이름 찾기 (출처: NVIDIA)
ChatGPT나 Google Gemini와 같은 챗봇은 사용자가 묻는 질문을 인터넷에서 검색하여 답변합니다. 반면, Chat With RTX는 컴퓨터에 저장된 파일이나 YouTube 동영상을 말합니다. Chat With RTX는 txt, pdf, doc, docx, xml 등 다양한 유형의 문서 파일을 인식하고 답변을 생성합니다. 시연 영상에서 사용자가 다른 사람이 추천하는 음식점 이름을 물으면 챗봇은 컴퓨터에 저장된 두 개의 텍스트(txt) 파일을 기반으로 음식점 이름을 찾아준다. 또한 사용자가 지정한 문서 파일이나 문서가 포함된 폴더의 내용을 요약하는 기능도 있습니다. NVIDIA는 Chat With RTX가 요청을 처리하는 동안 클라우드를 통과하지 않기 때문에 더 빠르게 응답한다고 주장합니다. 또 사용자 데이터가 클라우드로 전송되지 않기 때문에 기업 데이터나 개인정보 등 민감한 파일도 안심하고 지정할 수 있다고 강조했다. 유튜브에서 원하는 정보 찾기 (출처: NVIDIA) 파일이나 폴더 대신 유튜브 영상이나 재생목록 링크를 입력할 수도 있습니다. 이 경우 해당 영상의 스크립트는 분석의 기초자료로 취급됩니다. NVIDIA가 CES 2024에서 발표한 그래픽 카드의 종류에 대해 챗봇에게 물었더니 CES 2024에서 업로드된 영상을 바탕으로 NVIDIA가 RTX 4080 Super, RTX 4070 Ti Super, RTX 4070 Super 등 3가지 제품을 공개했다고 답했습니다. .사용료는 없으나 고성능 NVIDIA 그래픽 카드가 필요합니다. Chat with RTX는 NVIDIA 웹사이트에서 무료로 다운로드할 수 있으며 용량은 35.1GB입니다. 이를 실행하면 브라우저에서 Chat With RTX가 열리고 백그라운드에서 명령 프롬프트가 열려 현재 처리 중인 요청과 오류 코드가 표시됩니다. NVIDIA RTX 그래픽 카드 (출처: NVIDIA) AI 연산을 수행해야 하기 때문에 고사양 NVIDIA 그래픽 카드가 필요합니다. 시스템 요구 사항에 따라 최소 8GB의 그래픽 RAM(VRAM)을 갖춘 GeForce RTX 30 또는 40 시리즈 그래픽 카드를 설치해야 합니다. RTX 3050 6G 모델을 제외한 모든 RTX 30, 40 시리즈에서 사용할 수 있다. 운영체제는 윈도우 10, 11만 지원한다. 해외 언론의 평가는? ‘Fast and Free’에 대한 호평이 있던 날, 미국 IT 매체 더 버지(The Verge)는 Chat with RTX를 설치하고 테스트한 후 빠르게 리뷰를 공유했습니다. 언론은 Chat with RTX가 문서 분석이 필요한 작업에 적합하다고 평가했습니다. 파일 내용을 분석하기 위해 Co-Pilot Pro나 ChatGPT Plus 등의 유료 서비스에 가입할 필요가 없고, 클라우드를 거치지 않고도 컴퓨터에서 빠르게 처리할 수 있다는 점을 높이 평가했습니다. 미디어는 PDF를 변환하는 마이크로소프트 코파일럿(Microsoft Co-Pilot)이다. 분석할 때 MS 워드 프로그램을 이용해 읽을 때 내용이 제대로 인식되지 않는 경우가 있었다고 하는데, RTX로 채팅하면 문제 없이 핵심 정보가 추출됐다. 하지만 25,000여 개의 문서 내용 정리를 요청했을 때 오류가 발생해 기본 설정을 재설정한 후에야 다시 실행할 수 있었다. 파일이 너무 많으면 오류가 발생하는 것 같습니다. 파일이 아닌 유튜브 링크를 입력하면 데이터 추출 가능(출처:엔비디아) 한편, 언론에서는 팟캐스트의 특정 내용이 언급된 부분을 찾을 수 있어 핵심 내용을 훑어보기 쉽다고 칭찬했다. 유튜브 링크만 들어가도 말이에요. . 긴 영상을 모두 시청하지 않고도 필요한 정보를 얻을 수 있습니다. 다만 영상 내용이 완전히 다른 오류가 발생하는 경우도 있다고 덧붙였다. 또한 NVIDIA가 해결해야 할 몇 가지 단점이 있습니다. 컴퓨터에 저장된 파일이나 폴더를 참조 데이터로 지정하면 해당 위치에 ‘.JSON’ 확장자를 가진 파일이 생성되어 폴더가 지저분해집니다. 이전 질문과 답변을 기억하는 기능이 없어 후속 질문을 할 수 없는 점도 단점으로 지적됐다. 다만, 아직 데모 버전이기 때문에 향후 업데이트를 통해 개선될 가능성이 있습니다. 테크플러스 에디터 이병찬[email protected] 애플 아이폰16 카메라 디자인, 아이폰X와 닮았나? 애플이 2월 5일(현지시각) 애플 소식을 전한다 애플허브가 올해 출시될 아이폰 16의 렌더링 이미지를 공개했다. 아이폰16 후면 카메라 디자인은 아이폰X(아이폰텐), 아이폰11과 유사…techpress.co.kr