본문 바로가기
Log/컨퍼런스

AWS Summit Seoul 2024 Session - AWS와 생성형 AI로 비즈니스 혁신하기

by shinbian11 2024. 5. 19.

 

AWS와 생성형 AI로 비즈니스 혁신하기


 

파운데이션 모델(FM)을 기반으로 하는 생성형 AI

  • 방대한 양의 비정형 데이터으로 훈련
  • 복잡한 개념을 학습할 수 있도록 많은 파라미터 포함
  • 다양한 컨텍스트에 적용 가능
  • 도메인별 작업을 위해 데이터를 사용하여 파운데이션 모델을 최적화

 

 

 

생성형 AI를 사용하였을때의 장점

 

  • 고객 경험 향상
  • 직원 생산성 및 창의성 강화
  • 비즈니스 프로세스 최적화

 

생성형 AI 사용 가능 분야

 

  • 의료 서비스 및 생명 과학
  • 제조 산업
  • 금융 서비스
  • 유통
  • 미디어 및 엔터테인먼트

 

 

 

생성형 AI의 대중화

 

1. FM 훈련 및 추론을 위한 인프라

 

  • FM 모델 학습과 추론은 굉장한 인프라가 필요한데, GPU의 발전으로 이것이 점점 가속화되고 있음
  • AWS Trainium, AWS Inferentia
  • AWS SageMaker
    • 기계 학습 모델을 간편하게 빌드, 학습 및 배포할 수 있도록 하는 완전 관리형 서비스
    • 자동 모델 파인 튜닝 및 분산 훈련
    • ML 운영을 위한 도구
    • 책임 있는 AI를 위한 내장 기능
    • 유연한 모델 배포 옵션 기능

 

2. LLM 및 기타 FM을 사용하여 구축할 수 있는 도구

 

  • Amazon Bedrock 가드레일
    • 책임 있는 AI 정책을 기반으로 유해 콘텐츠 필터링을 쉽게 구성
    • FM 또는 에이전트에 가드레일 적용
  • Amazon Bedrock 에이전트
    • 생성형 AI 애플리케이션이 단 몇번의 클릭으로 작업을 수행할 수 있도록 함
    • 작업을 세분화 및 오케스트레이션하고 사용자를 대신하여 API 직접 호출 실행
    • 회사 데이터에 안전하게 액세스 및 검색
  • Amazon Bedrock 사용자 최적화 기능
    • 파인 튜닝
    • 검색 증강 생성(RAG)
    • 지속적인 사전 학습

 

3. LLM 및 기타 FM을 활용하는 애플리케이션

 

  • Amazon Q Business
    • 비즈니스 질문에 대한 빠르고 정확하며 관련성 높은 답변을 비공개로 안전하게 제공
    • S3, Google Drive, Microsoft 365, Gmail, Slack, Atlassian 등 40여개의 인기 있는 데이터 소스와 연결
    • 기존 액세스 제어 준수 - 역할에 따라 볼 수 있는 권한이 부여된 정보만 반환
  • Amazon Q Developer
    • IDE, Console 등 AWS를 사용하는 모든 곳에서 지원됨
    • 사용자와 대화하여 새로운 AWS 기능 탐색, 솔루션 설계
    • 사용자와 협력하여 문제 해결, 신규 기능 구축, AWS에서 언어 업그레이드
  • Amazon Q in QuickSight
    • 생성형 대시보드 작성
    • 시각적으로 매력적인 데이터 스토리
    • 새로워진 Q&A 경험
  • Amazon Q in Connect
    • 생성형 AI 고객 센터 에이전트 지원
    • 실시간 고객 대화로 에이전트에게 추천 응답 생성
    • 생성된 응답에 대한 자연어 검색 및 추가 정보 링크