CEO특강: Power Electronics for EV

Future of EV

2019년 10월 16일 LGx연세대학교 CEO특강 6강
임선경 수석연구원 (상무) 본 포스트는 연세대학교에서 열린 CEO특강을 요약한 자료입니다.

read more

CEO특강: Future of Sellable Robot

Future of Sellable Robot

2019년 10월 2일 LGx연세대학교 CEO특강 4강
본 포스트는 연세대학교에서 열린 CEO특강을 요약한 자료입니다.

191002-robot

혁신이란?

Improvement 가 아니라 돌아갈 수 없는 상태가 되는 것.

예: 말 → 자동차, 손빨래 → 세탁기, 피쳐폰 → 스마트폰.
단순히 더 빠른 자동차, 더 좋은 세탁기는 혁신이라고 할 수 없다.

로봇이란?

단순히 자동으로 움직이는 것이 아니라, 주변 환경을 감지하고 적절히 작동해야 한다.

Sellable Robot

성능이 우수하다고 끝이 아니라, 구입할만한 동기와 적절한 가격이 fit해야 한다.

  1. 주어진 임무 (Task) 에 대해서, 사람과 동등하거나 더 잘해야 한다.
  2. 소비자들이 감당할 수 있는 가격대가 형성되어야 한다.
  • Robot의 application는 신중하게 선택되어야 하는데, 자칫하면 천문학적으로 비싸지기 때문이다.
  • application이 정해졌으면, sensor, processor, actuator가 신중하게 디자인 되어야 한다.
    • Under-Engineering하면 임무를 실패한다.
    • Over-Engineering하면 가격이 너무 비싸진다. => 여기서 문제는, 이러한 적절한 타협점은 디자인 이전에 미리 알기 어렵다는 것이다.

그러므로, 아직까진 로봇청소기만이 시장에서 성공했다.

그럼 그 다음은?

Low-Hanging Fruits

191002-robot

가장 달성하기 쉽고 효과적인 목표부터 달성하자.

“Low Hanging Tree”

LG는 왜 로봇에 betting할까?

LG가 가진 유리한 장점들.

  1. 다양한 융복합 기술 소유
  2. 높은 품질 관리를 양산 경험
  3. 가전 사업에서의 우위
  4. 적당한 매출 규모

Core Technology

로봇은 “돌아다니는” “컴퓨터” 이다.

# 돌아다니는

  • Navigation : SLAM, Obstacle Avoidance, Path Planning
  • interaction: Robot Intelligence, Contextual Awareness, Emotional Interaction
  • Manipulation: Obstacle Recognition, Motion Planning, Motion Control

# 컴퓨터

  • Cloud Robotics
  • Robot Platform
  • Simulation

자율주행차의 어려움

191002-self

  • 자율주행차를 개발하는데 가장 어려운 점은, “완벽한 차”를 만드는 것이 아니다.
  • 문제는, 사람들이 “필요없는 브레이킹”을 과도하게 한다는 점이다.
  • 하지만 브레이킹이 필요한 브레이킹이었는지 아닌지는 실제로 안밟아봐야 한다.
  • 사고가 나면 필요한 브레이킹, 사고가 나지 않으면 필요하지 않은 브레이킹이다.

따라서 자율주행차는 사고가 안나는 것이 목표가 아니라, “사람보다 잘 하기만 하면” 된다. (이거 좀 inspiring한 말이었다.)

테슬라 사망사고 당시 회사의 해명: “당신들은 사고 한건만 기억하지, 그동안 우리가 줄인 사고는 모른다.”

요약

  • 로봇은 미래다. Sellable robot은 더욱 보급될 것이다.
  • 로봇의 무서운 점은, 한번 application되면 더이상 돌아갈 수 없다는 것이다.
  • Solution optimization은 application-specific하다.
  • LG전자는 로봇을 진지하게 돈벌려고 개발하고 있다.

read more

CEO특강: Cloud Big Data

Artificial Intelligence Cloud Big Data

2019년 9월 18일, LG전자 Cloud센터 서비스담당 김동욱 상무님
LGx연세대학교 CEO특강 2강
본 포스트는 연세대학교에서 열린 CEO특강을 요약한 자료입니다.

Managed Service

고장나지 않는 제품을 만드는 시대에서, 제품을 사용하면서 발생하는 어려움까지 책임지는 Managed Service로의 기조가 이동했다. 즉, 공기청정기가 필요하지 않은 집이라고 하더라도 어떻게든 판매하기보다, 솔직하게 ‘공기청정기가 필요하지 않습니다.’ 라고 말할 수 있는 것.

공감 능력

에어컨 개발 시절. 에어컨 서버 장애가 있었는데 가장 많이 올라왔던 클레임이, “우리 강아지 죽겠다.” 였다. 알아봤더니 많은 사람들이 원격으로 온도를 확인하고 에어컨을 켜고 끄고 있던 것이다. 개발자로써는 상상도 못한 시나리오여서 깜짝 놀랐다. 그러므로 공감능력이 중요하다.

Big Data의 중요성

하지만, 아무리 공감능력이 뛰어나더라도 모든 현상을 알 수 없다. 그러므로 ‘데이터’를 들여다 보는 것이 정말 중요하다.

Big Data의 활용 분야

  • 고객이해, 제품기획
  • 제품자체가 뎅터 기반
  • 제품 생산에 데이터 활용

추천 다큐멘터리: The Great Hack, Netflix, July 2019

예시: Eye-gaze data from web search engine

돈의 가치

PAYCO시절, 첫 결재 5,000원 쿠폰을 주어도 아무도 고마워하지 않았다. 하지만 적립율을 조금 높여주었더니, 사용자들이 매우 좋아했다. 이는 엔지니어로써 전혀 이해가 안되는 현상이다. 하지만 고객들은 스스로가 현명을 소비를 하고있다는 느낌을 받는 것이 굉장히 중요했다. 이런 관점에서, CS센터에서 수집되는 data가 정말 중요하다.

참고할 만한 서비스:

  • Vodafone의 Chatbot Tobi: 챗봇이 상담 중에 ‘욕설’이 나오면 바로 사람으로 연결한다.
  • 도입하려고 했더니?: 우리나라 사람들은 챗봇인걸 알고 욕조차 안하더라. 오히려 자연어보다 키워드 중심으로 검색하듯이 사용하더라.

한번 제품을 납품했다고 끝나는 것이 아니라, 끊임없이 Track을 하면서 maintanance측면에서도 개선할 수 있도록 feedback을 받는 것이 중요하다.

실제 어떻게 활용되고 있는가?

190918-pcc

190918-production

190918-idc2saas

DB 이야기

190918-db 190918-dbservice 최근 Serverless시스템이 유행이다.

190918-serverless

190918-digitaltransformation

190918-aitransformation

190918-aifuture

190918-pit

AI와 세탁기 개발: 과거에는 제품 개발과정이 노하우를 하드코딩하는 수준이었다면, 최근에는 센서의 입력을 이용해서 강화학습을 이용해 최적화를 하고 있다. 그렇다면, 지금까지 LG전자는 굉장히 많이 축적된 데이터와 판매노하우를 가지고 있었는데, 이제는 중국의 작은 소프트웨어 업체들조차 훨씬 성능이 좋은 세탁기를 개발할 수 있다라는 뜻이다. 그러므로 굉장히 위협적으로 인식하고 있다.

그렇다면 이제 식품쪽에서도, 음식을 넣어주면 과거에는 ‘10분 강불 가열, 소금 한 스푼’와 같이 기계처럼 했다면, 이제는 음식의 종류와 양, 상태에 따라 최적의 레시피로 조리하는 조리기구 플랫폼이 생겨날 수 있다.

AI스피커는 직접 매출을 올린다기보다, 이를 통해 subscription을 확대한다는데에 의의가 있다.

생각해볼 점

  • 제품과 서비스
  • Home
  • 사람, 문화의 변화가 최우선
  • 의사결정 방식의 변경 (예. 생산량 예측, 판촉대상 선정)

당부하고 싶은 점

이제는 고등학생도 딥러닝을 돌리는 시대가 됬다.
그러므로 자칫하면 ‘AI Coder’ (비하의 표현) 가 되기 쉽다. 이 점을 굉장히 경계해야 한다. 그러므로, AI의 본질에 대해 더욱 깊이 들어갈 수 있는 연구자가 되어야 한다.

read more

CEO특강: 통찰력을 통한 혁신상품 발굴사례

Insightful Thinking: 통찰력을 통한 혁신상품 발굴사례

2019년 9월 11일, LG전자 H&A 상품기획담당
LGx연세대학교 CEO특강 1강
본 포스트는 연세대학교에서 열린 CEO특강을 요약한 자료입니다.

들어가기 전

문과와 이과의 구분이 명확한 한국사회이지만, 현대사회에는 융합형 인간

LSR은 무엇을 하는 곳인가?

Life Soft Research : Hardware (Soft), Device (Consumer), Spec. (Concept)

“See the Unseen”

트렌드와 고객 행동을 관찰하여 고객 마음을 읽어 경험을 바꾸는 LSR/UX 연구소. 고객을 연구하는 부서이다.

상품기획은 무엇을 하는 곳인가?

고객 요구사항으로부터 제품컨셉 및 USP를 도출하고 수용성 평가, Working Sample 검증부터 Pre Marketing까지 끊임ㅇ벗는 고객 검증으로 해답을 차자가는 프로세스(NPI)를 기획/총괄하는 부서. 여러가지 채널을 종합적으로 보아 제품의 컨셉, USP (Unique Selling Position, 제품을 사야하는 이유)를 가장 중요하게 기획.

가전제품은 투자가 많이 들어가다보니 의사결정의 과정이 매우 다단화됨.

기회 발굴: Product Opportunity (선행상품 기획) Concept Planning: [PreCP > CP] [PP> DV> PV> PQ] [MP와 Post NPI] (적확도 검증)를 거쳐

왜 이런 일을 하는걸까?

“Innovation for life”라는 회사의 가치를 고객들에게 전달하기 위한 노력

그렇다면 이런 일을 하는데 가장 중요한 역량은 무엇인가?

핵심은 통찰력!

통찰력: 똑같은 현상을 꿰뚫어보거나 다르게 보는 것.
과거 (Hindsights), 현재 (Insights), 미래 (Foresights)

read more

Paper Review: PML

Paper Review: PML

PML: Blazingly Fast Video Object Segmentation with Pixel-Wise Metric Learning

Yuhua Chen et al., CVPR, 2018


190910-pml-architecture

Blazingly Fast Video Object Segmentation with Pixel-Wise Metric Learning (PML) 논문은 2018년 CVPR에서 발표된 Interactive Video Object Segmentation 논문입니다.

Overview

190910-pml

Interactive Video Object Segmentation는 비디오에서 특정 물체를 분리하기 위해 유저의 개입 (Interaction)을 필요로 합니다. 이를 위해 Video Object Segmenatation 문제를 Pixel-wise retrieval problem 으로 정의했습니다. 이는 비디오에서 각각의 픽셀을 embedding space에 투사하고 이 space에서 구분해내겠다는 뜻입니다. 이상적으로, Embedding space에서 다음 성질을 만족합니다.

Embedding Space에서,

  • 같은 Object Instance는 서로 가까이,
  • 다른 Object Instance는 가능한 멀리 떨어져 있어야 한다.

즉, Embedding space에서 label을 알고 있는 pixel에 대해 가장 비슷한 reference pixel을 찾은 후 같은 lebel을 부여합니다.

190910-pml-embedding

이 논문에서 제안하는 방법의 장점 은 다음과 같습니다.

  1. 매우 효율적 (Highly Efficient): fine-tuning없이 single forward pass만 거칩니다.
  2. 다양한 user input을 수용 가능 : click, scribble, mask등 다양한 user input에 대한 유연성이 있습니다. 또한 user input이 달라져도 embedding space는 독립적이기 때문에 다시 계산하지 않아도 됩니다.

Architecture

190910-pml-architecture

PML은 two-stage로 이루어집니다.

  1. embedding network: 영상을 d-dim. embedding space로 embedding한다.
  2. per-pixel retrieval: nearest reference pixel에 따라 label을 transfer한다.

How to handle user input?

좀 더 자세히 살펴보겠습니다.
Video Object에 대한 user input이 들어오면, 기존의 논문들은 다음과 같은 방법을 사용했습니다.

  1. User input to fine-tune model : user input을 이용해 특정 object에 대하여 network를 fine-tuning 합니다. 정확도는 비교적 높지만, 시간이 매우 오래 걸린다는 한계가 있습니다.

  2. User input as the network input : user input을 가공하여 또다른 input으로 network에 넣어줍니다. 예를 들어 이미지와 함께 concat.을 한다던지, sub-network를 이용해 encoding 하는 방법이 있습니다. 이는 finetuning처럼 traing을 다시 할 필요가 없어 조금 더 빠르지만, 여전히 network를 다시 계산해야 하기 때문에 많은 시간을 필요로 합니다.
  3. 이 논문의 방법: 이 논문은 먼저 비디오를 embedding-space로 계산해놓고, user input에 따라서 nearest neighbor search만 계산하면 segmenatation을 할 수 있도록 했습니다. 이는 매우 빠르고 간단하다는 장점이 있습니다.

Segmentation as Pixel-wise Retrieval

Embedding model은 다음과 같이 구성됩니다.

Input image

  1. DeepLab-v2 (ResNet101 Backbone)
    COCO에 대해 semantic segmentation pre-train.

  2. Embedding Head
    final classification layer를 제거하고 d-dim conv. layer로 대체 후
    VOS emedding을 학습하도록 fine-tuning

output embedding tensor

Retrieval with Online Adaptation

이렇게 얻어진 embedding space에서 reference pixel (찾고자하는 픽셀)과 가까운 픽셀을 retrieving함으로써 segmentation을 수행합니다. 저자는 k-Nearest Neighbors (kNN) classifier를 사용했습니다. 그 후, majority voting 을 통해 pixel을 구분했습니다. 여기까지 하게되면 stride=8 이므로, bilateral solver 를 이용해 original size로 up-sample을 해줍니다.

Overcome Appearance Changes

Appearance Changes 시간이 흐르며 첫 프레임으로부터 형태가 많이 바뀌면, FCN의 성능이 저하됩니다. 이를 극복하기 위해 OnAVOS는 이후의 프레임을 이용해 model을 update하는 방법을 제안했습니다. 하지만 이를 위해서는 fine-tuning을 수행해야하는 단점이 있습니다.

이 이슈는 embedding space에서의 sample distribution shift 로 이해할 수 있습니다. 저자는 이 문제를 다음과 같이 해결했습니다.

  1. pool을 만들고, user가 annote한 reference pixel들로 초기화한다.
  2. 비디오가 진행하면서 high confidence sample들을 pool에 추가한다. (k=5 for user-interactive, k=1 for semi-supervised)

Training

Metric Learning의 기본 아이디어는, 비슷한 샘플은 가까이, 다른 샘플은 멀리 떨어뜨리도록 embedding space를 학습시키는 것 입니다.

Training Loss 보통, Metric Learning을 위해서는 Contrastive loss, triplet loss 등이 널리 사용됩니다. 이 논문은 triplet loss를 segmentation에 적합하도록 수정하여 사용했습니다.

190910-pml-losses

Training Strategy

  1. Randomly choose three frames
  2. Sample $N, P, x^a$: one frame for anchor point, two frames for joined together.
  3. embedding head will learn temporal weight from the feature vector.
  4. do not use pixels from anchor frame to avoid too easy samples.

Result

190910-pml-result-qvt

PML의 특징은 매우 빠르면서 정확도가 굉장히 높다는 점입니다. 보통 time과 quality는 trade-off관계임을 감안했을때, 이는 뛰어난 성능임을 알 수 있습니다.

Metric

Metric은 다음과 같습니다.

: mean intersection-over-union (mIoU)
: Contour accuracy
: average of J and F.

190910-pml-result-table

190910-pml-result2

Discussion

장점, Contribution

  1. 빠르다. Embedding space만 만들어 놓으면 kNN search로 빠르게 연산할 수 있다. fine-tuning도 필요하지 않다.
  2. Robust to Heavy occlusion. (BMX-tree, Libby)
    이는 temporally-neighboring propagation을 사용하지 않았기 때문.
  3. Robust to Drastic Change in foreground scale and appearance. (Motocross-Jump) \
  4. Robust to Drastic Change in background appearance. (Parkour)
    시간에 따라 변하는 object의 변화를 잘 감지한다. first-frame에 보이지 않는 appearance 정보 (motorcross의 옆면)등도 잘 segment하는 것을 볼 수 있다.

단점, Limitation

  1. Incorrect match 를 복구하기가 힘들다. 한번 pool이 bias되기 시작하면 걷잡을 수 없을듯.

read more