[go: nahoru, domu]

KR20110012491A - System, management server, terminal and method for transmitting of message using image data and avatar - Google Patents

System, management server, terminal and method for transmitting of message using image data and avatar Download PDF

Info

Publication number
KR20110012491A
KR20110012491A KR1020090070225A KR20090070225A KR20110012491A KR 20110012491 A KR20110012491 A KR 20110012491A KR 1020090070225 A KR1020090070225 A KR 1020090070225A KR 20090070225 A KR20090070225 A KR 20090070225A KR 20110012491 A KR20110012491 A KR 20110012491A
Authority
KR
South Korea
Prior art keywords
message
avatar
terminal
image data
gesture
Prior art date
Application number
KR1020090070225A
Other languages
Korean (ko)
Inventor
홍상우
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020090070225A priority Critical patent/KR20110012491A/en
Publication of KR20110012491A publication Critical patent/KR20110012491A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A system, a management server, a terminal and a method for transmitting a message using image data and an avatar are provided to confirm an emotional state of the other party through an avatar by transmitting a message including the avatar which indicates an emotional state of the other party. CONSTITUTION: A message server(30) is connected to first and second terminals(10,20) and manages the message transmission among plural terminals. If a message and image data are received from the first terminal, a management server(40) recognizes the gesture of a first terminal user from the imaged data. The management server extracts the avatar corresponding to the recognized gesture to transfer an avatar message to the second terminal.

Description

영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법{System, Management Server, Terminal and Method for Transmitting of Message Using Image Data and Avatar}System, Management Server, Terminal and Method for Transmitting of Message Using Image Data and Avatar}

본 발명은 아바타를 이용한 메시지 전송 기술에 관한 것으로서, 보다 구체적으로, 제1 단말이 작성된 메시지와, 획득된 영상데이터로부터 인식되는 제스처에 대응하여 추출된 아바타를 이용하여 생성된 아바타 메시지를 제2 단말로 전송하는 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법에 관한 것이다.The present invention relates to a message transmission technology using an avatar, and more particularly, to a second terminal using an avatar message generated using a message generated by a first terminal and an avatar extracted corresponding to a gesture recognized from acquired image data. The present invention relates to a message transmission system, a management server, a terminal, and a method using image data and an avatar to be transmitted.

이동통신 기술의 발전으로 인하여 단말이기를 이용해 시간과 장소에 방해받지 않고 음성 통화, 화상 통화 및 메시지를 이용한 대화 등 상대방과의 의사전달이 가능하게 되었다. With the development of mobile communication technology, it is possible to communicate with other parties, such as voice calls, video calls, and messages, without interrupting time and place using the terminal.

특히, 메시지를 이용한 상대방과의 대화는 음성 통화, 화상 통화보다 장소 등의 환경적인 요인에 대한 제약이 적어서 사용자들이 주로 사용하는 서비스이다. In particular, the conversation with the other party using a message is a service mainly used by users because there is less restriction on environmental factors such as voice call and video call.

그러나 음성 통화, 화상 통화의 경우 상대방의 목소리 또는 얼굴을 확인할 수 있기 때문에 타인의 감정을 고려하지 못함으로 인한 오해가 발생하는 일이 적지 만, 단문메시지, 장문메시지, 모바일 메신저를 이용한 메시지의 경우는 통화와는 달리 상대방의 목소리 또는 얼굴을 확인할 수 없기 때문에 타인의 감정을 고려하지 못함으로 인한 오해가 빈번하게 발생한다. However, in the case of a voice call or a video call, the voice or face of the other party can be identified, so that misunderstandings are rarely caused by not considering other people's feelings. Unlike calls, misunderstandings occur frequently because the other person's voice or face can't be identified.

따라서 사용자들은 자신의 감정을 타인에게 표현할 수 있는 한글, 영문, 특수기호의 조합을 이용한 이모티콘 등을 메시지에 포함하여 타인에게 전송하지만, 이모티콘 등으로는 자신의 감정을 명확하게 전달하기 어렵고, 상대방 역시 사용자의 감정을 명확하게 확인할 수 없는 문제점이 존재한다. Therefore, users include emoticons using a combination of Korean, English, and special symbols that can express their feelings to others, and send them to others, but it is difficult to clearly communicate their feelings with emoticons. There is a problem that can not clearly identify the emotion of the user.

이러한 종래의 문제점을 해결하기 위하여, 본 발명의 목적은 단말 사용자가 메시지 작성 시 사용자의 감정상태를 나타낼 수 있는 아바타를 메시지에 포함시켜 작성한 후 이를 타 단말로 전송하는 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법을 제공하기 위한 것이다.In order to solve such a conventional problem, an object of the present invention is to include a message that includes a avatar that can indicate the emotional state of the user when the message is created in the message, and then to the message transmission system using the avatar to transmit it to other terminals, management To provide a server, a terminal and a method.

본 발명의 다른 목적은 아바타가 포함된 메시지를 작성할 때, 카메라로부터 획득된 영상데이터를 분석하여 영상데이터 분석결과에 따라 아바타를 선택한 후 선택된 아바타와 작성된 메시지를 결합하여 전송하는 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법을 제공하기 위한 것이다.Another object of the present invention is to create a message containing an avatar, a message transmission system using an avatar that analyzes the image data obtained from the camera to select the avatar according to the image data analysis result and then combines the selected avatar and the created message To provide a management server, terminal and method.

이러한 목적을 달성하기 위하여, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템은 제1 단말 및 제2 단말과 연결되어 상기 각 단말 사이의 메시지 전송을 주관하는 메시지서버, 상기 제1 단말로부터 메시지와 영상데이터를 수신하면 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 메시지와 결합하여 생성된 아바타 메시지를 상기 제2 단말로 전송하는 관리서버를 포함하는 것을 특징으로 한다.In order to achieve this object, the message transmission system using the image data and the avatar according to the present invention is A message server connected to a first terminal and a second terminal to manage message transmission between the terminals, and when a message and image data are received from the first terminal, the gesture of the first terminal user is recognized from the image data. And a management server extracting the avatar corresponding to the recognized gesture and transmitting the avatar message generated by combining with the message to the second terminal.

아울러, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 관리서버는 제1 단말, 제2 단말 및 메시지서버와 통신을 수행하는 송수신부, 상기 제1 단말로부터 메시지와 영상데이터를 수신하면 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 메시지와 결합하여 생성된 아바타 메시지를 상기 제2 단말로 전송하는 제어부를 포함하는 것을 특징으로 한다.In addition, the message transmission management server using the image data and the avatar according to the present invention is a transmission and reception unit for communicating with the first terminal, the second terminal and the message server, the image data when receiving the message and the image data from the first terminal And a controller for recognizing a gesture of the first terminal user from the user, extracting an avatar corresponding to the recognized gesture, and transmitting the avatar message generated by combining with the message to the second terminal.

또한, 상기 제어부는 상기 제2 단말로 상기 아바타 메시지를 전송한 이후에 상기 제2 단말로부터 응답메시지 및 영상데이터가 수신되면 상기 영상데이터로부터 상기 제2 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 응답메시지와 결합하여 생성된 아바타 메시지를 상기 제1 단말로 전송하는 것을 특징으로 한다.The controller may recognize the gesture of the second terminal user from the image data after receiving the response message and the image data from the second terminal after transmitting the avatar message to the second terminal. And extracting the avatar corresponding to and transmitting the avatar message generated by combining with the response message to the first terminal.

또한, 상기 제어부는 상기 수신된 영상데이터를 분석하여 상기 영상데이터에 포함된 사용자의 제스처를 인식하고, 상기 인식된 제스처에 따라 표정, 행동을 포함하는 감정상태가 적용된 아바타를 추출하는 것을 특징으로 한다.The controller may recognize the user's gesture included in the image data by analyzing the received image data, and extract an avatar to which an emotional state including an expression and an action is applied according to the recognized gesture. .

또한, 다수의 아바타를 저장하는 저장부를 더 포함하는 것을 특징으로 한다.The apparatus may further include a storage unit which stores a plurality of avatars.

아울러, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 단말은 메시지서버와 통신을 수행하는 통신부, 아바타 메시지에 포함할 메시지를 작성하고, 카메라를 활성화하여 상기 카메라로부터 획득된 영상데이터로부터 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고, 상기 작성된 메시지와 상기 추출된 아바타로 생성된 상기 아바타 메시지를 상기 메시지서버를 통해 제2 단말로 전송하는 제어부를 포함하는 것을 특징으로 한다. In addition, the message transmission terminal using the image data and the avatar according to the present invention, a communication unit for communicating with the message server, a message to be included in the avatar message, and to activate the camera gesture of the user from the image data obtained from the camera And a controller for extracting an avatar corresponding to the recognized gesture and transmitting the created message and the avatar message generated by the extracted avatar to a second terminal through the message server. .

또한, 상기 제어부는 상기 영상데이터를 분석한 후 상기 영상데이터에 포함된 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 따라 표정, 행동을 포 함하는 감정상태가 적용된 아바타를 추출하는 것을 특징으로 한다.The controller may recognize the gesture of the user included in the image data after analyzing the image data, and extract an avatar to which an emotional state including an expression and an action is applied according to the recognized gesture. do.

또한, 상기 제어부는 상기 작성된 메시지와 상기 추출된 아바타를 결합하여 상기 아바타 메시지를 생성하는 것을 특징으로 한다.The controller may generate the avatar message by combining the created message with the extracted avatar.

또한, 다수의 아바타를 저장하는 저장부를 더 포함하는 것을 특징으로 한다.The apparatus may further include a storage unit which stores a plurality of avatars.

아울러, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법은 관리서버가 제1 단말로부터 메시지 및 영상데이터를 수신하는 단계, 상기 관리서버가 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식하는 단계, 상기 관리서버가 상기 인식된 제스처에 대응하는 아바타를 추출하는 단계, 상기 관리서버가 상기 메시지와 상기 아바타를 결합하여 아바타 메시지를 생성하는 단계, 상기 관리서버가 상기 아바타 메시지를 제2 단말로 전송하는 단계를 포함하는 것을 특징으로 한다.In addition, in the message transmission method using the image data and the avatar according to the present invention, a management server receives a message and image data from a first terminal, and the management server recognizes a gesture of the first terminal user from the image data. Step, the management server extracts the avatar corresponding to the recognized gesture, the management server combines the message and the avatar to generate an avatar message, the management server to send the avatar message to the second terminal Characterized in that it comprises the step of transmitting.

아울러, 본 발명에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법은 제1 단말이 아바타 메시지에 포함할 메시지를 작성하는 단계, 상기 제1 단말이 카메라를 활성화하여 상기 카메라로부터 획득된 영상데이터로부터 사용자의 제스처를 인식하는 단계, 상기 제1 단말이 상기 인식된 제스처에 대응하는 아바타를 추출하는 단계, 상기 제1 단말이 상기 메시지와 상기 추출된 아바타를 결합하여 상기 아바타 메시지를 생성하는 단계, 상기 제1 단말이 상기 아바타 메시지를 메시지서버를 통해 제2 단말로 전송하는 단계를 포함하는 것을 특징으로 한다. In addition, the message transmission method using the image data and the avatar according to the present invention comprises the steps of the first terminal to write a message to be included in the avatar message, the first terminal to activate the camera from the image data obtained from the camera of the user Recognizing a gesture; extracting an avatar corresponding to the recognized gesture by the first terminal; generating the avatar message by combining the message with the extracted avatar; And transmitting, by the terminal, the avatar message to the second terminal through the message server.

이와 같이, 본 발명은 단말 사용자가 메시지 작성 시 사용자의 감정상태를 나타낼 수 있는 아바타를 메시지에 포함시켜 작성한 후 이를 타 단말로 전송함으로써, 아바타를 통해 상대방의 감정상태를 확인할 수 있고, 상대방과의 오해발생을 최소화할 수 있는 효과가 있다. As described above, according to the present invention, the terminal user includes an avatar which can indicate the emotional state of the user when the message is written, and then sends the message to another terminal to confirm the emotional state of the other party through the avatar. There is an effect that can minimize the occurrence of misunderstandings.

또한, 본 발명은 아바타가 포함된 메시지를 작성할 때, 카메라로부터 획득된 영상데이터를 분석하여 영상데이터 분석결과에 따라 아바타를 선택한 후 선택된 아바타와 작성된 메시지를 결합하여 전송함으로써, 사용자의 제스처에 따른 아바타를 이용하여 감정상태를 나타내는 것을 보다 수월하게 수행할 수 있는 효과가 있다.In addition, the present invention, when creating a message containing an avatar, by analyzing the image data obtained from the camera to select the avatar in accordance with the image data analysis results, and transmits the combined message and the selected avatar and the avatar, according to the user's gesture Using to have an effect that can be more easily performed to represent the emotional state.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 다만, 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present invention belongs and are not directly related to the present invention are omitted. This is to more clearly communicate without obscure the core of the present invention by omitting unnecessary description.

이하, 본 발명의 실시예에서 단말은 사용자에게 편의를 제공하기 위한 이동통신단말기, 개인정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone) 등의 무선단말일 수 있고, 개인용 컴퓨터(Personal Computer), 노트북 등의 유선단말일 수도 있다. Hereinafter, in an embodiment of the present invention, the terminal may be a wireless terminal such as a mobile communication terminal, a personal digital assistant (PDA), a smart phone, etc. for providing convenience to a user, and a personal computer. It may be a wired terminal such as a computer) or a laptop.

도 1은 본 발명의 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템의 주요 구성을 나타내는 구성도이다. 도 2는 도 1에 도시된 단말의 주요 구성을 나타낸 블록도이다. 1 is a block diagram showing the main configuration of a message transmission system using the image data and the avatar according to an embodiment of the present invention. FIG. 2 is a block diagram illustrating a main configuration of a terminal shown in FIG. 1.

도 1 및 도 2를 참조하면, 영상데이터 및 아바타를 이용한 메시지 전송 시스템(100)은 제1 단말(10), 제2 단말(20), 메시지서버(30)를 포함한다. 1 and 2, a message transmission system 100 using image data and an avatar includes a first terminal 10, a second terminal 20, and a message server 30.

제1 단말(10)은 아바타 메시지 작성메뉴에 진입하여 제2 단말(20)로 전송하고자 하는 메시지를 작성하고, 제1 단말(10)은 제1 단말(10)에 설치된 카메라를 활성화하여 영상데이터를 획득한다. The first terminal 10 enters an avatar message creation menu and composes a message to be transmitted to the second terminal 20, and the first terminal 10 activates a camera installed in the first terminal 10 to transmit image data. Acquire it.

제1 단말(10)은 획득된 영상데이터를 분석하여, 영상데이터에 포함된 사용자의 제스처를 인식한다. 제1 단말(10)은 인식된 제스처에 따라 제스처에 대응되는 아바타를 추출하고, 작성된 메시지와 추출된 아바타를 결합하여 아바타 메시지(이하, 제1 메시지라 함)를 생성한다. The first terminal 10 analyzes the acquired image data and recognizes a user's gesture included in the image data. The first terminal 10 extracts an avatar corresponding to the gesture according to the recognized gesture, and generates an avatar message (hereinafter referred to as a first message) by combining the created message and the extracted avatar.

그리고 제1 단말(10)은 메시지서버(30)를 통해 생성된 제1 메시지를 제2 단말(20)로 전송한다. 이때, 제1 메시지는 문자메시지, 멀티미디어 메시지, 모바일 메신저를 이용한 메시지에 제1 단말(10)에 대한 발신자의 감정상태를 표시하는 아바타가 포함된 메시지를 의미한다. In addition, the first terminal 10 transmits the first message generated through the message server 30 to the second terminal 20. In this case, the first message refers to a message including an avatar indicating an emotional state of the caller with respect to the first terminal 10 in a text message, a multimedia message, and a message using a mobile messenger.

아울러, 제1 단말(10)은 제2 단말(20)로부터 제1 메시지에 대한 답장인 제2 메시지가 수신되면 이를 출력하고 제2 메시지에 대한 답장작성이 선택되지 않으면 대기화면을 출력한다. 반대로, 제2 메시지에 대한 답장작성이 선택되면 제1 단말(10)은 제2 메시지에 대한 답장인 아바타 메시지를 작성한다. In addition, the first terminal 10 outputs a second message, which is a reply to the first message, from the second terminal 20, and outputs a standby screen when a reply to the second message is not selected. On the contrary, when a reply to the second message is selected, the first terminal 10 creates an avatar message which is a reply to the second message.

제2 단말(20)은 제1 단말(10)에서 작성되어 메시지서버(30)를 통해 수신된 제1 메시지를 출력하고, 제1 메시지에 대한 답장작성을 위한 신호가 입력되면 제1 메시지에 대한 응답메시지를 작성하고, 제2 단말(20)에 설치된 카메라로부터 획득 된 영상데이터를 분석하여 제스처를 인식하고 이에 대응하는 아바타를 추출하여 추출된 아바타와 응답메시지를 제1 단말(10)로 전송한다. The second terminal 20 outputs the first message, which is created in the first terminal 10 and received through the message server 30, and when a signal for writing a reply to the first message is input, Creates a response message, analyzes image data obtained from a camera installed in the second terminal 20 to recognize a gesture, extracts an avatar corresponding thereto, and transmits the extracted avatar and response message to the first terminal 10. .

이때, 제2 단말(20)은 설명의 편의를 위해 아바타 메시지를 작성하는 것으로 설명하고 있으나, 반드시 이에 한정되는 것은 아니며, 아바타가 포함되지 않은 메시지를 작성하여 제1 단말(10)로 전송할 수 있다. In this case, the second terminal 20 is described as creating an avatar message for convenience of description, but the present invention is not limited thereto, and the second terminal 20 may create a message not including an avatar and transmit the message to the first terminal 10. .

이를 위해, 제2 단말(20)은 통신부(21), 입력부(22), 출력부(23), 카메라(24), 제1 저장부(25), 제1 제어부(26)를 포함한다.To this end, the second terminal 20 includes a communication unit 21, an input unit 22, an output unit 23, a camera 24, a first storage unit 25, and a first control unit 26.

통신부(21)는 제1 단말(10), 메시지서버(30)와의 통신을 수행한다. 통신부(21)는 메시지서버(30)를 통해 제1 단말(10)로부터 제1 메시지를 수신하고, 메시지서버(30)를 통해 제1 단말(10)로 제1 메시지의 답장인 제2 메시지를 전송한다. The communication unit 21 communicates with the first terminal 10 and the message server 30. The communication unit 21 receives the first message from the first terminal 10 through the message server 30, and sends a second message, which is a reply to the first message, to the first terminal 10 through the message server 30. send.

입력부(22)는 제2 단말(20)의 동작을 제어하기 위하여 착신자로부터 입력된 키에 대응하는 신호를 제1 제어부(26)로 전송한다. 입력부(22)는 통상적인 키패드로 구성될 수 있고, 터치스크린, 터치패드 또는 스크롤 휠 등으로 구성될 수 있다. The input unit 22 transmits a signal corresponding to the key input from the called party to the first control unit 26 to control the operation of the second terminal 20. The input unit 22 may be configured as a conventional keypad and may be configured as a touch screen, a touch pad, a scroll wheel, or the like.

특히, 입력부(22)는 제1 단말(10)로부터 수신된 제1 메시지에 대한 답장작성 신호를 입력받아 제1 제어부(26)로 제공하고, 착신자로부터 응답메시지를 입력받아 제1 제어부(26)로 제공한다. In particular, the input unit 22 receives the reply message for the first message received from the first terminal 10 and provides the received signal to the first control unit 26, and receives the response message from the called party. To provide.

출력부(23)는 제1 제어부(26)의 제어에 의해 제2 단말(20)에서 이루어지는 일련의 동작상태와 동작결과 및 다수의 정보를 표시한다. 이때, 출력부(23)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등의 디스플레이 장치, 스피커, 제2 단말(20)에 호가 착신되었을 경우 진동알림을 발생하기 위 한 진동센서를 포함하는 출력장치로 구성될 수 있다. 아울러, 출력부(23)가 터치스크린 등으로 구성될 경우 이는 입력부(22) 및 디스플레이 장치의 기능을 동시에 수행할 수 있다.The output unit 23 displays a series of operation states, operation results, and a plurality of pieces of information made in the second terminal 20 under the control of the first control unit 26. At this time, the output unit 23 is a vibration sensor for generating a vibration notification when a call is received to a display device, a speaker, a second terminal 20, such as an LCD (Liquid Crystal Display), OLED (Organic Light Emitting Diodes) It may be configured as an output device that includes. In addition, when the output unit 23 is configured as a touch screen, it may simultaneously perform the functions of the input unit 22 and the display device.

특히, 출력부(23)는 제1 제어부(26)의 제어에 의해 제1 단말(10)로부터 수신된 제1 메시지를 출력하고, 제1 메시지에 대한 응답메시지, 카메라(24)로부터 획득되는 영상데이터 등을 출력한다. In particular, the output unit 23 outputs a first message received from the first terminal 10 under the control of the first control unit 26, a response message to the first message, and an image obtained from the camera 24. Output data, etc.

카메라(24)는 제1 제어부(26)의 제어에 의해 활성화되어 피사체에 대한 영상데이터를 획득한다. 카메라(24)는 피사체의 광 신호를 아날로그 신호로 변환하는 이미지 센서 및 아날로그 신호를 디지털 신호로 변환하는 신호처리부(미도시)를 포함한다. 즉, 카메라(24)는 렌즈를 통해 수집한 광 신호를 디지털 신호로 변환하여 영상데이터를 생성하고 이를 제1 제어부(26)로 제공한다. The camera 24 is activated by the control of the first control unit 26 to obtain image data of the subject. The camera 24 includes an image sensor for converting an optical signal of a subject into an analog signal and a signal processor (not shown) for converting an analog signal into a digital signal. That is, the camera 24 generates image data by converting the optical signal collected through the lens into a digital signal and provides it to the first controller 26.

제1 저장부(25)는 제1 제어부(26)의 제어에 의해 제2 단말(20)을 제어하기 위한 프로그램 등을 저장한다. The first storage unit 25 stores a program or the like for controlling the second terminal 20 under the control of the first control unit 26.

특히, 제1 저장부(25)는 카메라(24)로부터 획득된 영상데이터를 분석하기 위한 프로그램 및 분석된 영상데이터로부터 인식된 감정상태에 따라 추출할 수 있는 다수의 아바타를 감정상태와 매핑하여 저장한다. In particular, the first storage unit 25 stores a program for analyzing the image data obtained from the camera 24 and a plurality of avatars which can be extracted according to the recognized emotional state from the analyzed image data and mapped with the emotional state. do.

예컨대, 제1 저장부(25)는 분석된 영상데이터에서 인식된 착신자의 표정, 손동작 등의 제스처가 즐거움을 나타내면 웃는 표정의 아바타 또는 뛰는 상태의 아바타를 추출하도록 착신자의 제스처와 아바타를 매핑 테이블로 저장한다. For example, the first storage unit 25 uses the called party's gesture and avatar as a mapping table to extract the avatar of the smiling face or the avatar in the running state when the recognized gesture of the called person's facial expression or hand gestures in the analyzed image data indicates pleasure. Save it.

제1 제어부(26)는 제2 단말(20)에서 이루어지는 전반적인 동작에 대한 제어 를 담당한다.The first control unit 26 is in charge of controlling the overall operation of the second terminal 20.

특히, 제1 제어부(26)는 통신부(21)를 통해 제1 단말(10)로부터 수신된 제1 메시지를 출력하도록 출력부(23)를 제어한다. 제1 제어부(26)는 입력부(22)로부터 출력된 제1 메시지에 대한 답장작성이 선택되면 응답메시지를 작성할 수 있는 화면을 출력부(23)에 출력한다. In particular, the first control unit 26 controls the output unit 23 to output the first message received from the first terminal 10 through the communication unit 21. The first control unit 26 outputs a screen on which the response message can be written to the output unit 23 when writing a reply to the first message output from the input unit 22 is selected.

제1 제어부(26)는 입력부(22)의 입력에 따라 응답메시지를 작성하고, 제1 제어부(26)는 카메라(24)를 활성화시켜 카메라(24)로부터 영상데이터를 획득한다.The first controller 26 generates a response message according to the input of the input unit 22, and the first controller 26 activates the camera 24 to obtain image data from the camera 24.

제1 제어부(26)는 제1 저장부(25)에 저장된 영상데이터 분석 프로그램을 구동하여 획득된 영상데이터의 분석을 수행한다. 제1 제어부(26)는 영상데이터를 분석결과에 따라 착신자의 제스처를 인식한 후, 인식된 제스처에 매핑된 아바타를 추출한다. The first controller 26 analyzes the image data obtained by driving the image data analysis program stored in the first storage unit 25. The first control unit 26 recognizes the gesture of the called party according to the analysis result of the image data, and then extracts the avatar mapped to the recognized gesture.

제1 제어부(26)는 추출된 아바타와 작성된 응답메시지를 결합하여 제1 메시지에 대한 답장인 제2 메시지를 생성하고, 이를 제1 단말(10)로 전송하도록 통신부(21)를 제어한다. The first control unit 26 generates a second message that is a reply to the first message by combining the extracted avatar and the created response message, and controls the communication unit 21 to transmit it to the first terminal 10.

이때, 제1 제어부(26)는 영상데이터를 분석할 때 영상데이터를 구성하는 다수의 프레임별로 착신자의 표정, 손동작 등의 제스처를 확인할 수 있는 좌표값을 확인한다. 그리고 제1 제어부(26)는 프레임별로 확인된 좌표값의 변화로부터 착신자의 제스처를 확인할 수 있다. In this case, when analyzing the image data, the first control unit 26 checks coordinate values for confirming a gesture such as an expression, a hand gesture, etc. of the called party for each of a plurality of frames constituting the image data. In addition, the first controller 26 may check the called party's gesture from the change in the coordinate value checked for each frame.

예를 들어, 제1 제어부(26)는 영상데이터에 착신자의 얼굴이 포함된 상태이면 착신자의 얼굴에서 입술, 눈썹, 눈꼬리 등 착신자의 표정을 확인할 수 있는 부 위의 특징점의 좌표값을 프레임별로 추출하고, 추출된 좌표값의 변화로부터 착신자의 표정을 확인할 수 있다. 확인된 착신자의 표정이 즐거움을 나타내는 제스처이면 아바타를 웃는 표정으로 수정하거나, 뛰는 상태로 수정한다. For example, the first control unit 26 extracts the coordinate values of the feature points of the part that can check the expression of the called party, such as lips, eyebrows, and the tail of the eye, on the frame if the called party's face is included in the image data. The expression of the called party can be confirmed from the change of the extracted coordinate value. If the confirmed expression of the called party is a gesture representing pleasure, the avatar is modified to a smile or a state of jumping.

또한, 제1 제어부(26)는 영상데이터의 분석결과 영상데이터에 착신자의 손이 포함된 상태이면 착신자의 손에서 손가락의 움직임의 확인할 수 있는 특징점의 좌표값를 프레임별로 추출하고, 추출된 좌표값의 변화로부터 착신자의 손동작을 확인할 수 있다. 확인된 착신자의 손동작이 즐거움을 나타내는 제스처이면 이에 대응되는 웃는 표정의 아바타를 추출하거나 뛰는 상태의 아바타를 추출할 수 있다. In addition, if the receiver's hand is included in the image data as a result of the analysis of the image data, the first controller 26 extracts the coordinate values of the feature points that can identify the movement of the finger from the receiver's hand on a frame-by-frame basis. From the change, the hand gesture of the called party can be confirmed. If the confirmed gesture of the called party is a gesture representing pleasure, an avatar of a smiling face corresponding to the smile may be extracted or an avatar in a running state may be extracted.

반대로, 제1 제어부(26)는 입력부(22)로부터 제1 메시지에 대한 답장작성이선택되지 않으면 출력부(23)에 대기화면을 출력한다. On the contrary, the first controller 26 outputs a standby screen to the output unit 23 when the response to the first message is not selected from the input unit 22.

메시지서버(30)는 제1 단말(10)로부터 수신되는 제1 메시지를 제2 단말(20)로 전송하고, 제2 단말(20)로부터 수신되는 제2 메시지를 제1 단말(10)로 전송한다. The message server 30 transmits the first message received from the first terminal 10 to the second terminal 20, and transmits the second message received from the second terminal 20 to the first terminal 10. do.

도 3은 본 발명의 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법을 나타내는 순서도이다.3 is a flowchart illustrating a message transmission method using image data and an avatar according to an embodiment of the present invention.

도 3을 참조하면, S61단계에서 제1 단말(10)은 아바타 메시지 작성메뉴에 진입하고, S63단계에서 제1 단말(10)은 외부의 입력에 따라 아바타 메시지에 포함할 메시지를 작성한다. S65단계에서 제1 단말(10)은 설치된 카메라를 활성화한다. Referring to FIG. 3, in step S61, the first terminal 10 enters an avatar message creation menu, and in step S63, the first terminal 10 creates a message to be included in an avatar message according to an external input. In step S65, the first terminal 10 activates the installed camera.

S67단계에서 제1 단말(10)은 카메라에서 획득된 영상데이터를 분석하고, S69단계에서 제1 단말(10)은 분석된 영상데이터에서 추출된 제스처를 인식한 후 S71단 계에서 제1 단말(10)은 추출된 제스처에 대응하는 아바타를 추출한다. In step S67, the first terminal 10 analyzes the image data acquired by the camera, and in step S69, the first terminal 10 recognizes the gesture extracted from the analyzed image data, and then in step S71, the first terminal ( 10) extracts an avatar corresponding to the extracted gesture.

이후, S73단계에서 제1 단말(10)은 추출된 아바타와 S63단계에서 작성된 메시지를 결합하여 아바타 메시지인 제1 메시지를 생성하고, S75단계에서 제1 단말(10)은 생성된 메시지를 메시지서버(30)를 통해 제2 단말(20)로 전송한다. Thereafter, in step S73, the first terminal 10 combines the extracted avatar with the message created in step S63 to generate a first message which is an avatar message, and in step S75, the first terminal 10 sends the generated message to the message server. The transmission is performed to the second terminal 20 through 30.

S77단계에서 제2 단말(20)은 제1 단말(10)로부터 수신된 제1 메시지를 출력한다. 그리고 S79단계에서 제2 단말(20)은 수신된 제1 메시지에 대한 답장작성이 선택되면 S81단계로 진행하고, 답장작성이 선택되지 않으면 S101단계로 진행하여 대기화면을 출력한다.In operation S77, the second terminal 20 outputs the first message received from the first terminal 10. In operation S79, the second terminal 20 proceeds to step S81 when writing a reply to the received first message is selected, and if not writing a reply, the second terminal 20 outputs a standby screen.

이어서, S81단계에서 제2 단말(20)은 제1 메시지에 대한 응답메시지를 작성하고, S83단계에서 제2 단말(20)은 카메라(24)를 활성화한다. Subsequently, in step S81, the second terminal 20 creates a response message to the first message, and in step S83, the second terminal 20 activates the camera 24.

S85단계에서 제2 단말(20)은 카메라(24)에서 획득된 영상데이터를 분석하고 S87단계에서 제2 단말(20)은 분석된 영상데이터에 포함된 착신자의 제스처를 인식한다.In operation S85, the second terminal 20 analyzes the image data acquired by the camera 24, and in operation S87, the second terminal 20 recognizes the gesture of the called party included in the analyzed image data.

이후, S89단계에서 제2 단말(20)은 인식된 제스처에 매핑되어 저장된 아바타를 추출하고 S91단계로 진행하고, S81단계에서 작성된 응답메시지와 추출된 아바타를 결합하여 제2 메시지를 생성한다. Thereafter, in step S89, the second terminal 20 extracts the stored avatar mapped to the recognized gesture, and proceeds to step S91, and generates a second message by combining the generated response message and the extracted avatar in step S81.

S93단계에서 제2 단말(20)은 메시지서버(30)를 통해 생성된 제2 메시지를 제1 단말(10)로 전송한다. In operation S93, the second terminal 20 transmits the second message generated through the message server 30 to the first terminal 10.

S95단계에서 제1 단말(10)은 제2 단말(20)로부터 수신된 제2 메시지를 출력하고 S97단계에서 제2 단말(20)로부터 수신된 제2 메시지에 대한 답장전송이 선택 되면 S63단계로 회귀한다. In operation S95, the first terminal 10 outputs the second message received from the second terminal 20, and when the transmission of the reply to the second message received from the second terminal 20 is selected in operation S97, the operation proceeds to operation S63. Regress

반대로, S97단계에서 제2 단말(20)로부터 수신된 제2 메시지에 대한 답장전송이 선택되지 않으면 제1 단말(10)은 S99단계로 진행하여 대기화면을 출력한다. On the contrary, if the reply transmission for the second message received from the second terminal 20 is not selected in step S97, the first terminal 10 proceeds to step S99 and outputs a standby screen.

도 4는 본 발명의 다른 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템의 주요 구성을 나타내는 구성도이다. 4 is a block diagram showing a main configuration of a message transmission system using image data and avatar according to another embodiment of the present invention.

도 4를 참조하면, 영상데이터 및 아바타를 이용한 메시지 전송 시스템(200)은 제1 단말(10), 제2 단말(20), 메시지서버(30), 관리서버(40), 통신망(50)을 포함한다. Referring to FIG. 4, the message transmission system 200 using the image data and the avatar includes a first terminal 10, a second terminal 20, a message server 30, a management server 40, and a communication network 50. Include.

제1 단말(10)은 아바타 메시지 작성메뉴에 진입하여 발신자의 입력에 따라 제2 단말(20)로 전송하고자 하는 메시지를 작성하고, 설치된 카메라를 활성화하여 영상데이터를 획득한다. The first terminal 10 enters an avatar message creation menu, creates a message to be transmitted to the second terminal 20 according to a caller's input, and activates an installed camera to obtain image data.

제1 단말(10)은 관리서버(40)에서 영상데이터를 분석하고, 분석결과에 대응하는 아바타를 추출한 후 메시지와 결합하여 생성된 아바타 메시지(이하, 제1 메시지라 함)를 제2 단말(20)로 전송하도록 작성된 메시지와 영상데이터를 관리서버(40)로 전송한다. The first terminal 10 analyzes the image data in the management server 40, extracts the avatar corresponding to the analysis result, and combines the avatar message (hereinafter referred to as the first message) generated by the second terminal (hereinafter referred to as the first message). 20 and transmits the message and the image data prepared to transmit to the management server (40).

제2 단말(20)은 관리서버(40)에서 수신된 제1 메시지를 출력하고, 착신자로부터 제1 메시지에 대한 답장작성신호가 입력되지 않으면 대기화면을 출력한다. The second terminal 20 outputs the first message received from the management server 40, and outputs a standby screen if a reply writing signal for the first message is not input from the called party.

반대로, 제2 단말(20)은 제1 메시지에 대한 답장작성신호가 입력되면 제1 메시지에 대한 답장인 응답메시지를 작성하고, 카메라를 활성화하여 획득된 영상데이터를 관리서버(40)로 전송한다. On the contrary, when the reply message for the first message is input, the second terminal 20 creates a response message, which is a reply to the first message, and transmits the image data obtained by activating the camera to the management server 40. .

이는 관리서버(40)에서 영상데이터의 분석결과에 대응하는 아바타를 추출하고, 응답메시지와 결합하여 제2 메시지를 생성한 후 제1 단말(10)로 전송하도록 하기 위함이다. This is for the management server 40 to extract the avatar corresponding to the analysis result of the image data, generate a second message by combining with the response message, and then transmit it to the first terminal 10.

메시지서버(30)는 도 1에서 설명한 메시지서버(30)와 동일한 기능을 수행하므로 상세한 설명을 생략한다. Since the message server 30 performs the same function as the message server 30 described with reference to FIG. 1, a detailed description thereof will be omitted.

관리서버(40)는 제1 단말(10)로부터 수신된 영상데이터로부터 인식된 발신자의 제스처에 대응하는 아바타를 추출하고, 제1 단말(10)로부터 수신된 메시지와 아바타를 결합하여 생성된 제1 메시지를 메시지서버(30)를 통해 제2 단말(20)로 전송한다. 그리고 관리서버(40)는 제2 단말(20)로부터 수신된 영상데이터로부터 인식된 착신자의 제스처에 대응하는 아바타를 추출하고, 제2 단말(20)로부터 수신된 응답메시지와 아바타를 결합하여 생성된 제1 메시지에 대한 답장인 제2 메시지를 메시지서버(30)를 통해 제1 단말(10)로 전송한다.The management server 40 extracts the avatar corresponding to the recognized caller's gesture from the image data received from the first terminal 10, and combines the message and the avatar received from the first terminal 10 to generate the first avatar. The message is transmitted to the second terminal 20 through the message server 30. The management server 40 extracts an avatar corresponding to the gesture of the called party from the image data received from the second terminal 20, and combines the avatar with the response message received from the second terminal 20. The second message, which is a reply to the first message, is transmitted to the first terminal 10 through the message server 30.

이를 위해, 관리서버(40)는 송수신부(41), 제2 저장부(42), 제2 제어부(43)를 포함한다. To this end, the management server 40 includes a transceiver 41, a second storage 42, and a second controller 43.

송수신부(41)는 제1 단말(10), 제2 단말(20), 메시지서버(30)와의 통신을 수행한다.The transceiver 41 performs communication with the first terminal 10, the second terminal 20, and the message server 30.

제2 저장부(42)는 제2 제어부(43)의 제어에 의해 관리서버(40)를 제어하기 위한 프로그램 등을 저장한다. The second storage unit 42 stores a program or the like for controlling the management server 40 under the control of the second control unit 43.

특히, 제2 저장부(42)는 제1 단말(10), 제2 단말(20)로부터 수신된 영상데이터를 분석하기 위한 프로그램을 저장하고, 영상데이터로부터 인식된 제스처에 대응 되는 다수의 아바타를 저장한다.In particular, the second storage unit 42 stores a program for analyzing image data received from the first terminal 10 and the second terminal 20, and stores a plurality of avatars corresponding to gestures recognized from the image data. Save it.

제2 제어부(43)는 관리서버(40)에서 이루어지는 전반적인 동작에 대한 제어를 담당한다. The second control unit 43 is in charge of controlling the overall operation of the management server 40.

특히, 제2 제어부(43)는 제1 단말(10)로부터 메시지와 영상데이터가 수신되면 수신된 영상데이터를 분석하여 영상데이터에 포함된 발신자의 제스처를 인식하고, 인식된 제스처에 대응하는 아바타를 추출한다. In particular, when the message and the image data are received from the first terminal 10, the second controller 43 analyzes the received image data, recognizes the caller's gesture included in the image data, and selects an avatar corresponding to the recognized gesture. Extract.

제2 제어부(43)는 추출된 아바타와 메시지를 결합하여 제1 메시지를 생성하고, 생성된 제1 메시지를 메시지서버(30)를 통해 제2 단말(20)로 전송한다. The second controller 43 generates a first message by combining the extracted avatar and the message, and transmits the generated first message to the second terminal 20 through the message server 30.

제2 제어부(43)는 제1 메시지를 제2 단말(20)로 전송한 이후에 메시지서버(30)를 통해 제2 단말(20)로부터 제1 메시지에 대한 응답메시지와 영상데이터가 수신되면 제1 메시지에 대한 답장인 제2 메시지를 생성한다. When the second control unit 43 receives the response message and the image data for the first message from the second terminal 20 through the message server 30 after transmitting the first message to the second terminal 20, the second control unit 43 receives the first message. 1 Create a second message that is a reply to the message.

이때, 제2 제어부(43)는 제2 단말(20)로부터 수신된 영상데이터를 분석하여 영상데이터에 포함된 발신자의 제스처를 인식하고, 인식된 제스처에 대응하는 아바타를 추출한다. 그리고 제2 제어부(43)는 추출된 제스처와 응답메시지를 결합하여 제2 메시지를 생성한다. In this case, the second controller 43 analyzes the image data received from the second terminal 20 to recognize the caller's gesture included in the image data, and extracts an avatar corresponding to the recognized gesture. The second controller 43 generates a second message by combining the extracted gesture and the response message.

그리고 제2 제어부(43)는 생성된 제2 메시지를 메시지서버(30)를 통해 제1 단말(10)로 전송한다. The second controller 43 transmits the generated second message to the first terminal 10 through the message server 30.

보다 구체적으로, 제2 제어부(43)는 영상데이터를 분석하여 영상데이터에 포함된 착신자의 제스처를 추출한다. 제2 제어부(43)는 영상데이터를 구성하는 다수의 프레임으로부터 착신자의 표정, 손동작 등의 제스처를 확인할 수 있는 좌표값을 확인한다. 그리고 제2 제어부(43)는 프레임별로 확인된 좌표값의 변화로부터 착신자의 제스처를 인식할 수 있다. More specifically, the second controller 43 analyzes the image data to extract the gesture of the called party included in the image data. The second control unit 43 checks a coordinate value for confirming the gesture of the called person's expression, hand gesture, etc. from the plurality of frames constituting the image data. In addition, the second controller 43 may recognize the called party's gesture from the change in the coordinate value checked for each frame.

예를 들어, 제2 제어부(43)는 영상데이터에 착신자의 얼굴이 포함된 상태이면 착신자의 얼굴에서 입술, 눈썹, 눈꼬리 등 착신자의 표정을 확인할 수 있는 부위의 특징점의 좌표값을 프레임별로 추출하고, 추출된 좌표값의 변화로부터 착신자의 표정을 확인할 수 있다. 확인된 착신자의 표정이 즐거움을 나타내는 제스처이면 웃는 표정의 아바타를 추출하거나, 뛰는 상태의 아바타를 추출한다. For example, if the receiver's face is included in the image data, the second control unit 43 extracts coordinate values of the feature points of the part of the called party's face, such as lips, eyebrows, and eyes, that can be checked. The expression of the called party can be confirmed from the change of the extracted coordinate value. If the confirmed expression of the called party is a gesture representing pleasure, the avatar of the smiling expression is extracted or the avatar in the running state is extracted.

또한, 제2 제어부(43)는 영상데이터에 착신자의 손이 포함된 상태이면 착신자의 손에서 손가락의 움직임의 확인할 수 있는 특징점의 좌표값를 프레임별로 추출하고, 추출된 좌표값의 변화로부터 착신자의 손동작을 확인할 수 있다. 확인된 착신자의 손동작이 즐거움을 나타내는 제스처이면 웃는 표정의 아바타를 추출하거나, 뛰는 상태의 아바타를 추출한다.In addition, if the receiver includes the receiver's hand in the image data, the second controller 43 extracts the coordinate value of the feature point that can identify the movement of the finger from the receiver's hand on a frame-by-frame basis, and moves the receiver's hand from the change in the extracted coordinate value. can confirm. If the confirmed gesture of the called party is a gesture representing pleasure, the avatar of the smiling expression is extracted or the avatar in the running state is extracted.

그리고 제2 제어부(43)는 생성된 제2 메시지를 메시지서버(30)를 통해 제1 단말(10)로 전송한다. The second controller 43 transmits the generated second message to the first terminal 10 through the message server 30.

통신망(50)은 제1 단말(10), 제2 단말(20), 메시지서버(30)와 관리서버(40)사이의 통신로를 연결하여 통신이 가능하게 한다. The communication network 50 connects the communication path between the first terminal 10, the second terminal 20, the message server 30, and the management server 40 to enable communication.

도 5는 본 발명의 다른 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법을 나타내는 순서도이다. 5 is a flowchart illustrating a message transmission method using image data and an avatar according to another embodiment of the present invention.

도 5를 참조하면, S111단계에서 제1 단말(10)은 아바타 메시지 작성메뉴로 진입하고, S113단계에서 제1 단말(10)은 아바타 메시지에 포함할 메시지를 작성한 다. Referring to FIG. 5, in step S111, the first terminal 10 enters the avatar message creation menu, and in step S113, the first terminal 10 creates a message to be included in the avatar message.

S115단계에서 제1 단말(10)은 제1 단말(10)에 설치된 카메라를 활성화하여 영상데이터를 획득하고 S117단계에서 제1 단말(10)은 작성된 메시지와 획득된 영상데이터를 관리서버(40)로 전송한다. In operation S 115, the first terminal 10 acquires image data by activating a camera installed in the first terminal 10. In operation S 117, the first terminal 10 stores the created message and the obtained image data in the management server 40. To send.

이어서, S119단계에서 관리서버(40)는 수신된 영상데이터를 분석하고, S121단계에서 관리서버(40)는 분석된 영상데이터에 포함된 발신자의 제스처를 인식한다. In operation S119, the management server 40 analyzes the received image data, and in operation S121, the management server 40 recognizes a caller's gesture included in the analyzed image data.

S123단계에서 관리서버(40)는 인식된 제스처에 대응되는 아바타를 추출하고 S125단계에서 관리서버(40)는 추출된 아바타와 작성된 메시지를 결합하여 제1 메시지를 생성한 후 S127단계에서 관리서버(40)는 생성된 제1 메시지를 메시지서버(30)를 통해 제2 단말(20)로 전송한다. In operation S123, the management server 40 extracts an avatar corresponding to the recognized gesture, and in operation S125, the management server 40 generates a first message by combining the extracted avatar and the created message, and then, in operation S127, the management server ( 40 transmits the generated first message to the second terminal 20 through the message server 30.

이후, S129단계에서 제1 메시지를 수신한 제2 단말(20)은 제1 메시지를 출력하고, S131단계에서 제2 단말(20)은 외부로부터 제1 메시지에 대한 답장작성이 입력되면 S133단계로 진행하고, 답장작성이 입력되지 않으면 S159단계로 진행하여 대기화면을 출력한다.Thereafter, the second terminal 20 receiving the first message in step S129 outputs the first message, and in step S131, if the second terminal 20 inputs a reply to the first message from the outside, the process proceeds to step S133. If no reply writing is entered, the process proceeds to step S159 to output the standby screen.

S133단계에서 제2 단말(20)은 외부의 입력에 의해 제1 메시지에 대한 답장인 제2 메시지에 포함될 응답메시지를 작성하고, S135단계에서 제2 단말(20)에 설치된 카메라를 활성화하여 영상데이터를 획득한다. In step S133, the second terminal 20 writes a response message to be included in the second message, which is a reply to the first message, by an external input, and activates a camera installed in the second terminal 20 in step S135 to display the image data. Acquire.

S137단계에서 제2 단말(20)은 작성된 응답메시지와 획득된 영상데이터를 관리서버(40)로 전송한다.In step S137, the second terminal 20 transmits the created response message and the acquired image data to the management server 40.

이어서, S139단계에서 관리서버(40)는 수신된 영상데이터를 분석하고, S141단계에서 관리서버(40)는 분석된 영상데이터에 포함된 발신자의 제스처를 인식한다. In operation S139, the management server 40 analyzes the received image data, and in operation S141, the management server 40 recognizes a caller's gesture included in the analyzed image data.

S143단계에서 관리서버(40)는 인식된 제스처에 대응되는 아바타를 추출하고 S145단계에서 관리서버(40)는 추출된 아바타와 작성된 응답메시지를 결합하여 제2 메시지를 생성한 후 S147단계에서 관리서버(40)는 생성된 제2 메시지를 메시지서버(30)로 전송한다. 그리고 S149단계에서 메시지서버(30)는 수신된 제2 메시지를 제2 단말(20)로 전송한다. In operation S143, the management server 40 extracts an avatar corresponding to the recognized gesture, and in step S145, the management server 40 generates a second message by combining the extracted avatar and the created response message. 40 transmits the generated second message to the message server 30. In operation S149, the message server 30 transmits the received second message to the second terminal 20.

이후, S151단계에서 제1 단말(10)은 수신된 제2 메시지를 출력하고, S153단계에서 제1 단말(10)은 외부로부터 제2 메시지에 대한 답장작성이 선택되면 S113단계로 진행하여 상기의 단계들을 재수행하고, 답장작성이 선택되지 않으면 제1 단말(10)은 S155단계로 진행하여 대기화면을 출력한다. Thereafter, in step S151, the first terminal 10 outputs the received second message, and in step S153, if the first terminal 10 selects a reply to the second message from the outside, the process proceeds to step S113. After performing the steps again, if the reply writing is not selected, the first terminal 10 proceeds to step S155 and outputs a standby screen.

이상에서 본 발명은 기재된 구체예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.While the invention has been shown and described with reference to certain exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims.

본 발명은 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법에 관한 것으로, 제1 단말이 제2 단말로 전송하고자 하는 메시지 작성 시에 카메라를 통해 획득된 영상데이터로부터 인식된 사용자의 제스처에 대응되는 아바타를 메시지에 포함한 후 제2 단말로 전송함으로써, 자신의 감정을 아바타에 적용하여 상대방에게 효과적으로 감정상태를 전달할 수 있다. The present invention relates to a message transmission system, a management server, a terminal, and a method using image data and an avatar. By including the avatar corresponding to the gesture in the message and transmitting the avatar to the second terminal, the emotion state can be effectively delivered to the counterpart by applying the emotion to the avatar.

도 1은 본 발명의 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템의 주요 구성을 나타내는 구성도1 is a block diagram showing the main configuration of a message transmission system using the image data and avatar according to an embodiment of the present invention

도 2는 도 1에 도시된 단말의 주요 구성을 나타낸 블록도2 is a block diagram showing a main configuration of a terminal shown in FIG.

도 3은 본 발명의 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법을 나타내는 순서도3 is a flowchart illustrating a message transmission method using image data and an avatar according to an embodiment of the present invention.

도 4는 본 발명의 다른 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 시스템의 주요 구성을 나타내는 구성도4 is a block diagram showing a main configuration of a message transmission system using image data and avatar according to another embodiment of the present invention.

도 5는 본 발명의 다른 실시예에 따른 영상데이터 및 아바타를 이용한 메시지 전송 방법을 나타내는 순서도5 is a flowchart illustrating a message transmission method using image data and an avatar according to another embodiment of the present invention.

<도면의 주요부분에 대한 설명><Description of main parts of drawing>

10: 제1 단말 20: 제2 단말10: first terminal 20: second terminal

21: 통신부 2: 입력부21: communication unit 2: input unit

23: 출력부 4: 카메라23: output unit 4: camera

25: 제1 저장부 26: 제1 제어부25: first storage unit 26: first control unit

30: 메시지서버 100, 200: 메시지 전송 시스템30: message server 100, 200: message transmission system

Claims (11)

제1 단말 및 제2 단말과 연결되어 상기 각 단말 사이의 메시지 전송을 주관하는 메시지서버; A message server connected to a first terminal and a second terminal to manage message transmission between the terminals; 상기 제1 단말로부터 메시지와 영상데이터를 수신하면 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 메시지와 결합하여 생성된 아바타 메시지를 상기 제2 단말로 전송하는 관리서버;Receiving a gesture of the first terminal user from the image data after receiving the message and the image data from the first terminal, extracts an avatar corresponding to the recognized gesture and combines the message with the avatar message. A management server transmitting to 2 terminals; 를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 시스템.Message transmission system using the image data and the avatar, characterized in that it comprises a. 제1 단말, 제2 단말 및 메시지서버와 통신을 수행하는 송수신부;A transceiver for communicating with the first terminal, the second terminal, and the message server; 상기 제1 단말로부터 메시지와 영상데이터를 수신하면 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 메시지와 결합하여 생성된 아바타 메시지를 상기 제2 단말로 전송하는 제어부;Receiving a gesture of the first terminal user from the image data after receiving the message and the image data from the first terminal, extracts an avatar corresponding to the recognized gesture and combines the message with the avatar message. A control unit for transmitting to 2 terminals; 를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 관리서버. Message transmission management server using the image data and the avatar comprising a. 제2항에 있어서,The method of claim 2, 상기 제어부는The control unit 상기 제2 단말로 상기 아바타 메시지를 전송한 이후에 상기 제2 단말로부터 응답메시지 및 영상데이터가 수신되면 상기 영상데이터로부터 상기 제2 단말 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고 상기 응답메시지와 결합하여 생성된 아바타 메시지를 상기 제1 단말로 전송하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 관리서버.When the response message and the image data are received from the second terminal after transmitting the avatar message to the second terminal, the avatar corresponding to the recognized gesture is recognized after the gesture of the second terminal user is recognized from the image data. And extracting and transmitting the avatar message generated by combining with the response message to the first terminal. 제2항 또는 제3항에 있어서,The method according to claim 2 or 3, 상기 제어부는The control unit 상기 수신된 영상데이터를 분석하여 상기 영상데이터에 포함된 사용자의 제스처를 인식하고, 상기 인식된 제스처에 따라 표정, 행동을 포함하는 감정상태가 적용된 아바타를 추출하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 관리서버. Recognizing the user's gesture included in the image data by analyzing the received image data, and extracts the avatar to which the emotional state including the facial expressions, actions are applied according to the recognized gesture Message transmission management server used. 제2항에 있어서,The method of claim 2, 다수의 아바타를 저장하는 저장부;A storage unit for storing a plurality of avatars; 를 더 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 관리서버. Message transmission management server using the image data and the avatar, further comprising. 메시지서버와 통신을 수행하는 통신부;Communication unit for performing communication with the message server; 아바타 메시지에 포함할 메시지를 작성하고, 카메라를 활성화하여 상기 카메라로부터 획득된 영상데이터로부터 사용자의 제스처를 인식한 후 상기 인식된 제스처에 대응하는 아바타를 추출하고, 상기 작성된 메시지와 상기 추출된 아바타로 생성된 상기 아바타 메시지를 상기 메시지서버를 통해 제2 단말로 전송하는 제어부;Create a message to be included in the avatar message, activate the camera, recognize the user's gesture from the image data obtained from the camera, extract the avatar corresponding to the recognized gesture, and use the created message and the extracted avatar as A controller for transmitting the generated avatar message to a second terminal through the message server; 를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 단말.Message transmission terminal using the image data and the avatar, characterized in that it comprises a. 제6항에 있어서, The method of claim 6, 상기 제어부는The control unit 상기 영상데이터를 분석한 후 상기 영상데이터에 포함된 상기 사용자의 제스처를 인식하고, 상기 인식된 제스처에 따라 표정, 행동을 포함하는 감정상태가 적용된 아바타를 추출하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 단말.After analyzing the image data, the user's gesture included in the image data is recognized, and according to the recognized gesture, an avatar to which an emotion state including an expression and an action is applied is extracted. Message transmission terminal used. 제7항에 있어서,The method of claim 7, wherein 상기 제어부는The control unit 상기 작성된 메시지와 상기 추출된 아바타를 결합하여 상기 아바타 메시지를 생성하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 단말.Message transmission terminal using the image data and the avatar, characterized in that for generating the avatar message by combining the created message and the extracted avatar. 제6항에 있어서,The method of claim 6, 다수의 아바타를 저장하는 저장부;A storage unit for storing a plurality of avatars; 를 더 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 단말.Message transmission terminal using the image data and the avatar, further comprising. 관리서버가 제1 단말로부터 메시지 및 영상데이터를 수신하는 단계;Receiving, by the management server, a message and video data from the first terminal; 상기 관리서버가 상기 영상데이터로부터 상기 제1 단말 사용자의 제스처를 인식하는 단계;The management server recognizing a gesture of the first terminal user from the image data; 상기 관리서버가 상기 인식된 제스처에 대응하는 아바타를 추출하는 단계;Extracting, by the management server, an avatar corresponding to the recognized gesture; 상기 관리서버가 상기 메시지와 상기 아바타를 결합하여 아바타 메시지를 생성하는 단계;Generating, by the management server, an avatar message by combining the message and the avatar; 상기 관리서버가 상기 아바타 메시지를 제2 단말로 전송하는 단계;Transmitting, by the management server, the avatar message to a second terminal; 를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 방법.Message transmission method using the image data and the avatar comprising a. 제1 단말이 아바타 메시지에 포함할 메시지를 작성하는 단계;Creating a message to be included in the avatar message by the first terminal; 상기 제1 단말이 카메라를 활성화하여 상기 카메라로부터 획득된 영상데이터로부터 사용자의 제스처를 인식하는 단계;Recognizing a user's gesture from the image data acquired from the camera by activating the camera by the first terminal; 상기 제1 단말이 상기 인식된 제스처에 대응하는 아바타를 추출하는 단계;Extracting, by the first terminal, an avatar corresponding to the recognized gesture; 상기 제1 단말이 상기 메시지와 상기 추출된 아바타를 결합하여 상기 아바타 메시지를 생성하는 단계;Generating, by the first terminal, the avatar message by combining the message and the extracted avatar; 상기 제1 단말이 상기 아바타 메시지를 메시지서버를 통해 제2 단말로 전송하는 단계;Transmitting, by the first terminal, the avatar message to a second terminal through a message server; 를 포함하는 것을 특징으로 하는 영상데이터 및 아바타를 이용한 메시지 전송 방법. Message transmission method using the image data and the avatar comprising a.
KR1020090070225A 2009-07-30 2009-07-30 System, management server, terminal and method for transmitting of message using image data and avatar KR20110012491A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090070225A KR20110012491A (en) 2009-07-30 2009-07-30 System, management server, terminal and method for transmitting of message using image data and avatar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090070225A KR20110012491A (en) 2009-07-30 2009-07-30 System, management server, terminal and method for transmitting of message using image data and avatar

Publications (1)

Publication Number Publication Date
KR20110012491A true KR20110012491A (en) 2011-02-09

Family

ID=43772404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090070225A KR20110012491A (en) 2009-07-30 2009-07-30 System, management server, terminal and method for transmitting of message using image data and avatar

Country Status (1)

Country Link
KR (1) KR20110012491A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285076B1 (en) * 2011-09-09 2013-07-17 동국대학교 산학협력단 Communication method using virtual object emulating behavior of human, and communication system thereof
KR101312771B1 (en) * 2011-12-14 2013-09-27 건국대학교 산학협력단 Apparatus and method for video chatting using avatar
US9239949B2 (en) 2013-01-07 2016-01-19 Samsung Electronics Co., Ltd. Method for user function operation based on face recognition and mobile terminal supporting the same
KR20190052584A (en) * 2017-11-08 2019-05-16 주식회사 하이퍼커넥트 Terminal and server providing a video call service
US10554698B2 (en) 2017-12-28 2020-02-04 Hyperconnect, Inc. Terminal and server providing video call service
CN116684370A (en) * 2016-10-24 2023-09-01 斯纳普公司 Generating and displaying custom avatars in electronic messages
US12050734B2 (en) 2020-02-27 2024-07-30 Samsung Electronics Co., Ltd. Electronic device for providing visual effect corresponding to gesture input and operating method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285076B1 (en) * 2011-09-09 2013-07-17 동국대학교 산학협력단 Communication method using virtual object emulating behavior of human, and communication system thereof
KR101312771B1 (en) * 2011-12-14 2013-09-27 건국대학교 산학협력단 Apparatus and method for video chatting using avatar
US9239949B2 (en) 2013-01-07 2016-01-19 Samsung Electronics Co., Ltd. Method for user function operation based on face recognition and mobile terminal supporting the same
CN116684370A (en) * 2016-10-24 2023-09-01 斯纳普公司 Generating and displaying custom avatars in electronic messages
KR20190052584A (en) * 2017-11-08 2019-05-16 주식회사 하이퍼커넥트 Terminal and server providing a video call service
US10554698B2 (en) 2017-12-28 2020-02-04 Hyperconnect, Inc. Terminal and server providing video call service
US12050734B2 (en) 2020-02-27 2024-07-30 Samsung Electronics Co., Ltd. Electronic device for providing visual effect corresponding to gesture input and operating method thereof

Similar Documents

Publication Publication Date Title
KR102044241B1 (en) Terminal providing a video call service
US11405678B2 (en) Live streaming interactive method, apparatus, electronic device, server and storage medium
US8373799B2 (en) Visual effects for video calls
CN112041791B (en) Method and terminal for displaying virtual keyboard of input method
CN107632706B (en) Application data processing method and system of multi-modal virtual human
US20100177116A1 (en) Method and arrangement for handling non-textual information
KR20110012491A (en) System, management server, terminal and method for transmitting of message using image data and avatar
KR20180057366A (en) Mobile terminal and method for controlling the same
CN105630846B (en) Head portrait updating method and device
WO2014190178A2 (en) Method, user terminal and server for information exchange communications
US11699360B2 (en) Automated real time interpreter service
CN103529934A (en) Method and apparatus for processing multiple inputs
KR102034838B1 (en) Terminal and server providing a video call service
WO2018186416A1 (en) Translation processing method, translation processing program, and recording medium
KR20150128386A (en) display apparatus and method for performing videotelephony using the same
KR20150044830A (en) Mobile apparatus and wearable apparatus for displaying information, and methods thereof
KR20180080986A (en) artificial intelligence information system for emoticon service based on machine learning
CN110311856A (en) Instant communicating method, equipment and computer readable storage medium
CN114630135A (en) Live broadcast interaction method and device
CN108600079B (en) Chat record display method and mobile terminal
CN112764600B (en) Resource processing method, device, storage medium and computer equipment
CN108632465A (en) A kind of method and mobile terminal of voice input
KR20180080987A (en) artificial intelligence information method for emoticon service based on machine learning
KR20190052584A (en) Terminal and server providing a video call service
KR102543656B1 (en) Screen controlling method and electronic device supporting the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E601 Decision to refuse application