Touch Screen
본 논의에서는 공공 분야에 존재하는 이러한 제스처들 각각에 대해 설명한다. 또한 이 제스처들이 기존의 또는 유효하고 광범위한 특허 청구보다 우선하고 이러한 기본적인 제스처들은 공공 분야에 있으며 모든 장치 제조업체들에 의해 자유롭게 사용될 수 있다는 주장을 견지한다.
글: 플로이드 E. 앤더슨(Floyd E. Anderson) / 부사장 겸 수석 특허 법률 고문
아바고테크놀로지스 / www.avagotech.com
자율 제스처
제스처를 사용하는 탐색 입력 장치에는 광마우스, OFN(optical finger navigation: 옵티컬 센서) 디바이스, 마그네틱 센싱 입력 디바이스 및 정전용량식 터치스크린 컨트롤러가 포함된다. 여기서 특별히 관심 가는 것은 하나 이상의 손가락이나 스타일러스 펜의 움직임을 추적하는 정전용량식 및 광학식 터치스크린 디바이스이다.
예를 들어 광학 디바이스의 경우, 컴퓨터, 휴대폰, MP3 플레이어 또는 일종의 다른 사용자 입력 명령과 같은 컴퓨팅 장치에서 비-camillian 포인터를 사용하는 것이다. 이 논문의 목적상, 손가락 제스처만 설명될 것이다.
물론, 자율 제스처를 새로운 구조나 프로세스를 갖는 터치스크린과 결합하는 많은 특허가 있을 수 있다. 이 논문에 나타나 있는 자료는 일반적으로 알려져 있는 터치스크린 아키텍처와 결합하여 사용되는 자율 제스처와 관련하여 상당한 동작의 자유가 있다는 것을 보여주기 위한 것이다.
컴퓨터나 다른 컴퓨팅 장치와의 커뮤니케이션 측면에서 제스처가 가장 가치 있고 의미를 가지려면 제스처에 의미의 공통성이 있어야 한다. 즉, 한 제품 제조업체가 두드리기와 같은 일반 제스처를 다른 제품 제조업체와 다르게 사용할 수는 없다는 것이다. 왜냐하면 그것은 소비자가 동일한 제스처를 이러한 장치에 서로 다르게 사용하는 것은 매우 성가시기 때문이다.
일관되지 않은 제스처를 갖는다는 것은 사용자를 좌절시킬 수 있고 제스처로 제어되는 디바이스의 채택을 더디게 할 수 있다. 다행히도 여러 제스처들이 조기에 자주 사용된 덕택에 자율적이 되었다. 제스처들 중에는 왼쪽 버튼을 두드려 화면에서 항목을 선택하거나 왼쪽 버튼을 길게 눌러서 화면에서 항목을 선택하고 이동하거나 왼쪽 버튼을 두 번 두드려 명령을 내리는 것과 같은 초기 입력 장치로 거슬러 올라 갈 수 있는 제스처가 있다.
한 제품 제조업체에서 다른 회사들은 모두 배제한 채 장치와 커뮤니케이션하기 위해 일반적 제스처와 사용자의 의도를 고안했다고 주장할 수 있다면 얼마나 불행한 일인가?
특허 제스처의 사용자 관련 문제 이외에, 제스처 자체는(장치와 결합되지 않았을 때) 특허를 낼 수 없다. 미국 특허법 제 101조에서는 제스처나 동작을 특허 신청할 수 있는 대상으로 언급하지 않으며, "단지 새롭고 유용한 프로세스, 기계, 제조품 또는 혼합물 또는 이것의 새롭고 유용한 개선을 고안하거나 발견한 사람은 누구나 특허를 얻을 수 있다…"고 명시할 뿐이다.
더욱이, 미국 특허 사무소의 특허 심사관들은 MPEP(Manual of Patent Examining Procedures)를 따라야 하며, 여기서 101조와 일치하는 MPEP 2100에서는 인간을 포괄하는 것으로 광범위하게 해석될 수 있는 고안물은 특허를 낼 수 없다고 명시하고 있다. 따라서 사람에 의해 수행되는 제스처는 특허가 가능하지 않다.
2000년에 출판된 초기의 제스처 관련 문서는 네덜란드 Delft 대학의 캐롤린 험멜(Caroline Hummels)에 의해 작성된 박사 논문이었다. 그녀의 논문 "제스처 설계 툴: 프로토타입, 실험 및 시나리오(Gesture Design Tools: Prototypes, Experiments, and Scenarios)"에서 험멜은 컴퓨터와 함께 사용되는 상당량의 제스처를 컴퓨터와 상호 작용하기 위한 제스처의 사용이란 맥락에서 설명하고 있다. 그녀는 컴퓨터에서 데이터를 처리하고 컴퓨터에 표시하기 위해 제스처를 사용하여 커뮤니케이션하는 사용자의 의도에 대해 설명한다.
하지만, 일반 센싱 및 입력 장치와 결합된 7가지 자율 제스처는 험멜의 논문이 나오기 훨씬 전에 공용 문서에서 이미 설명되었다. 따라서 이것은 입력 장치와 함께 사용하기 위해 제스처들이 특허되었다고 하는 많은 주장들보다 앞서고 있다. 한편, 특허 가능한 것은 센싱 장치에서 새롭게 개선된 것이나 제스처를 감지하기 위한 새로운 방법과 결합된 일반 제스처이다.
불행하게도, 뉴스나 보도자료 및 기타 주장들로 인해 많은 제조업체들은 잘 알려진 센싱 장치와 결합하여도 그들이 특허되었기 때문에 자신들의 장치에 자율 제스처를 사용할 수 없다고 믿어 왔다. 따라서 그들은 기본적인 입력 제스처를 사용하는 제품을 소개할 때 특허 침해 소송이 그들을 기다리고 있을 것이라고 잘못된 결론을 내린다.
제스처에서의 선행 기술
아바고는 제스처를 입력 장치와 결합하는 추가 요소로 확장되지 않는 터치스크린과 결합된 제스처를 설명하기 위해 선행 기술을 정의한다. 터치스크린에서 제스처를 인식하도록 제어된 알고리즘이 일반적으로 터치스크린에 저장되어 있다. 제스처가 감지된 후에는 운영 체제가 일반적으로 터치스크린을 가지고 있는 장치의 애플리케이션에 제스처 데이터를 전송한다. 다음 단원에서 검토되는 7가지 자율적 손가락 제스처에는 다음이 포함된다.
1. 두드리는 제스처(Tapping Gesture): 터치스크린 디스플레이를 빠르게 터치하여 애플리케이션을 시작하거나 아이콘을 활성화한다.
2. 두 번 두드리는 제스처(Double Tapping Gesture): 터치스크린을 비교적 빠르게 두 번 연속적으로 두드려 애플리케이션이나 문서를 열거나 닫는다.
3. 두드려서 미끄러지는 제스처(Tapping and Sliding Gesture): 손가락을 터치스크린에 대고 미끄러져서 디스플레이에 비례하여 항목을 이동하거나 페이지나 맵, 사진 등을 파노라마식으로 이동한다.
4. 누르는 제스처(Pressing Gesture): 손가락을 터치스크린에 대고 잠시 눌러 문서나 애플리케이션 또는 다른 기능을 연다.
5. 튀기는 제스처(Flicking Gesture): 터치스크린에서 손가락을 상하좌우로 빠르게 움직여 항목의 목록이나 자료의 페이지 간에 스크롤하거나 넘긴다.
6. 집는 제스처(Pinching Gesture): 터치스크린에 두 손가락을 대고 서로 모으거나 벌려 표시된 항목을 확대하거나 축소한다.
7. 회전하는 제스처(Rotating Gesture): 터치스크린에 두 손가락을 대고 시계 방향이나 시계 반대방향으로 회전하여 디스플레이의 대상을 유사하게 회전한다.
이러한 기술을 설명하는 풍부한 소스의 정보를 특허 데이터베이스에서 오랫동안 사용해 올 수 있었고 제스처에 대한 사전 설명도 예외는 아니다. 다음 단원에서 설명하듯이, 특허에서 묘사된 일부 제스처는 20년 훨씬 이상 전에 터치스크린에서 인식되었고 그 특허는 현재 만료되었다.
두드리는 제스처(Tapping Gesture)는 간단한 동작으로서 다른 제스처 이전에 알려지고 설명된 제스처일 수 있다. 현재 만료된 여러 특허가 두드리는 제스처를 설명하고 있다. 예를 들어, 미국 특허 번호 3696409 to Braaten에서는 두드리는 제스처를 패드의 터치를 인식하고 이 터치 정보를 컴퓨터에 전송하여 그 터치 결과로 새 정보가 나타날 수 있도록 하는 것으로 설명하고 있다.
이 Braaten 특허는 1972년에 발행되었고 10여 년 전에 만료되었다. Braaten은 두드리는 제스처를 특허 가능한 것으로 구체적으로 구분하지는 않았지만, 터치 플레이트에서 터치의 결과로 생기는 정전용량의 감지를 위한 시스템을 설명했다(디스플레이 화면의 표면에 배치된 투명한 전도성 패드를 사용하여). 두 번째 특허인 미국 특허 번호 4550221 to Mabusth는 1985년에 발행되었고, 커서의 위치를 제어하기 위해 터치의 위치를 식별하는 신호를 생성하기 위해 또는 컴퓨터나 다른 전기 장치에 명령을 하거나 제어 신호를 제공하기 위해 터치스크린(정전용량식)을 사용하는 것에 대해 가르치고 있다.
Mabusth도 마찬가지로 불투명 패드 외에도 투명한 센싱 패드의 사용을 인식했다. 심지어 이와 같은 초창기에도, 여러 손가락 터치(위에 설명한 회전 제스처의 경우 Mabusth의 설명에 의하면 최대 4 터치)와 한 손가락의 멀티 태핑(multi-tapping)이 설명되었다.
미국 특허 번호 4686332 to Greanias et al.은 그리드에 정렬되고 동시 또는 교대로 감지되는 손가락 터치(두드리는 제스처) 및 스타일러스 터치를 위해 디스플레이에 맞게 개조된 투명 컨덕터의 사용에 대해 설명하고 있다. 프로세서가 저장된 프로그램 명령에 반응하여 터치를 감지한다.
이미 이때쯤, 간단한 두드리기(tapping) 제스처가 특허의 배경 섹션에 설명되고 있었다. 또한 만료된 미국 특허 번호 4698460 to Krein et al과 4698461 to Meadows et al의 두 특허에서 두드리기 제스처를 설명하고 있다.
이 특허들은 정전용량 변화를 통해 위치를 결정하는 터치 감응 방식 표면을 갖는 장치를 대상으로 한 것으로서, 여기서 표면은 화면에서의 정보에 응답하거나 디스플레이된 항목을 선택하기 위해 터치된다. 따라서 오늘날 그 누구도 일반적인 터치스크린과 결합된 두드리기 제스처에 대한 특허를 가지고 있다고 정당하게 주장할 수 없다.
기본적인 제스처의 경우에서처럼, 오늘날 보호받을 수 있는 발명이란 특정한 구체적 개선, 예를 들어, 터치스크린 기술에 대한 구체적 개선을 기준으로 해야 할 것이다.
두드려서 미끄러지기(tapping and sliding) 제스처는 미국 특허 번호 4455452 to Schuyler에 설명되어 있으며, 이를 통해 터치 활성화 시스템이 복수의 축을 따라 이동하는 손가락과 연계된 정보에 반응한다. 사용자 손가락의 정전용량은 미끄러지기 제스처를 감지하여 위치와 속도 정보를 제공하는 데 사용된다. 이 특허는 1984년에 발행되었고 거의 10년 동안 만료되었다.
또한, Prosenko에 발행되고 만료된 바 있는 영국 특허 출원 번호 GB 2 139 762는 1984년에 공포되었고 사용자에 의한 두드리기 제스처 및 두드려서 미끄러지기 제스처에 대해 표면을 터치하는 사용자의 손가락을 표현하는 신호를 제공하는 터치 감응 방식 표면을 설명하고 있다.
2007년에 만료된 또 다른 특허인 미국 특허 번호 4899138 to Araki et al.에서는 광학 터치 패널에서 감지될 수 있는(오디오 제품에서 최종적으로 사용하기 위한) 7가지 제스처를 설명하고 있다. 여기서, 두드려서 미끄러지기 제스처는 누르기(KEEP으로 설명됨) 및 두 번 두드리기(2HIT로 설명됨)와 마찬가지로 상하좌우로 이동하는 손가락을 추적하는 것으로 설명되어 있다.
미국 특허 번호 5347295는 1994년 9월 13일에 Rainey et al.에 발행되었고, 제목은 "Control of a Computer through a Position-Sensed Stylus"이었다. 이 특허는 랩탑 컴퓨터에서의 상세한 예제와 함께 많은 제스처를 설명하고 있고 PCT Publication Number WO 92/08183을 토대로 1992년 5월에 일찍 공포되었기 때문에 의미가 깊다.
좀 더 구체적으로 설명하면, 이 발표에서는 전자 스타일러스 펜으로부터 입력을 받는 정전용량식 터치스크린이 장착된 노트북 컴퓨터를 발표했다. 이 노트북 컴퓨터는 "전자 스타일러스 펜으로 디스플레이에 그려진 인쇄된 문자와 제스처를 통해 완전 제어가능"하다. 스타일러스 펜에 의해 터치스크린 디스플레이 위나 근처의 특정 위치에 이루어진 여러 유형의 제스처나 터치의 감지를 발표하는 외에도(92/08183 특허 공보의 27항 및 28항 참조) 7가지 기본적 제스처와 같은 여기에 포함되지 않은 그 밖의 많은 제스처도 설명되어 있다.
PCT 특허 발표에서는 두드리기 제스처를 이용한 애플리케이션 열기 및 닫기, 끌어서 확대하기 위한 누르고 있기 제스처, 애플리케이션을 열고 닫기 위한 두 번 두드리기 제스처, 튀기고 스크롤하기 제스처, 회전 제스처 및 컴퓨터 시스템에 의한 이들 제스처의 감지나 인식을 명시적으로 공개하고 있다. 92/08183 특허 발표의 다른 사양 및 도면 부분에서는 제스처 및 제스처 감지에 관한 자세한 내용을 공개하고 있다.
다중 제스처를 가르쳐주는 다른 특허로는 1992년 IBM의 Grenias et al.에 발행된 미국 특허 번호 5157384가 있으며, 현재는 만료되었다. 정전용량식 터치스크린을 포함하여 다중 입력 장치에 관한 매우 상세한 배경을 제공하는 외에도, 이 특허에서는 또한 제스처가 감지되고 호스트 컴퓨터로 전달되는 방법에 대해 상세히 설명하고 있다.
팝업을 활성화하는 두드리기나 누르기 제스처 감지의 사용에 대해 가르쳐주는 외에도, 이 특허는 터치스크린이 팝업 키보드를 호출하기 위한 서클 제스처를 인식할 수 있다는 것을 가르쳐주기 때문에 더욱 중요하다. 서클을 인식할 수 있다는 것은 두드리기나 누르기를 인식하는 것과는 매우 다르며 회전 제스처는 이것의 변형에 불과하다.
제스처에서의 비특허 선행 기술
특허는 제스처에 대한 선행 기술 정보의 뛰어난 소스이다. 이것은 주장이란 "사용가능" 해야 하고 사양에 매우 상세히 설명되어야 한다는 요건에 어느 정도 기인한다. 하지만, 비특허 문헌 또한 7가지 자율 제스처를 설명하는 데 있어 매우 풍부한 자료가 된다. 비특허 선행 기술에는 특허가 달성할 수 없는 방식으로 정보를 제공하는 프리젠테이션 및 비디오가 있다.
2006년 2월 제프 한(Jeff Han)에 의해 발표된 한 비디오에서는 멀티 터치 센서 스크린을 선보였는데, 여기서 Han은 두드리기, 누르기, 두드려서 미끄러지기, 집기 및 회전하기 제스처를 보여주었다. 마찬가지로, 1991년 Myron W. Kruger에 의해 발표된 논문, "Artificial Reality II"에서는 터치스크린 상황에서 또는 스크린 근접 위치에서의 여러 자율 제스처에 대해 공개하고 있다.
이 논문에서는 두드리기 제스처에 대한 명확한 삽화가 하나 제공되는데, 여기서 사용자는 그래픽 버튼을 터치하여 명령을 발생시킬 수 있는 것으로 묘사되고 있다. 이와 같이 초창기에도, Kruger는 비디오 데스크라고 알려진 작업을 묘사하고 있는데, 여기서 사용자의 손은 작업 표면이나 그 근처에 있고(작업 표면 위의 카메라가 모션을 모니터하고 있음) 사용된 모든 제스처는 마우스나 조이스틱 또는 데이터 태블릿으로 이전에 완성될 수 있다고 알려져 있다. 훨씬 더 인상적인 것은 집기 제스처가 이와 같은 초창기에 설명되었다는 것이다.
마이크로소프트에서의 그의 오랜 작업으로 잘 알려져 있는 Bill Buxton은 2010년 5월에 SID(Society for Information Display) Symposium Digest of Technical Papers, Volume 41(1)에 "A Touching Story: A Personal Perspective on the History of Touch Interfaces Past and Future"라는 논문을 발표했다. 이 논문에서 Buxton은 1960년대로 거슬러 올라가는 최초의 터치 입력 작업의 예를 지적했다.
여기서, 카시오 시계가 1984년에 사용되었고 손가락이나 스타일러스 펜의 입력을 감지하기 위한 터치스크린을 갖고 있었던 것으로 묘사되었다. 또한 Buxton은 1984년으로 거슬러 올라가는 멀티 터치 센싱을 지적한다.
요약
자율 제스처는 20년 이상 동안 보고되어 왔다. 마찬가지로, 자율 제스처의 터치나 멀티 터치 센싱과의 결합뿐만 아니라 멀티 터치 및 근접 스크린에 대해서도 오랫동안 설명되어 왔다. 제스처가 매우 잘 알려져 있고 많은 기존의 특허가 만료되었기 때문에, 이들은 새 제스처나 새로운 아키텍처와의 결합을 제외하고는 특허를 낼 수 없다.
터치스크린을 사용하여 내비게이션 입력 장치를 만들고 판매하는 제조업체들이 제스처에 관한 이러한 사실을 인식하는 것이 중요하다. 이러한 인식을 통해 그들은 자율 제스처를 이용한 장치의 설계에서 자유로울 수 있기 때문이다. 이 산업 분야는 장치마다 그리고 모든 제조업체에 제스처라는 공통 언어가 사용될 수 있어야만 그 혜택을 누릴 수 있다. 따라서 제조업체들은 일반적으로 알려져 있는 터치스크린이나 멀티 터치스크린과 결합된 자율 제스처에 대한 광범위한 특허 범위에 대해서 주의를 기울여야 한다.
그림 1. 한 손가락을 이용한 5가지 유형의 제스처
그림 2. 여러 손가락을 이용한 2가지 유형의 제스처
회원가입 후 이용바랍니다.
개의 댓글
댓글 정렬
BEST댓글
BEST 댓글
답글과 추천수를 합산하여 자동으로 노출됩니다.
댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
그래도 삭제하시겠습니까?
댓글수정
댓글 수정은 작성 후 1분내에만 가능합니다.
내 댓글 모음