Raspberry Pi 카메라로 사물 인식 및 음성 출력

이걸 만들어 보고 싶었다.

그래서 Raspberry Pi 카메라도 샀다. (http://jasmine125.tistory.com/950)

그리고 사물을 인식하면 스피커로 말도 할 수 있게 하고 싶었다.

먼저 구글 클라우드 플랫폼에 가서 가입부터 해야 API를 사용할 수 있다.

그리고는 계정에 Vision API를 사용할 수 있도록 설정해야 한다. 이 부분에 대해서는 이미 아주 잘 정리된 블로그가 있다. 

• 파이썬으로 Google Cloud Vision API 이용하기

이렇게 하면 촬영된 이미지를 Google Cloud에서 분석 후 결과가 JSON 포맷으로 전달이 된다.

나는 원하는 데이터만 잘 parsing하면 된다.

그 결과를 Google Translate를 이용해서 음성을 mp3 파일로 다운받고 재생하려 했다.

이미 Google Translate를 이용한 TTS 기능이 파이썬으로 라이브러리가 존재 했다.

• gTTS(https://pypi.python.org/pypi/gTTS)

이 라이브러리를 이용하여 음성을 mp3로 저장하고 mplayer로 재생만 하면 된다.

#!/usr/bin/env python
# Copyright 2015 Google Inc. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
"""
This script uses the Vision API's label detection capabilities to find a label
based on an image's content.
To run the example, install the necessary libraries by running:
    pip install -r requirements.txt
Run the script on an image to get a label, E.g.:
    ./label.py <path-to-image>
"""
# [START import_libraries]
#import argparse
import base64
import httplib2
import picamera
import numpy as np
from gtts import gTTS
from subprocess import call
from time import sleep
from googleapiclient import discovery
from oauth2client.client import GoogleCredentials
# The url template to retrieve the discovery document for trusted testers.
DISCOVERY_URL='https://{api}.googleapis.com/$discovery/rest?version={apiVersion}'
# [END import_libraries]
def playTTS(label):
    """Play the label"""
    tts = gTTS(text=label, lang='ko')
    tts.save('result.mp3')
    call(['mplayer', 'result.mp3'])
    
    
def main(photo_file):
    """Run a label request on a single image"""
    # [START authenticate]
    credentials = GoogleCredentials.get_application_default()
    service = discovery.build('vision', 'v1', credentials=credentials,
                              discoveryServiceUrl=DISCOVERY_URL)
    # [END authenticate]
    # [START construct_request]
    with open(photo_file, 'rb') as image:
        image_content = base64.b64encode(image.read())
        service_request = service.images().annotate(body={
            'requests': [{
                'image': {
                    'content': image_content.decode('UTF-8')
                },
                'features': [{
                    'type': 'LABEL_DETECTION',
                    'maxResults': 1
                }]
            }]
        })
        # [END construct_request]
        # [START parse_response]
        response = service_request.execute()
        label = response['responses'][0]['labelAnnotations'][0]['description']
        # print('Found label: %s for %s' % (label, photo_file))
        print response
        playTTS(label)
            
        return 0
        # [END parse_response]
# [START run_application]
if __name__ == '__main__':
    # start and wait for camera setup
    with picamera.PiCamera() as camera:
        camera.start_preview()
        sleep(2)
        camera.stop_preview()
        camera.capture('image.jpg')
        
        main('image.jpg')
        camera.close()
        
# [END run_application]

run.py