AI는 음식을 어떻게 인식할까요｜사진에서 칼로리와 탄단지까지
짧은 답: 접시를 찍으면 앱은 네 단계를 차례로 실행해요. 음식을 배경에서 떼어내고, 각 항목에 이름을 붙이고, 얼마나 있는지 추정하고, 그 양에 대한 영양소를 찾아요. 앞의 두 단계는 이제 아주 안정적이에요. 세 번째, 평면 이미지에서 분량을 추정하는 곳에 오차 대부분이 살아요. 네 번째는 뒤에 있는 데이터베이스의 질에 전적으로 달려 있어요. 「닭가슴살, 150g 정도, 밥이랑」 같은 몇 마디 맥락은 두 번째와 세 번째를 한 번에 고치기 때문에 최종 오차를 대략 절반으로 줄여요.
보기보다 어려운 이유
접시를 보는 사람도 같은 네 가지를 무의식적으로 하고, 대개 틀려요. 2천 명을 대상으로 한 연구에서 평균적인 사람이 칼로리를 20% 안으로 맞힌 건 20번 중 5번이었어요. 훈련받은 평가자도 마찬가지였어요. 문제는 머리가 아니라, 이미지 한 장에 정보가 정말로 충분하지 않다는 데 있어요. 깊이, 밀도, 숨은 기름과 소스, 일반과 저지방의 차이는 카메라에 보이지 않아요.
AI 인식은 이걸 해결하지 못해요. 추정을 더 빠르고, 더 일정하고, 고치기 쉽게 만들 뿐이에요.
1단계: 영역 분할 — 음식 찾기
모델은 먼저 이미지를 접시, 식탁, 손, 그리고 개별 음식으로 나눠요. 요즘 분할 기술은 겹친 음식도 잘 다루지만, 구성 요소가 나란히 있지 않고 섞여 있을 때 정확도가 떨어져요. 찌개, 카레, 속이 다 들어간 부리토 같은 것들이요. 밥의 윤곽을 그릴 수 없으면 밥을 잴 수도 없어요.
2단계: 분류 — 찾은 것에 이름 붙이기
각 영역을 수백만 장의 라벨 붙은 음식 이미지로 학습한 모델과 대조해요. 흔한 음식은 정확도가 높아요. 오류는 닮은 것들에 몰려요. 닭다리와 닭가슴, 밥과 리소토, 일반 요구르트와 저지방, 버터와 마가린, 가당과 무가당 음료, 그리고 모델이 덜 본 지역 음식이에요.
2026년 대부분의 앱은 이 단계를 전용 분류기가 아니라 큰 멀티모달 모델에서 돌려요. 낯선 음식과 지역 음식의 범위는 좋아졌지만 닮은 것 문제는 그대로예요. 지방 함량은 여전히 안 보이니까요.
3단계: 분량 추정 — 얼마나 있는가
어려운 부분이자 오차의 주된 출처예요. 모델은 기준자가 없는 2차원 이미지에서 3차원 부피를 유추해야 해요. 접시 크기, 젓가락, 손, 흔한 담음새 같은 단서를 쓰지만, 그릇의 밥은 위에서 보면 150g이든 300g이든 똑같아 보여요.
분량 추정 연구는 이 단계가 오차에 가장 크게 기여한다고 일관되게 보여줘요. 한 참여형 연구에서는 신용카드 같은 기준 물체를 두었더니 사람의 추정이 오히려 나빠졌어요.
두 가지가 도움이 돼요. 사진 한 장 대신 영상(2초 정도 훑으면 여러 각도가 생겨요)과 양을 말하는 것(「한 공기 정도」, 「150g」).
4단계: 영양소 조회
인식한 음식과 추정 무게를 영양 데이터베이스와 맞춰 칼로리, 단백질, 탄수화물, 지방, 그리고 세는 앱에서는 식이섬유·당·나트륨으로 펼쳐요.
이 단계는 데이터베이스만큼만 좋아요. 「닭고기 카레」는 크림, 기름, 설탕에 따라 아주 다른 항목에 걸려요. 참여형 데이터베이스에는 틀린 항목이 있고, 정제된 데이터베이스에는 빠진 항목이 있어요. 좋은 앱은 검증된 기반을 쓰고, 보이는 것(기름지다, 크리미하다, 담백하다)에 따라 모델이 보정하게 해요.
오차는 어떻게 쌓이나요
각 단계가 자기 오차를 다음으로 넘겨요. 분량에서 10% 어긋나고, 닮은 것을 잘못 잡아 지방이 30% 밀리고, 데이터 항목이 일반적인 것이면 최종 숫자가 30~40% 어긋나요.
전체 과정에 대해 발표된 수치는 실제 식사에서 이미지만 썼을 때 평균 15~30%, 짧은 설명을 더하면 약 14%예요.
한 문장이 그렇게 중요한 이유
짧은 텍스트나 음성 메모는 가장 약한 두 단계를 한 번에 고쳐요.
- 「닭가슴살」이 분류를 확정해요
- 「150g 정도」가 분량을 확정해요
- 「올리브유로」가 보이지 않는 지방을 더해요
사진은 접시 위 모든 것을 찾는 일을 계속해요. 문장은 사진이 볼 수 없는 두 가지를 고쳐요. CalMePlease가 사진만이 아니라 사진과 모국어 음성 메모를 전제로 만들어진 이유예요.
숫자 너머
인식은 4단계에서 끝나요. 그다음부터 앱이 갈려요.
대부분은 칼로리를 하루 합계에 더하고 멈춰요. CalMePlease는 열 가지 항목 전부 — 사진 앱 대부분이 빠뜨리는 식이섬유·당·나트륨을 포함해 — 를 AI 코치에게 넘기고, 코치가 하루 전체를 읽고 다음에 무엇을 먹을지 말해요. 인식 과정은 입력이고 조언이 제품이에요.
기기 안에서 인식할 수 있나요
일부 앱은 과정의 일부를 휴대폰에서 돌려요. 그러면 사진이 기기를 떠나지 않아요. 2026년 기준 그 대가는 정확도예요. 기기 안 모델은 더 작고 낯선 음식에 약해요. CalMePlease를 포함한 대부분은 이미지를 서버에서 처리하고 결과 기록은 기기에 저장해요. 개인정보에서 중요한 건 무엇이 남느냐예요. CalMePlease는 식사 기록, 체중, 통계를 기기 안에 두고 데이터를 팔거나 공유하지 않아요.
자주 묻는 질문
사진에서 어떻게 칼로리를 알 수 있나요? 각 음식을 알아보고, 이미지에서 무게를 추정하고, 그램당 칼로리를 데이터베이스에서 찾아요. 셋 다 추정이고 무게가 가장 불확실해요.
같은 사진에 두 앱이 다른 값을 주는 이유는요? 분류 모델, 분량을 가늠하는 방식, 데이터베이스가 달라요. 단계별 오차가 더해져요.
집밥에서도 되나요? 돼요. 데이터베이스 검색보다 나아요. 하나씩 찾아야 할 구성 요소에 AI가 이름을 붙여 주니까요.
영상으로도 인식되나요? 돼요. 영상은 여러 각도를 줘서 분량 추정이 좋아져요.
다이어트에 쓸 만한가요? 꾸준한 기록이라는 면에서는 충분해요. 무작위 오차는 한 주에 걸쳐 평균이 나요. 사진으로 계산한 칼로리는 얼마나 정확할까요도 보세요.
함께 읽기: 음성으로 식사 기록하기 · 칼로리를 위한 바코드 스캔
CalMePlease는 사진·영상·음성·바코드로 식사를 기록하고 한 끼당 열 가지를 측정해요. App Store에서 무료.
