どういうサービス
About service
本手法は, CVPRW, 2019に採択された"Temporal Distance Matrices for Squat Classification" に基づいてスクワットの分類を行います。
筋力トレーニングを始めたいけれどもお金に余裕がない方や、筋トレを第三者から教えてもらうのがどんな感じか知りたい方に体験してもらうサービスです。
AIが背景や人の服装に関係なく人の動きだけを見て判定をしてくれます。位置調整などの面倒な手間がなく、人の位置や向きに関係なく判定します。
This method classifies squats based on "Temporal Distance Matrices for Squat Classification" accepted in CVPRW, 2019.
This service is for those who want to start muscle training but can't afford the money, and those who want to know what it feels like to be taught by a third party.
AI makes judgments only by looking at the movements of people, regardless of the background or the clothes of the people.
There is no work such as position adjustment, and judgment is made regardless of the position or orientation of the person.
中で何してる?
Proposal Method
- 一人がスクワットしている動画をフレームごとに分割します
- 背景の情報を取り除くためにポーズ推定を行います
(ポーズ推定は既存の手法を用いて行っています) - 人の向きや写真内の位置に依存させないようにするため距離行列を作成します
(距離行列はポーズ推定結果の各関節の直線距離を組み合わせることによって作成します) - ニューラルネットワークを用いて分類します
(距離行列の対角成分を除いた上三角部分を一列のベクトルに並び替えてフレーム方向に組み合わせて入力マップとします) - 7種類のクラスラベルを出力します
- Dividing a single squatting video into frames
- Perform pose estimation to remove background information
(The pose estimation is performed using existing method) - Create distance matrices to make it independent of people's orientation and position in frame
(The distance matrix is created by combining the euclidean distances of each joint in the pose estimation results) - Classify using neural network
(The upper triangular part of the distance matrix excluding the diagonal elements is rearranged into a single-column vector and combined in the frame direction to form an input map) - Output 7 kinds of class labels
使ってみよう
使い方
- 「ファイルを選択」ボタンを押し、動画分類したい動画を選択してください。※20MB以下
- 「squat！」ボタンを押すと、動画分類した結果が下の方に表示されます。
出力例
Let's use
How to use
- Press the "Select File" button and select the video you want to classify. ※20MB or less
- If you press the "squat!" Button, the result of video classification will be displayed at the bottom.
Example