くずし字コンペ:CenterNetについて考察してみました

この記事はKaggle アドベントカレンダー 2019の7日目の記事です。 幅野です。 くずし字コンペの上位解法として利用されていた物体検出モデルの一つであるCenterNetについて紹介・考察をしていきます。 今回紹介するCenterNetは「Object As Points」で提案さ…

物体検出のデータ生成手法を提案した論文「SNIPER: Efficient Multi-Scale Training」を読んでみました

インターンの中村です。 今回はSNIPERという論文を読みました。 arxiv.org 訓練手法を提案した、プラクティカルな論文。そのため、難解な数学はあまりなく、直観的な説明がおおかった。 multi-scale訓練時に画像の一部をいい感じにサンプリングして、解像度…

DNNにおける蒸留を提案「Distilling the Knowledge in a Neural Network」を読みました

CTOの幅野です。 今回はDNNにおいてはじめて提案された蒸留手法の論文について解説していきます。 arxiv.org 蒸留のモチベーション 1. 背景 DeepLearningモデルは層が深く、パラメータが多くすることでモデルの表現力を高め精度を向上させやすくなることが知…

MobileNet論文その3: 「Searching for MobilenetV3」を読んでみました

インターンの中村です。 今回はMobileNetV3を読みました。 arxiv.org 論文の要旨 正式なタイトルは"Searching for MobileNetV3"。 タイトル通り、かっこいい新手法の提案というよりは、機械的な探索などを地道に貪欲に取り入れ、MobileNetV2の性能を向上させ…

OpenPoseで実装されているHand推定の論文「Hand Keypoint Detection in Single Images using Multiview Bootstrapping」を読みました

CTOの幅野です。 OpenPoseのHand Keypoint検出モデルの論文を読みましたの解説していきます。 概要 RGB画像から手の部位を検出するモデルの学習方法を提案。 Pose推定などで利用されているConvolution Pose Machinesを手の部位検出に応用することを考える。 …

3DPose推定モデル「RepNet」を読んでみました

CTOの幅野です。 CVPR2019で発表された3DPose推定の論文RepNetを解説します。 arxiv.org 概要 2DPoseから3DPoseを推定するモデルを提案した論文です。 本論文では既存モデルは学習データに類似したシーンは3DPoseをうまく推定できるものの、カメラの位置やPo…

Grouped Convolutionのハイパーパラメータを最適化する「clcNet」を読んでみました

インターンの林です。 社内勉強会でclcNetについて発表しました。 arxiv.org 概要 clcNet提案 CDG(Channel Dependency Graph)とCRF(Channel Receptive Field)を新たな分析のツールとして使用 グループ化畳み込みに変わり、新たな畳み込みのIGC(Interlaced Gr…

キーポイント系物体検出モデル その2:「CenterNet: Keypoint Triplets for Object Detection」を読んでみました

CTOの幅野です。 CornerNetを拡張したCenterNetを読みました。 CenterNetは同名で別のモデルが提案されています。 今回はCenterNet: Keypoint Triplets for Object Detectionを解説します。 arxiv.org github.com また、このモデルはCornerNetを拡張したもの…

キーポイント系物体検出モデル その1:「CornerNet: Detecting Objects as Paired Keypoints」を読んでみました

CTOの幅野です。 今回はキーポイント検出手法を利用した物体検出モデルCornerNetを読みました。 arxiv.org 概要 オブジェクトの左上と右下の境界を予測することにより物体検出をする手法を提案 MSCOCOにおいてAP42.2%を達成した。 Corner予測のモチベーショ…

BoudingBoxの小さい物体を検出するモデル「Finding Tiny Faces」を読んでみました

インターンの中村です。 今回はFinding Tiny Facesという論文を読んだので解説していきます。 arxiv.org 概要 非常に小さい顔を検出できる新しいモデルを提案した論文。 また、どうしてそのモデルに至ったのかをImageNetの特性や画像のスケール、物体の周辺…

MobileNet論文その2: 「MobileNetV2: Inverted Residuals and Linear Bottlenecks」を読みました

CTOの幅野です。 今回は高速化アーキテクチャとして広く利用されているMobileNetV2の論文を読みました。 arxiv.org 概要 モバイルで推論させることを考慮したMobilNetV1を拡張したMobileNetV2を提案。 MobileNetV1 では depthwise と pointwise covolution …

物体検出における3つのImbalance問題を分析した論文「Libra R-CNN」を読んでみました

インターンの中村です。 今回はLibra R-CNNを読んだので解説していきます。 arxiv.org 訓練プロセス、損失、モデル改良を提案して計算量をほとんど変えないまま物体検出の制度を向上させた論文。それら3つをまとめてLibraと呼んでいる。分かりづらい。正直や…

Grouped Convolutionモデルの精度を改善した論文「 ShuffleNet」を読んでみました

インターンの林です。 社内勉強会でShuffleNetを発表しました。 arxiv.org 背景 これまでの画像認識タスク 深く大きい畳み込みニューラルネット 数十億FLOPSの計算 Shuffle Netは 限られた計算量で性能を求めるCNN architecture 数十~数百MFLOPSの計算 Chann…

SSDの改良モデル「RefineDet」を読んでみました

インターンの中村です。 今回はRefDetを読んだので解説していきます。 正しい論文タイトルは"Single-Shot Refinement Neural Network for Object Detection"。 arxiv Object Detectionには2-stageと1-stage(Single Shotとも)の2つのアプローチがあり、一般…

1stage物体検出モデル「SSD: Single Shot MultiBox Detector」を読んでみました

インターンの林です。 社内勉強会でSSDを発表しました。 arxiv.org SSDとは 単一ディープニューラルネットワークを使って画像の中の物体を検出する方法 論文ではVGG16にExtra Feature Layersという畳み込み層を加え、物体検出を可能にした 予測時にカテゴリ…

DenseNetを高速化した論文「VoVNet」を読んでみました

インターンの中村です。 今回はVoVNetを読んだので解説していきます。 https://arxiv.org/abs/1904.09730 Abstract 正式な論文タイトルは "An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection". つまり、この論文で…

特徴を段階ごとに分けて生成できるモデル「StyleGAN」を読んでみました

インターンの中村です。 今回はStyleGANを読んだので解説していきます。 https://arxiv.org/abs/1812.04948 NVIDIAの論文です。GPU開発元らしく潤沢なGPU資源を使って超リアルな画像を生成した1ことで話題になりましたが、特徴をレベルごとに分離するGenerat…

MobileNet論文その1: 「MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications」を読みました

この記事は7/6に開催されたMETRICAエンジニア勉強会の発表資料です。 今回は参加者の西本くんがMotibleNetについて発表してくれました。 論文pdf Mobilenetの特徴 軽い 速い 精度が良い Depthwise Separable Convolution Mobile Netの軽量化のための工夫。 …

quantization aware trainingの論文「Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference」を読みました

はじめに CTOの幅野です。 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inferenceを読みました。 この論文はTensorflow/Tensorflow Liteで実装されている、モデルのパラメータを量子化する手法です。 以前まではEd…

Deep Learning推論用デバイスその3 Google Edge TPU

はじめに この記事はDeepLearning推論用デバイスまとめ記事の第三弾です。第三弾ではGoogleが提供しているEdge TPUについて紹介します。他のデバイスに関しては下記にまとめています。 Google Edge TPU TPUとは Tensor Processing Unit(TPU)はGoogleが開発し…

Deep Learning推論用デバイスその2 NVIDIA Jetson Nano

はじめに この記事はDeepLearning推論用デバイスまとめ記事の第二弾です。第二弾ではNVIDIAが提供しているJetson Nanoについて紹介します。他のデバイスに関しては下記にまとめられています。 NVIDIA Jetson Nano (引用:https://developer.nvidia.com/sites…

Deep Learning推論用デバイスその1 Intel NCS2

はじめに 今回は深層学習用のエッジコンピューティングデバイスの市場調査を行ったので、まとめました。 調査したデバイス 調査したデバイスは以下の3つです。 Intel Neural Compute Stick2 NVIDIA Jetson Nano Google EdgeTPU デバイス間の比較をする前に…

Xception仮説によりConvolution層を軽量化「Xception : Deep Learning with Depthwise Separable Convolutions」を読んでみました

インターンの中村です。 今回はXceptionの論文を読みました。 Oct 2016, by Francois Chollet (Kerasの作者) arxiv: https://arxiv.org/abs/1610.02357 何がすごい? 新たなモデル、Xceptionを提案 Inception V3にImageNetというデータセットで辛勝 JFTとい…

Binary Neural Network その3:「XNOR-Net」を読みました

インターンの中村です。 今回はXNOR-Netという論文を読んだので解説します。 arxiv.org またXNOR-Netの関連論文も解説していますので、よかったら見てください。 metrica-tech.hatenablog.jp metrica-tech.hatenablog.jp この論文ではBinary Neural Network…

Binary Neural Network その2:「Binarized Neural Networks」を読みました

この記事は6/15に開催されたMETRICAエンジニア勉強会の発表資料です。 今回は参加者の西本くんがBinary Neurarl Networkについて発表してくれました。 arxiv.org Binarized Neural Networksの関連のある論文としてBinary Connectも解説してくれています。 me…

Binary Neural Network その1:「BinaryConnect」を読みました

この記事は6/8に開催されたMETRICAエンジニア勉強会の発表資料です。 今回は参加者の西本くんがBinaryConnectについて発表してくれました。 arxiv.org 背景 近年、計算可能性が新しいアルゴリズム開発のネックになる場面が散見されるようになった。また、実…