ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

【Pytorch】入门 ②: Getting start:Custom dataset preprocessing

2020-02-29 17:02:26  阅读:275  来源: 互联网

标签:教程 标注 Getting Transform dataset start csv data 图片


2020.2.11,9号中午发了第一篇简书笔记,到现在两天多了,原来自己才仅仅学了一点点:Getting start 中的第二部分,WRITING CUSTOM DATASETS, DATALOADERS AND TRANSFORMS,主要是讲解对数据的处理。此外,由于单位的电脑无法连接互联网,于是找到了克隆网站的工具,将Pytorch和Tensflow网站整个克隆到本地电脑,以后拷贝到办公电脑,方便学习,用了HTTrack Website Copier和Teleport Ultra两个工具,感觉HTTrack Website Copier好用一点。

教程作者是Sasank Chilamkurthy,https://chsasank.github.io/,我发现在他的blog上有一些别的小教程,有点意思。回归主题,这次教程的目的原文叙述如下

A lot of effort in solving any machine learning problem goes in to preparing the data. PyTorch provides many tools to make data loading easy and hopefully, to make your code more readable. In this tutorial, we will see how to load and preprocess/augment data from a non trivial dataset.

其实就是对数据集的预处理、增强、导入等问题。用到face图片数据,原始数据是若干张清晰的脸图片,一个csv文件,包含脸图片的名称和标注点的位置坐标。在脸上用landmarks标出眼睛和嘴巴。

用到了pandas、os等包,pandas用来读入excel、csv等文件,os用来处理图片路径问题。

数据集:69张尺寸不同的脸图片(没有标注点),一个csv文件,csv包含脸图片的名称和标注点的位置坐标。可以在脸上用landmarks标出眼睛和嘴巴,如下图。

含有landmarks标注的脸照片
教程:

1、首先介绍了数据的读取和显示,利用panda读取csv和excel等文件很方便,读取后利用.iloc[]可以直接按需获取需要的数据。

2、建立了一个创建Face Landmarks Dataset数据集的class,按照教程,自己创建Transforms函数,一共有三个:

Rescale: to scale the image

RandomCrop: to crop from image randomly. This is data augmentation.

ToTensor: to convert the numpy images to torch images

然后利用一个callable class(可调用的类):torchvision.transforms.Compose来将不同的Transform组合,提高了Transform使用便捷程度。

其实这三个Transform是比较基础、实用的,torchvision提供了许多transform方法,我单独学习了这个模块,详见另一篇文章:torchvision库学习,https://www.cnblogs.com/Ireland/p/12383755.html

3、后续就是对定制的transform应用了。

标签:教程,标注,Getting,Transform,dataset,start,csv,data,图片
来源: https://www.cnblogs.com/Ireland/p/12383731.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有