申请科创A基金|Sparse Convolution of Small CNN

文 号

835594

17 回复 / 492 浏览


116059967821 天前 -2017-07-02 11:32835594

前言

本人,黄涛,男,深圳市福田外国语高级中学学生。从小学开始接触C++,初中开始使用VB进行编程,两年前因为通用控制算法接触神经网络,自学完成BPNN,CNN的实现,在科创论坛上发表过综述帖。 卷积神经网络是一种针对图像识别等应用的神经网络,现广泛应用于识别等方面。

1、选题背景及研究现状

稀疏这一特征被广泛应用于机器学习领域,从现在来看,卷积操作本身也是一种稀疏编码,《Sparse Convolutional Neural Networks》这篇文章中所阐述的是将稀疏编码应用于卷积神经网络卷积层的输出过程中。《Convolution in Convolution for Network in Network》使用带有稀疏特征的MLP(可以看成是某种意义上的卷积)替换《Network In Network》中的普通MLP层。 而同时《Multi-column deep neural networks for image classification》这篇文章体现出的是将输入数据进行不同变换后,使用多个卷积神经网络识别时的优异性能。 276346
图1 Dilated Convolutions

感受野是衡量一个卷积神经网络性能,而人们为了提高感受野的数量,提出了《Multi-Scale Context Aggregation by Dilated Convolutions》,使用多重卷积,以提高其性能。

2、研究意义

卷积神经网络发展到今天,结构可以说是非常完善,但是人们在使用更深层的卷积神经网络时所体现出的梯度消失问题(《Supervised Sequence Labelling with Recurrent Neural Networks》)将人们挡在了更深结构的面前,《Deep Residual Learning for Image Recognition》提出了解决这一问题的方式,但是更深的同时,感受野的的数量并没有显著提高。 为了提高感受野的数量,同时建立更加深层的卷积神经网络,我提出了Sparse Convolution of Small CNN的相法。

3、主要研究内容

  • 使用一个更小的卷积神经网络替换传统卷积核中的基于GLM的输出函数,目的是利用卷积神经网络的深度和其替换后的多重卷积特性,提高卷积神经网络的感受野的数量和卷积神经网络的深度。同时这样的替换使得在较小输入数据中使用较大的卷积核成为可能。
  • 对输入数据使用稀疏的卷积,即给一个输入进行卷积的时候,每一次卷积时跳过一个或多个像素,以替代原有的池化层,减少梯度下降带来的影响的同时又不损失感受野。
  • 卷积层的一个输入输出对的各卷积核之间的权值是不共享的,即在权值变化时只使用本一卷积核的改变量,得益于特殊的卷积核和稀疏的卷积,这种改变能对性能有所提升。

4、研究方法

我计划购买显卡进行测试,可能是GTX980,使用tensorflow实现并测试新的结构。 测试的数据集主要有MNIST、SVHN、CIFAR。 预计本项目持续五个月或更长,在两个月内完成实现和初期成果报道。 如果本方法经测试并不可行,将会转为进行其它结构的测试。

5、资金

主要开销是显卡,没有台式机的问题我会尽量解决,一个库存GTX980的价格在2000元左右。

6、参考文献(bibtex格式)

@article{liu2015sparse,
title={Sparse Convolutional Neural Networks},
author={Liu, Baoyuan and Wang, Min and Foroosh, Hassan and Tappen, Marshall F and Penksy, Marianna},
pages={806--814},
year={2015}}

@article{Pang2017Convolution,
 title={Convolution in Convolution for Network in Network.},
 author={Pang, Y. and Sun, M. and Jiang, X. and Li, X.},
 journal={IEEE Transactions on Neural Networks & Learning Systems},
 volume={PP},
 number={99},
 pages={1-11},
 year={2017},
}

@article{Lin2013Network,
 title={Network In Network},
 author={Lin, Min and Chen, Qiang and Yan, Shuicheng},
 journal={Computer Science},
 year={2013},
}

@article{Schmidhuber2012Multi,
 title={Multi-column deep neural networks for image classification},
 author={Schmidhuber, Jurgen},
 volume={157},
 number={10},
 pages={3642-3649},
 year={2012},
}

@book{Graves2012Supervised,
 title={Supervised Sequence Labelling with Recurrent Neural Networks},
 author={Graves, Alex},
 publisher={Springer Berlin Heidelberg},
 year={2012},
}

@article{He2015Deep,
 title={Deep Residual Learning for Image Recognition},
 author={He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian},
 pages={770-778},
 year={2015},
}

@article{Yu2015Multi,
 title={Multi-Scale Context Aggregation by Dilated Convolutions},
 author={Yu, Fisher and Koltun, Vladlen},
 year={2015},
}

个人照片

很少照相,手机拍的,电脑不在身边。 276022

[修改于 19 天前 - 2017-07-04 13:01:45]


radio21 天前 -2017-07-02 18:25835611
现在买显卡略困难。。

[修改于 21 天前 - 2017-07-02 18:26:15]


虎哥21 天前 -2017-07-02 19:05835614
这是还没写完吗?

116059967821 天前 -2017-07-02 23:33835637
引用 虎哥:
这是还没写完吗?
有点事,刚写完。

虎哥21 天前 -2017-07-02 23:55835638
引用 1160599678:
有点事,刚写完。
我看得云里雾里的,不明白楼主的文章与科创基金之间是什么关系。请照申报指南补充必要的信息。该申请案和前一申请是相互独立的,前一申请不能代替任何必要的内容;由于前一申请并未批准,未被批准的申请不能作为依据被引用,尤其不能出现“参考前一申请”这样的措辞。你不写清楚,我怎么知道该参考哪一句,申报材料是特殊的契约,基金要对捐款人负责,每句话的意义都要准确界定。

[修改于 20 天前 - 2017-07-03 01:16:27]


异极20 天前 -2017-07-03 16:26835678
应该再等一段时间,现在显卡价格太高。说不定过一段时间矿难,显卡就便宜了。

116059967820 天前 -2017-07-03 23:32835762
引用 虎哥:
我看得云里雾里的,不明白楼主的文章与科创基金之间是什么关系。请照申报指南补充必要的信息。该申请案和前一申请是相互独立的,前一申请不能代替任何必要的内容;由于前一申请并未批准,未被批准的申请不能作为依据……
对不起,我以为只要对开题报告进行补正,大意了,见谅。
现已修正。

虎哥20 天前 -2017-07-04 00:25835771
引用 1160599678:
对不起,我以为只要对开题报告进行补正,大意了,见谅。
现已修正。
请把您的照片补到顶楼适当位置,不用像上次那么大尺寸,稍微缩小一点。其它资料请给科创论坛再发一次,因为您上次指定了上次的申请帖和项目名称,无法挪用。

116059967819 天前 -2017-07-04 23:35835842
引用 虎哥:
请把您的照片补到顶楼适当位置,不用像上次那么大尺寸,稍微缩小一点。其它资料请给科创论坛再发一次,因为您上次指定了上次的申请帖和项目名称,无法挪用。
我用手机,照片的问题有点无奈,资料已经发出。

虎哥19 天前 -2017-07-04 23:42835843
资料已收悉。经审查,申报材料必要件齐全,符合科创基金A的有关规范。从即日起至2017年7月7日为公示期间,欢迎广大爱好者和专业人士提出意见建议。

马小甲19 天前 -2017-07-05 00:43835848
根据科创A基金的要求,6个月内要回帖发布过程。然后还要发布账目和结项。

phpskycn16 天前 -2017-07-08 00:21836085
库存显卡买不得。
首先中高档的显卡本身工作环境恶劣,GPU和VRAM温度都很高,长期使用容易脱焊。
其次上一代的GM2XX系列BIOS可以完全解锁,运行频率、频率-电压策略可以自行设定,更容易损坏。

虎哥16 天前 -2017-07-08 00:31836086
公示期已截止。
根据科创基金A的有关规定,经过专家审查,申报项目的研究路线基本合理,符合资助条件。但是预算用于采购一个退市的产品,且很难买到“非矿机”,不尽合理。综上,我决定批准申请,批准经费用途为技术设施费,具体采购什么由申请人根据自有资金情况、研究所需及市场行情灵活安排,并在论坛公布。

项目编号:2017A002
项目名称:使用稀疏卷积的CNN研究
资助金额:1800元
申请人:黄涛
批准人:刘虎
批准日期:2017年7月8日

116059967815 天前 -2017-07-08 09:53836097
引用 虎哥:
公示期已截止。
根据科创基金A的有关规定,经过专家审查,申报项目的研究路线基本合理,符合资助条件。但是预算用于采购一个退市的产品,且很难买到“非矿机”,不尽合理。综上,我决定批准申请,批准经费用途为技……
已收到,于一月内公布账目。

资金去向
11605996788 天前 -2017-07-15 14:37836533
保修备用卡,未上机
276800

750元
276801

750元
单据:
276802

结余300元
下一步资金用途拟定为
测试平台运行成本(电费)
该项用途公示至2017年7月22日,如有异议,请在公示截止日前提出

[修改于 8 天前 - 2017-07-15 14:39:32]


虎哥7 天前 -2017-07-16 10:53836576
楼上无权限制异议时间,有什么新闻如实报导就好了,不要节外生枝。
该项资金是技术设施费,不得用于支付电费。

11605996787 天前 -2017-07-16 16:02836593
引用 虎哥:
楼上无权限制异议时间,有什么新闻如实报导就好了,不要节外生枝。
该项资金是技术设施费,不得用于支付电费。
那么剩下的钱是退回基金吗?

虎哥7 天前 -2017-07-16 18:52836598
如果申报项目没有其它合理用途,应当退回基金;否则,可以用于采购其它必要的技术设施。科创基金的性质是“资助”,并不是有多少钱办多少事,应以研究需要为原则。

返回 科创基金
返回 本页顶部

想参与大家的讨论?现在就 登陆 或者 注册


nkc Development Server https://github.com/lovetheory/nkc2

科创研究院 (c)2005-2017

蜀ICP备11004945号-2 川公网安备51010802000058号