第一个问题，小样本学习问题

之前，我一直认为深度学习的小样本学习能力差，是因为不应该用统计的手段，但现在意识到不是因为统计的问题，而是因为重新发明了轮子，信息利用度不够，举个例子自然图像识别的第一层是方向基，线条基，大家都在重复地训练第一层就是重复劳动，第二层、第三层也有类似的问题，其实前面几层都用通用性，即使到了后面几层，不同的训练之间也是有大量共通的东西。而通用智能的解决方案在于提供了一种灵活、高度的可复用机制。说白了，当我们有足够好的条件的时候，我们会尽量减少统计，但统计的本质没有错。 Read more