大数据工程师问题请教！
Matlab可以处理几亿条的数据的（每条数据有32自变量）的多元线性回归运算吗？根据提取的共同因子，得出相应的多元线性回归模型吗？
2017-12-01 10:54 已编辑 University of Sunshine Coast Java
关注
全部评论
温温
北京大学 算法工程师
就算10亿条数据，每个有32特征，每个特征用double存，10^9*2^5*8=10^9*2^8 大概需要238G的内存，而你需要用这么多数据训练一个33维的向量，是不是有点数据量过多了呢。 我建议从两个方面走： 1）如果真的要用这么多数据，那么肯定没法读入内存的，那么就麻烦点，把每次训练的batch size搞大点，每次从硬盘读数据，然后训练 2）训练一个33维的向量真的不需要那么多数据，随机抽出一部分数据来训练就足够了
打不死的路人
家里蹲 算法工程师
几亿的数据 就算高配置的电脑本地也会跑崩溃的
相关推荐
点赞 评论 收藏
分享