大数据工程师问题请教！
Matlab可以处理几亿条的数据的（每条数据有32自变量）的多元线性回归运算吗？根据提取的共同因子，得出相应的多元线性回归模型吗？
2017-12-01 10:54 已编辑 University of Sunshine Coast Java
关注
全部评论
温温
北京大学 算法工程师
就算10亿条数据，每个有32特征，每个特征用double存，10^9*2^5*8=10^9*2^8 大概需要238G的内存，而你需要用这么多数据训练一个33维的向量，是不是有点数据量过多了呢。 我建议从两个方面走： 1）如果真的要用这么多数据，那么肯定没法读入内存的，那么就麻烦点，把每次训练的batch size搞大点，每次从硬盘读数据，然后训练 2）训练一个33维的向量真的不需要那么多数据，随机抽出一部分数据来训练就足够了
打不死的路人
家里蹲 算法工程师
几亿的数据 就算高配置的电脑本地也会跑崩溃的
相关推荐
06-19 13:43
西安电子科技大学 Web前端 点赞 评论 收藏
分享
复仇战士：都进大厂了，如果还能忍就过了三个月再说吧 点赞 评论 收藏
分享
05-25 10:45
门头沟学院 Java 
Frank_zhang：没实习一个项目肯定不够，可以再做一个轮子，技术栈再补一个mq，微服务，整体再换个简历模板，暑期尽量再找一个日常实习
点赞 评论 收藏
分享
06-03 03:20
河北农业大学 人力资源专员/助理 
点赞 评论 收藏
分享
美团公司氛围 2508人发布