更新时间:2023-02-17 来源:黑马程序员 浏览量:
在数据大小比内存空间还要大的时候，怎么去读取数据呢?今天笔者就来分享一下解决这个问题的使用方法。常见的有两种思路：
思路一：可以分多次来读取，也就是说通过生成器的方式，单次读取数量比较少的数据(例如按500MB计算)进行处理，这次处理完后再去读取后面的500MB数据。
思路二：Linux常用命令之一的split可以将文件进行切割，然后再进行数据处理，这个方法的效率相对来说会更高。既可以按照文件大小进行切割，也可以按照文件行数来切割。处理完毕后，在Linux下使用cat命令来对文件进行合并。
全国13城校区全覆盖｜黑马程序员AI大模型开发（Python），就近学习、全国就业
2026-04-08黑马程序员AI大模型开发（Python）｜大厂共建+实战赋能，学完即具备企业项目能力
2026-04-08黑马程序员AI大模型开发（Python）｜5阶段体系化教学，从入门到精通全覆盖
2026-04-08黑马程序员AI大模型开发（Python）｜培养企业应用型人才，适配行业核心需求
2026-04-08黑马程序员AI智能应用开发｜上市品牌背书，大厂联合研发，打造AI复合型人才
2026-04-08全国13城校区全覆盖｜黑马程序员AI智能应用开发，就近学、就近就业
2026-04-08
AI智能应用开发
AI大模型开发
AI鸿蒙开发
AI嵌入式+
AI大数据开发
AI运维
AI测试
跨境电商运营
AI设计
AI视频创作运营
.jpg)