这两天在做信用卡的数据分析项目，出现了除标题错误以外 + （ ValueError: Found input variables with inconsistent numbers of samples: [56411, 27785] ） 这两个报错，因为标题字数有限，所以只写了一个。现在我们先解决第一个问题：  正如上面报错所写，错误原因就是： 输入的数据里面包含NaN值或者无穷大的数据 所以解决办法： 找到NaN值补齐或者删除该列；减小样本数据。 然后先用pandas的describe()和head()属性来查看一下数据集情况，前者是对整个数据有个概览，后者可以直接打印出前几行数据，这里我...

还是因为在做数据分析的项目，要用到imbalanced-learn（imblearn)这个包来处理样本不平衡的问题，本以为应该只是简单的在anaconda上面安装就可以使用的，谁知发生了一系列坑坑的事情！ （也正好扫了我的知识盲点😂）好了，开启正文。 首先一开始是在anaconda里面安装的，使用的命令是： conda install -c glemaitre imbalanced-learn  结果出现了满屏的这个：  这一下子把我看的满脸的问号？这是什么情况？sqlite路径冲突？ 于是在网上搜了一下并没有类似的解决办法，又跑到官方文档打开看他的安装方法：  于是我再次用官方的anaco...

因为之前全部更新Anaconda包的时候也顺便更新了Anaconda3，结果今天运行一段程序的时候突然报错说“seaborn”这个模块没安装？然后我就打算去Anaconda Prompt里面重新安装。但是当我打开开始菜单，并<stron>！  如上图，一开始只有我用黄色框圈出来的那四个快捷方式，于是我就谷歌一下如何把Anaconda Prompt这个快捷方式恢复到这个文件夹下面，看到很多博主都提到了下面这个命令：</stron> python .\Lib\_nsis.py mkmenus  于是我也打开cmd后，来到安装Anaconda3的那个文件目录下面输入上面那个命...

周末的时候突然发现之前给Pandas官方文档翻译的那部分有格式问题，决定重新修改后再次提交pr。但是在Git一步步到提交pr的过程中，Merge步骤出现了合并冲突的情况，如下图蓝色框住的部分：  于是开始思考，怎么会冲突呢？ 后来看了群里的大佬的解释才知道 是我没有一开始fetch自己的仓库和原始仓库同步，所以导致后面合并的时候出现我的仓库有更新，原始仓库也在那段时间有更新，就发生了合并的冲突！现在我们就来解决冲突：可以通过Git来一步步检查冲突的具体信息，首先输入如下命令:  可以看出上面写了存在没有合并的区域，然后还可以看到下面有这么多文件发生了变动没有commit：  最后显示不能合并的...

接上回，已经满足了安装imblearn的前提条件了，但是再次去Anaconda Prompt里面安装还是报错了，只是这次是另一个问题： Solving enviroment: failed with initial frozen solve.Retrying with flexible solve. 去Anaconda的 navigation里面安装也是报错：   再次谷歌一下，发现好几个博客都说 直接更新conda到最新版本，然后再update --all后就可以 ！！！于是小白掌柜先查看了自己的conda是不是最新版本：  由上图可知是的，接着继续查看安装包：  然后发现要升级的真多于是果...

又是因为在做数据分析的实战项目时候发生了一系列的踩坑、填坑过程（不止标题上面的问题，限于字数），于是随手记录下来希望后面的朋友能成功避开！！！ 因为项目是用Python连接MySQL来进行数据分析的，所以一开始的步骤就要连接MySQL，这里采用的是SQLALchemy这个框架，于是当我写好这段代码运行的时候，提示报错为：  没有“mysql。。。”于是就去anaconda里面安装了这个，重新运行，发现出现了另一个坑：  想起之前看到在这个项目下面评论里面有人说这个问题的解决办法是 把一开始连接MySQL数据那段代码里面的“mysqlconnector”换成“pymysql”就可以，想说人家既然...

我觉得我应该改名字叫填坑掌柜， 本来只是改个MySQL导入文件的权限问题，结果引发了一系列的踩坑，填坑过程… 好吧，还是开始正题，我们开始填坑第一个： ERROR1045（28000）:Access Denied for user ‘root’@‘localhost’ (using password:YES)  这个出现的原因是因为我之前初始化了mysqld，然后就导致下面的几件事都发生了： 1）mysql的服务已经初始化； 2）data文件夹存储了SSL证书和关键文件； 3）验证密码插件已经安装和运行； 4）超级用户账号‘root’@'localhost’已经被创建，但是账户密码设置和存储在...

（以下暂时只针对Windows系统，并未在其他系统上面测试，欢迎大家测试！） 刚刚上午解决了Access Denied的问题，下午受上午解决问题的思路启发，结果很快就解决了关于MySQL8.0版本以上的文件单次导入权限问题！！！  相信大家都在初次导入外部文件到MySQL的适合遇到了这个问题吧：  ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement 然后大家也都搜索发现，普遍回答都是教大家去 my.ini(Wi...

最近在学陈旸老师的专栏SQL必知必会里面学到如何用SQL对数据进行清洗这一节时，在实操的时候遇到了一些问题，这里记录一下其中对各种问题的解决办法，希望对后面学习的朋友也有帮助！(PS: 我这里是WIN10系统下使用的MySQL-8.0.15版本！！！）  第一步，创建数据表titanic_train（陈老师是直接用的Navicat工具创建的，而小白我为了锻炼自己的能力，决定直接用MySQL操作）：  由于我的MySQL数据库并没有这个表格，所以需要我先创建这个表格，下面是创建titanic_train表格的MySQL语句： DROP TABLE IF EXISTS `titanic_train...

在Windows系统里面安装Kettle后打算连接MySQL的时候突然报错： 错误连接数据库 [mysql] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Driver class ‘org.gjt.mm.mysql.Driver’ could not be found, make sure the ‘MySQL’ driver (jar file) is installed. org.gjt.mm.mysql.Dri...

因为要读取从大众点评爬下来的一些数据，所以在文件有点大的情况下就造成jupyter notebook在读取的时候直接卡死，出现memory error的情况。 那么如何解决这样的问题呢？掌柜经过一番探索，终于找到解决的办法，先写上解决的代码： with open('你要读取的文件', 'r',encoding='utf-8') as f: for line in f: res = line print(res)  然后可以查看总耗时是33秒：  别小看这么两行简单的代码，里面蕴含的玄机还是值得思考的。于是掌柜在思考之后，总结了一下关于用Python读取本地较大型文件的各种方法：  第一种就是直...

重要的事情说三遍！没事不要随意使用升级命令（–upgrade）对 jupyter notebook的各种包！！！ 重要的事情说三遍！没事不要随意使用升级命令（–upgrade）对 jupyter notebook的各种包！！！ 重要的事情说三遍！没事不要随意使用升级命令（–upgrade）对 jupyter notebook的各种包！！！ 好了，现在回到主题这里，因为看jupyter notebook自带的主题觉得眼睛太累，就打算换掉它。于是在命令行里面输入如下命令： pip install --upgrade jupyterthemes  然后。。。惊喜出现，一部debug的连续剧就这样开始...

因为疫情原因，导致一直没机会更新上次的博客续集，现在又有时间了，继续更新这部debug连续剧的续集。 上次说到掌柜好不容易把主题换掉了，但是打开后发现咋是光秃秃的一个页面？里面的文件去哪儿了？？？还有工具栏咋没显示。。。 根据官方文档的解释，可以写如下命令，让工具栏显示出来： jt -t 你要换的主题名 -N -T 然后重启即可生效。 接着把默认的文件路径换成你自己希望存放的文件路径，文件夹一定要存在！  PS: py和修改的存放路径之间要有空格。  然后文件倒是成功显示出来了，但是打开文件出现500.。。。   你没看错，续集的第一个bug出现！500：Internal Server Err...

上篇说到最后爆出bug。。。到后台服务的连接没能建立, 我们会继续尝试重连, 请检出网络连接… 接着发挥谷歌的优势找到解决办法。 就是把tornado降级为4.5.3 pip install tornado==4.5.3  然后终于正常连接上了：  打开之前的文件准备继续编程，点击了运行命令后：  没有正常出结果，而是一直在运行，于是我去看jupyter notebook的后台，发现这样一个新的bug出来了！！！  ImportError：cannot import name 'generator_to_async_generator’ WC，这是要坑死我吗？？？我就只是想换个jupyter ...