明凯博客

关注网站技术,一个特立独行的程序员

后台开发

【python案例】将mysql数据库内容分割为小CSV文件

上次写了将csv文件分割成小文件,但是csv中对源文件不好操作,所以我将源文件csv导入到mysql中,然后将mysql中的数据分割成小文件。 【python案例】将大CSV文件分割为小CSV文件 分割的处理逻辑是一样的,不一样的是循环读取出excel文件。 1 2 3 4 5 […]

, , , , ,

【python案例】将大CSV文件分割为小CSV文件

我们上次写的爬虫生成csv有十多兆,大概有3万条数据,但是我只需要用100条数据,需要用三百次不重复。 在网上在了一些csv分割软件,都分割出来的有问题,详情里面如果有逗号,则会看成一个字段。 后面用php写,linux下还好,能够分割出来,windows下一直卡死,这里推荐一个 […]

, , ,

PHP中接受变量$GLOBALS[‘HTTP_RAW_POST_DATA’] 和$_POST的区别

$_POST:通过 HTTP POST 方法传递的变量组成的数组。是自动全局变量。 $GLOBALS[‘HTTP_RAW_POST_DATA’] :总是产生 $HTTP_RAW_POST_DATA 变量包含有原始的 POST 数据。 此变量仅在碰到未识别 […]

, ,

PHP微信公众号实现自动回复的功能

最近在做微信公众平台开发,公司有个需求是做自动回复的功能,也就是你说啥,对方回个啥,就像siri等功能。 首先,自己写自动回复的库显然是不可能的,然后在网站上找了这样子的库。 像小黄鸡啊,小i啊,图灵啊,等等。都有很完善的接口。 今天我们就来用小黄鸡做自动回复功能。 1 2 3 […]

, ,

PHP中var_dump展示不全出现省略号的解决办法

我们使用php的var_dump函数,可以更直观的查看输出结果,包括类型,数量等详细信息。 此函数显示关于一个或多个表达式的结构信息,包括表达式的类型与值。 数组将递归展开值,通过缩进显示其结构。 但是在使用过程中,发现数组深度高,数组数量大等情况会出现省略号,这是什么原因呢。 […]

, ,

php数组中删除元素之重新索引的三种方法

如果要在某个数组中删除一个元素,可以直接用的unset。 1 2 3 4 5 6 < ?php $arr = array(’a’,’b’,’c’,’d’); unset($arr[1]); echo $array[1& […]

, ,

PHP生成唯一订单号的四种方法

我们做商城类项目经常需要生成唯一订单号, 我们来用总结出PHP生成四种方法。 方法一: 1 return date(’Ymd’) . str_pad(mt_rand(1, 99999), 5, ‘0’, STR_PAD_LEFT); […]

, ,

清除scrapy爬虫满屏的打印信息的问题

Scrapy 提供了 log 功能。可以通过 scrapy.log 模块使用。 在运行scrapy crawl aimks时,屏幕上满屏的打印信息,实在是不好找错误信息。 我查了下scrapy的log服务,他默认开启的是debug模式。 log 服务必须通过显式调用 scrapy […]

, ,

scrapy在不同的Request之间传递数据的办法

有一次,我在采集淘宝数据的时候,发现我需要在列表页抓一些数据,也需要在详情页抓一些数据,有时候我也需要在详情的js代码源码中再抓取一些数据。 这就涉及到不同的request之间传递数据的方法了。 一个用户完整的信息要在多个Request中获取,需要在请求之间传递参数。 直到该用户 […]

, ,

scrapy爬虫数据保存为txt,json,mysql的方法

上次我们写了一个将明凯博客首页的数据保存到数据库的方法。 但是有一些朋友说不需要将数据保存到mysql中,他们只需要保存到txt,或者csv,或者json格式中。 Python蜘蛛scrapy的采集数据到数据库的详细方法 那么这篇文章就是来教我们来怎么写,保存到txt,json, […]

, , ,

上一页 下一页