Python对象序列化与反序列化

发表于 2018-03-01 | 分类于 Python |

序列化

Python中可以通过pickle序列化一个内存中的对象/数据结构到文件中，并从文件中反序列化出这个对象。

序列化：

import pickle
data = [1,2,3]
with open('test.pkl', 'w') as f:
    pickle.dump(data, f)

阅读全文 »

Python Excel 接口

发表于 2018-03-01 | 分类于 Python |

xlsxwriter

这个包可以非常优雅的写Excel文件，注意只能写，不能读和修改。

官方文档：http://xlsxwriter.readthedocs.io/index.html

阅读全文 »

Tensorflow初探

发表于 2018-02-21 | 分类于机器学习 |

Hello World

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

首先导入tensorflow包
创建图
创建一个session
在session中运行图
阅读全文 »

CS224N笔记2--词向量

发表于 2018-02-11 | 分类于 NLP |

单词的意思

WordNet

通常的解决方案是，采用类似WordNet的资源，这个里面有关于一个单词的同义词和上位词的一个列表

但是这个作为一个资源库，肯定会存在一些问题，比如：

给出的同义词存在细微的差别，比如两个词只有在某一些特定的语境下才是近义词。
或丢失对一个单词新的意思的捕获，除非资源库能实时更新，但是显然这个是不可能的
主观化
需要人来构建资源库并且持续维护
很难准确刻画两个词的相似程度

阅读全文 »

Mac下csv导入excel乱码

发表于 2018-02-10 | 分类于工具 |

起因

csv文件可以直接转换成excel，默认编码是UTF-8，但是导入Mac的Excel中竟然出现了乱码！

阅读全文 »

CS224N笔记1--引入

发表于 2018-02-09 | 分类于 NLP |

什么是自然语言处理

自然语言处理(NLP)是计算机科学，人工智能和语言学的交叉学科
目标：让计算机能够处理/理解自然语言，来完成对我们有用的任务，比如：
完成指定的操作(买东西，打电话)；机器翻译；问答系统(Siri,Google Assistant,Facebook M,Cortana)

阅读全文 »

Selenium使用小结

发表于 2018-01-31 | 分类于爬虫 |

Chrome浏览器无头模式

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=chrome_options)

阅读全文 »

微博数据整理

发表于 2018-01-27 | 分类于爬虫 |

数据说明

整理了千万级的微博数据，可以做各种微博预料分析，字段非常丰富

数据最终是一个json文件，每一行都是一个小的json

{
	"_id": {
		"$oid": "5a6c0686ac7eef81e560e719"
	},
	"reposts_num2": "60436093",
	"reposts_num1": "0",
	"level1": "普通用户",
	"level2": "黄V",
	"zan_num2": "701237",
	"zan_num1": "0",
	"is_repost": "1",
	"phone2": "iPhone客户端",
	"address1": "",
	"address2": "",
	"phone1": "小虎牙iPhone 6s Plus",
	"name2": "TFBOYS-王俊凯",
	"name1": "可口俊凯",
	"content1": "最讨厌却要表面的人",
	"content2": "今天我十五岁了，#我的十五岁#有那么多的你们陪伴我，谢谢这几年来你们的一直陪伴，《给十五岁的自己》不仅是给自己的生日歌，也是送给所有支持我的你们[心][心]今天的我有你们很快乐[呵呵]王俊凯《继续》",
	"comments_num1": "0",
	"comments_num2": "2945980"
}