谈谈python2和python3的区别

字符编码

py3中默认字符编码是UTF-8,因此使用Python3不需要文件顶部写‘# coding=utf-8’;

py2中默认字符编码是ASCII,如果文件中出现了中文,需要在顶部加入coding声明# coding=utf-8

阅读全文 »

.bash_profile和.bashrc的区别:

/etc/profile: 此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置.

/etc/bashrc: 为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取.

~/.bash_profile: 每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次!默认情况下,他设置一些环境变量,执行用户的.bashrc文件.

~/.bashrc: 该文件包含专用于你的bash shell的bash信息,当登录时以及每次打开新的shell时,该该文件被读取.

~/.bash_logout: 当每次退出系统(退出bash shell)时,执行该文件.

需要注意的是:在/etc/profile里设置系统环境变量时,路径末尾不能以”/“结尾,否则将导致整个PATH变量出错;另外,/etc/profile中设定的变量(全局)的可以作用于任何用户,而~/.bashrc等中设定的变量(局部)只能继承/etc/profile中的变量,他们是”父子”关系。

vim配置

阅读全文 »

什么是推荐系统

随着信息技术和互联网的发展,人们逐渐从信息匮乏的时代走到了信息过载的时代。无论是信息消费者还是信息生产者都遇到了很大的挑战:

其一,作为消费者,如何从大量信息中找到自己感兴趣的信息;

其二,作为生产者,如何让自己的信息脱颖而出,受到广大用户的关注。

阅读全文 »

定义

凸集

若集合C内任意两点之间的线段均在集合C内,则称集合C为凸集。即对与凸集,它具备性质:

凸函数

阅读全文 »

分析数据

即探索性数据分析,对数据进行摸底,了解数据分布情况。一般可以通过绘制直方图、散点图、箱线图或者QQ图来观察数据的基本分布情况

缺失值处理

异常值处理

阅读全文 »

hive 的一些配置

1
2
3
4
5
6
7
8
//显示所在数据库名
set hive.cli.print.current.db=true;

//显示字段名
set hive.cli.print.header=true;

//不显示表名
set hive.resultset.use.unique.column.names=false;

或者在hive/conf/hive-site.xml文件中添加配置项:

阅读全文 »

窗口函数【over partition by】

窗口函数功能

1)同时具有分组和排序的功能

2)不减少原表的行数

阅读全文 »


Hexo是一个快速、简洁而又高效的博客框架。Hexo使用Markdown解析文章,常与Github、gitlab结合组成静态网页托管服务。

基本环境准备

1、首先分别安装GitNode.js,然后在命令行中输入相应的命令验证是否成功。

阅读全文 »