专注细节
努力进步

Big Data

使用TensorFlow做机器学习第一篇

burness阅读(4246)评论(8)

前言 前段时间内,Google在TensorFlow Dev Summit大会上吹了一帮使用TensorFlow做机器学习,说是仿照scikit-learn的api来写的,看着很有诱惑性 有一些算法可能官方文档里面没有,但是官方仓库里面是都 […]

Machine Learning With Spark Note 5:构建聚类模型

burness阅读(1597)评论(1)

构建聚类模型 在Machine Learning领域中,我们常会遇到聚类模型这个概念,和分类与回归模型不同,聚类model是属于无监督模型,无须label信息。 聚类模型在实际中有很多应用的case,比如: 对用户或者消费者群体进行用户行为 […]

Spark Streaming 尝试

burness阅读(1816)评论(0)

Spark Streaming简介 何为streaming?在实际中,有一类数据是连续性生产,流式方法主要就是为了解决这块的问题,将连续性数据切分离散型单元来进行处理的方法。生活中比较熟悉的是视频或者音频的流式服务就是将连续性的数据分为一个 […]

Spark SQL尝试

burness阅读(1322)评论(0)

简介 Spark SQL最早合并Shark,一个尝试将Hive跑在Spark上的project。Hive是Hadoop生态圈的一个重要组成部分,内部主要是讲SQL转换为MapReduce Job。 Shark将其中的MR部分用Spark改写 […]

Machine Learing With Spark Note 4: 构建回归模型

burness阅读(2367)评论(0)

Spark构建回归模型 分类和回归是Supervised Machine Learning中比较重要的两个方面,两者差别在于,前者的label值为离散而回归的label为连续。话不多说,本文将为你介绍如何利用Spark MLlib在建立一个 […]

Machine Learing With Spark Note 3:构建分类器

burness阅读(3110)评论(4)

Spark构建分类器 在本章中,我们会了解基本的分类器以及在Spark如何使用,以及一套如何对model进行评价、调参。MLlib在这一块还是比较强大的,但是对比sklearn无论是算法种类以及配套功能还是有很大的差距。不过,据传spark […]

Machine Learning With Spark Note 2:构建一个简单的推荐系统

burness阅读(3539)评论(0)

推荐引擎应用场景: 用户有海量选择:随着场景内item越来越多,用户越来越难以选择到合适的产品 个性化场景:在选择产品时,会借鉴那些与推荐用户相似地群体,利用群体智慧对用户进行推荐”千人千面” 在本篇博客中,会涉及到以下几个部分: 介绍不同 […]

如何牛逼地设计电影推荐系统

burness阅读(1963)评论(0)

个性化 所谓个性化就是系统在对每个用户进行相关引导时,应该考虑改用户的特点,比如他的历史搜索行为中表现出来的特点,比如是喜欢科幻、或者喜欢文艺,在搜索相关内容时,可以根据这些潜在模式去调整内容的顺序。 精准营销和消费者分群 精准营销是通过用 […]

SML-week3

burness阅读(589)评论(0)

Linear Regression Lab This lab covers a common supervised learning pipeline, using a subset of the Million Song Dataset […]