MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

电影院订座系统基本原理Java

MYOAK 416  

本文主要记录下电影院订座系统的基本逻辑(不涉及并发等复杂问题),当然也可以用于很多其他的订座系统。可以按顺序打印出座位号。并且设定不同区域座位的不同价格,并按照价格的高低顺序排列出座位。用户输入其选择的座位号,如果该座位已经被预定,进行提示,否则提示预定所需价格。用户也可以取消预定座位。 代码中通过用Seat类impl...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— 如何使用spark-submit

MYOAK 335  

我们用IDE或者Jupyter等在本地(local mode)运行测试代码非常方便,但是在实际应用中,由于数据量比较大,运行时间长,往往使用cluster mode,而且需要在Linux系统后台运行应用(比如用Screen),或者在server中自动或者定时运行应用(比如用Cron)。这就需要使用bin/spark-s...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— Spark SQL (Java API)

MYOAK 338  

Spark SQL可以处理structured和semi-structured数据。这些数据在spark中通常被表示为Dataset(统称),就像数据库中的table一样。Dataset具有natural schema。Spark和Java可以在编译的时候(compile time)就知道Dataset中数据的类型,这...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark在Hadoop的HDFS中读取和存储数据

MYOAK 345  

本文的前提是已经安装了Spark和Hadoop,安装方法可以参考我之前的两篇文章Hadoop安装及配置 —— MacOS High Sierra和Spark 笔记|教程 —— 安装 (Standalone Ubuntu|Mac)。首先我们从本地系统复制一个样本txt文件(请自行准备)到Hadoop的HDFS中。启动H...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Hadoop安装及配置 —— MacOS High Sierra

MYOAK 288  

折腾了小半天,看了官方文档和许多博客,终于在Mac里安装上了Hadoop。所以在这里总结一下,让更少的人走弯路。 Hadoop安装最好还是在Linux里面,毕竟以后的工作环境肯定是Linux,不过平时可以在Mac练练手,毕竟装个虚拟机的话要占用Mac的配置。一开始我看了一篇用Homebrew安装的文章,以为brew会...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

《笑傲江湖》读后感四篇(全文转载)

MYOAK 215  

这四篇读后感是闲来无事的时候在金庸吧发现的。觉得读起来很多地方有共鸣,而且引经据典,信手拈来,让人羡慕。读完令人畅快,但也意识到江湖并非社会,武侠也不是现实。而现实就是,最近最多也就是看看简短的影评书评或者零零散散的文章,看完也就忘得差不多了。 一、潇潇洒洒的走,不问以后 金庸先生塑造了诸多英雄侠士的形象,我仰慕义...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Tensorflow笔记——TensorBoard

MYOAK 347  

庞大的Deep Neural Network(DNN)会很复杂,让人难以理解。谷歌引入了TensorBoard(visualization tools), 可以从浏览器中打开,地址为:http://localhost:6006/。6006是倒过来的"goog"是不是谷歌味儿十足啊。通过TensorBoard,我们可以看...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— Python API

MYOAK 989  

Spark 简介简单地列一下自己觉得比较重点的,具体可以参考Spark文档或相关教程。Spark是基于内存进行计算,比如进行数据计算的时候,产生的中间数据会存放在内存中,不需要经过硬盘的写入写出过程。这也就是Spark比Hadoop快很多的原因。Spark提供了Python API,所以可以用Python去写Sp...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

2017科隆游戏展 - gamescom

MYOAK 769  

说正经的之前先说两句没用的。科隆游戏展是欧洲最大的综合性互动式游戏软件、信息软件和硬件设备展览,与美国E3游戏展(Electronic Entertainment Expo),日本东京电玩展(Tokyo Game Show,TGS)共称为世界三大互动娱乐展会。Gamescom 2017,有来自106个国家的共计约355...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

2017汉诺威工业展

MYOAK 753  

简介 汉诺威工业展(德:Hannover Messe, 英:Hanover Fair)是当今国际最大的工业展。今年(2017),共计约225,000名参展观众,其中超过75,000名观众来自国外。外国观众中中国人最多,达9,000人次(数据来自汉诺威工业展官网)。汉诺威工业展的核心主题包括: Industrial ...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

聪明反被聪明误,多情却被无情恼

MYOAK 652  

本文打算收集一些自己觉得有意思的诗词,标题两句出自苏轼的《洗儿》和《蝶恋花·春景》,以表“诗中有玩世疾俗之意”。 洗儿 宋·苏轼 人皆养子望聪明,我被聪明误一生。 惟愿孩儿愚且鲁,无灾无难到公卿。 蝶恋花·春景 宋·苏轼 花褪残红青杏小,燕子飞时,绿水人家绕。枝上柳绵吹又少,天涯何处无芳草。 墙里秋千墙外道...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

How the Venture Capital Industry Works (End)

MYOAK 565  

本系列文章主要是对曼海姆商学院(Business school of university of Mannheim)Advanced Entrepreneurship 课程的一个总结,所以大部分内容都来自于 Professor Dr. Michael Woywode 的课件。其中也有部分内容是自己做的补充。由于翻译比较...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— 服务器上安装 (Standalone Ubuntu|Mac)

MYOAK 465  

1.安装Java由于Spark是基于Scala的,依赖JVM的运行环境,所以需要安装Java。去官网下载Java8的安装包,这里需要注意的是如果在linux server上,不能用 wget 直接下载,会导致安装失败。要用本地电脑下载下来,然后在terminal session里面运行下面命令,把下载的文件上传到s...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Python 批量导入数据(.csv)到 Cassandra

MYOAK 438  

今天项目的supervisor说: 当你为解决完所有的bug而高兴时却发现程序的运行时间太长,这就是我的生活。—— 致把青春献给数据的码农们 本文章要解决的问题是:在linux的虚拟机(VM)上,读取散布在不同文件夹的csv文件,并在每个csv文件中选取相同的特定的列,合并在一起导入到Cassandra的一个tabl...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

电影院订座系统基本原理Java

MYOAK 416  

本文主要记录下电影院订座系统的基本逻辑(不涉及并发等复杂问题),当然也可以用于很多其他的订座系统。可以按顺序打印出座位号。并且设定不同区域座位的不同价格,并按照价格的高低顺序排列出座位。用户输入其选择的座位号,如果该座位已经被预定,进行提示,否则提示预定所需价格。用户也可以取消预定座位。 代码中通过用Seat类impl...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

数据结构——图(Graph)及其C++代码实现

MYOAK 356  

图的基本概念线性表和树两类数据结构,线性表中的元素是“一对一”的关系,树中的元素是“一对多”的关系,本章所述的图结构中的元素则是“多对多”的关系。图(Graph)是一种复杂的非线性结构,在图结构中,每个元素都可以有零个或多个前驱,也可以有零个或多个后继,也就是说,元素之间的关系是任意的。图分为有向图和无向图。无向图...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Tensorflow笔记——TensorBoard

MYOAK 347  

庞大的Deep Neural Network(DNN)会很复杂,让人难以理解。谷歌引入了TensorBoard(visualization tools), 可以从浏览器中打开,地址为:http://localhost:6006/。6006是倒过来的"goog"是不是谷歌味儿十足啊。通过TensorBoard,我们可以看...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark在Hadoop的HDFS中读取和存储数据

MYOAK 345  

本文的前提是已经安装了Spark和Hadoop,安装方法可以参考我之前的两篇文章Hadoop安装及配置 —— MacOS High Sierra和Spark 笔记|教程 —— 安装 (Standalone Ubuntu|Mac)。首先我们从本地系统复制一个样本txt文件(请自行准备)到Hadoop的HDFS中。启动H...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— Spark SQL (Java API)

MYOAK 338  

Spark SQL可以处理structured和semi-structured数据。这些数据在spark中通常被表示为Dataset(统称),就像数据库中的table一样。Dataset具有natural schema。Spark和Java可以在编译的时候(compile time)就知道Dataset中数据的类型,这...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— 如何使用spark-submit

MYOAK 335  

我们用IDE或者Jupyter等在本地(local mode)运行测试代码非常方便,但是在实际应用中,由于数据量比较大,运行时间长,往往使用cluster mode,而且需要在Linux系统后台运行应用(比如用Screen),或者在server中自动或者定时运行应用(比如用Cron)。这就需要使用bin/spark-s...