MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

vim基本用法

MYOAK 728  

vim编辑器在内存缓冲区中处理数据。只要键入vim命令(或vi,如果这个别名或链接文件存在的话)和要编辑的文件的名字就可以启动vim编辑器一、基本操作.tg {border-collapse:collapse;border-spacing:0;border-color:#999;}.tg td{font-fa...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

Linux/Unix Shell 基本常识及用法(三)

MYOAK 809  

(继上篇)三、Linux环境变量3.1 什么是环境变量很多程序和脚本都通过环境变量来获取系统信息、存储临时数据和配置信息。bash shell用一个叫作环境变量(environment variable)的特性来存储有关shell会话和工作环 境的信息(这也是它们被称作环境变量的原因)。这项特性允许你在内存中存储...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

Linux/Unix Shell 基本常识及用法(二)

MYOAK 642  

(继上篇)2.5 系统监测2.5.1监测程序当程序运行在系统上时,我们称之为进程(process)。想监测这些进程,需要熟悉ps命令的用法。ps命令只会显示当前控制台下的属于当前用户的进程。基本输出显示了程序的进程ID(Process ID,PID)、它们运行在哪个终端(TTY) 以及进程已用的CPU时间。如果你...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Python版Xgboost - Mac系统(High Sierra)安装

MYOAK 625  

Xgboost的开发深度考虑了利用系统最佳配置与机器学习算法的结合。它最大化的利用里系统的计算能力,在高精确性的前提下,又具有很强的扩展性和可移植性。对分布式训练有很好的支持,比如可以整合于Yarn, Spark等。Xgboost基于gradient boosted trees,用于解决supervised lear...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

电影院订座系统基本原理Java

MYOAK 10307  

本文主要记录下电影院订座系统的基本逻辑(不涉及并发等复杂问题),当然也可以用于很多其他的订座系统。可以按顺序打印出座位号。并且设定不同区域座位的不同价格,并按照价格的高低顺序排列出座位。用户输入其选择的座位号,如果该座位已经被预定,进行提示,否则提示预定所需价格。用户也可以取消预定座位。代码中通过用Seat类impl...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— 如何使用spark-submit

MYOAK 1861  

我们用IDE或者Jupyter等在本地(local mode)运行测试代码非常方便,但是在实际应用中,由于数据量比较大,运行时间长,往往使用cluster mode,而且需要在Linux系统后台运行应用(比如用Screen),或者在server中自动或者定时运行应用(比如用Cron)。这就需要使用bin/spark-s...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— Spark SQL (Java API)

MYOAK 2668  

Spark SQL可以处理structured和semi-structured数据。这些数据在spark中通常被表示为Dataset(统称),就像数据库中的table一样。Dataset具有natural schema。Spark和Java可以在编译的时候(compile time)就知道Dataset中数据的类型,这...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark在Hadoop的HDFS中读取和存储数据

MYOAK 2819  

本文的前提是已经安装了Spark和Hadoop,安装方法可以参考我之前的两篇文章Hadoop安装及配置 —— MacOS High Sierra和Spark 笔记|教程 —— 安装 (Standalone Ubuntu|Mac)。首先我们从本地系统复制一个样本txt文件(请自行准备)到Hadoop的HDFS中。启动H...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Hadoop安装及配置 —— MacOS High Sierra

MYOAK 2108  

折腾了小半天,看了官方文档和许多博客,终于在Mac里安装上了Hadoop。所以在这里总结一下,让更少的人走弯路。Hadoop安装最好还是在Linux里面,毕竟以后的工作环境肯定是Linux,不过平时可以在Mac练练手,毕竟装个虚拟机的话要占用Mac的配置。一开始我看了一篇用Homebrew安装的文章,以为brew会...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

《笑傲江湖》读后感四篇(全文转载)

MYOAK 37251  

这四篇读后感是闲来无事的时候在金庸吧发现的。觉得读起来很多地方有共鸣,而且引经据典,信手拈来,让人羡慕。读完令人畅快,但也意识到江湖并非社会,武侠也不是现实。而现实就是,最近最多也就是看看简短的影评书评或者零零散散的文章,看完也就忘得差不多了。一、潇潇洒洒的走,不问以后金庸先生塑造了诸多英雄侠士的形象,我仰慕义...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

Docker - Docker Compose

MYOAK 221988  

Docker compose is a combination of a command line tool and a configuration file. It configures relationships between containers. It can save all our docker cont...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

《笑傲江湖》读后感四篇(全文转载)

MYOAK 37251  

这四篇读后感是闲来无事的时候在金庸吧发现的。觉得读起来很多地方有共鸣,而且引经据典,信手拈来,让人羡慕。读完令人畅快,但也意识到江湖并非社会,武侠也不是现实。而现实就是,最近最多也就是看看简短的影评书评或者零零散散的文章,看完也就忘得差不多了。一、潇潇洒洒的走,不问以后金庸先生塑造了诸多英雄侠士的形象,我仰慕义...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

电影院订座系统基本原理Java

MYOAK 10307  

本文主要记录下电影院订座系统的基本逻辑(不涉及并发等复杂问题),当然也可以用于很多其他的订座系统。可以按顺序打印出座位号。并且设定不同区域座位的不同价格,并按照价格的高低顺序排列出座位。用户输入其选择的座位号,如果该座位已经被预定,进行提示,否则提示预定所需价格。用户也可以取消预定座位。代码中通过用Seat类impl...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Tensorflow笔记——TensorBoard

MYOAK 9351  

庞大的Deep Neural Network(DNN)会很复杂,让人难以理解。谷歌引入了TensorBoard(visualization tools), 可以从浏览器中打开,地址为:http://localhost:6006/。6006是倒过来的"goog"是不是谷歌味儿十足啊。通过TensorBoard,我们可以看...

MYOAK博客 | 关注数据科学和算法编程的个人博客
算法编程

数据结构——图(Graph)及其C++代码实现

MYOAK 3819  

图的基本概念线性表和树两类数据结构,线性表中的元素是“一对一”的关系,树中的元素是“一对多”的关系,本章所述的图结构中的元素则是“多对多”的关系。图(Graph)是一种复杂的非线性结构,在图结构中,每个元素都可以有零个或多个前驱,也可以有零个或多个后继,也就是说,元素之间的关系是任意的。图分为有向图和无向图。无向图...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

机器学习——经验积累的无比重要性(未完)

MYOAK 3356  

通过最近一段机器学习任务的上手,感觉到做机器学习更像是当医生,很需要知识储备和经验累积。对于小白来说面对一堆数据,甚至有时候数据都需要自己想办法获取,毫无头绪,根本无从下手。即使有很多写好的框架,但是胡乱地套进去,会遇到很多预想不到的问题。不知道问题源自何处,如何解决。这就需要在学习理论知识的同时(对各种算法模型的了...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— Python API

MYOAK 3067  

Spark 简介简单地列一下自己觉得比较重点的,具体可以参考Spark文档或相关教程。Spark是基于内存进行计算,比如进行数据计算的时候,产生的中间数据会存放在内存中,不需要经过硬盘的写入写出过程。这也就是Spark比Hadoop快很多的原因。Spark提供了Python API,所以可以用Python去写Sp...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark在Hadoop的HDFS中读取和存储数据

MYOAK 2819  

本文的前提是已经安装了Spark和Hadoop,安装方法可以参考我之前的两篇文章Hadoop安装及配置 —— MacOS High Sierra和Spark 笔记|教程 —— 安装 (Standalone Ubuntu|Mac)。首先我们从本地系统复制一个样本txt文件(请自行准备)到Hadoop的HDFS中。启动H...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

How the Venture Capital Industry Works (End)

MYOAK 2818  

本系列文章主要是对曼海姆商学院(Business school of university of Mannheim)Advanced Entrepreneurship 课程的一个总结,所以大部分内容都来自于 Professor Dr. Michael Woywode 的课件。其中也有部分内容是自己做的补充。由于翻译比较...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

Spark 笔记|教程 —— Spark SQL (Java API)

MYOAK 2668  

Spark SQL可以处理structured和semi-structured数据。这些数据在spark中通常被表示为Dataset(统称),就像数据库中的table一样。Dataset具有natural schema。Spark和Java可以在编译的时候(compile time)就知道Dataset中数据的类型,这...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

High-Tech Entrepreneurship and Internationalization

MYOAK 2633  

本系列文章主要是对曼海姆商学院(Business school of university of Mannheim)Advanced Entrepreneurship 课程的一个总结,所以大部分内容都来自于 Professor Dr. Michael Woywode 的课件。其中也有部分内容是自己做的补充。由于翻译比较...

MYOAK博客 | 关注数据科学和算法编程的个人博客
杂谈

聪明反被聪明误,多情却被无情恼

MYOAK 2550  

本文打算收集一些自己觉得有意思的诗词,标题两句出自苏轼的《洗儿》和《蝶恋花·春景》,以表“诗中有玩世疾俗之意”。洗儿宋·苏轼人皆养子望聪明,我被聪明误一生。惟愿孩儿愚且鲁,无灾无难到公卿。蝶恋花·春景宋·苏轼花褪残红青杏小,燕子飞时,绿水人家绕。枝上柳绵吹又少,天涯何处无芳草。墙里秋千墙外道...

MYOAK博客 | 关注数据科学和算法编程的个人博客
数据科学

深度学习部署在生产环境(转)

MYOAK 2488  

作者:吴书卫本文整理自TalkingData T11大数据大会中吴书卫博士的演讲。主持人:我们或多或少听到很多智能的东西,比如AlphaGo、智能驾驶汽车,这里面都蕴含着一个东西,就是这两年非常火热的机器学习的分支深度学习(Deep Learning)。提到Deep Learning的话,大家可能都知道今年Goog...