See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/377160381

International Eastern Conference on Human Computer Interaction 2023

Proceedings and Full Text Book

Conference Paper · November 2023

CITATIONS READS

0 2,011

41 authors, including:

Kamala Oghuz Bilgehan Çağıltay

Baku Higher Oil School Sabanci University
9 PUBLICATIONS 2 CITATIONS 2 PUBLICATIONS 0 CITATIONS

SEE PROFILE SEE PROFILE

Asmir Butkovic Muhammad Hariz Bin Hasnan

UCD School of Computer Science Universiti Teknologi MARA
11 PUBLICATIONS 40 CITATIONS 3 PUBLICATIONS 0 CITATIONS

SEE PROFILE SEE PROFILE

All content following this page was uploaded by Turgay Altındag on 05 January 2024.

The user has requested enhancement of the downloaded file.

 Table of contents
GROUP 5 (TR)

# Paper Title Page

No
A Study of Supervised Clustering Methods for Optical Mouse Trajectory Data from Tap
1 1
Strap 2

2 Analysis of the interaction of social networks and modern society: in case of Azerbaijan 8

Çok Sınıflı Cilt Lezyonlarının Sınıflandırılması için InceptionV3 ve EfficientNetB0

3 14
Modellerini Birleştiren Sınıflandırma Yöntemi

4 Kullanılabilirlik ve Erişilebilirlik Bağlamında Akademide Ableizm Üzerine Bir İnceleme 20

5 Typing in the Matrix: An Augmented Reality vs. Physical Keyboard Showdown 26

6 The Efficacy of Utilizing Kinect Studio for Academic Purposes in Human Anatomy Research 32

7 Enhancing Augmented Reality Precision with Leap Motion Technology 38

Enhancing Immersive 3D Experiences: The Role of Eye Tracking in Achieving Intuitiveness

8 44
and Seamless Interaction

9 Enhancing Education Through Virtual Reality: A Focus on User Experience 50

10 Derin Öğrenme Yöntemi ile Görüntü Temelli Elektrik Teli Tespit ve Uyarı Sistemi 56

Öğrencilerin Canli Çevrimiçi Derslerdeki Dikkat ve Duygu Değişimlerinin Görüntü İşleme

11 62
Teknolojisiyle İncelenmesi

12 A Framework to Measure User Experience of Geoportals 79

A Feature Engineering Approach Based on the Data Gathered from a VR Environment Using
13 85
Haptic Interface to Increase the Applicability of ML Methods
Modeling of the system for diagnosing asymmetry of the electromyographic signals using the
14 90
correlation analysis method in the LabVIEW environment

15 Histopatolojik Görüntülerin Sınıflandırılması için ESA Tabanlı Yeni Bir Hibrit Ağ Mimarisi 95

16 A New Mobile-based Beauty Appointment Management Application System 100

A Preliminary Study on Student and Faculty Perspectives on Climate Crisis and AI in Higher
17 104
Education
A Psychophysiological Investigation of How Visual Perceptual Skills and Interaction
18 Experiences of Visual Communication Design Students Change: Which Eye Tracking and 108
Electrodermal Activity Metrics to Use?

19 A Temporomandibular Joint Course with Metaverse Experience 112

20 Analysis and Modeling Automated Product Quality Control for Machine-building Industries 116

Kullanıcı Deneyiminin Yeşil Yazılım Mühendisliğine Etkisinin Araştırılması Üzerine Deneysel

21 120
Bir Çalışma
Examining the Impact of a Mobile Augmented Reality-based Robotic Learning Application on
22 124
K12 Students' Academic Achievement

23 Fen Bilimleri Eğitiminde Göz İzleme Tekniğinin Kullanıldığı Çalışmaların İncelenmesi 128
24 Hareket Temelli İşlemler Konusunda Yayınlanan Makalelerin Bibliyometrik Analizi 132

25 İnsan-kompüter Qarşiliqli Əlaqəsinin Psixoloji Xüsusiyyətləri 135

26 User Experience Evaluation in Metaverse for People with Visual Impairment: Data Gathering 138

27 Etkili Arayüz Tasarımında Zamanın İzinde: 1986'dan Günümüze Kullanılabilirlik Testleri 141

28 Review of Social Collaborative Tool used in The Open Society University Network 144

29 Yeni Nesil Sorulara Yönelik Etkileşimli 3D Fen Modelleme Materyalin Kullanılabilirliği 146

CoSpaces ile Programlama Öğretiminde Kodlama Becerilerini Yordayan Değişkenlerin

30 148
İncelenmesi

31 Development of Novel Energy Production System in Sports 150

32 EEG Tabanlı Duygu Tanıma için DREAMER Veri Kümesinin Analizi 152

Examining Patterns in Puzzle and Trivia Type of Hyper-Casual Games: An Eye Tracking
33 154
Study

34 MagniVR: Design & Analysis of Low Vision Accessibility Tool For Virtual Reality 156

35 Mentor or Boss: The Al Effect on Decision-Making 158

Prediction of University Students' Difficulty Level for Learning Management System (LMS)
36 160
Using Machine Learning Techniques
Unlocking the Potential of Virtual Reality in Education: Insights from Teachers and
37 162
Recommendations for Integration

38 User Interface Design For Fire Emergency Response 164

Exploring the Ethics of Emotion Computing in K-12 Education: Understanding Adolescents’

39 166
Interaction with Generative AI
Exploring Educational Technologists’ Usability Heuristics on a Mobile Assistive Technology
40 168
Hub

41 Müze Sanal Turu Sürecinde Görev Tipinin Bilişsel Yük ve Hatırlama Üzerindeki Etkisi 169

42 Yapay Zekanın Turizmi Kolaylaştırılması: Kültür Turizmi 170

 A Study of Supervised Clustering Methods for
Optical Mouse Trajectory Data from Tap Strap 2
Tauheed Khan Mohd Motti Kelbessa Computer Luke Heinrichs Computer
School of Information Security and Applied Computing Science Department Augustana Science Department Augustana
Eastern Michigan University College College
Ypsilanti, Michigan, USA Rock Island, Illinois, USA Rock Island, Illinois, USA
[email protected] [email protected] [email protected]

Ryan Freas
Computer Science Department
Augustana College
Rock Island, Illinois, USA
[email protected]

Abstract—Abstract: This paper presents a study on the use of Before we had the privilege of combining both the mouse
the Tap Strap 2 input device for creative applications. The Tap and the keyboard into one device, they existed separately
Strap 2 is a wearable device that allows users to input commands during their conception in the early 1960s. These devices
through a combination of finger taps. While the device has been
marketed as a versatile input solution for a wide range of devices, stayed relatively the same through their different iterations
we argue that it is not well-suited for everyday use, and that its up until the early 1990s when the company HandyKey Cor-
main target audience is hobbyists and creatives. Our paper has poration quietly released the first version of an all-in-one
two main goals: (1) to devise unique functionality for the Tap mouse and keyboard combination. Their device, called the
Strap 2 beyond that which is advertised by the manufacturer, and Twiddler, was marketed as a next generation input device
(2) to perform an analysis of the learning curve associated with
learning the tap combinations of the Tap Strap 2. To achieve the that allowed someone to type with a single hand. The next
first goal, we train a trajectory clustering machine learning (ML) huge innovation came in the mid-2000’s during the dawn of
model that can recognize gestures that resemble dial rotation, Bluetooth technology. In 2003, apple released both the first
using trajectory data from the optical mouse sensor of the Tap wireless keyboard and wireless mouse. This represented a huge
Strap 2. Overall, the paper aims to demonstrate how the Tap milestone in the tech industry, as this level of convenience was
Strap 2 can be used to expand the creative/artistic repertoire of
hobbyists and creatives without the need for expensive specialized an extremely valuable commodity that every company wanted
devices. to obtain [2].
Index Terms—trajectory analysis, Tap Strap 2, SVM, CNN Subsequently, in 2019, a startup company called Tap Sys-
tems Inc. attempted to address the vast market opportunity of
I. I NTRODUCTION gadgets for virtual reality and smart wearables. Tap Strap 1 is a
device that allows users to type characters by registering finger
Computer Science is a very diverse field of study with tap combinations by incorporating five different accelerome-
many areas to explore. One of the fastest growing areas of ters and a gyroscope on a string of Thermoplastic Polyurethane
this industry is human-computer interaction, or HCI. This (TPU) rings. The finger tap combinations are then processed
area of computer science essentially focuses on the design by a computer chip located in the thumb ring of the Tap Strap,
of computer technology and how we can interact with these which then outputs the resulting letter or text as output. In
devices. Examples of this technology include the QWERTY addition, the thumb finger of the Tap Strap also features a
keyboard, the smartwatch, and Virtual Reality machines [1]. 500 DPI (dots per inch) sensor, allowing the device to also be
The focus of our paper will be aimed at a family of devices used as a mouse. The combination of these two functionalities
that combine the functions of a computer mouse, a device that allows for a wide range of use cases, including language
controls a cursor in a GUI, as well as a keyboard, an input independence, ambidextrous use, key mapping customization,
device used to enter characters into a computer system. These and multi-platform interaction [3].
devices are colloquially known as ’all in one devices.’ Some Despite its capabilities and the praise it received as an
examples, among many, of such devices are the Twiddler, the interaction solution that empowers people with visual impair-
TapXR Bracelet, the Aula Excalibur One-Handed Mechanical ment or limited mobility, Tap Strap 1 received significant
Gaming Keyboard and Razer Tartarus v2 Gaming Keypad, feedback from customers and stakeholders that the device
One of these devices in particular, the Tap Strap, will be the needed significant refinement before it could be considered a
focus of this paper. competitor to the ubiquitous keyboard and mouse. Then came,

1
Tap Strap 2; unlike its predecessor, it included Air Gestures The paper is organized as follows. We start by describing
for swipes and gesture based media controls, an optical sensor prior work done in replacement/augmentative computer inter-
with higher sensitivity (1000 DPI), improved battery life (2 action technology and related work on trajectory analysis (§II).
hour advertised improvement), more ergonomic redesign of We then describe the data collected using Tap’s Python SDK
the thumb rest, and improved software and responsiveness. In package1 , our methodology for choosing specific data points,
essence, this successor addressed all the technical concerns and the preprocessing techniques we used (§IV). This is then
that the customer had with their previous generation device. followed by our experimental approach, in which we train
However, despite these improvements, Tap Strap 2 was not a prospective classification models and detail the development of
commercial success either. At initial launch in 2019, the Tap a simple GUI we use to demonstrate the gesture functionality
Strap 2 was priced at $200, $20 more than its predecessor (§V). We then present the results of our approach along with
[4]. The retail price even reached a high of $ 249 in the first a discussion about alternative computer interaction devices
3 quarters of 2022 [5]. This launching price made the Tap (§VI). Lastly, we make the limitations of our work clear and
Strap 2 a very expensive computer interaction device which explore future improvements that can be done to improve our
was priced higher than many premium keyboards and mice. results (§VII).
Even with the technical improvements, Tap Strap 2 inherited
its predecessor’s steep learning curve, making it difficult for II. R ELATED W ORK T ECHNOLOGY
users to learn and use the tap combinations. The gestures, i.e. A. Wearables and All-in-ones
tap combinations, were forced onto the user, the tap reads While Tap created a unique product with the Tap Strap 2,
weren’t as accurate as the ubiquitous keyboard and mouse, many other companies continue to expand in the HCI industry
and, most of all, it was uncomfortable to wear and remove. with a priority in efficiency and ergonomics. The use of a
Just as Matt Jancer outlines in his article, Review: Tap Strap standard mouse and QWERTY keyboard continue to dominate
2 Input Device, there is an argument to be made that the computer and human interaction; however, some companies
Tap Strap 2 is a wearable not meant for the day-to-day work believe that the use of a different form factor may allow for a
life, but is rather ideal for situations when you are interacting more comfortable and convenient working experience without
with devices that don’t have traditional peripherals such as a loss in work efficiency. In order to understand the potential
gaming consoles, VR headsets, streaming devices and such. of these devices, it is important to acknowledge the designs
Yet, just like Jacer, we prefer using the default input system and features of some other wearable and all-in one devices.
provided by the respective device. The Tap Strap 2 is just too 1) Tap XR: Following the release of the Tap Strap 2, Tap
cumbersome. As impressive a piece of technology as it is, for has been developing its newest take on wearable technology
the non-hobbyist user, the Tap Strap 2 is “an answer in search called the Tap XR. Unlike its predecessor, this device is worn
of a question” [6]. And that is the audience that we’d like to on the wrist, rather than around each finger to accomplish a
specifically focus the efforts of our work on, the hobbyist and design that is more comfortable to wear. Using a retractable
the prospective creative. sensor, it tracks the movements of each finger, allowing for
Our paper has two goals: (1) devise a unique functionality similar functionality as the Tap Strap 2. However, due to its
for the Tap Strap 2 beyond that which is advertised by Tap new design, the device only functions as a keyboard and con-
Inc., (2) perform an analysis of the learning curve associated troller. Mouse movements are now replaced with controller-
with learning the tap combinations of Tap Strap 2 (§II-A3). based options, meaning the device will be incompatible with
With regard to our first goal, we are attempted to train a some applications. The Tap XR has a planned release in
prototype for a trajectory mapping machine Learning (ML) quarter one 2023 alongside open-source development kits
model trained to recognize gestures that resemble dial rotation available for additional implementation.
using data from the optical mouse sensor of the Tap Strap 2. 2) Twiddler 3: Released in 2014, Tek Gear’s device, called
The idea behind training such a model is to add additional Twiddler 3, was created to bring the functionality of a full
functionality that the Tap Strap 2 could provide for creative keyboard into a compact form factor. The keyboard is designed
tools or software such as Abelton Live, Adobe Premier, to be used with one hand and features alphabetic keys on the
Adobe Photoshop, Blender, and/or Davinci Resolve. Special- side, similar to a phone keypad, and function keys to switch
ized devices that already provide dial functionality to the letters. The mouse is controlled using an eight-directional
aforementioned software are the Blackmagic Mini Panel, the joystick on the top of the device. The Twiddler 3 offers both
Blackmagic Design Editor Keyboard, or the Tangent Ripple. If Bluetooth 2.0 and USB connectivity options, and with practice,
this prototype succeeds, our goal is to both to use predictions users can achieve a typing speed of 30-60 wpm, with the
of our ML algorithm to use the Tap Strap as an alternative for potential to reach up to 260 wpm using macros. The device’s
the previously mentioned devices and demonstrate this via a documentation has been continuously updated.
simple GUI intended to mimic certain functionality within the 3) Azeron Cyro: In April 2023, Azeron, a company that
aforementioned software. By doing this, we hope to provide a specializes in gaming peripherals, will release the Azeron
functionality for Tap Strap 2 that allows a prospective creative Cyro, an all-in-one mouse and keypad designed specifically for
to expand their creative/artistic repertoire without necessarily
having to buy expensive creative devices from the onset. 1 https://github.com/TapWithUs/tap-python-sdk

2
gaming. The device prioritizes comfort and ease of use, with a B. Related Work on Trajectory Mapping/Analysis
design that places the hand in a natural grip and an adjustable Before quoting research that looks at trajectory classifica-
strap that holds the hand securely in place. The Cyro also tion, a brief introduction on trajectory mapping/analysis might
features a joystick on the top of the device, which allows for be necessary. Trajectory analysis is a method used to study
omnidirectional movement, as well as a 5-way switch that can the behavior of a system or an object over time. This can
be easily accessed with the thumb. Along the side, there are include analyzing the movement of a physical object, such
16 blank keys, which are available to all other fingers. This as a vehicle or animal, or the progression of a system or
allows for a wide range of customization options, enabling process, such as the spread of a disease or the behavior of a
users to assign different commands and macros to the keys, stock market. The goal of trajectory analysis is to understand
thereby allowing both keyboard and mouse functionality at the the underlying patterns and trends in the data and to use this
same time. However, due to the lack of buttons, the Cyro is knowledge to make predictions or identify areas of concern.
not intended for typing. Instead, it is designed for gaming. Machine learning techniques, such as time series analysis and
With this in mind, the device will connect to a computer USB predictive modeling, are often used to analyze trajectories and
for a faster connection. make predictions. Trajectory analysis is commonly used in
fields such as robotics, transportation, and finance.
While all these aim to replace a mouse and keyboard, their As noted by Teatini [9], examining a limited trajectory to
differences in design allow for different and specialized use identify a familiar pattern is similar in a sense to a character
cases. However, due to the complexity and customizable focus recognition problem. The field of image classification and
within these products, users are required to learn a new method computer vision for character recognition has a wealth of
of typing, decreasing initial efficiency. In a study conducted by research and publications. Many of these studies are centered
Aalto University and the University of Cambridge, the average around the MNIST database of handwritten digits created
words per minute among normal users when typing was 52. by LeCun et al. This database contains 70,000 images of
However, those professionally trained averaged between 70 handwritten digits (0-9) drawn in black on a white background,
and 90 with a maximum of 120 [7]. When comparing the making it the most frequently used dataset for training machine
estimated typing speed given by Tap and Tek Gear, both the learning and deep learning models for character recognition
Tap Strap 2 and Twiddler fall under the average words per tasks. Based on this database, Simard et al. [10] provide
minute of experienced typists at between 30 and 60. However, guidelines for using convolutional neural networks (CNNs) in
with their Bluetooth connectivity and small size, these devices visual document analysis. They stress the importance of having
also advertise their use on mobile devices such as tablets and a large dataset and demonstrate the superiority of CNNs over
phones. According to a similar study, users typing on a mobile fully connected architectures for this task. Cireşan et al. [11]
screen achieved an average of 36.17 words per minute, with a explore the use of deep, large, and simple neural networks for
high of over 80 [8]. When comparing these average words per handwritten digit recognition. The authors test various neural
minute to the advertised speeds from Tap and Tek Gear, both network architectures on the MNIST database of handwritten
devices claim that users will be able to type within this average digits and show that deep, big, simple neural networks can
as seen in our graph in Fig. 1. With this, we believe the Tap achieve high accuracy rates. In addition, they achieved one
Strap 2 may successfully replace a keyboard and mouse for of the highest classification accuracy rates on the MNIST
some users; however, using its other sensors, it is capable of database, reaching 99.65%. They believe that a simple multi-
more. layer perceptron with backpropagation, many hidden layers, a
high number of neurons, and ample computational power is
sufficient to obtain remarkable results.
III. AVAILABLE D EVELOPMENT T OOLS
In order for the Tap Strap 2 to discern different taps and
combinations, each finger is assigned an increasing integer
value doubling for each finger starting at 1; the thumb is
assigned 1, the index is assigned 2, the middle is assigned
4, the ring is assigned 8, and the pinky is assigned 16. Using
these values, the Tap Strap is able to assign each combination
of finger presses to a unique integer. However, each finger and
combination allow for double and triple taps by comparing
the current tap data with the previous within a small window
of time. However, the maximum time in between each tap
in which the device can register is 65535 milliseconds and
cannot be adjusted beyond that [12]. These integer values and
combinations can then be translated into letters as seen in the
Fig. 1. Words per minute across devices out of box Tap Strap, but using code, these integers can be

3
reassigned for multiple uses. The device also utilizes an optical
sensor on the thumb in order to track mouse movements.
The sensor works on a two-dimensional coordinate plane, in
which it reports the change in its x and y position relative to
its previous position. Tap has released three official Software
Development Kits (SDKs) for developers programming for
Windows, IOS, and Android; a unity plugin is also available.
However, because these SDKs are open source, a python SDK
is also available for developers to use. Using this, the Tap
Strap 2 can be used in four different modes: text mode (which
allows for normal keyboard and mouse operation), controller
mode (where all input is sent directly to the SDK), text and
controller mode (where the Tap Strap 2 functions as a mouse
and keyboard while also sending data to the SDK), and raw
data mode (which sends raw sensor data to the SDK) (§1).
Fig. 2. Tracing paths used to record data mouse movement data
IV. S ENSOR DATA C OLLECTION
As mentioned prior, we are using Tap’s Python SDK to
random movements in both clockwise and counter-clockwise
extract raw sensor data intended for the training and evaluation
direction. In total, we recorded 300 pairs (meaning an x and
of our trajectory mapping model. As mentioned in the previous
y for each) of relative coordinates separated into three CSV
section, this SDK allows us to send and receive data and events
files: one for circular paths traced in a clockwise direction,
by establishing a Bluetooth Low-Energy (BLE) connection
one for circular paths traced in a counter-clockwise direction,
with the Tap Strap 2. This allows us to get raw data from
and one for random movements. Since these data points were
the sensors embedded within the Tap Strap 2. As noted by
acquired from an optical sensor, each sample contains the (x,
Mrazek et al. in their work on the input accuracy of Tap Strap
y) coordinates of the moving object at every instant relative to
2, Tap’s Python SDK doesn’t allow us to obtain sensor data
the origin. This makes it difficult to handle for classification
and interpreted input simultaneously [13]. However, this isn’t
tasks and necessitates some pre-processing.
much of an issue to our work, since the circular gestures we
Mainly, pre-processing our data encompassed two main
are intending to get data for are novel to Tap Strap 2’s internal
aspects: changing the trajectory coordinates from relative
firmware. This makes the firmware-based interpretation of our
to non-relative, and then transforming the feature space or
gestures unimportant in labeling the optical mouse sensor data.
normalizing the (x, y) trajectory coordinates. The first of
Therefore, we labelled all the data points manually.
these involved setting (0, 0) as a starting point for each pair
We collected data in the following manner. First, we wrote
of trajectory data and adding each subsequent record of the
a Python script, using the Tap’s Python SDK with the input
relative coordinate pair (both x and y) to the one before it.
mode set to “controller and text” (where the Tap Strap 2
The next aspect of our pre-processing techniques involved
functions as a mouse and keyboard while also sending data to
centering the both x and y coordinates around zero, which
the SDK) to dump mouse movement data, i.e. relative (x, y)
was done using this equation for Z-score:
coordinates into a CSV file. Since the gestures we would like
to train our trajectory analysis/mapping model to recognize (x − µ)
z= (1)
mimic the rotation of a dial, we recorded circular relative (x, y) σ
coordinates by tracing curved geometric shapes that resemble a where x is a 2D-array (2 columns) of x and y coordinates
circle such as an ellipse, a cardioid, circles, ovals, and ellipses. from our sample, µ is the mean of the sample, and σ is the
To record such data points, with the script running in VS standard deviation of the sample. Z-score normalization was
Code (version 1.72.2) and the Tap Strap 2 worn on the right implemented using the StandardScaler from the Scikit Learn
hand, we traced the aforementioned circular paths of different library [14].
sizes in a Word document: picture show in Fig.2. We traced Additionally, since our task involved the classification of
these circular paths both in clockwise and counter-clockwise trajectories into predefined classes, a visual representation of
direction because this resulted in a significant difference in these trajectory paths would make the task of classification
the shape of the traced path, although paths drawn in either a visual pattern recognition problem which is very easy to
direction belonged to the same trajectory class-class circle. approach. Based on this idea, we plotted the normalized
This was repeated 100 times in each direction. Although these coordinates for the trajectory paths and resized the plots into a
trajectories were traced, the circular shapes produced were in 150x150 3-dimensional ndarray using the resize function from
no way a perfect trace of the path in the Word document. the transform module of the Scikit-image library [15]. These
In addition, considering that random mouse movements new images then became our new dataset. 80% of the dataset
such as side to side, up and down, or zig zag movements was used to create the training set, while the remaining 20%
could result in false positives, we recorded 100 data points for was used to create the test set.

4
 V. A PPROACH the optical sensor, the prototype will increase or decrease the
This subsection will provide a more detailed explanation of value of the currently selected setting. The interval value is
how the methods were used, as well as the associated steps adjustable, allowing the user to quickly manage values at a
and choices. Our experimental setup is composed of 2 distinct higher or lower rate of change. When the user is done, they
parts: (1) training a binary SVM classification model to discern can simply deactivate the device using the same four-finger
between relevant and irrelevant gestures, (2) a simple software combination above. With these implementations, we believe
intended to demonstrate the functionality we introduced in the the Tap Strap 2 may serve as a suitable device for increasing
introduction section(§I). productivity while working alongside a traditional mouse and
keyboard.
A. Gesture Classification
C. Tap Strap GUI
1) Support Vector Machine (SVM Classification): The
method that we chose for our implementation is a widely used To showcase the new features we created for the device, we
machine learning algorithm, which is the Support Vector Ma- created a functional GUI using the python framework named
chine (SVM). SVMs find the best boundary (or "hyperplane") tkinter2 . This is the only framework that is built into the
that separates the different classes in a dataset by choosing a standard Python library. Although this framework may lack
boundary that maximizes the margin between classes [16]. In the modern sheen of alternative GUI packages, it prioritizes
our case, SVMs are particularly useful where the data is not functionality and having a modest learning curve. We first
linearly separable, meaning that a straight line cannot be used worked on linking our Tap Strap device to our GUI to display
to separate the classes. In these cases, SVMs use a technique inputs fed into it from the device. From there, we created four
called the kernel trick to transform the data into a higher- different text fields to display the Tap Strap inputs correspond-
dimensional space, where it may become linearly separable ing to the text fields present in common photo editing apps
[17] [18]. such as Adobe Photoshop: altering the hue saturation curve,
We implemented the binary class classification task using applying color correction, adjusting shadows, and adjusting
Scikit Learns SVM algorithms [14]. We chose an SVM with exposure. Each of these fields had its corresponding label on
RBF kernel function for the binary class classification task, top of it. We also include an additional text field to keep track
and its main parameters, the regularization parameter C and of and modify the “Offset Value” by which the values in the
the free parameter of the kernel function γ (gamma), were text fields are updated. We also included a widget at the top of
tuned using Grid search. our GUI to display whether the Bluetooth connection between
the Tap Strap 2 and the SDK was correctly established or not.
B. Implementing the Tap SDK
For our use case, we will be using controller mode, as it VI. R ESULTS AND D ISCUSSION
disables the normal text output of the device and sends all its A test sample was assigned to each of the binary classes
information to the SDK. With the Tap Strap sending all of its during the classification process. The optimal grid search
data to the SDK, we are able to take the integer values assigned parameters were found to be C = 0.1 and γ = 0.0001, yielding
to each finger and associate them with functions and objects a validation accuracy of 100%. A classification metrics report
we have created. Each finger contains a name, an assigned table for the binary classification SVM is shown in Table I.
function, and the tap code sent from the Tap Strap. Using this,
users are able to assign a use case to each individual finger and TABLE I
label it with a corresponding name. When a finger is pressed C LASSIFICATION METRICS FOR BINARY CLASSIFICATION SVM.
down, our prototype will identify which finger to activate and
precision recall f1-score support
give a vibration as feedback that the input has been registered.
It will then send the corresponding function to a designated 0 1.00 1.00 1.00 40
destination. While Tap has developed its own mapping tool 1 1.00 1.00 1.00 20
in which users can remap their Tap Strap 2, creating our own
accuracy 1.00 60
allows for easier cooperation of data between both the tapping macro avg 1.00 1.00 1.00 60
and optical sensor we will be using. To activate the device, weighted avg 1.00 1.00 1.00 60
the user must tap the index, middle, ring, and pinky finger at
the same time; doing so will allow the functionality activation
In Table I precision, recall, F-measure, and support for each
to be toggled on and off quickly as to avoid accidental presses
class. For precision, which is the classifier’s ability to not label
while using a mouse and keyboard. When a finger is tapped,
a negative sample as positive, our model scored a 1.0 for both
it will activate a feature and allow the optical sensor to send
labels. For recall, which is the ability of the classifier to find all
input, meaning the sensor will not interfere with one’s work
positive samples in the data, had a score of 1.0 for both labels.
until it is specifically needed. Once activated, the user will
The harmonic mean of precision and recall, F-beta score, was
be able to increase and decrease the values of the selected
also 1 for our model.
function’s tool using gestures that resemble the rotation of a
dial. When a user completes a full motion of a circle using 2 https://docs.python.org/3/library/tkinter.html

5
 VII. L IMITATIONS AND F UTURE W ORK [2] P. Suresh, J. V. Daniel, V. Parthasarathy, and R. Aswathy,
The limitation of our work could be classified into two “A state of the art review on the internet of things
parts: data dependence and fatigue caused by repetitive circular (iot) history, technology and fields of deployment,” in
gestures. 2014 International conference on science engineering
and management research (ICSEMR), pp. 1–8, IEEE,
A. Data Dependece 2014.
In general, trajectory analysis/classification can be ap- [3] “Tap strap 1 keyboard wearable,” Jan 2023.
proached from two different viewpoints. On one hand, there [4] B. Levin, “The tap strap 2 turns your hand into a
is a data-driven approach that aims to classify trajectories by keyboard and mouse | cnn underscored,” Dec 2019.
grouping similar ones and identifying outliers, which is the [5] K. Keepa, “Amazon price tracker,” 2021.
focus of our project. On the other hand, the second viewpoint [6] M. Jancer, “Review: Tap strap 2 input device,” May 2020.
aims to categorize trajectories into predefined categories or [7] V. Dhakal, A. M. Feit, P. O. Kristensson, and
classes [9]. Each of these has its own limitations, but in our A. Oulasvirta, “Observations on typing from 136 million
case, the data dependence of the viewpoint we chose might be keystrokes,” in Proceedings of the 2018 CHI Conference
the biggest limitation. It may not generalize to other datasets, on Human Factors in Computing Systems, CHI ’18, (New
and a trend discovered in our data may not be what is desired York, NY, USA), p. 1–12, Association for Computing
for someone else. Furthermore, it is difficult to determine Machinery, 2018.
whether the clusters discovered in our work are meaningful [8] K. Palin, A. M. Feit, S. Kim, P. O. Kristensson, and
or merely an artifact of the data we collected [19]. Therefore, A. Oulasvirta, “How do people type on mobile devices?
although our results work well for our use case, there is no observations from a study with 37,000 volunteers,” in
guarantee that our trajectory clustering model identifies the Proceedings of the 21st International Conference on
desired trends or patterns in any other data set or use case. Human-Computer Interaction with Mobile Devices and
To improve the results of our study, we aspire to incorporate Services, MobileHCI ’19, (New York, NY, USA), Asso-
the following aspects in our future work, among many others: ciation for Computing Machinery, 2019.
Use a large and diverse dataset [20], use advanced machine [9] A. Teatini, “Movement trajectory classification using
learning techniques such as Convolutional Neural Networks supervised machine learning,” 2019.
(CNN) or even an SVM cascade, incorporate domain knowl- [10] P. Y. Simard, D. Steinkraus, J. C. Platt, et al., “Best
edge to improve the interpretability of our results, handling practices for convolutional neural networks applied to
missing and noisy data [21], incorporating temporal informa- visual document analysis.,” in Icdar, vol. 3, Edinburgh,
tion, incorporating spatial information, evaluating the results 2003.
with better metrics , and using ensemble methods. [11] D. C. Cireşan, U. Meier, L. M. Gambardella, and
J. Schmidhuber, “Deep, big, simple neural nets for hand-
B. Physical Fatigue written digit recognition,” Neural computation, vol. 22,
Although the gesture we trained our trajectory classification no. 12, pp. 3207–3220, 2010.
model on mimics that of a dial, its resulting output the gesture [12] T. S. Incorporated, “Tap ble api documentation,” 2019.
we trained for doesn’t mimic the output behavior of a normal [13] K. Mrazek and T. Khan Mohd, Using LSTM Models on
dial. On most electronic devices such as a lamp or a speaker, Accelerometer Data to Improve Accuracy of Tap Strap 2
a dial is made of a variable resistor such as a potentiometer on Wearable Keyboard, pp. 27–38. 01 2022.
which a full rotation of the shaft corresponds to a full range of [14] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel,
resistance, going from minimum to maximum resistance. And B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer,
even more specifically, for example, a potentiometer with a R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cour-
range of 0-100k ohms, when turned by 90 degrees or by a napeau, M. Brucher, M. Perrot, and E. Duchesnay,
quarter of a circle, will change the resistance by 90/360*100k “Scikit-learn: Machine learning in Python,” Journal of
= 25k ohms. Compared to our implementation of a gesture- Machine Learning Research, vol. 12, pp. 2825–2830,
based dial, this seems much more efficient and would cause 2011.
less fatigue. [15] S. Van der Walt, J. L. Schönberger, J. Nunez-Iglesias,
Therefore, for future iterations of our work, we would like to F. Boulogne, J. D. Warner, N. Yager, E. Gouillart, and
evaluate the prospect of training a trajectory clustering model T. Yu, “scikit-image: image processing in python,” PeerJ,
that recognizes paths that resemble the arc of a circle instead vol. 2, p. e453, 2014.
of a fully circular path. This might reduce the physical fatigue [16] S. Yue, P. Li, and P. Hao, “Svm classification:its contents
caused by making multiple circular movements, while also and challenges,” Applied Mathematics, vol. 18, pp. 332–
providing finer control to the user. 342, 09 2003.
[17] D. Wilimitis, “The kernel trick,” Feb 2019.
R EFERENCES [18] M. Hofmann, “Support vector machines-kernels and the
[1] N. Roussel, “Looking back: a very brief history of hci,” kernel trick,” Notes, vol. 26, no. 3, pp. 1–16, 2006.
Unpublished working draft, pp. 1–2, 2014. [19] J. Bian, D. Tian, Y. Tang, and D. Tao, “A survey on tra-

6
 jectory clustering analysis,” CoRR, vol. abs/1802.06971,
2018.
[20] Z. Feng and Y. Zhu, “A survey on trajectory data min-
ing: Techniques and applications,” IEEE Access, vol. 4,
pp. 2056–2067, 2016.
[21] A. Zonta, “Handling noise and missing values in sensory
data,” Jun 2019.

7
 Analysis of the interaction of social networks and
modern society: in case of Azerbaijan

Tarana Aliyeva Kursat Cagiltay Nergiz Ercil Cagiltay Faculty of

Digital Technologies and Applied Faculty of Engineering and Natural Software Engineering
Informatics Sciences Cankaya University
Azerbaijan State University of Sabancı University Ankara, Turkey
Economics (UNEC) Istanbul, Turkey necagiltay[at]cankaya.edu.tr

The Digital Economy Research Center The Digital Economy Research Center
Azerbaijan State University of Azerbaijan State University of
Economics (UNEC), Baku, Azerbaijan Economics (UNEC), Baku, Azerbaijan
[email protected] [email protected]

Abstract — Recently, social networks are increasingly students and students of various educational institutions in
becoming a part of most people's lives. It is difficult to imagine the United States. 2 years later, the website sixdegrees.com
society as a whole without communication, virtual space, social appeared on the Internet, which had a design and functions
networks and the Internet. Such penetration, loading and more familiar to modern users. Registration was available on
addiction to the virtual space does not affect a person's life
from many aspects, such as physical and psychological health,
it, it was possible to create a profile, add friends and
interpersonal relationships, self-esteem and self-awareness. In communicate with them. Networks in the form in which we
this regard, the popularity of social networks and the Internet are accustomed to seeing them began to appear starting in
phenomenon always brings their study to the fore as an object 2000, such as Linked In (2002), Facebook (2004), Twitter
of research. The article examines the development process of (2006), as well as other popular SN. After that, the number
social networks as one of the most convenient ways of remote of SN constantly increased, due to the development of
interaction between users and modern communication. Based technology, their functionality expanded, and the interface
on data obtained from global sources, important statistical became more convenient for participants, entertainment and
indicators on the behavior of Azerbaijani users in popular business..
social networks and the results of a survey on the use of the
Internet as an important source of information by a selected SN were visible in the first period in Azerbaijan in the
group of users are analyzed. form of local "chat" sites. Later, with the advent of
Keywords — analysis, social networks, statistical indicators, international social trends such as Facebook and Instagram,
Internet which operate in a broader format than these sites, chat sites
were gradually suppressed. It was after this that initiatives to
I. INTRODUCTION create national SN called Friendpy, Freestack and Equby
Social networks (SN) are a unique phenomenon of the appeared in Azerbaijan, but none of them were successful.
21st century, which has firmly entered people's lives and According to local experts, the factors that lead to this failure
began to take shape with the development and popularization are, first of all, the small number of users of local social
of the Internet as a whole. The relevance of the topic of this networks, the importance of choosing the language used on
study is due, first of all, to the fact that it is impossible to the network, the lack of interest of investors in investing in
imagine modern communication without social networks. this area, the inability to offer more diverse and attractive
Today it is difficult to find a person who does not have an services, as well as low expected income in the social
account in one of the popular SN. Almost everyone logs into networking industry. Advertising expenses also require a
their favorite SN every day, scrolls through the news feed, large amount of funding. Currently, Windy.com, the first
chats with friends, watches videos, listens to music. But few national SN, exists in Azerbaijan, and its mobile version is
people think that SN is not just a site for communication, but active (https://wibty.com).
an online platform with an expanded set of functions and The purpose of this work is to study the general features,
capabilities. trends and ethical problems of SN, to analyze statistical
The theoretical concept of their creation was outlined by indicators and their impact on the life of modern society
mathematicians in the 1950-1960s. The term “social using the example of Azerbaijan. To achieve this goal, the
network” was formulated and introduced in 1954. However, process of development of this phenomenon is considered,
despite the appearance of the first computers in the world, for the influential factors of SN on the life of a modern person
a long time they existed only in theory. The networking are identified, the statistics of users of social networks in
concept is a very common process in new media. The SN Azerbaijan are analyzed, and trends in monitoring activity
enables interaction between the parties using it. Network towards accessing the global network of users are explored
communication is characterized by features such as globality, based on a survey among 85 respondents.
virtuality, interactivity, creativity, anonymity and chaos. This II. LITERATURE REVIEW
process includes many things: from any charity event to
brand advertising. Networking can open doors and create opportunities for
jobs and partnerships. It creates connections between people
The process of spreading SN, which have become an and access to information that is not normally accessible. SN
integral part of our modern life, over a wide area began in the are not only a different form of communication, but also a
90s of the twentieth century. The first, more or less similar to very good tool for exploring the interests of researchers.
SN, named classmates.com, appeared in 1995, visited by

8
More and more studies from various aspects are devoted to information leakage through SN sites and proposes solutions
the analysis of SN and determination of the quality of work to them [8].
interactions. Let us list some of the works of scientists
related to the assessment of the formation and development In the presented work, SN are assessed as a unique means
of SN. of comprehensive communication between users, based on a
survey conducted on the network, their inclinations and
SN are described as a vast digital landscape consisting of interests in using the Internet, as well as the process of
various mediated spaces that serve to provide user interaction with SN are explored.
experiences centered around those spaces that promote social
interaction [1]. The work in [2] examines four different III. ETHICAL ISSUES AND TRENDS IN SOCIAL
classes of user interfaces based on public descriptions that MEDIA
participants provided for six popular SN platforms (e.g., The development of the global computer network
Instagram, Facebook, Snap chat, YouTube, Twitter and Internet affects a wide variety of areas of human life and
Ticktock). The results inform qualitative differences between activity. As the virtual space expands, so does the number of
different classes of user interfaces that enable users to SN available on the Internet. In SN, all types of mediated
interact with social media, with implications for the communication are present: individual - individual,
conceptualization and operationalization associated with individual - group and group - group, as well as all aspects:
social media use. Stuart Russell, one of the leading figures in communicative, interactive and perceptual. In the process of
the field of modern artificial intelligence (AI), evaluates SN's communication between a user in SN and other users, not
work in [3] and explains how content selection algorithms only information or ideas are exchanged, but also numerous
manipulate users' thoughts to make them more predictable. actions are performed that are a reaction to communication
Algorithms influence most of our daily actions, decisions between users or a user and a group.
and determine our behavior. It was argued in [4] that SN have become an integral part of people's work and
algorithms even have a direct impact on democratic societies. personal lives. In modern times, it is important to study the
Human-computer interaction research needs to develop influence of the Internet on intercultural communication
analytical tools to describe interactions with and experiences among young people, the elimination of language restrictions,
of algorithms. Based on user workshops that scrutinized which are one of the main obstacles to intercultural
Facebook's news feed, a social network influenced by communication, and the specific influence on the cultural
algorithms, the authors of [4] proposed the concept of development and formation of the worldview of young
algorithmic experience (AX) as an analytical frame for people. It is impossible to form an unambiguous opinion
making interaction with algorithms and the experience of about the influence of SN on the personality of modern youth.
algorithms explicit.. As a great technological advancement that promises a lot of
SNs are important to organizational communication possibilities, it is more useful to adopt only the best of social
processes because they enable behaviors that were difficult networks and hit the exit button in time.
or impossible to achieve in combination before these new With the development of technology, people's views on
technologies entered the workplace and identified four life also change. SN allows everyone to develop
relatively consistent capabilities provided by these new comprehensively. In society, the use of SN has become a
technologies: visibility, persistence, edit ability and habit, and in many cases a compulsion. From this point of
association [5]. view, it is necessary to know both the advantages and
Advances in personalization algorithms and other disadvantages of SN. The main advantage is the ability of
machine learning applications have greatly improved the users to create convenient connections with different people
ease and convenience of our media and communications, but and continue related activities regardless of where they are in
they have also raised serious concerns about privacy, the the world. The period of the COVID-19 pandemic is a clear
transparency of technology, and human control over its confirmation of this; the use of SN during the period of
operations. Theory and research should be aimed at a deeper restrictions has expanded even more. On the other hand, as
understanding of the human experience of algorithms in mentioned above, SN are a unique means of communicating
general and the psychology of human-AI interaction in with new people and demonstrating your creativity in a short
particular [6]. period of time.

The use of social media has become a way of life for In addition to the positive aspects of using SN, there are
young people, especially students in developing countries also negative consequences for users. Especially today,
who are more devoted to it. In paper [7] researchers thanks to them that many people use, although they think
examined the impact of social networking sites on the social they are socializing, they are actually prone to being
values of students studying at the university. Researchers antisocial without even realizing it.
conceptualized the uses of social networking sites and SN creates a free platform for self-expression that
examined the relative impact on group interaction and automatically turns everything into a game. They are
communication, respect for human dignity, individuality, associated with the playing field, where the player’s
equality, and democracy. physicality, his social status, age, gender, financial well-
The risk of information leakage has increased being disappears, due to which the average person feels like
significantly as a result of the widespread use of SN sites in a player equal to others on this field. In this case, you can lie
modern digital culture. Using the principles of the Central slightly, presenting yourself as someone else, limit and not
Intelligence Agency triad of confidentiality, integrity and fully indicate information about yourself, and embellish
availability, this paper analyzes the problems associated with reality.

9
 Excessive use of SN leads to addiction after a certain algorithm is so complex, it’s difficult for companies to reach
period of time, leading to “hyper texting” (writing a their audience organically. They have to place paid
minimum of 120 messages per day) and “hyper networking” advertisements on various social media platforms targeting
(using social media for more than three hours per day), their potential customers. Today it is impossible to watch a
which are harmful to health. Another negative point is a video on YouTube without first watching the advertisement.
decrease in attention span, which negatively affects the Most social networks such as Linked In, Ticktock, Instagram,
capabilities of human thinking. According to research, such Facebook and Printerest are investing in creating more tools
dependence on SN can lead to an increase in psychological for creators and marketplaces. Creators use these tools to
problems - fatigue, sleep disturbances, depression, learning better connect with their audience. Brands turn to them to
disabilities, laziness, aggression and even suicide. promote their products. Social media platforms are now in
the e-commerce space, so it makes sense for businesses to
In addition, SN has also given rise to new types of
invest heavily in paid promotion. Augmented reality (AR) is
criminal activity. A well-thought-out type of fraud has been becoming the preferred technology for shoppers who want to
progressing on the global network for quite some time now, try on products from different brands. Seeing this trend,
the purpose of which is to take over a user’s account and brands are adopting AR technology to allow their customers
manage the account to submit information on his behalf. to try on their products before purchasing. Brands using AR
Another type of crime most frequently committed online is increased their sales by 33%. Snap chat is the most popular
defamation, which refers to offensive or offensive phrases, social media platform for brands to promote their products
caustic or ironic jokes of a personal nature, and the use of using AR technology. Short-form video content has gained
confidential information, the disclosure of which could cause popularity thanks to Ticktock and Instagram. The number of
harm. viewers for this type of content is increasing rapidly and this
Many countries are already taking steps to regulate social is one of the main reasons for the rapid growth of influences.
media to overcome the security issues that come with the Brands can easily access short videos compared to long
daily increase in SN users. To protect SN users from all videos. They carry out paid promotion in this format, which
kinds of negative consequences, it is very important to carry is much cheaper. If you want to grow on Instagram or
out educational activities to promote the correct use of social Ticktock, you need to implement a short-form video content
networks. strategy into your video marketing strategy. Brands use
various strategies to retain customers, but their main goal
SN are an invisible structure in organizations: they record will always be to reach new audiences.
the real ways information flows and work gets done. When
analyzing them, ethical problems such as violation of IV. ANALYSIS OF STATISTICAL INDICATORS OF
confidentiality, psychological harm and harm to individual SOCIAL NETWORKS IN THE WORLD AND IN
status often arise [9]. A breach of confidentiality may result AZERBAIJAN
in unexpected and possibly unjustified disciplinary action
and damage the individual's reputation. Psychological harm In the modern world, communication through the
can occur when information is used in a way that Internet has long become a way of everyday life. Research
manipulates people's behavior. Harm to an individual's shows that as of 2023, there are approximately 8 billion
position is seen as an indication of individual incompetence, people on the planet, and 4.9 billion of them use social
but may in fact be a need for training or staff to disseminate media. The global penetration rate of SN is 59.4%. A daily
information more effectively. To address such concerns, one increase in this indicator also increases the level of social
must be attentive to the ethical issues surrounding social media activity.
media management, but this does not mean that social media Facebook is the largest social network in terms of user
relationships should be left to chance. The broader issue is base, with 2.99 billion users. Whats app has 2.7 billion and
that social networks exist and that the social capital they YouTube has 2.68 billion monthly active users. A typical
provide is an important and powerful means of getting work SN user interacts with 6.6 social media platforms. As of
done. 2023, East Asia has the highest number of social media
Social media trends change almost every year. These users (26%). SN is used by 85% of the world's 5.27 billion
trends for 2023 have a very wide range. Networking can mobile phone users. China, with 1021.96 million users, is
open doors and create opportunities for jobs and partnerships. the country with the largest number of SN users. India ranks
Every second, a new member joins Linked In, and about half second with 755.47 million users, while the US ranks third
of the members are outside the United States. These online with 302.25 million users. At the beginning of 2023, social
sites have created new networking opportunities and are networks have 4.76 billion users, which is just under 60% of
allowing people to move beyond the conventional world of the total world population. However, in recent months, the
industry, school and business. Many of these internet sites growth rate of SN's audience has slowed down - the increase
have become tools for businesses. For example, Linked In in new users over the year amounted to 137 million, that is,
targets working professionals and provides them with the only 3%. By the end of 2023, almost 2/3 of the world's
ability to maintain lists of business connections and use those population will be connected to the Internet. According to
connections to meet people who share common contacts. Datareportal's April 2023 global survey, we see SN growth
Unlike other social networks, Linked In is used almost continuing to increase. 150 million new users came online in
entirely by professionals. the last 12 months. The average daily time spent using SN is
2 hours 35 minutes.
Brands use various social media platforms to sell their
physical or digital products. Over the past two years, With the development of ICT in our time, as in all
Ticktock has launched many tools such as business profiles, countries, interest in SN as a flexible means of
ads, and more to focus on business. Because the social media communication is significantly increasing every day in

10
Azerbaijan, with young people predominating as the main pandemic. Failure to implement this integration in the
active participants. Facebook, Instagram, Whats App, Fb correct form can cause serious negative consequences in the
Messenger, We Chat, Ticktock, Linked In, Viber, Skype, education of young and middle-aged children. Thanks to the
Odnoklassniki and other SN are widely used. implementation of security mechanisms and online filtering
According to the “Digital 2023: Global Overview functions of the Azerbaijan Educational Network in the
republic, users have the opportunity to use the network
Report”, today there are 5.16 billion Internet users in the
completely safely and transparently.
world, of which 8.93 million are in Azerbaijan. The number
of SN users in Azerbaijan is 4.15 million, representing 40 Online SN are constantly present in the lives of a large
percent of the country's population. 3.9 million SN users are part of the population and directly affect their offline
over 18 years old, 46.5 percent of them are registered in at activities, posing a serious threat to privacy and security.
least one social network. The number of male users is the
V. RESEARCH METHODOLOGY
majority (62.7%). In this report, in Azerbaijan with a
population of more than 10.39 million people by February The activity of the global information system Internet is
2023, the number of Instagram users is 9.1%, the number of assessed as a stage of transition to virtual reality systems,
Facebook and Fb Messenger users is 14.4%, the number of the popularity of which is increasing in our time. Let's look
Linked In users is 8.9%, and the number of users Twitter - at the results of our survey to confirm the importance,
3.7%. usefulness and accessibility of this source of information,
which is also in great demand among users today.
According to the Global Stats statistical center, in
February 2023, the activity of users of the social network A survey was conducted through Google among 85
Facebook in Azerbaijan decreased compared to January and respondents to monitor activity trends towards users turning
in August amounted to 24.74% (Social Media Stats to computer-based sources of information over traditional
Azerbaijan | Stat counter Global Stats). As a result, the ones. The survey was carried out on the following questions
number of users of SN Instagram, which ranked 1st in (Fig. 1):
popularity, increased and reached 32.49%; 3rd place was
taken by the social network Pinterest (16.73%), 4th place by
YouTube (11.9%) and 5th place by the media platform
Twitter (10.36%) (Diag.1).

Fig. 1. Survey questions

Among the respondents, 61 people are women, 24 people

are men, 47 people have higher education, 13 have
incomplete higher education, 25 have secondary education,
in the age category up to 17 years - 2 people, from 18 - 25
years - 16 people, 26 - 40 - 48 people, over 40 – 19 people.
Source Dates: Global Stats 60% (51 people) of 85 respondents have been using a virtual
Diag.1. Social Media Stats in Azerbaijan - August 2023 computer environment for more than 10 years (Fig. 2);
97.6% (83 people) turn to it for various information daily.
Today, Facebook and Instagram are in a kind of
competition between users. 97% of Azerbaijani users are
very interested in YouTube. Currently, compared to
previous years, Facebook activity in Azerbaijan has
decreased; now the Linked In social network is more active
due to those wishing to demonstrate their level of
professionalism; only 8.9% of users prefer the Linked In
social network for searching and establishing business
connections. Twitter has never attracted much attention in
Azerbaijan.
Fig.2. Number of respondents using the Internet
In short, Azerbaijani users use SN more for advertising,
37 people (43.5%) of the surveyed respondents
business and personal life. Interest in SN, where certain
confirmed that the amount of necessary information
thoughts and research are shared, as well as business
consumed by them is 50%-80% (Fig. 3).
connections are established, has recently been increasingly
declining. As in all areas of the country in the modern era,
the digitization of education is expressed in the mutual
integration of educational technologies with the Internet.
The need to integrate the Internet in education has once
again become evident, especially during the COVID-19

11
Fig.3. The amount of necessary information obtained from the Internet

To the question: “How much information could you get

from the Internet before?” the answer of the majority of
respondents was from 30% to 50% (Fig. 4).

Diag. 3. Shares of distribution according to user goals

To determine the quality of the experiment, we calculate

the sample variance value. To calculate, we take the results
of surveys according to Figures 3. and 4. and, narrowing
them for convenience, we calculate the average value of
each of them using the formula:
, (1)

where is the sample average, is the number of

Fig.4. The amount of necessary information obtained from the Internet respondents in our sample, is the particular values of the
before indicators of each respondent.
Responses from 87.1% of respondents indicate a high Let us recall the formula for calculating the sample
degree of user interaction with the Internet (Diag. 2): variance:

(2)

According to Fig. 3. private values in the following

form:

We obtain accordingly from formula (1):

According to Fig. 4. private values in the following

form:

Having calculated, we get:

Diag. 2. The amount of information about user interaction with the Internet

52.9% of respondents said that they use the Internet for Note that the results obtained for sample variances are
educational purposes, 54.1% - to obtain the necessary taken for convenience, divided into 100.
information, and the rest for the purposes of communication,
entertainment and e-mail (Diag. 3). It is known that the greater the variance, the greater the
deviation or scatter of the data. Comparing the values of the
Summarizing the results of the experiment, we will use sampling variances in both samples, taking into account
the following mathematical apparatus to identify general their mean squared deviation of the sample, respectively,
patterns in them. In practice, it is not always possible to and , it is possible to conclude that the data
have data on the entire phenomenon being analyzed; it is dispersion in the answers of the tested samples of both
simply impossible to collect it. Therefore, the sample samples is insignificant. It should be noted that the
variance value is calculated, and then the conclusion is coefficient of variation in both samples is smaller , and
extended to the entire population. this once again allows us to confirm the fact that the data in
each population is homogeneous, i.e. they cluster closely
around their mean.

12
 national social network, we will transfer potential customers
to local companies.
It cannot be categorically stated that SN bring only
benefit or only harm. There are both narrowly focused SN,
which can be useful for work purposes, and multi-user ones,
with huge functionality that ensures both business and
entertainment purposes. They can help pass the time, but
they can also become addictive in people with too much
time. Consequently, the influence of SN on society is very
diverse and ambiguous, and the impact on a particular
individual depends on his subjective qualities. In view of all
of the above, we can say that you should approach the use of
social networks wisely in order to be able to extract the
maximum benefit and minimum negative consequences.
Diag. 4. Number of users who prefer to use the Internet REFERENCES
Diag.4 shows that 47 respondents consider it impossible
to give up the Internet, and 32 people do not even want to [1] M.C. Carter, D.P. Cingel, J. Ruiz, E. Wartella. Social media use in the
think about it. context of the Personal Social Media Ecosystem Framework. Journal
of Communication, 73(1), 2023, pp. 25–37.
CONCLUSION https://doi.org/10.1093/joc/jqac038
[2] M.C. Carter, D.P. Cingel, Samantha L Vigil, Jeanette B Ruiz.
Based on all of the above, certain conclusions can be Replication and extension of the Personal Social Media Ecosystem
drawn. Imagine modern life without SN. For some people, Framework Journal of Computer-Mediated Communication, Volume
SN are an important part of daily life, while for others they 28, Issue 6, November 2023, zmad036,
are a waste of time. If just a few years ago SN was https://doi.org/10.1093/jcmc/zmad036
considered a place of entertainment and pastime for young [3] С. Рассел. Искусственный интеллект: современный подход, 4-е
people, then recently this attitude has completely changed. издание. Том 1. Решение проблем: знания и рассуждения (2021).
Изд.-во Диалектика, 706 стр.
SN is a revolution in the speed of innovation. The network
[4] Oscar Alvarado, Annika Waern. Towards Algorithmic Experience:
organization of education is not only one of the promising Initial Efforts for Social Media Contexts. CHI '18: Proceedings of the
modern approaches to building a system of cultural 2018 CHI Conference on Human Factors in Computing Systems April
enrichment, the network organization of education can also 2018 Paper No.: 286 pp. 1–12
be called a direction and a special type of innovative https://doi.org/10.1145/3173574.3173860
processes, another paradigm for management, education, [5] Jeffrey W. Treem & Paul M. Leonardi Social Media Use in
motivation of young cultural workers, an adequate subject Organizations: Exploring the Affordances of Visibility, Editability,
for the field of education. Through the Internet, young Persistence, and Association. Pages 143-189 | Published online: 18
May 2016 https://doi.org/10.1080/23808985.2013.11679130
people enter into intercultural information communication, a
new type of communication taking place in “virtual reality”. [6] S Shyam Sundar. Rise of Machine Agency: A Framework for
Studying the Psychology of Human–AI Interaction (HAII). Journal of
This allows each individual to rely not only on their own Computer-Mediated Communication, Volume 25, Issue 1, January
experience in the course of intercultural communication, but 2020, Pages 74–88, https://doi.org/10.1093/jcmc/zmz026 , Published:
also on everything that makes up the phenomenon of virtual 14 January 2020
reality. The important role of social networks in shaping the [7] Siddharth Lohani, Ramesh Chandra Singh, Pargai Shankar. Impact of
worldview of young people and increasing their activity is Social networking sites on social values: A case of University
recognized throughout the world. Students. Research and Reflections on Education ISSN 0974 - 648
X(P) Vol. 21 No. 2 April-June 2023. (PDF) IMPACT OF SOCIAL
In general, SN are created according to the culture and NETWORKING SITES ON SOCIAL VALUES: A CASE OF
UNIVERSITY STUDENTS (researchgate.net)
values of the country. We must also create our national
resources in accordance with our culture, values and [8] Adam Fadhli Bin Azeem Fazwan, Aisya AzharAisya Azhar, Nur
Sofiah Binti Hanif. Data Leakage on Social Networking Sites .,
traditions. It is necessary to increase the number of national unpublished . http://dx.doi.org/10.36227/techrxiv.23507040.v1
social networks, since national social networks have the [9] Borgatti, S. P., & Molina, J.-L. (2003). Ethical and strategic issues in
ability to hinder the development of the domestic Internet organizational network analysis. Journal of Applied Behavioral
advertising market and the outflow of large financial income Science, 39(3), 337–349http://dx.doi.org/10.1177/0021886303258111
abroad. Each country has its own national Rhesus. It is
known that the more Internet users in a country, the cheaper
the Internet price. This will benefit the civic budget, and
both citizens and our state will benefit from national
resources. We believe that we should create national brands
and develop our specialists in this direction. By creating a

13
 Çok Sınıflı Cilt Lezyonlarının Sınıflandırılması için
InceptionV3 ve EfficientNetB0 Modellerini
Birleştiren Sınıflandırma Yöntemi
Hüseyin FIRAT
Bilgisayar Mühendisliği Bölümü
Dicle Üniversitesi
Diyarbakır, Türkiye
[email protected]

Özet— Cilt kanseri, dünyada en yaygın kanser türü olarak ölümcül olarak kabul edilmektedir [1]. Ultraviyole
kabul edilmektedir. İlk aşamada tespit edilmezse ölümcül radyasyon, ilaç tedavisi, gen, yaş ve cinsiyet gibi melanom
olabilmekte, bu da erken teşhisi çok önemli hale oluşumuna yol açan birçok risk faktörü vardır. Melanom,
getirmektedir. Çıplak gözle tespit etmek mümkündür, ancak iyi bilinen bir cilt kanseri türüdür ve diğer cilt lezyonları
yüksek sınıflar arası benzerlik ve sınıf içi varyasyonlar tespit
türlerine kıyasla genellikle en kötü huylu lezyondur [2].
edilmesini çok zorlaştırmaktadır. Bu hastalığın dünya
çapında yaygınlığı nedeniyle, şimdiye kadar cilt lezyonlarının Melanom, en hızlı yayılan cilt kanserlerinden biridir ve son
erken tespitinde dermatologlara yardımcı olmak için derin araştırmalar cilt kanseri hastalarının sayısının yıldan yıla
öğrenmeye dayalı birçok otomatik sistem geliştirilmiştir. Bu arttığını göstermektedir [3]. Melanom erken bir aşamada
çalışmada, sekiz tip cilt lezyonunu sınıflandırmak için teşhis edilirse, küçük bir operasyon iyileşme şansını
önceden eğitilmiş InceptionV3 ve EfficientNetB0 modellerinin arttırabilmekte ve kanserin ölüm oranını azaltabilmektedir.
birleşiminden oluşan yeni bir yöntem önerilmiştir. Önerilen Ancak erken teşhis ve tedavi edilmezse vücudun diğer
yöntemin sınıflandırma performansının değerlendirilmesi bölgelerine yayılabilmektedir [4]. Erken ve doğru teşhis,
için ISIC 2019 veri seti kullanılmıştır. Bu veri seti ile her iki hastalar için en iyi prognozu sağlamanın anahtarıdır [5].
model ayrı ayrı eğitildiklerinde sırasıyla %76.50 ve %66.09
Cilt kanseri normalde dermatologlar tarafından zaman alan,
doğruluk değeri elde etmişlerdir. Her iki model
birleştirildiğinde ise %78.25 doğruluk değeri elde edilmiştir. hataya açık ve daha sübjektif olan görsel inceleme yoluyla
Modellerin birleştirilmesi sınıflandırma doğruluk değerini taranmaktadır. Dermoskopi, lekelerin netliğini arttırmak
arttırdığı gözlemlenmiştir. Ayrıca son yıllarda yapılan için cilt lezyonlarının aydınlatılmış ve büyütülmüş
çalışmalar ile karşılaştırıldığında önerilen yöntem ile başarılı görüntülerini yakalayabilen, derinin yüzey yansımasını
sonuçların elde edildiği görülmektedir. ortadan kaldıran bir görüntüleme tekniğidir. Bu teknik,
birincil aşamada cilt kanseri teşhisine yardımcı olmakta ve
Anahtar Kelimeler—Cilt lezyonu, sınıflandırma, derin bu da daha az ölümle sonuçlanmaktadır. Ancak manuel
öğrenme, inceptionV3, efficientnetb0 teşhis, insan öznelliğinden büyük ölçüde etkilenmekte ve
Abstract— Skin cancer is recognized as the most common bu, tamamen doktorların görüş ve deneyimlerine
type of cancer in the world. If not detected in its early stages, dayandığından belirli koşullar altında hatalı sonuçlar elde
it can be fatal, making early diagnosis crucial. It can be edilmesine neden olmaktadır. Aynı zamanda
detected with the naked eye, but the high inter-class similarity dermoskopinin kullanımı zaman alıcıdır [6][7]. Cilt kanseri
and intra-class variations make detection very challenging. tespitinin verimliliğini ve etkinliğini arttırmak için, karar
Due to the global prevalence of this disease, many deep
verme sürecini geliştirmek amacıyla dermatologlara
learning-based automated systems have been developed to
assist dermatologists in the early detection of skin lesions. In yardımcı olacak otomatik bir teşhis sistemi gereklidir.
this study, a combination of pre-trained InceptionV3 and Otomatik teşhis araçları geliştirmek için, melanom ve
EfficientNetB0 models is proposed for the classification of melanom olmayan görüntüleri sınıflandırmak için
eight types of skin lesions. To evaluate the classification geleneksel makine öğrenimi algoritmaları
performance of the proposed method, the ISIC 2019 dataset kullanılmaktadır. Ancak geleneksel makine öğrenimi
was utilized. When each of these models was trained algoritmaları manuel özellikler gerektirdiğinden ve ayrıca
separately with this dataset, they achieved accuracy values of dermoskopik görüntüler yüksek sınıf içi ve düşük sınıflar
76.50% and 66.09%, respectively. However, when both arası varyasyonlara sahip olduğundan yüksek teşhis
models were combined, an accuracy value of 78.25% was
attained. It was observed that the fusion of models improved
performansı elde etmek zordur [8].
the classification accuracy. Furthermore, the proposed
method demonstrated successful results when compared to Son yıllarda, derin öğrenme tıbbi görüntüleme alanında
recent studies in the field. sıklıkla kullanılmaktadır. Özellikle, Evrişimsel sinir ağı
(ESA), görüntü verilerinden kullanışlı özelliklerin
Keywords—Skin lesion, classification, deep learning, otomatik olarak çıkarılması için güçlü bir tekniktir. Bundan
inceptionV3, efficientnetb0 dolayı, birçok araştırmacı, tahmin doğruluğunda önemli bir
I. GİRİŞ gelişme sağladığı için ESA tabanlı yöntemlere
odaklanmaktadır. Son araştırmalar, ESA’ya dayalı
Cilt kanseri, tüm kanserler arasında yaygın ve en sınıflandırma yönteminin melanom tespiti için en iyi
ölümcül kanserlerden biri olarak tanımlanmaktadır. Her yıl seçenek haline geldiğini göstermektedir. Cilt kanseri
diğer tüm kanserlerin toplamından daha fazla kişiye bu görüntü sınıflandırması için ESA tabanlı sınıflandırıcının
hastalık teşhisi konulmaktadır. Çeşitli cilt kanseri türleri yüksek doğruluğu, deneyimli bir dermatoloğa eşdeğerdir
arasında, kötü huylu melanom, zamanla çevre dokulara [9]. Literatürde ESA tabanlı yapılan çalışmalardan bazıları
yavaşça yayılma eğilimi ve yüksek ölüm oranı nedeniyle

14
şu şekildedir. Yan vd. [10] cilt lezyonlarının Önerilen yöntem ile birlikte transfer öğrenme tekniklerine
sınıflandırılması için VGG16 füzyon residual yapısına dayalı önceden eğitilmiş farklı modellerin (InceptionV3,
dayalı bir yöntem geliştirdiler. Bu yöntemde, VGG16, bir EfficientNet B0-B7) performansı doğrulanmış ve kapsamlı
ön işleme katmanı-olarak CBRM (Convolution, Batch bir şekilde karşılaştırılmıştır. En iyi sınıflandırma doğruluk
Normalization, Relu, Maxpooling) ve cilt lezyonu sonucunun %78.25 ile önerilen yöntemde elde edildiği
görüntülerini sınıflandırmak için residual yapı görülmektedir. Benzer şekilde literatürden aynı veri setini
birleştirilmiştir. Rahman vd. [7] yedi tip cilt lezyonunu kullanan farklı çalışmalar ile yapılan karşılaştırmalar
sınıflandırmak için ağırlıklı ortalama topluluk öğrenme sonucunda transfer öğrenimine dayalı birleştirilmiş
tabanlı bir model önerdiler. Topluluğun temeli olarak InceptionV3 ve EfficientNetB0 modelinin daha etkin
ResNeXt, SeResNeXt, ResNet, Xception ve DenseNet olduğu görülmüştür.
olmak üzere beş derin sinir ağı modelini kullandılar. Sae-
Lim vd. [11], MobileNet mimarisini değiştirerek deri Çalışmanın geri kalanı şu şekilde organize edilmiştir.
lezyonu tanımlama için bir model geliştirmiştir. Çalışmada kullanılan veri seti, önerilen yöntem ve önerilen
MobileNet'in son beş katmanı, softmax aktivasyonlu bir yöntemin teorik arka planının yer aldığı Materyal ve Metot
bırakma ve tam bağlı katman ile değiştirilmiştir. Bu, bölümü Bölüm 2’de ele alınmıştır. Deneysel çalışmalar ve
parametre sayısını azaltmış ve hızı arttırmıştır. Kassem vd. bu çalışmaların sonuçları Bölüm 3’te tartışılmıştır. Son
[12] cilt lezyonlarının sınıflandırılması için transfer olarak Bölüm 4’te çalışmanın genel bir özetine yer
öğrenimi ve önceden eğitilmiş derin sinir ağı GoogleNet verilmiştir.
kullanılarak bir yöntem geliştirdiler. Cauvery vd. [13]
tarafından önerilen çalışma transfer öğrenme tabanlı II. MATERYAL VE METOT
evrişimsel sinir ağlarını kullanarak çok sınıflı bir A. Veri Seti
sınıflandırma sistemi geliştirmeyi amaçlamaktadır. Bu
Bu çalışmada, önerilen yöntemin sınıflandırma
doğrultuda dört adet (Xception, DenseNet201, InceptionV3
performansını değerlendirmek için kaggle platformunda
ve InceptionResNetV2) son teknoloji önceden eğitilmiş
halka açık olan ISIC 2019 (International Skin Imaging
model kullanılmıştır. Bu modeller tarafından yapılan
Collaboration- Uluslararası Cilt Görüntüleme İşbirliği) cilt
tahminleri verimli bir şekilde birleştirmek için harmanlama
lezyonu görüntüleri veri seti üzerinde deneysel çalışmalar
olarak adlandırılan bir topluluk yaklaşımını (ensemble
gerçekleştirilmiştir [16]. ISIC 2019 veri seti, Melanoma
approach) kullandılar. Hoang vd. [14] çalışmalarında, cilt
(MEL), Melanositik Nevus (Melanocytic nevus-NV),
lezyonu sınıflandırması için yeni bir segmentasyon
Bazal Hücreli Karsinom (Basal Cell Carcinoma-BCC),
yaklaşımı ve geniş ShuffleNet kullanan yeni bir yöntem
Aktinik Keratoz (Actinic Keratosis-AK), Benign Keratoz
önerdiler. İlk olarak, cilt görüntüsünün entropi tabanlı
(Benign Keratosis-BKL), Dermatofibroma
ağırlıklandırmasını ve birinci dereceden kümülatif
(Dermatofibroma-DF), Vasküler Lezyon (Vascular Lesion-
momentini hesapladılar. Bu değerler lezyonu arka plandan
VASC) ve Skuamöz Hücreli Karsinom (Squamous Cell
ayırmak için kullanıldı. Ardından, segmentasyon sonucunu
Carcinoma-SCC) olmak üzere 8 sınıftan oluşmaktadır. Bu
yeni bir derin öğrenme yapısı olan geniş ShuffleNet
veri seti, 4522 MEL, 12875 NV, 3323 BCC, 867 AK, 2624
kullanarak cilt lezyon tipini belirlediler. Gessert vd. [15]
BKL, 239 DF, 253 VASC ve 628 SCC olmak üzere toplam
cilt lezyon sınıflandırması için iyi dengeli doğruluk
25331 görüntüden oluşmaktadır. Şekil 1, farklı cilt kanseri
sağlayan en iyi model alt kümesini seçmek için topluluk
türleri için örnek görüntüleri göstermektedir. Bu veri seti,
(ensemble) stratejisini kullandı.
çeşitli görüntüleri her sınıfta dengesiz sayıda görüntü
bulunan sekiz sınıfa sınıflandırmak için en zorlu
Literatür araştırmasından, cilt kanserinin erken ve
görevlerden biridir.
doğru teşhisinin ölüm oranını önemli ölçüde azaltabileceği,
çünkü cilt hastalıklarının çoğu yeni ortaya çıkan
aşamalarında tedavi edilebilir olduğu tespit edilmiştir.
Ayrıca, dermatologların tanısal analizlerinin son derece
öznel olabileceği, çünkü sınıflar arası yüksek benzerlik ve
sınıf içi varyasyonların yanı sıra cilt lezyonlarının düşük
kontrastının dermatologların cilt lezyonlarını kesin olarak
tanımlamasını zorlaştırdığı belirlenmiştir. Bu doğrultuda,
cilt lezyonlarının sınıflandırılmasında, insan öznelliğinden
Şekil 1. ISIC 2019 farklı cilt lezyonları görüntü örnekleri
etkilenmeden teşhis doğruluğunu arttırmak için son
yıllarda, derin öğrenme, özellikle ESA tabanlı yöntemlerin
B. Transfer Öğrenimi
kullanıldığı açıkça görülmektedir. Bu araştırma
çalışmasında, transfer öğrenme tekniklerine dayalı farklı Transfer öğrenimi, bir görevde öğrenilen bilginin
derin sinir ağları kullanılarak cilt kanseri için otomatik bir kullanılması ve ilgili hedef görevin problemini çözmek için
sınıflandırma yöntemi önerilmiştir. Önerilen yöntem, uygulanması yaklaşımını izleyen popüler bir derin
sınıflandırma doğruluk sonucunu iyileştirmek için öğrenme yöntemidir. Böylece, sıfırdan bir sinir ağı
InceptionV3 ve EfficientNetB0 modellerinin birleşiminden oluşturmak yerine, temelde ağın ağırlıkları olan öğrenilen
oluşan ESA tabanlı bir yöntemdir. Önerilen yöntemin özellikler aktarılmaktadır. Transfer öğreniminin
sınıflandırma doğruluk sonucunu test etmek için kaggle uygulaması için önceden eğitilmiş modellerden
platformunda halka açık bir veri seti olan ISIC 2019 yararlanılmaktadır. Önceden eğitilmiş modeller, çok büyük
üzerinde kapsamlı deneysel çalışmalar gerçekleştirilmiştir. veri setleri üzerinde eğitilen, geliştirilen ve benzer türdeki

15
sorunları çözmek için makine öğrenimi topluluğuna edilebilmektedir. Ağdaki her evrişim işleminden sonra
katkıda bulunmak isteyen diğer geliştiriciler tarafından toplu normalizasyon (Batch normalization-BN)
kullanıma sunulan derin öğrenme modelleridir. Eğitildiği gerçekleştirilir. Bu ağda kullanılan aktivasyon fonksiyonu
veri setinin özelliklerini temsil eden sinir ağının bias Swish'tir. EfficientNetB0'ın genel mimarisi Şekil 3'te
değerini ve ağırlıklarını içermektedir. Bu çalışma gösterilmektedir. Ağın temel bileşeni mobil ters darboğaz
kapsamında ImageNet veri seti kullanılarak önceden evrişim modülüdür (MBConv). Şekil 3(a) bu modülün
eğitilmiş InceptionV3 [17] ve EfficientNetB0 [18] çerçevesini göstermektedir. Bu modülün tasarımı ters
modellerinin birleşiminden oluşan bir yöntem önerilmiştir. çevrilmiş residual yapıdan ilham almıştır. 3x3 veya 5x5
derinlemesine evrişimi (DE) gerçekleştirmeden önce, daha
C. InceptionV3
fazla özellik bilgisi çıkarmak için görüntülerin boyutu 1x1
InceptionV3, Inceptionv1 ağının 24 milyon parametre evrişim yoluyla arttırılır. Performansı daha da arttırmak
ile optimize edilmiş bir versiyonudur [17]. InceptionV3'ün için 3x3 veya 5x5 evrişim işleminden sonra Sıkıştırma ve
ana fikri, inception modülünün simetrik ve asimetrik yapı Uyarma (SU) modeli eklenir. Son olarak boyutu küçültmek
taşlarında yapılan ince ayarlarla güncellenmesidir. için 1x1 evrişim işlemi kullanılır ve residual bağlantı
Hesaplama karmaşıklığını optimize etmek ve değişken eklenir. Sıkıştırma ve Uyarma (SU) bloğu özellik haritasını
inception blokları için çarpma sayısını azaltmak için iki sıkıştırır, kanal boyutu yönünde global bir ortalama
faktörleştirme tekniği sunar. İlk teknik, önerilen havuzlama işlemi gerçekleştirir ve her kanaldaki ilişkiyi
parametrelerin sayısını ve filtrelerin boyutunu 5x5 ve 7x öğrenmek için global özellik üzerinde bir uyarma işlemi
7’den 3x3'e azaltmak için büyük filtrelerle ilişkili gerçekleştirir. Ardından sigmoid aktivasyon fonksiyonu
evrişimlerin çarpanlara ayrılmasıdır. İkinci teknik ise aracılığıyla farklı kanalların ağırlıklarını elde eder. Son
asimetrik konvolüsyonlarda uzamsal faktörizasyondur. olarak, nihai özelliği elde etmek için ağırlıklar orijinal
Model, hesaplama maliyetini azaltmak için klasik özellik haritasıyla çarpılır. Bu blok, modelin en fazla
evrişimleri (NxN) asimetrik konvolüsyonlarla (Nx1 ve bilgiye sahip olan kanal özelliklerine daha fazla dikkat
1xN) değiştirmeyi önermektedir. Örneğin; InceptionV3 etmesini sağlarken, önemli olmayanları bastırır. Şekil
modelinde her 5x5 evrişimin yerini iki adet 3x3 evrişim 3(b)'de Sıkıştırma ve Uyarma bloğunun yapısı
alır. Her 3x3 evrişim, hesaplamayı daha da gösterilmektedir.
hızlandırabilecek iki tek boyutlu evrişim birleşimine (1x3
ve 3x1) ayrıştırılır. Modeli bu şekilde çok katmanlı bir E. Önerilen Yöntem
yapıya bölmek hesaplamalardan tasarruf
Bu çalışmada önceden eğitilmiş InceptionV3 ve
sağlayabilmektedir. Aynı zamanda, bölme yöntemiyle
EfficientNetB0 modellerinin birleşiminden oluşan bir
parametre sayısı azaltılabilmekte ve bu sayede, mekansal
model önerilmiştir. Önerilen yöntemin yapısı Şekil 4’te
özelliğin daha etkili bir şekilde çıkarılması sırasında ağ
gösterilmektedir. Önerilen yöntemde, girdi görüntüsü
eğitim hızı hızlandırılabilmektedir. InceptionV3 modeli ve
öncelikle bir ön işlem adımından geçirilmektedir. Bu ön
InceptionV3 modelinde kullanılan Inception blokları Şekil
işlem adımında, veri seti önceden eğitilmiş modellerde
2’de gösterilmektedir.
kullanılmak üzere 224x224x3 boyutuna
D. EfficientNet dönüştürülmektedir. Bir sonraki adım, özellik çıkarımını
EfficientNet, Tan ve Le tarafından tanıtılmıştır [18]. içermektedir. Transfer öğrenimi yoluyla özellikleri
Diğer ESA’lara kıyasla parametre boyutunu azaltarak çıkarmak için önceden eğitilmiş InceptionV3 ve
doğruluk ve verimliliği optimize etmesi ile karakterize EfficientNetB0 modelleri kullanılmıştır. Önerilen modelde
edilir. EfficientNet'in temel fikri, derin sinir ağı InceptionV3 ve EfficientNetB0 ağ modelleri bağımsız
yöntemlerinin farklı boyutlarını (genişlik, derinlik ve olarak eğitilmektedir. Şekil 4’de sunulan modelde
görüntü çözünürlüğü) sabit bileşik ölçekleme katsayıları InceptionV3 ve EfficientNetB0 modelleri yapı taşları farklı
kullanarak yapılandırılmış bir şekilde ölçeklendirmektir. olduğu için her model kendi içinde güçlü bir özellik
EfficientNet ailesi, 224 x 224 girdi boyutuna sahip temel çıkarma ve sınıflandırma yaklaşımı sunmaktadır. Daha
sürüm B0 olmak üzere sekiz farklı model içerir. B7'ye sonra bu iki modelin güçlü yanlarını birleştirerek
kadar olan diğer versiyonlar, çözünürlük giriş görüntüsünü, (concatenate) başarının arttırılması amaçlanmaktadır.
her katman için bir özellik haritası sayısını (genişlik) ve Bundan dolayı, önerilen birleştirilmiş model, ayrıca eğitim
katman sayısını (derinlik) arttırarak EfficientNetB0'dan işlemine tabi tutulmakta ve sınıflandırma doğruluk değeri
türetilmiştir. EfficientNetB0’dan B7’ye kadar geliştirilen elde edilmektedir. Bu sayede modellerin birbirine daha
modellerde eğitilebilir parametre sayısı artmaktadır. Bu uyumlu çalışması ve yüksek başarı elde etmesi
sekiz EfficientNet modelleri arasında en az parametreye sağlanmaktadır.
sahip model EfficientNetB0 modelidir. Bu yüzden bu
III. DENEYSEL ÇALIŞMALAR VE SONUÇLARI
çalışma kapsamında EfficienNetB0 modeli kullanılmıştır.
İlk olarak EfficientNetB0 modeli, giriş görüntüsü üzerinde ISIC 2019 veri seti üzerindeki deneysel çalışmalar,
3x3 evrişim işlemi gerçekleştirir ve ardından sonraki 16 kaggle ortamında bir donanım hızlandırıcı olan TPU VM
mobil ters darboğaz evrişim modülü (mobile inverted v3-8 ile gerçekleştirilmiştir. Önerilen yöntemi eğitmek için
bottleneck convolution module (MBConv)), görüntü batch size değeri olarak 128, 224x224x3’lük bir görüntü
özelliklerini daha fazla çıkarmak için kullanılır. Son olarak boyutu ve %80-%10-%10'luk bir eğitim (train) – test –
1x1 evrişim ve global ortalama havuzlama (Global average doğrulama (validation) ayrımı kullanılmaktadır. 25331 cilt
pooling-GAP) işlemleri sonrasında tam bağlantılı (Fully lezyon görüntüsünden 20264 görüntü eğitim, 2534 görüntü
connected-FC) katmanda sınıflandırma sonuçları elde doğrulama ve 2533 görüntü test için kullanılmıştır.

16
 2x

3x 4x

Conv (Evrişim) FC (Tam bağlantılı katman)

Max-pool (Maksimum havuzlama) Dropout (Bırakma katmanı)

Avg-pool (Ortalama havuzlama)
Softmax
Concat (Birleştirme)
Birleştirme
Birleştirme

Birleştirme
nx1

1x3 3x1 1xn

3x3

3x3 1x3 3x1 1x1 nx1 nx1

3x3 3x3 1x1

1xn 1xn 1x1

1x1 1x1 pool 1x1
1x1 1x1 pool 1x1
1xn 1x1 pool 1x1

Önceki katman
Önceki katman
Önceki katman

Şekil 2. InceptionV3 modeli ve InceptionV3 modelinde kullanılan Inception blok yapıları

Girdi görüntüsü
(224 x 224 x 3)

14 x 14 x 112 Girdi

3x3 Evrişim MBConv6, 5x5 1x1 Evrişim

112 x 112 x 32 7 x 7 x 192 BN
MBConv1, 3x3 MBConv6, 5x5 Swish
112 x 112 x 16 7 x 7 x 192
MBConv6, 3x3 MBConv6, 5x5
56 x 56 x 24 7 x 7 x 192
3x3, 5x5 DE
BN Global ortalama
MBConv6, 3x3 MBConv6, 5x5 havuzlama
56 x 56 x 24 7 x 7 x 192
Swish
MBConv6, 5x5 MBConv6, 3x3
28 x 28 x 40 7 x 7 x 320 SU 1x1 Evrişim
MBConv6, 5x5 1x1 Evrişim Swish
28 x 28 x 40 7 x 7 x 1280
1x1 Evrişim
BN 1x1 Evrişim
MBConv6, 3x3 Global ortalama
Sigmoid
28 x 28 x 80 havuzlama
MBConv6, 3x3
28 x 28 x 80
1 x 1280
FC
+
MBConv6, 3x3 1x8 X
28 x 28 x 80 Softmax Çıktı
MBConv6, 5x5 8
14 x 14 x 112 Çıktı
(a) (b)
MBConv6, 5x5
14 x 14 x 112
MBConv6, 5x5

Şekil 3. EfficientNetB0 model yapısı ve (a) MBConv, (b) SU bloğu

Ek olarak, model 100 epoch için eğitilmektedir. Kayıp öğrenmeden kaçınmaya yardımcı olur. Bu geri aramada,
fonksiyonunu en aza indirmek ve modeli optimize etmek öğrenme oranının (min_learning_rate) alt sınırı olarak
için Adam optimizer kullanılmaktadır. Hiperparametrelere 0.000001 alınır. Ayrıca öğrenme oranını azaltacak faktör
ek olarak, eğitim sürecini optimize etmek için iki özel geri değeri de 0.3'tür. İkinci geri arama, eğitim sırasında belirli
arama (callbacks) kullanılmaktadır. İlk geri arama, aralıklarla model ağırlıklarını kaydetmek için kullanılan
doğrulama kaybı iyileşmeyi durdurduğunda öğrenme ModelCheckpoint geri aramasıdır. Bu, doğrulama
oranını azaltmak için kullanılan ReduceLROnPlateau geri doğruluğuna dayalı olarak en iyi modeli kaydetmemize ve
aramasıdır. Bu, eğitim sürecini stabilize etmeye ve aşırı ileride kullanmak üzere yüklememize olanak tanımaktadır.

17
Bu çalışmada, önerilen yöntemin sınıflandırma EfficientNetB0-B7 birleştirildiğinde sonuçların arttığı
performansını değerlendirmek için kesinlik (precision), gözlemlenmektedir. Ayrıca InceptionV3 ile EfficientNet
duyarlılık (recall), F1-skor (F1-score) ve doğruluk modellerinin birleşimi sonucunda elde edilen parametre
(accuracy) değerlendirme ölçütleri kullanılmıştır. Modelin sayıları dikkate alındığında yaklaşık 26 milyon parametre
doğruluğu, doğru tahminlerin toplam tahminlere oranı olan ile önerilen yöntemin daha az parametreye sahip olduğu
Denklem (1) kullanılarak hesaplanmaktadır. Modelin görülmektedir.
kesinliği, modelin doğruluğunu, pozitif olarak tahmin Önerilen yöntem ile elde edilen sınıflandırma doğruluk
edilen örnek sayısı açısından özetler ve Denklem (2)’deki sonucu literatürden aynı veri setini kullanan farklı
gibi hesaplanmaktadır. Modelin duyarlılığı, pozitif sınıfın çalışmalar ile karşılaştırılmış ve sonuçlar Tablo 3’te
ne kadar iyi tahmin edildiğini gösteren Denklem (3) gösterilmiştir. Önerilen yöntem ile %78.25 doğruluk değeri
kullanılarak hesaplanmaktadır. F1-skoru, modelin kesinlik elde edilmiştir. Önerilen yönteme en yakın doğruluk değeri
ve duyarlılığının harmonik ortalamasının hesaplanmasıdır %75.73 ile Hoang vd. [14] tarafından geliştirilen geniş
ve Denklem (4)’teki gibi hesaplanmaktadır. ShuffleNet yönteminde bulunmuştur. Bunun yanı sıra yine
Hoang vd. [14] tarafından geliştirilen ShuffleNet ile
𝑇𝑃 + 𝑇𝑁 %74.23 ve Gessert vd. [15] tarafından geliştirilen topluluk
𝐷𝑜ğ𝑟𝑢𝑙𝑢𝑘 =
𝑇𝑃 + 𝐹𝑃 + 𝑇𝑁 + 𝐹𝑁 (1) öğrenimi ile %63.6 ve %63.4 değerleri elde edilmiştir.
𝑇𝑃
Steppan vd. [20] tarafından geliştirilen topluluk öğrenimi
𝐾𝑒𝑠𝑖𝑛𝑙𝑖𝑘 =
𝑇𝑃 + 𝐹𝑃
ile de %63.4 doğruluk değeri bulunmuştur. Tüm yöntemler
(2)
göz önüne alındığında önerilen yöntemin diğer
𝑇𝑃 yöntemlerden başarılı doğruluk değeri elde ettiği açıkça
𝐷𝑢𝑦𝑎𝑟𝑙𝚤𝑙𝚤𝑘 =
𝑇𝑃 + 𝐹𝑁 (3) görülmektedir.

𝐾𝑒𝑠𝑖𝑛𝑙𝑖𝑘 𝑥 𝐷𝑢𝑦𝑎𝑟𝑙𝚤𝑙𝚤𝑘 Tablo 1. Sınıf bazlı sınıflandırma sonuçları (%)

𝐹1 𝑠𝑘𝑜𝑟 = 2 ∗
𝐾𝑒𝑠𝑖𝑛𝑙𝑖𝑘 + 𝐷𝑢𝑦𝑎𝑟𝑙𝚤𝑙𝚤𝑘 (4) Doğruluk Kesinlik Duyarlılık F1 skor
AK 97.63 59.65 47.89 53.13
Denklem (1), (2), (3) ve (4)'teki gerçek negatifler (True BCC 94.32 75.51 81.19 78.25
BKL 93.53 69.08 58.85 63.56
Negative-TN), yanlış negatifler (False Negative-FN), DF 99.33 75.00 55.56 63.83
yanlış pozitifler (False Positive-FP) ve gerçek pozitifler MEL 88.27 71.29 60.73 65.59
(True Positive-TP) değerleri karışıklık matrisinden elde NV 86.18 83.49 91.59 87.35
edilmektedir. Bu değerler şu şekildedir: TP, her sınıf için SCC 97.59 50.00 31.15 38.39
VASC 99.64 86.96 76.92 81.63
doğru sınıflandırılmış girdi görüntülerinin sayısını Makro 94.56 71.37 62.99 66.47
tanımlar. FP, sınıftaki yanlış sınıflandırılmış görüntülerin
sayısını gösterir. TN, sınıfa ait olmadığı için doğru Tablo 2. Önerilen yöntem ile farklı modellerin karşılaştırılması
sınıflandırılan görüntülerin sayısını temsil eden gerçek Model
Doğruluk Parametre
negatiftir. FN yanlış negatiftir ve sınıftan yanlış (%) sayısı
EfficientNetB0 66.09 4.020.356
sınıflandırılan görüntüleri temsil eder. EfficientNetB1 67.23 6.525.992
Önerilen yöntemde sekiz farklı sınıf için sınıf bazlı EfficientNetB2 67.90 7.715.082
doğruluk, kesinlik, duyarlılık ve F1 skor değerleri Tablo EfficientNetB3 66.96 10.711.600
1’de verilmiştir. Tablo 1 incelendiğinde önerilen yöntem ile EfficientNetB4 67.35 17.566.544
EfficientNetB5 67.67 28.361.272
en iyi doğruluk değeri %99.64 ile VASC sınıfında elde EfficientNetB6 66.40 40.758.752
edilmiştir. Önerilen yöntemin genel doğruluk sonucu EfficientNetB7 59.93 63.812.568
%78.25’tir. Ancak tüm değerlendirme ölçütlerinde makro InceptionV3 76.50 21.788.840
değerlere bakıldığında önerilen yöntem ile %94.56 EfficientNetB0 + InceptionV3 78.25 25.809.188
EfficientNetB1 + InceptionV3 78.21 28.314.824
doğruluk, %71.37 kesinlik, %62.99 duyarlılık ve %66.47 EfficientNetB2 + InceptionV3 76.79 29.503.914
F1 skorun elde edildiği görülmektedir. Önerilen yöntem ile EfficientNetB3 + InceptionV3 77.18 32.500.432
en iyi kesinlik değeri %86.96 ile VASC, en iyi duyarlılık EfficientNetB4 + InceptionV3 77.81 39.355.376
değeri %91.59 ile NV ve en iyi F1 skor değeri %87.35 ile EfficientNetB5 + InceptionV3 76.48 50.150.104
EfficientNetB6 + InceptionV3 76.24 62.547.584
NV sınıfında elde edilmiştir. En kötü doğruluk sonucuna EfficientNetB7 + InceptionV3 77.51 85.601.400
sahip sınıf %86.18 ile NV iken, en kötü kesinlik, duyarlılık
ve F1 skoruna sahip sınıf ise SCC’dir. Tablo 3. Önerilen yöntemin literatürdeki farklı yöntemler ile
Önerilen yöntem, öncelikle önceden eğitilmiş karşılaştırılması
Literatürdeki Doğruluk
IncepitonV3, farklı EfficientNet modelleri (B0-B7) ve her Çalışma
Yöntem
(%)
iki modelin birleşiminden oluşan modeller ile Orijinal görüntü + ShuffleNet 74.23
karşılaştırılmış ve sınıflandırma sonuçları Tablo 2’de [14] Orijinal görüntü + geniş-ShuffleNet 75.73
verilmiştir. Tablo 2 incelendiğinde önerilen
EfficientNetB0+InceptionV3 modeli ile %78.25 doğruluk Görev 1 (Topluluk öğrenme) 63.6
[15]
Görev 2 (Topluluk öğrenme) 63.4
değeri ile en iyi sonucun elde edildiği görülmektedir.
Topluluk öğrenme (EfficientNetB5 +
Önerilen yönteme en yakın doğruluk değeri %78.21 ile [19] SE-ResNeXt-101 + EfficientNet-B4 63.4
EfficientNetB1+InceptionV3 modelinde elde edilmiştir. + Inception-ResNet-v2)
EfficientNetB0-B7 modelleri ayrı ayrı incelendiğinde Önerilen
(InceptionV3 + EfficientNetB0) 78.25
sınıflandırma doğruluk değerlerinin düşük olduğu yöntem
görülmektedir. Ancak InceptionV3 modeli ile

18
 VASC

Önceden Eğitilmiş
InceptionV3
BCC

IncepitonV3 + EfficientNetB0

(Sınıflandırılmış cilt lezyonları)

Concatenate (Birleştirme)
Yeniden Boyutlandırma
Girdi Görüntüsü BKL

%80 - %10 - %10

(224 x 224 x 3)

Veriyi Bölme
MEL

Çıktı
Önceden Eğitilmiş
EfficientNetB0
SCC

AK

DF

NV

Şekil 4. Önerilen birleştirilmiş InceptionV3 ve EfficientNetB0 modeli

on ensemble learning,” Informatics Med. Unlocked, vol. 25, p.
IV. SONUÇLAR 100659, 2021.
Bu çalışmada, sekiz tip cilt lezyonu sınıflandırması için [8] J. S M, M. P, C. Aravindan, and R. Appavu, “Classification of skin
otomatik bir sistem önerilmiştir. Sistemi tasarlamak için cancer from dermoscopic images using deep neural network
önceden eğitilmiş InceptionV3 ve EfficientNetB0 derin architectures,” Multimed. Tools Appl., vol. 82, no. 10, pp. 15763–
öğrenme modellerinden ve ISIC 2019 veri setinden 15778, 2023.
yararlanılmıştır. Her iki model ayrı ayrı eğitilip test [9] J. Wouters et al., “Robust gene expression programs underlie
edildiğinde sırasıyla InceptionV3 modeli ile %76.50 recurrent cell states and phenotype switching in melanoma,” Nat.
Cell Biol., vol. 22, no. 8, pp. 986–998, 2020.
doğruluk değeri elde edilirken, EfficientNetB0 modeli ile
%66.09 doğruluk değeri elde edilmiştir. Daha sonra [10] P. Yan, G. Wang, J. Chen, Q. Tang, and H. Xu, “Skin lesion
sınıflandırma doğruluk sonucunu arttırmak için classification based on the VGG-16 fusion residual structure,” Int. J.
Imaging Syst. Technol., vol. 33, no. 1, pp. 53–68, 2023.
InceptionV3 ve EfficientNetB0 modellerinin birleşiminden
oluşan bir model önerilmiştir. Önerilen bu birleştirilmiş [11] W. Sae-Lim, W. Wettayaprasit, and P. Aiyarak, “Convolutional
Neural Networks Using MobileNet for Skin Lesion Classification,”
model ile %78.25 doğruluk değeri elde edilmiştir. Önerilen
JCSSE 2019 - 16th Int. Jt. Conf. Comput. Sci. Softw. Eng. Knowl.
modelin yanı sıra InceptionV3 ile EfficientNetB1-B7 Evol. Towar. Singul. Man-Machine Intell., pp. 242–247, 2019.
modelleri de birleştirilmiş ve doğruluk sonuçları
[12] M. A. Kassem, K. M. Hosny, and M. M. Fouad, “Skin Lesions
bulunmuştur. Birleştirilen modeller ile elde edilen doğruluk Classification into Eight Classes for ISIC 2019 Using Deep
değerleri sırasıyla şu şekildedir: %78.21,%76.79, %77.18, Convolutional Neural Network and Transfer Learning,” IEEE
%77.81, %76.48, %76.24 ve %77.51. Tüm bu sonuçlar göz Access, vol. 8, pp. 114822–114832, 2020.
önüne alındığında birleştirilmiş önerilen modelin kullanımı [13] K. Cauvery, P. C. Siddalingaswamy, S. Pathan, and N. D’Souza, “A
sınıflandırma performansını iyileştirdiği görülmektedir. Multiclass Skin Lesion classification approach using Transfer
Ayrıca literatürde aynı veri setini kullanan son yıllarda learning based convolutional Neural Network,” Proc. 2021 IEEE 7th
yapılan çalışmalar ile önerilen yöntem karşılaştırıldığında, Int. Conf. Bio Signals, Images Instrumentation, ICBSII 2021, pp. 1–
6, 2021.
önerilen yöntemin başarılı sonuçlar elde ettiği açıkça
görülmektedir. [14] L. Hoang, S. H. Lee, E. J. Lee, and K. R. Kwon, “Multiclass Skin
Lesion Classification Using a Novel Lightweight Deep Learning
KAYNAKLAR Framework for Smart Healthcare,” Appl. Sci., vol. 12, no. 5, 2022.

[1] Skin Cancer Foundation, “Skin cancer facts and statistics,” 2017. [15] N. Gessert, M. Nielsen, M. Shaikh, R. Werner, and A. Schlaefer,
[Online]. Available: https://www.skincancer.org/skin-cancer- “Skin lesion classification using ensembles of multi-resolution
information/skin-cancer-facts/. EfficientNets with meta data,” MethodsX, vol. 7, p. 100864, 2020.

[2] S. M. Swetter et al., “Guidelines of care for the management of [16] Prasad Maharana, “ISIC 2019 Skin Lesion images for
primary cutaneous melanoma,” J. Am. Acad. Dermatol., vol. 80, no. classification,” 2019. [Online]. Available:
1, pp. 208–250, 2019. https://www.kaggle.com/datasets/salviohexia/isic-2019-skin-lesion-
images-for-classification.
[3] Z. Apalla, D. Nashan, R. B. Weller, and X. Castellsagué, “Skin
Cancer: Epidemiology, Disease Burden, Pathophysiology, [17] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna,
Diagnosis, and Therapeutic Approaches,” Dermatol. Ther. “Rethinking the Inception Architecture for Computer Vision,” Proc.
(Heidelb)., vol. 7, pp. 5–19, 2017. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., vol. 2016-
Decem, pp. 2818–2826, 2016.
[4] A. Naeem, M. S. Farooq, A. Khelifi, and A. Abid, “Malignant
Melanoma Classification Using Deep Learning: Datasets, [18] M. Tan and Q. V. Le, “EfficientNet: Rethinking model scaling for
Performance Measurements, Challenges and Opportunities,” IEEE convolutional neural networks,” 36th Int. Conf. Mach. Learn. ICML
Access, vol. 8, pp. 110575–110597, 2020. 2019, vol. 2019-June, pp. 10691–10700, 2019.

[5] R. Marconcini et al., “Current status and perspectives in [19] J. Steppan and S. Hanke, “Analysis of skin lesion images with deep
immunotherapy for metastatic melanoma,” Oncotarget, vol. 9, no. learning,” pp. 1–8, 2021.
15, pp. 12452–12470, 2017.
[6] Z. Li et al., “A classification method for multi-class skin damage
images combining quantum computing and Inception-ResNet-V1,”
Front. Phys., vol. 10, no. November, pp. 1–11, 2022.
[7] Z. Rahman, M. S. Hossain, M. R. Islam, M. M. Hasan, and R. A.
Hridhee, “An approach for multiclass skin lesion classification based

19
 Kullanılabilirlik ve Erişilebilirlik Bağlamında
Akademide Ableizm Üzerine Bir İnceleme
Levent Kutlutürk
Bilgi ve Belge Yönetimi Bölümü
İzmir Kâtip Çelebi Üniversitesi
https://orcid.org/0000-0002-4007-1191

Özet— Bu çalışmanın amacı engelli bireylerin akademide Anahtar Kelimeler—ableizm, engelliler, akademi
karşılaştığı veya karşılarına çıkabilecek erişilebilirlik ve
kullanılabilirlik problemlerinin tanımlanması ve olası I. GİRİŞ
çözümlerine odaklanarak genel bir bilgi vermektir. Akademik
kurumların ve ilgili diğer kaynakların web siteleri, sadece Alan yazınına bakıldığında kullanılabilirlik ve
mevcut akademisyenler için değil, akademisyen adayları ve erişilebilirlik çalışmalarının ayrı unsurlar olarak ele alındığı
hatta öğrenci adayları için de büyük önem taşımaktadır. Daha görülmektedir. Türkiye için bakıldığında TÜBİTAK [1] bu
öğrencilik hayatında erişilebilirlik sorunları yaşayan bir engelli konuda hazırladığı rehberler ile her iki unsurun da devlet web
bireyin geleceğini kurgularken akademisyen adayı olarak kendi sitelerinin tasarımında ele alınması adına çalışmalar
gelişimine en çok etki eden alanların, elektronik ortam olduğu gerçekleştirmiştir. Bu rehberlerin amacı; en geniş yetenek
görülmektedir. Üniversitelerin web sayfaları, öğrenci bilgi yelpazesindeki kullanıcılara mümkün olan en yüksek düzeyde
sistemleri, kütüphane web sayfaları, akademik veritabanları ve fırsat eşitliği verilmesidir. Sadece kamu alanında veya web
elektronik ortamda sunulan diğer kaynakların erişilebilirlik siteleriyle sınırlı olmayan bu unsurların aynı zamanda
standartların uyması bu anlamda büyük öneme sahiptir. öğrencilerin veya akademisyenlerin kullandığı bilgi
sistemleri, kütüphane web sayfaları, elektronik kaynaklar,
Dış dünyada kendilerine sağlanan olanakların çok kısıtlı mobil arayüzler ve diğer uygulamalar için de geçerli olması
olduğu engelli bireyler için önemli bir nokta da iş hayatına durumunda daha adil bir kullanım sağlayacağı ortadadır. Buna
girmek istediklerinde veya başladıklarında; engelli bireylere karşın görülmektedir ki, yüksek öğretimde öğrenci veya
olumsuz özellikler atfeden, sağlıklı bireyleri diğer bireylerden araştırmacı/akademisyen olmak için engelli bireylere yeterli
üstün görme nedeniyle kurumsal ve sosyal hayatta kimilerine
eşit şartlar sunulmamaktadır. Ableizm yani engelli bireylere
rehberlik eden bir inanç olarak tanımlanan “ableizm” ile
karşı geliştirilen olumsuz tutumların akademide de
karşılaşmaktadırlar. Bu tanıma göre “sağlıklı olmayan” ve kimi
engelleri olan bir bireyin, ele alınan konu özelinde de akademide
karşılaşılan bir husus olup olmadığı, engelli bireylerin
yer alması büyük oranda mümkün görünmemektedir. Elbette akademide ne kadar yer alabildikleriyle de ortaya
engellilik denilince sadece fiziksel değil ruhsal engellilik de konulabilmektedir. Her ne kadar ableizm amacı güdülmüyor
benzer sorunlarla karşılaşılmasına sebep olabilmektedir. Ayrıca olsa da erişilebilirlik ve kullanılabilirliğin bir arada
okuma güçlüğü çeken, kimi motor hareketleri yapmak geliştiriciler tarafından yeterince ele alınmıyor olması, aynı
konusunda zorluk yaşayan bireyler de bu tutuma maruz sonuçla karşılaşılmasında etkili olduğu düşünülebilir.
kalmaktadır.
Akademik hayatın en büyük etkilerinden biri de toplumsal
Yurt dışına bakıldığında “akademide ableizm” konusu yaşama katkı ve toplumun ilerlemesine olumlu etkilerinin
üzerine yazılmış birçok kitap ve bilimsel makalenin yanı sıra sağlanmasıdır. Toplumun tamamını ele alan birçok bilim
konferanslar, çalıştaylar ve seminerler düzenlendiği dalının ilerlemesi de ancak yine toplumun her kesiminin bu
görülmektedir. Bu alanda çalışan araştırmacılar arasında yine alanlarda kendi yerlerini bulmasıyla daha geniş bir çerçevede
engelli bireylerin olduğu görülmektedir ve hem akademide hem gelişim gösterebilmektedir. Dezavantajlı bireylerin de yine
de sosyal çevrede bir farkındalık yaratmak üzerine çalışmalara benzer koşullarda hayatlarını sürdüren diğer bireylerin
devam edildiği görülmektedir. hayatları üzerinde daha farklı bir bakış açısı sunabilecekleri
gibi, sağlıklı bireylerin de bu gruplara yönelik çalışmalar
Türkiye’de ise bu konuda henüz yeterince çalışma yapmaları konusunda itici bir güç oldukları görülmektedir.
yapılmadığı gözlemlenmektedir. Kimi ülkelerde kaç engelli
akademisyenin görev yaptığı bilgisine ulaşılabilirken, ülkemizde Şehirlerin ve binaların engelli bireyler için erişilebilir hale
bu sayı belirsizdir. Kişilerin sağlık bilgilerinin gizliliği sağlansa getirilmesiyle sosyal hayata katılıma destek verilmesinin
bile, kendini gizleme ihtiyacı duymak zorunda bırakılan kimi önemi ortadadır. Benzer şekilde web siteleri veya bilgi
engelli bireylerin olduğu görülmektedir. Bu noktada kendilerini sistemlerinin de tasarlanmasıyla elektronik ortamda yolunu
daha güvende hissetmelerini sağlayacak koşulların bulabilen, bilgiye erişebilen, yaptıkları çalışmaları
sağlanmasında erişilebilirlik ve kullanılabilirlik unsurlarının, paylaşabilen engelli bireylerin de fırsat eşitliği bağlamında
günümüzün bilgi eşiği olan İnternet erişim noktaları olan web katkılarının olması büyük önem taşımaktadır. Bu konuda en
unsurlarında sağlanmasının önemi ortaya çıkmaktadır. Bahsi iyi ve görünür olanakların akademik hayatta olması nedeniyle
geçen nedenlere bağlı olarak, akademide engelli bireylerin ne de tasarımcıların ve gerektiğinde üst yönetimlerin öncelik
kadar yer aldığını bilmek mümkün bile değilken bu konuda vermesi gereken alanlardan birinin erişilebilirlik olduğunu
çalışmaların yapılması da güçleşmektedir. belirtmekte fayda bulunmaktadır. Her ne kadar şehir
planlamalarının ve binaların tasarımında erişilebilirliğin
Bu bağlamda alan yazınında yer alan çalışmalar doküman sağlanması ve sürdürülmesi engelli bireyler için özel bir
inceleme yöntemiyle değerlendirilerek, engelli bireylerin gerek çalışma alanı gibi görülse de aslında bu tasarımlar sağlıklı
öğrenci gerek akademisyen rolleriyle bireysel gelişimlerine
bireylerin, yaşlıların, hastaların, kimi bedensel güçlük
destek olunması ve fırsat eşitliği sunulmasına yönelik unsurlar
tartışılarak ele alınmaktadır.
yaşayan kişilerin de hayatına olumlu etkiler sağlamaktadır.
Örnek vermek gerekirse kullanılabilirlik açısından topuz

20
şeklinde olan bir kapı kolu oldukça işlevsel ve genelde herkes belirli görevleri yapan, belirli yetkileri olan, sınırlı kullanımı
tarafından kolaylıkla kullanılabilir bir yapıya sahiptir. Öte sağlamak adına kullanıcı rollerinin belirlenmesi gibi bir
yandan elini kullanmak konusunda zorluk yaşayan, sağlıklı gruplama olabileceğidir. Sağlık sorunları veya engelliliği
olsun olmasın, bir kişi için oldukça zorluk yaşatabilecek bir olan bireyler için de ayrı bir madde bu standartta yer
tasarım olarak görülebilir. Diğer yanda ise üzerinde basınç almamaktadır. Genel olarak bu standartta yer alan tanımlar
uygulanabilecek veya tutulabilecek şekilde tasarlanan bir kapı kabul edildiğinden ikinci planda kalan engelliler için ayrı
kolu aynı işlevi görmesine rağmen daha fazla kişi tarafından çalışmalar yapılması zorunlu hale gelmiştir.
kolaylıkla kullanılabilecektir. Web siteleri ve bilgi
sistemlerinin tasarımında da benzer bir yaklaşımın ele Kullanılabilirliğin ele alındığı insan-makine etkileşiminin
alınması hem kullanımı arttıracak hem de daha kullanışlı hale üç ana unsuru bulunmaktadır; kullanıcı, araç, görev ve
getirecektir. bağlam [6, s. 31]. Kullanıcı bu noktada en önemli bileşendir.
İnsanın dışlandığı herhangi bir sistemin olması mümkün
II. ABLEİZM, KULLANILABİLİRLİK VE ERİŞİLEBİLİRLİK olmadığı gibi, insanlar arasında ayrımcılığa sebebiyet
KAVRAMLARI verecek bir yaklaşımın olması da kabul edilemezdir.
A. Ableizm C. Erişilebilirlik
Engelli bireylere yönelik web hizmetlerinin ele alındığı Erişilebilirlik ile kullanılabilirlik temelde etkinlik,
birçok çalışma bulunmaktadır. Engellilik en geniş tanımıyla verimlilik ve memnuniyeti ele alan iki kavram olarak
Dünya Sağlık Örgütü [2, s. 10] tarafından “sağlık durumu sunulmaktadır ve aralarında güçlü bir bağ bulunmaktadır [7,
olan bireyler (örneğin serebral palsi, down sendromu veya s. 376]. Erişilebilirlik kavramı bu noktada birçok unsuru
depresyon) ile kişisel ve çevresel faktörler (örneğin olumsuz barındırarak karşımıza çıkmaktadır. Sadece fiziksel dünyada
tutumlar, erişilemeyen ulaşım ve kamu binaları ve sınırlı değil elektronik ortamda da ihtiyaç duyulan erişilebilirlik
sosyal destekler) arasındaki etkileşimin sonucu” olarak kavramı ISO [8, s. 2] tarafından “bir ürün, hizmet, çevresel
tanımlanmıştır. Engellilik çok boyutlu bir unsurdur; sağlık ve etkenler veya tesislerin en geniş yetenek yelpazesine sahip
sosyal bakış açısı bir aradadır. Tıbbi yaklaşımın ötesine bireyler için kullanılabilir olması” şeklinde tanımlanmıştır.
geçilmesiyle beraber, günümüzde bireylerin bedenlerinden Bu tanıma ek olarak aynı standartta kullanılabilirlik odaklı
ziyade, toplumsal bakış da engellilik için bir unsur haline erişilebilirlik kavramı; kullanıcı popülasyonundaki tüm
gelmektedir [3, s. 4]. yeteneklere özellikle dikkat ederken, belirtilen kullanım
Web hizmetleri bağlamında ise görme güçlüğü veya kaybı bağlamı göz önüne alındığında mümkün olduğu kadar yüksek
yaşayan, işitme güçlüğü ya da kaybı olan, ellerini aktif etkinlik, verimlilik ve memnuniyet düzeylerine ulaşmayı
kullanamayan bireyler gibi kullanıcıların olması, bu amaçlamaktadır.
hizmetlerin doğru yapılandırılması gerekliliğini gündeme Bununla beraber bir web sayfası erişilebilirliği sağlamak
getirmektedir. Engeli veya kullanım güçlüğü yaşayan adına gerekli kodlara sahip olabilir ve ekran okuyucu gibi
kişilerin ise sıkça ikinci planda tutulduğunu veya hiç görünür araçlarla engelli bireylerin yararlanabileceği bir altyapıya
olmadıklarını söylemek yanlış olmayacaktır. Ableizm; sahip olabilir, buna karşın ciddi derecede kullanılabilirlik
“engelli bireylere olumsuz değerler atfeden, sağlıklı ve aklı problemleri içerebilir [7, s. 377]. Bu noktada ise erişilebilirlik
başında bireyleri normal, dolayısıyla engelli emsallerinden araçlarının kodlar ve kimi yazılımlar ile sağlanabilmesi ve
üstün kabul eden kültürel ve kurumsal uygulamalara kontrol edilebilmesi gibi somut adımlardan bahsedilirken,
rehberlik eden bir dizi inanç” olarak tanımlanmaktadır [4, s. kullanılabilirliğin sağlanmasının kullanıcı testleri, uzman
1279]. Ableizmin neredeyse her alanda karşılaşılan bir unsur değerlendirmeleri gibi görece soyut bir bağlamda ele
olduğu düşünüldüğünde yüksek öğretim için de engelli alınması dikkat çekicidir. Dolayısıyla erişilebilirliğin web
bireylerin yaşadığı sorunların varlığı yadsınamaz. sayfaları veya elektronik ortamdaki sistemler için
sağlanabilmesi ve denetlenebilmesi World Wide Web
B. Kullanılabilirlik Consortium (W3C) tarafından geliştirilen Web Content
Kullanılabilirlik ISO [5, s. 2] tarafından “bir sistemin, Accessibility Guidelines (WCAG) 2.1 standardına göre
ürünün veya hizmetin belirli kullanıcılar tarafından belirli sunulan araçlar ile yapılabilmekteyken [9], kullanılabilirliğin
amaçlara ulaşmak için belirli bir kullanım bağlamında en iyi hale getirilmesi için daha çok zaman, ayrıntılı testler ve
etkinlik, verimlilik ve memnuniyetle kullanılabilme kaynak gerekmektedir [6].
derecesi” olarak tanımlanmaktadır. Bu tanıma göre “belirli”
W3C erişilebilirlik konusunda dünyada artık otorite
kullanıcılar, hedefler ve kullanım bağlamının,
konumuna gelmiş ve birçok rehber, standart ve araç
kullanılabilirliğin dikkate alındığı belirli kullanıcı, hedef ve
sağlayarak engelli bireylerin web kaynaklarını erişimini
kullanım bağlamı kombinasyonunu ifade ettiği
sağlamayı amaç edinerek uzun yıllardır faaliyet
belirtilmektedir. Bu da geniş bir bakış açısıyla
göstermektedir. WCAG 2.1 erişilebilirlik rehberi artık ISO
değerlendirildiğinde, aslında her kullanıcının ele
40500 standardı olarak kabul edilmiş ve uluslararası
alınmadığını veya alınmaya gerek olmadığını ifade eden bir
kullanıma sunulmuştur [10]. Bununla beraber W3C
tanım olarak yer almaktadır. Elbette kimi sistemleri, ürünleri
bünyesinde Web Accessibility Initiative (WAI) önemli
veya hizmetleri hedef bir grup için tasarlamak gerekliliği
çalışmalara imza atmakta ve sempozyumlar, çalıştaylar ve
bulunmaktadır. Burada eksikliği hissedilen husus, belirli
benzeri etkinlikler düzenleyerek alana katkıda bulunmaya
kullanıcılar ibaresi ile herkesin sağlıklı olduğu varsayımı ile
devam etmektedir [11]. WAI çalışmalarından biri oaln
aslında bu sistemin herkes için olmayabileceği ve kullanıcı
Accessible Rich Internet Applications Suite (ARIA), Web
tanımının tam olarak ele alınmamış olmasıdır. İlk akla gelen,

21
içeriğini ve Web uygulamalarını engelli kişiler için daha olduğunu göstermiştir. Boş bağlantılar, grafik ögelerin metin
erişilebilir hale getirmenin bir yolunu tanımlar. açıklamalarının olmaması ve bu nedenle ekran okuyucular ile
okunamaz olması, yönlendirici etiketlerin eksikliği, kontrast
Erişilebilirliğin test edilmesi mekanik bir şekilde
hatalarının çokça olması, mobil uygulamaların yetersiz veya
yapılabilmektedir. Sonraki bölümlerde de bahsi geçen kimi
erişimlerinin web tarayıcılar tarafından düzgün
akademik çalışmalar kimi web tarayıcısı eklentileri veya
gösterilememesi, değiştirilebilir yazı boyutlarının
diğer yazılımlarla tespit edilen erişilebilirlik problemlerini
kullanıcılara bir alternatif olarak sunulmaması gibi önemli
ortaya koymaktadırlar [12]–[16]. Web erişilebilirliği
erişilebilirlik hatalarının olduğu tespit edilmiştir. Bu hatalara
değerlendirme araçları, web içeriğinin erişilebilirlik
bakıldığında sağlıklı bireylerin dahi bu sitelerden kolayca
kurallarına uyup uymadığını belirlemeye yardımcı olan
bilgiye ulaşabilmeleri her zaman mümkün olmayacağı
yazılım programları veya çevrim içi hizmetler olarak W3C
anlaşılmaktadır. Görme güçlüğü yaşayan ama bir engeli
tarafından sağlanmaktadır [9], [17].
olmayan kişiler de üniversitelerin kütüphane sayfalarından
Elbette ülkemizde de bu konuda değerli çalışmalar
yararlanmakta büyük güçlükler çekebilmekte ve erişilebilir
yapılmıştır. Bütün kurumların uyması gerektiği belirtilen
bir tasarımın bu kişiler için de yardımcı olacağı açıktır. Çelik
Kullanılabilirlik ve Erişilebilirlik Rehberi TÜBİTAK
[24] yaptığı çalışmada İzmir’deki devlet üniversitelerinin
tarafından uluslararası standart ve rehberlere uygun bir
web sayfalarının erişilebilirlik açısından tam anlamıyla
şekilde hazırlanmış ve kullanıma sunulmuştur [18]–[20].
erişilebilir olmadığını belirtmektedir. Bu çalışmada yaşlı ve
III. ALAN YAZINI İNCELEMESİ görme engeli olan bireylerin, kullanıcılar arasında en
dezavantajlı durumda olanlar olduğu belirtilerek, hemen
Yüksek öğretim ve erişilebilirliğin bir arada ele alındığı
hemen hiçbir sitenin web erişilebilirliğinin olmadığı ortaya
çalışmalara bakıldığında ableizmin neden olmasa bile sonuç
konulmaktadır. Bununla birlikte web sitelerinin tasarlanma
olarak ortaya çıktığı görülmektedir. Yücel ve Acartürk [21]
sürecinde yalnızca kodlama yapan programcıların değil,
erişilebilirliğin sağlanmasının aynı zamanda engeli olmayan
sosyal bilimler alanında çalışan akademisyenlerin de yer
bireyler üzerinde olumlu etkiler sağlayacağını ve bu konuda alması gerektiği önerilmiştir. Sosyal bilimler alanı genellikle
atılabilecek birçok adım olduğunu belirtmişlerdir. Aynı bu tür tasarım süreçlerinden ayrı tutulmakta fakat bu
zamanda birçok ülkede yasal olarak erişilebilirliğin çalışmaya bakıldığında çok büyük bir kesişim olduğu
sağlanmasının zorunlu olmasının örnek alınması gerektiğini görülmektedir.
de ortaya koymuşlardır. Amerika Birleşik Devletleri’nde
1998 yılında uygulanmaya başlayan Federal Rehabilitasyon Ataç ve diğerleri [25] Türkiye’de faaliyet gösteren
Yasası’nın 508 numaralı bölümünde açık bir şekilde her üniversitelerden URAP dünya sıralamasında yer alan
çalışan veya halktan sıradan bireyler arasında olan kurumların web sayfalarını incelemiş ve Türkçe sayfaların
engellilerin de aynı şekilde bilgi erişim ve çalışma hakkı İngilizce sayfalara göre iki kat daha fazla erişilebilirlik
olduğu belirtilmiş ve geniş bir çerçevede bu konu ele problemi içerdiğini belirtmişlerdir. Bu noktada hata sayısına
alınmıştır [22]. Bu şekilde, ulusal devlet politikalarına dahil değil hataların çeşitliliğine bakılması gerekliliğine vurgu
edilen engellilere yönelik hizmetlerin denetlenmesinin ve yapılarak asıl önemli noktalardan birinin bu husus olduğu
kontrolünün daha sağlıklı ilerlemesi söz konusu olabilecektir. vurgusu yapılmıştır.
Ertürk ve diğerleri [23] yaptıkları çalışma ile engelli Kutlutürk [15] yaptığı çalışma ile Türkiye’de akademisyen
bireylerin adalete erişimde ve ilgili web sayfalarının adayları ve mevcut akademisyenlerin atama ve yükseltme
kullanımı konusunda standartlara uygun olmayan web kriterlerini karşılamak amacıyla en çok kullandığı web
sitelerinin ele alınması gerekliliğini ortaya koymuşlardır. Bu sayfalarını değerlendirdiği çalışmasında kimi sayfaların
sayede engelli veya dezavantajlı bireylerin bilgiye erişiminin erişilebilirlik konusunda yetersiz olduğunu ortaya
sağlanmasının önemi de ortaya çıkmış olmaktadır. Şerefoğlu koymuştur. Akademik hayatın gerekliliklerinden biri olan
ve Henkoğlu [14] Türkiye’deki üniversitelerin web bilimsel yayınlara erişmek ve yararlanmak için birçok
sayfalarının, görme ve işitme engeli olan kullanıcılar veritabanı olduğu bilinmektedir. Bu veritabanları ve diğer
bağlamında erişilebilirlik ilkelerine uygun olmadığını ve bilgi edinme araçlarının bir de akademik performans ölçütü
aksine engellerle dolu tasarımlarla karşılaşıldığını haline gelen Web of Science, Scopus, Dergi Park gibi web
belirtmişlerdir. Üniversitelerin web sayfalarının yalnızca sistemlerinden engelli bireylerin tam anlamıyla
duyuru ve kurum hakkındaki bilgileri içermemesi, öğrenciler yararlanamayacak olmaları ise daha öğrencilikten bağlayarak
için büyük öneme sahip olan bilgi sistemleri ve elektronik akademik kariyer hedeflerine ulaşamayacakları anlamına
bilgi kaynaklarına ulaşmak için de ayrıca bir platform olması gelebilmektedir. Engelli öğrencilerin bu nedenle sosyal
üzerinde de durulmuştur. Bu bağlamda sadece üniversite web bilimler alanında varlık göstermek zorunda kalabilecekleri
sitelerinin değil, bağlantılı bilgi kaynaklarının da erişilebilir göz ardı edilmemelidir; çünkü bilgi kaynaklarının da engeli
hale getirilmesi gerekmektedir. Bütünleşik tasarımların iyi olan öğrencilere yönelik hazırlanması ve sunulması
bir örneği olan üniversite web siteleri bu bağlamda akademik hususlarında da eksiklikler olduğu söylenebilir.
dünyanın da bir yansıması olarak algılanabilir. Kurumun
Altuntaş ve Durdu [26] ise yaptıkları çalışma sonucunda
bütün mensuplarının kullanmak zorunda olduğu bu
ele aldıkları üç devlet üniversitesine ait web sitelerinde
sistemlerin ve bilgi kaynaklarının yapılandırılma aşamasında
engelli bireyler için önemli bariyerlerin varlığına dikkat
daha kapsamlı ele alınması her yönden büyük fayda
çekmişlerdir. Bu bariyerlere yönelik çözümlerin görsel
sağlayacaktır.
içeriğin metin alternatiflerinin verilmesi, renklerin doğru
Henkoğlu [13] üniversite kütüphane web sayfalarını kullanımı, tekrar eden içeriğin düzenlenmesi, kontrast
erişilebilirlik standartlarına göre incelemiş ve birçok sorun

22
sorunlarının giderilmesi, bölüm başlıklarının etkin kullanımı ve yetersiz kalan kampüslerin varlığının da göz ardı
gibi oldukça basit adımlar ile sağlanabileceği belirtilmiştir. edilmemesi gerektiği ortaya konulmaktadır.
Dolmage [30] ise akademik ableizm üzerine kaleme aldığı
IV. AKADEMİDE ABLEİZM
kitabında engelli bireylere yönelik tasarımların neler olması
Uluslararası düzeyde akademi ve ableizm, ülkemize gerektiği ve nasıl yapılabileceği üzerine çeşitli yaklaşımları
nazaran çok daha farklı ve geniş bir çerçevede ele ortaya koymaktadır. Bu yaklaşımlar arasında bir kampüs
alınmaktadır. Bu konuda birçok çalışma olduğu görülebilir. nasıl olmalıdır sorusunun yanıtları olduğu gibi mimari açıdan
Akademideki ableizmin boyutlarını ele alan çok önemli bir ele alınması gereken unsurlara da örneklere yer verilmiştir.
çalışma ile akademide görev alan veya öğrenci olarak yer Üniversitelerin web siteleri incelendiğinde uzun zaman
almaya çalışan engelli bireylerin yaşadığı zorluklar ele boyunca tasarımların aynı veya benzer şekilde korunmasının
alınmış ve öneriler ortaya konulmuştur [27]. Akademik olumsuz olması ve aslında hem öğrencilerin hem de
hayatta zorlukla karşılaşan engelli bireylerin de yer verildiği akademisyenlerin kurumla belki ilk ve en çok iletişimde
bu çalışmayla beraber ableizmin boyutları ele alınmıştır. kaldığı yerlerin bu mecra olması nedeniyle daha kapsayıcı
Kimi durumda görünmez olarak hayatlarına devam ederken olması üzerine değerlendirmelere de yer verilmiştir.
bu bireylerin fırsat eşitliğine sahip olmak adına çok fazla çaba
göstermek zorunda kalmaları da ele alınmıştır. Çalışan Görülmektedir ki engelli bireylerin yaşadığı sorunlar
nüfusun %16’sı engellilerden oluşsa da ancak %4 oranına hemen hemen her yerde aynı şekilde karşılık bulmaktadır.
bile varmayan bir engelli çalışanı olan akademinin Ulusal ve uluslararası akademik çalışmalarda sağlıklı
iyileştirilmesi konusuna değinilmiştir. Yüksek öğretim olmayan bireylerin yok sayılması ve bunun karşılığında bu
kurumlarında engelli bireylerle ilgili endişelerin kimi bireylerin kendisini geri çekmesi, başarı düzeylerinde düşüş
noktalarda daha yüksek olduğu belirlenmiştir. Bunlar, ve fiziksel engellerin yanı sıra bir de psikolojik olumsuzluklar
personele sunulan desteklerin kısıtlı olması; konferans ve gibi sorunlar ele alınmış ve kimi noktalarda çözüm önerileri
diğer bilimsel etkinliklere katılım konusunda seyahatlerin, de getirilmiştir. Yalnızca binalar değil web siteleri ve bilgi
otellerin ve konferans binalarının uygun olmaması; sistemleri de engelli bireylerin hayatında farklı bir yer
akademide kariyer yapmak için gerekli olan atama-yükseltme tutmakta, bu sitelerin tasarımında ise bu bireyler yok
kriterlerinin zorlayıcı olması ve son olarak da yapılan sayılmaktadır.
yayınların engelli bireylere daha uygun hale getirilmemesi V. AKADEMİK ABLEİZM VE FARKINDALIK ÇALIŞMALARI
olarak çalışmanın özeti olarak verilmiştir. Çözüm olarak
Elbette akademik ableizm sadece akademik makale veya
sunulan bir strateji ve politika geliştirilmesi, fırsat eşitliğini
kitaplarla kısıtlı kalmamaktadır. Kimi üniversitelerde
savunulması, finansal destek sağlanması ve örnek olabilecek
akademideki herkesin “sağlıklı birey” olduğu varsayımının
kişilerin önderlik etmesi gibi kimi önerilerde
karşısında konferanslar ve toplantılar da düzenlenmektedir.
bulunulmaktadır.
Bu toplantılar, konferanslar, çalıştaylar ve benzeri
Brown ve Leigh [28] engelli akademisyenlerin etkinliklerin odak noktası akademik dünyada engelli olmanın
marjinalleştirildiğini ve ötekileştirildiğini ifade eden bir zorluklarını ortaya koymak, ableizmin kökeninde yatan tavır,
çalışma yapmışlardır. Görünmez bireyler olarak tutum ve düşünceleri ortaya koyarak bu hususta olumlu
ihtiyaçlarının gözden kaçırıldığı; çünkü akademinin genel değişimleri sağlamanın yollarını ortak bir akılla bulmaya
anlamda evrensel sağlıklılık varsayımına dayanarak çalışmaktır denilebilir.
tasarlandığı ifade edilmektedir. Bunun bir sonucu olarak da
Yapılan çalışmalardan en önemlilerinden biri olarak
daha az başarılı, üretken ve akademisyen rollerinin tam
“Akademi'de Ableizm” konferansı Mart 2018'de UCL Eğitim
olarak karşılığını veremeyen bireyler olarak görülmesi
Enstitüsü'nde düzenlenmiştir [27, s. xv]. Bu konferansta ele
sonucunda bir değersizleşmenin söz konusu olmaktadır.
alınan konular aşağıda yer alan beş temel soruyu yanıtlamaya
Bununla beraber akademisyenlerin sahip oldukları engellilik
yönelik bir çalıştay ile iki bölüm halinde gerçekleştirilmiştir:
durumlarını saklama ihtiyacı duymaları konusunu ele
almışlardır ele alınmaktadır. Bilimsel etkinliklerin COVID- • Engelliliğiniz/dezavantajınız sizi işyerinde nasıl
19 öncesinde genelde yüz yüze olmaktayken ancak yeni yeni etkiliyor ve bunun, görevinizi yerine getirme
uzaktan sunum veya katılım olanaklarının sunulması da beceriniz üzerinde ne gibi pratik etkileri var?
ayrıca gündeme gelmektedir. Bu, sadece örgütsel bir mesele • İşvereniniz size yardımcı olmak için ne yapıyor
değil, aynı zamanda ahlaki ve politik bir mesele olarak ve daha ne yapabilirler?
görülmektedir. • Kurumunuzda engellilikle ilgili konuların
Long ve Stabler [29]yaptıkları çalışma ile akademideki tartışılacağı hangi forum(lar) var?
ableizme kolektif bir şekilde neler yapılabileceğinden • Yükseköğretimde bu konuları ele almak için
bahsetmişlerdir. Engelli öğrencilerin ayrımcılığa ve sözlü hangi forumlar var?
sataşmalara maruz kaldığı Amerikan yüksek öğretim • Akademisyenlerin kaygılarını/engellerini
kurumlarına değinen yazarlar engelli öğrencilerin açıklamalarını teşvik etmek için neler
başarılarının engeli olmayan sağlıklı öğrencilere oldukça yapılabilir/yapılmalıdır?
yakın olduğunu da belirtmektedirler. Bunun önemli bir Görülebileceği üzere bu hususta kapsamlı ve anlamlı
nedeni olarak bu öğrencilerin kurum içindeki olanakların tartışmaların olduğu ve sorun yaşayan kişilerin ilk elden
belirli bir standardı karşılamasından olabileceği anlattıkları deneyimlerinin yazılı hale getirilmesiyle ableizm
düşünülmektedir. Elbette bu her yer için geçerli olmamakta akademide geniş çapta ses getirmeye başlamıştır. İş yerinde
yaşanan sorunların bir kısmı binalarla ilgili olsa da geri kalan

23
her şey tutum ve davranışlarla ancak açıklanabilmektedir. kişi kendi özel durumlarının bilinmesin hususunda rahat
Binaların değiştirilmesi belki de bu tutumların hissetmemektedirler.
değiştirilmesinden nispeten daha kolay olabilir diye
Birleşik Krallık örneğine bakıldığında ise daha farklı bir
düşünmek yanlış olmayacaktır. Ön yargı, insanların her
manzara ile karşılaşılmaktadır. Higher Education Statistics
durumda algılarını ve davranışlarını değiştirebilecek güce
Agency (HESA) 2019 verilerine göre toplamda akademik
sahip bir inanç sistemi olarak, bu konuda da farklı
personel sayısı 233.930 iken engelli akademisyen sayısı
yaklaşımların olmasını beklemek için önemli bir unsurdur.
14.040 olarak belirlenmiştir. Yaklaşık sayısı 2.5 milyon olan
Michigan Üniversitesi Engelliler Topluluğu, sanal bir öğrenci içindeki engelli bireylerin sayısı 331.170 olarak
etkinlik dizisi olan “Ableizm Karşıtı Akademiye Doğru”, verilmektedir [34].
konferansını düzenleyerek engellilik kültürünü ve
Her iki ülkeyi ele aldığımızda muazzam bir farklılık
deneyimlerini benimsemeye yönelik aktif olarak çalışan
olduğu görülmektedir. İngiltere’de akademide varlık
samimi bir Üniversite ortamı yaratma konusunda daha fazla
gösteren engelli bireylerin oranları ele alındığında, bu
bilgi edindirmeyi amaçlamıştır [31].
kişilerin örgün öğretime büyük oranda katılabildiklerini ve
Bu sanal etkinlikler öğrenciler, personel, öğretim üyeleri gereken şartların en azından bu oranı elde edecek kadar
ve engellilik uzmanlarıyla açık diyaloğu ve tartışmayı teşvik karşıladıkları düşünülebilir. Ülkemizde ise öğrenci sayısı
ederek engelli topluluğunun Michigan Üniversitesi'ndeki Birleşik Krallık’daki öğrencilerin yaklaşık üç katı olmasına
kampüs yaşamına tam olarak katılmasını sağlayan en iyi karşın, engelli öğrencilerin oranı yaklaşık 7’de 1 oranında
uygulamalar hakkında bilgi edinme fırsatları sunmakta ve her kalmaktadır. Elbette 56 bin engelli öğrencinin sadece %10
yıl düzenlenmektedir. kadarının örgün öğretim sistemi içinde olduğunu unutmamak
gerekmektedir.
Bu çalışmalara ek olarak akademik konferanslarda engelli
bireylerin de yer almasının en iyi yollarından birinin çevrim Yüksek öğretimle ilişkili web sayfaları ve bilgi
içi katılımlar olduğunu belirtmekte fayda bulunmaktadır. Bu sistemlerinde erişilebilirliğin sağlanması görece daha elle
bağlamda Times Higher Education (THE) web sitesinde yer tutulur ve somut bir biçimde gerçekleştirildiğinde
alan bilgilere göre akademik etkinliklere çevrim içi katılım kullanılabilirlik çalışmalarının da gerçekleştirilmesiyle
seçeneğinin sunulmamasının da ableizmin bir türü olarak beraber akademideki ableizm algısının daha olumlu bir yöne
nitelendirilmektedir [32]. Halbuki pandemi döneminde kimi çevrilmesi ve fırsat eşitliği sağlanması hususunda büyük bir
etkinliklerin gerçekleşmesinin tek yolu olan çevrim içi adım atılacağı değerlendirilmektedir. Erişilebilirlik belirli
olanaklardan yararlanılması, katılım konusunda sorun araçlarla test edilip kolayca kodlar ile düzenlenebilirken,
yaşayan herkes için olumlu etki yaratmıştır. Bu nedenle hibrit kullanılabilirlik daha soyut ve daha farklı çalışmaların
olarak akademik çalışmaların, konferansların, seminerler ve yapılmasını gerektirmektedir. Kaldı ki engelli bireylere
sempozyumların düzenlenmesinde büyük fayda yönelik kullanılabilirlik çalışmalarının yok denecek az
bulunmaktadır. Bu sayede hem katılımda artış olacak hem de olduğu gözlemlenmektedir. Özellikle göz izleme
farkındalık düzeyinin artması sağlanabilecektir. teknolojisine dayalı hiçbir test, görme güçlüğü çeken bireyler
için belki işe yarayabilir ama tam anlamıyla görme engelli
VI. DEĞERLENDİRME VE SONUÇ bireyler için anlam ifade etmeyebilir.
Akademide ableizmin boyutlarından biri de elektronik Son olarak, üniversite web sitelerinin erişilebilirliğinin
ortamda yer verilmeyen unsurlar ve yaklaşımlardır sağlanması noktasında sosyal bilimciler ile beraber
denilebilir. Özellikle engelli bireylerin daha öğrencilikleri çalışılması ve artık disiplinler arası bir alan olarak
başlamadan potansiyellerini gerçekleştirme imkânı günümüzde değeri ortada olan erişilebilirlik ve
bulamamaları çok yetenekli ve zeki kimi bireyler de dahil kullanılabilirlik çalışmalarının arttırılmasında büyük fayda
olmak üzere büyük oranda yüksek öğretimin olanaklarından bulunmaktadır. En başta erişilebilirliğin sağlanmasıyla
uzaklaştığı görülmektedir. Örneğin; YÖK verilerine göre beraber kullanılabilirlik çalışmalarına daha az zaman ve
yaklaşık 7 milyon öğrenciden 56 bin kadarı engelli bireyler enerji harcanacağı düşünülmektedir. Zira aslında
olup Türkiye’de üniversite okuyan öğrencilerin yaklaşık kullanılabilirlikle ilgili olan kimi unsurlar sadece WCAG ve
%90’ı açık öğretim fakültelerinde öğrenim görmektedir. Bu ARIA rehberlerine uygunluk sağlanarak bertaraf
durum etkileşimli ve deneyime dayalı eğitim olanaklarından edilebilecektir. Sonrasında kullanılabilirlik unsurları üzerine
yararlanan engelli öğrenci sayısının 5000 olduğu anlamına çalışmalar yapılarak sürdürülebilir bir yapı sağlanmış
gelmektedir [33]. Sadece öğrencilerin sayıların ulaşılabilen olabilecektir.
yüksek öğretim kurumlarında görev yapan akademisyen
sayısına ise ulaşmak mümkün değildir. Bunun bir nedeni KAYNAKÇA
KVKK kapsamında sağlık verilerinin gizliliğinin sağlanması
olsa dahi, sayı olarak bir bilgiye ulaşmak bile, bu alanda [1] TÜBİTAK BİLGEM, “Yayınlarımız”,
farkındalık sağlamak ve gerekli çalışmaların yapılması için https://bilgem.tubitak.gov.tr/yte-yayinlar/. Erişim: 05 Eylül 2023.
bir gerekçe olarak yararlı olacaktır. Elbette kimi engelli [Çevrimiçi]. Erişim adresi: https://bilgem.tubitak.gov.tr/yte-
akademisyenlerin kendilerini saklamak için de haklı yayinlar/
[2] World Health Organization, “Who Policy on Disability”, 2021.
sebepleri olduğu dünyanın hemen her yerinde [Çevrimiçi]. Erişim adresi:
gözlemlenmektedir. Farklılıklarından dolayı fırsat eşitliğinin https://apps.who.int/iris/rest/bitstreams/1344492/retrieve
sağlanamayabileceği korkusu, kurumda farklı bakış ve [3] WHO, World Report on Disability. 2011. doi: 10.1111/j.1741-
tutumlara sebebiyet vermek istememe gibi sebeplerle birçok 1130.2011.00320.x.
[4] S. A. Annamma, A. L. Boelé, B. A. Moore, ve J. Klingner,
“Challenging the ideology of normal in schools”, International

24
 Journal of Inclusive Education, c. 17, sy 12, ss. 1278-1294, Ara. [Çevrimiçi]. Erişim adresi:
2013, doi: 10.1080/13603116.2013.802379. https://bidb.metu.edu.tr/system/files/u58/ab2006-metuge.pdf
[5] “TS EN ISO 9241-11:2018”. Türk Standardları Enstitüsü, [22] U.S. Access Board, “Section 508 of the Rehabilitation Act of
Ankara, 2019. 1973”. Erişim: 08 Mart 2022. [Çevrimiçi]. Erişim adresi:
[6] K. Çağıltay, İnsan-Bilgisayar Etkileşimi ve Kullanılabilirlik https://www.section508.gov/manage/laws-and-policies/
Mühendisliği: Teoriden Pratiğe, 2. Basım. Ankara: Seçkin [23] K. L. Ertürk, A. A. Şimşek, ve D. Gülseren, “Türkiye’de Engelli
Yayıncılık San. ve Tic. A.Ş., 2018. Farkındalığı ve Engelli Bireylerin Adalete Web Erişilebilirlikleri
[7] D. Rømen ve D. Svanæs, “Validating WCAG versions 1.0 and Üzerine Bir Değerlendirme”, c. 15, sy 2, ss. 375-395, 2014.
2.0 through usability testing with disabled users”, Univers Access [24] T. Çelik, “İzmir’deki Devlet Üniversitelerinin Web Sitelerinin
Inf Soc, c. 11, sy 4, ss. 375-385, 2012, doi: 10.1007/s10209-011- Erişilebilirlik Açısından Değerlendirilmesi”, The Journal of
0259-3. Academic Social Science Studies, c. 13, sy 80, ss. 469-480, 2020,
[8] ISO, “ISO 9241-171:2008 Ergonomics of human-system doi: 10.29228/JASSS.43589.
interaction - Part 171: Guidance on software accessibility”, 2008. [25] S. Ataç, G. Beyazgül, ve Ç. Cengiz, “URAP Dünya
[9] W3C, “Web Accessibility Evaluation Tools List”. Erişim: 10 Sıralamasında Yer Alan Türkiye Üniversitelerinin Kurumsal Web
Kasım 2023. [Çevrimiçi]. Erişim adresi: Sitelerinin Erişilebilirlik Açısından İncelenmesi”, İzmir Sosyal
https://www.w3.org/WAI/ER/tools/ Bilimler Dergisi, c. 2, sy 2, ss. 121-132, 2020.
[10] International Organization for Standardization - ISO, “ISO/IEC [26] Z. ALTUNTAŞ ve P. ONAY DURDU, “Websitesi Erişilebilirlik
40500:2012 Information Technology - W3C Web Content Değerlendirmesi: Bir Bariyer Gezinti Çalışması”, Sosyal Politika
Accessibility Guidelines (WCAG) 2.0”. Erişim: 03 Nisan 2022. Çalışmaları Dergisi, c. 1, ss. 119-144, 2020, doi:
[Çevrimiçi]. Erişim adresi: 10.21560/spcd.vi.818272.
https://www.iso.org/standard/58625.html [27] N. Brown ve J. Leigh, Ed., Ableism in Academia. London: UCL
[11] W3C, “WAI Press Releases and Document Release Notices”. Press, 2020.
Erişim: 12 Şubat 2022. [Çevrimiçi]. Erişim adresi: [28] N. Brown ve J. Leigh, “Ableism in academia: where are the
https://www.w3.org/WAI/about/releases disabled and ill academics?”, Disabil Soc, c. 33, sy 6, ss. 985-
[12] T. Calle-Jimenez, S. Sanchez-Gordon, ve S. Luján-Mora, “Web 989, 2018, doi: 10.1080/09687599.2018.1455627.
accessibility evaluation of massive open online courses on [29] R.-E. Long ve A. Stabler, “‘This is NOT okay:’ Building a
Geographical Information Systems”, IEEE Global Engineering creative collective against academic ableism”, Journal of
Education Conference, EDUCON, sy April, ss. 680-686, 2014, Curriculum and Pedagogy. Informa UK Limited, ss. 1-27, 09
doi: 10.1109/EDUCON.2014.6826167. Haziran 2021.
[13] H. Şerefoğlu Henkoğlu, “Türkiye’deki Üniversite Kütüphane [30] J. T. Dolmage, Academic Ableism: Disability and Higher
Web Sitelerinin Web İçeriği Erişilebilirlik Kılavuzu Kapsamında Education. University of Michigan Press, 2017.
Değerlendirilmesi”, Bilgi Dunyasi, c. 22, sy 2, ss. 251-288, 2021, [31] University of Michigan, “Toward an Anti-Ableist Academy
doi: 10.15612/BD.2021.619. Conference”. Erişim: 12 Mayıs 2022. [Çevrimiçi]. Erişim adresi:
[14] H. Şerefoğlu ve T. Henkoğlu, “Türkiye’deki Üniversite Web https://diversity.umich.edu/toward-an-anti-ableist-academy-
Sitelerinin Görme ve İşitme Engelli Kullanıcılar Açısından conference/
Erişilebilirliklerinin Değerlendirilmesi”, Yükseköğretim ve Bilim [32] W. E. Donald, “Rejecting hybrid conferences as the new norm
Dergisi, c. 9, sy 1, ss. 111-122, 2019, doi: 10.5961/jhes.2019.314. reeks of ableism”. Erişim: 03 Aralık 2023. [Çevrimiçi]. Erişim
[15] L. Kutlutürk, “Engelli Akademisyenler Bağlamında Akademik adresi: https://www.timeshighereducation.com/campus/rejecting-
Atama/Yükseltme Kriterleri için Kullanılan Web Sitelerinin hybrid-conferences-new-norm-reeks-ableism
Erişilebilirliğinin Değerlendirilmesi”, TOBIDER - International [33] YÖK, “Yükseköğretim Kurulundan ‘Engelsiz Üniversite’lere
Journal of Social Sciences, c. 6, sy 2, ss. 1-18, Eyl. 2022, doi: ‘Bayrak ve Nişan’ Ödülü”. Erişim: 15 Eylül 2023. [Çevrimiçi].
10.30830/tobider.sayi.11.1. Erişim adresi:
[16] WebAIM, “WAVE Web Accessibility Evaluation Tool”. Erişim: https://www.yok.gov.tr/Sayfalar/Haberler/2023/yuksekogretim-
03 Mayıs 2022. [Çevrimiçi]. Erişim adresi: kurulu-ndan-universitelere-bayrak-ve-nisan-
https://wave.webaim.org/ odulu.aspx#:~:text=5%20Haziran%202023%20%2F%20Ankara
[17] W3C, “Selecting Web Accessibility Evaluation Tools”. &text=Y%C3%BCksek%C3%B6%C4%9Fretimde%20%C3%B6
[18] TÜBİTAK-BİLGEM-YTE, “Erişilebilirlik İlkeleri Rehberi”, %C4%9Frenci%20say%C4%B1s%C4%B1n%C4%B1n%207%2
Ankara, 2020. [Çevrimiçi]. Erişim adresi: 0milyona,56%20bin%20civar%C4%B1nda%20oldu%C4%9Fun
https://dijitalakademi.bilgem.tubitak.gov.tr/kamis/erisilebilirlik- u%20kaydetti.
ilkeleri [34] HESA, “Who’s working in HE?: Personal characteristics.”
[19] TÜBİTAK-BİLGEM-YTE, “Kullanılabilirlik İlkeleri Rehberi”, Erişim: 11 Mayıs 2022. [Çevrimiçi]. Erişim adresi:
2019, [Çevrimiçi]. Erişim adresi: https://kamis.gov.tr/ https://www.hesa.ac.uk/data-and-analysis/staff/working-in-
[20] TÜBİTAK-BİLGEM-YTE, “Kamu İnternet Siteleri Rehberi he/characteristics
(KAMİS)”.
[21] C. Yıldırım Yücel ve C. Acartürk, “Görme Engelliler için Web
Sayfalarında Erişilebilirliğin Sağlanması”, içinde Akademik
Bilişim Konferansı, Denizli: Pamukkale Üniversitesi, 2006.

25
 Typing in the Matrix: An Augmented Reality vs.
Physical Keyboard Showdown
Bilgehan Çağıltay Berfin Sürücü Kaan Atmaca
Computer Science and Engineering Computer Science and Engineering Computer Science and Engineering
Department, Faculty of Engineering Department, Faculty of Engineering Department, Faculty of Engineering
and Natural Sciences and Natural Sciences and Natural Sciences
Sabancı University Sabancı University Sabancı University
Orhanli - Tuzla, 34956 Istanbul, Turkey Orhanli - Tuzla, 34956 Istanbul, Turkey Orhanli - Tuzla, 34956 Istanbul, Turkey
Email: [email protected] Email: [email protected] Email: [email protected]
ORCID: 0009-0004-7612-0516
Kürşat Çağıltay
Nida Kayaduman Computer Science and Engineering
Computer Science and Engineering Department, Faculty of Engineering
Department, Faculty of Engineering and Natural Sciences
and Natural Sciences Sabancı University
Sabancı University Orhanli - Tuzla, 34956 Istanbul, Turkey
Orhanli - Tuzla, 34956 Istanbul, Turkey Email: [email protected]
Email: [email protected] ORCID: 0000-0003-1973-7056

Abstract—Nowadays with augmented reality (AR) and As a conclusion, the results of this study show that virtual
virtual reality (VR) technologies entering daily life, the need to keyboards face many usability challenges such as limited
use AR keyboards has been increasing. While there has been interaction reliability while typing, and limited haptic
important work in this field based on the usability of these feedback. Due to these limitations, the participants highly
technologies, there are limited experimental studies conducted prefer to use physical keyboards over virtual ones. Hence,
to understand the user experience with the current virtual keyboards require more work to achieve a higher
technologies. fidelity level.

One of the keyboards to be used belongs to the HoloLens 2. Keywords—Augmented Reality, Human Computer
a head-mounted display with integrated motion functions, to Interaction, Usability, Typing
facilitate the virtual keyboard. In this study, HoloLens 2 AR
keyboard and typical laptop keyboard were aimed to be I. BACKGROUND OF THE STUDY
compared to understand their usability differences. In the literature, there are studies that have evaluated
Convenience sampling method was followed to select five
physical and virtual keyboards. For instance, in the research
voluntary, two female and three male, participants, all of which
were undergraduate engineering students. Seven texts with "Physical keyboards in virtual reality: Analysis typing
equal length and complexity were selected and randomly performance and effects of avatar hands" by Knierim,
assigned to each participant. Schwind, Feit, Nieuwenhuizen, and Henze [1], an
experiment was carried out to investigate the performance
For each task, each participant was asked to type the given of physical keyboards in virtual reality. The study's
text on the keyboard assigned to them. Each participant objective was to assess how well participants typed and how
completed the task for AR and physical keyboard typing once, they interacted with virtual reality's physical keyboards.
where each task used different texts. During the typing process, According to the study's findings, typing speed was often
the eye movements of the participants were recorded. If the
lower in a VR environment than it was in a non-VR one
participant was using the HoloLens, the built-in eye tracker
was used; but if the participant was using the laptop keyboard, when using a physical keyboard. Nevertheless, it was found
the Tobii eye-tracker glasses were used. that the existence of avatar hands had no appreciable impact
on either the user experience or typing velocity [1].
Both the participants’ typing speed and accuracy were The researchers of "Text input approaches for immersive
evaluated. Additionally, at the end of their sessions, user virtual environments: An empirical comparison" by
satisfaction evaluations were collected through a questionnaire. Bowman, Rhoton, and Pinho [2] carried out an experiment
The results show that on the physical keyboard, our to contrast various text input techniques for immersive
participants glanced at the screen more and at the keys less; virtual environments (IVEs). The study's main objective was
whereas, on the AR keyboard, they looked at the keys more
and at the screen less. Additionally, the AR keyboard is
to identify the text entry methods in IVEs that were most
marginally less accurate and causes users to have slower typing useful, with a focus on keyboards [2]. The study's findings
speeds than physical keyboards. Overall, the usability of the demonstrated that the physical keyboard, which was
AR keyboard is envisaged to be comparable to that of physical followed by the virtual keyboard and the speech recognition
keyboards, indicating that AR keyboards have the potential to system, was the most effective and precise input method for
be a viable input method in a variety of contexts. It is expected text entry in IVEs. The investigators came to the conclusion
that the participants may look at the keys more when typing on that physical keyboards are a good alternative for text input
the physical keyboard. However with the results, it could be in IVEs [2].
concluded that the participants were more accustomed to the These two studies are significant to our study since they
physical keyboard.
investigate text input methods' usability in virtual and

26
physical contexts, as well as text input methods. These TABLE I. PARTICIPANT PROFILE
studies have aided posterior research in this area by
ID Gender Age
analyzing techniques of text entering virtual environments
and emphasizing some critical concerns and challenges. p1 Male 19
Both studies add to our understanding of the usability of text
input techniques in virtual environments by identifying p2 Female 20
learnability, eye tracking, user errors and more aspects to
consider when comparing the performance and user p3 Male 20
preferences of AR keyboards to physical keyboards.
Knierim et al. [1] observed that users prefer the physical p4 Male 21
keyboard for its tactile feedback and stability, and Bowman
p5 Female 20
et al. [2] discovered that users prefer the physical keyboard
for the familiarity and ability to see their hands while
typing. Both research revealed that when comparing the II. METHADOLOGY
performance and usefulness of AR keyboards to physical In this experimental study on AR and physical
keyboards, user preference could be a key factor to consider. keyboards, the participants were selected with regards to
These research shaped the methodology of our study by their characteristics detailed in the persona in Appendix 1.
underlining the necessity of taking text input speed and user Participants were selected so as to keep the gender ratio as
preferences into account when comparing AR keyboards close to one as possible. All selected participants were
and physical keyboards in virtual environments. Altogether, students from Sabanci University Faculty of Engineering
these studies assisted our research by providing a foundation and Natural Sciences. Thus, the keyboard usage and
for future research in this field as well as a guideline for our proficiency of all participants in their daily lives can be
research. These studies can be considered the basis for our assumed to be same due to the technical work required in
research, and our research can be regarded as an updated the daily lives of each participant. The participants did not
version of these investigations. have any disabilities that prevented or hindered their writing
performance. None of the participants wore glasses. None of
The study's objective is to compare the usability of the participants were left handed. The ages of the
Augmented Reality (AR) keyboards to physical keyboards participants were close, as they are Sabanci University
in virtual environments. The ability to type text rapidly and undergraduate students. Furthermore, Engineering faculty
effectively is critical as the use of virtual environments for students between the ages of 19 and 21 were recruited,
various tasks grows. Text entry in virtual environments has which is specified in the persona in the “Evaluation and
become a fundamental task in recent years as the use of Analysis” part of this study. The participants voluntarily
virtual environments has grown in popularity. The purpose contributed to our research. As Nielsen suggested [4] that
of this study was to evaluate the typing speed and accuracy five participants were enough, we recruited five participants
of participants when utilizing AR keyboards with physical in total; two women and three men (see Table 1).
keyboards in virtual environments. The study asks, "To what During the study, the participants were presented the
extent do AR keyboards and physical keyboards affect prepared experiment texts (see Appendix 3) and asked to
users' typing performance?" write this text on both AR keyboards and physical
keyboards. This activity was conducted in a quiet, empty
The significance of this study stems from its capacity to room with a flat white wall as the background to achieve
shed new light on the usability of AR keyboards in virtual minimal distractions. Then, at the end of the session, they
worlds. As virtual environments become more widely used were asked to fill a questionnaire about their experiences
for a range of jobs, the ability to type text rapidly and (Appendix 2). These questionnaire items were focused on
effectively becomes increasingly vital. This study is the usability comparison of AR and physical keyboards.
significant because it directly compares the typing speeds of Before the participants were asked to write the randomly
individuals in virtual environments using AR keyboards chosen text on the physical keyboard, they were donned a
with physical keyboards. The study's findings can assist in Tobii eye-tracker and instructed to complete the calibration
shaping the design of future text input techniques in virtual process. After the completion of the physical writing
environments, as well as improve AR technologies by section, they were donned the Microsoft HoloLens 2 and
offering feedback on the usability of virtual AR keyboards. instructed to complete the eye-tracker calibration process.
Furthermore, the study serves as a baseline for future This process serves two purposes; to familiarize the user
research on the usability of AR keyboards in virtual settings. with how the HoloLens operates, and to calibrate the
As participants are asked to provide feedback on their eye-tracker according to the user. Next, the user is given
experience with both keyboard types, including their overall another randomly chosen but different text to write in an AR
satisfaction and difficulties encountered, it provides a more environment.
holistic understanding of the usability of AR keyboards in The texts used in this study were all quotes from
virtual environments and can inform the design of future classical Turkish literature and chosen to be varied in word
text input methods in virtual environments. structures as well as similar in length (see Appendix 3). A
generic physical keyboard and the mixed reality keyboard of
the Microsoft HoloLens 2 headset were used for
benchmarking. In addition, the durations of the participants’
typing time were tracked manually.

27
 the fixations. The code took the x, y, and z coordinates of
the fixation positions, referenced them with the positions of
individual keys on the keyboard, and categorized them
according to which key the fixation position belongs to. In
the end, a dataset that reported on the fixation counts of
each key, as well as the screen was acquired.
By evaluating the average physical performance of the
participants (Figure 1), it can be seen that the outcome fits
into the current literature on the keyboard performance of
experienced users. There is little fixation on the individual
keys, while the user focuses heavily on the screen to
monitor their progress. This shows that the participants are
actually as experienced as expected. A picture of the
keyboard used during this process can be found in Appendix
4.a.
The physical keyboard was selected so as to keep it as
close to a layout as possible for the participants’ daily used Compared to the physical keyboard performance,
keyboard. This keyboard is a Turkish variant of the however, the AR performance of the participants (Figure 2)
QWERTY layout (see Appendix 4.a). For the AR section a shows more fixation directed at the individual keys. The
keyboard with a similar layout was used through the ready fixation directed at the screen is similarly high, showing that
made MRTK 2 keyboard, which utilized a QWERTY layout the user is more focused on the outcome of their typing, but
(see Appendix 4.b). Due to the similarity of the keyboards, there is more time used looking at the keyboard. Figure 2
the impact on the writing speed of the participants was contains the keys with any amount of data; so if a key was
minimized. Additionally, the sample texts were adapted so reported to have no fixation, it is not displayed in the graph.
that they were possible to be written using a QWERTY
keyboard. This is further corroborated by Figure 3, where the
participants spend very little time paying attention to the
III. RESULTS keyboard and focusing on what is being typed during the
In order to conduct an analysis of physical keyboard physical section (Figure 3.a), while they pay more attention
performances of the participants, Tobii Pro Lab to what keys they are pressing during the AR typing section
application’s automated benchmarking feature was used. (Figure 3.b).
From this, the fixation times of the participants on every As seen in Table 2, the participants’ satisfaction with this
individual key on the keyboard as well as the screen was experimental study was high (7.4/10 on average), except for
acquired. p3. However, while the participants were satisfied with the
To analyze the fixation counts on the AR keyboard, the overall study, they stated that they would prefer to use a
eye-tracking data from the HoloLens 2 was exported and physical keyboard over an AR keyboard (2.8/7 on average,
loaded into a python code which automatically categorized low value indicates preference for physical keyboard, while
high indicates preference for AR keyboard). Finally, the
participants were highly dissatisfied with the AR keyboard,
and stated that they would prefer using a physical keyboard
for their daily lives (2.2/5 on average, low value indicates
dissatisfaction with AR keyboards for use in daily life).

TABLE II. PARTICIPANT QUESTIONNAIRE RESPONSES

ID On a scale of 1 to Do you prefer On a scale of 1 to 5, how

10, how satisfied to type on your satisfied are you with this
are you with physical session to prefer AR
your session keyboard or keyboard instead of
experience AR keyboard? physical keyboard on
today? your daily life ?

p1 6 2 2

p2 10 3 2

p3 3 1 1

p4 10 4 3

p5 8 4 3

Avg 7.4 2.8 2.2

28
 The presence of a physical keyboard enabled the Experienced users attempt to interact with keyboards
participants to utilize the 10-finger typing method, which through the 10-finger typing method, but AR platforms are
allowed them to increase their typing speed. However, the unable to track and allow interaction with all ten fingers
AR keyboard presented certain limitations primarily reliably, causing faulty inputs. To mitigate this, the
stemming from the limited capacity for detection of key reliability of hand tracking and button/key presses should be
activation. This often necessitated pressing only one or two increased. Developments in these areas will eliminate the
keys at a time, thereby reducing the typing speed of users. need for users to have to interact with keyboards solely
through their index fingers and allow them to type faster.
IV. DISCUSSION AND CONCLUSIONS
For instance, the results indicate that the participants V. LIMITATIONS AND FUTURE WORK OF THE STUDY
look at their screen more in physical keyboards, and less in This study was conducted with a limited number of
AR keyboards. This could be due to the participants trusting participants, however their behaviors were evaluated deeply.
their typed key less in AR. The participants commented that As a result, the findings are not aimed to be generalizable to
a lack of haptic feedback as well as a confusing user a large population. Additional studies with more participants
interface hindered their typing speed. When the users get will be required to corroborate these findings.
used to the AR keyboard more through further interactions,
their typing speed may increase, which would likely Another limitation of this study is that since the
increase their satisfaction levels for this keyboard as well. participants were selected from a limited profile, the
findings cannot be applied to different categories of
The participants still looked at the screen to monitor individuals. The study mainly included young adults who
their situation more than monitoring each key-press, had qualified from engineering school and were
meaning the participants are familiar and comfortable with technologically adept by career. It will be important to see if
the AR keyboard layout. Even though the participants are the findings extend to older adults, children, or young adults
familiar with the AR keyboard, they still did not trust their who are not as adept at typing on a keyboard.
key presses, as they still fixate on certain keys on the AR
keyboard, which is not a behaviour present in the physical Furthermore, this study was unable to account for the
keyboard section. This indicates that the main problem AR keyboard's learning curve. Participants did not have
likely does not lie with the participants’ familiarity with the adequate time to learn and practice using the AR keyboard
layout of the keyboard but other factors. With participants through follow-up sessions. As a consequence, they did not
that attempted to use the 10-finger typing method, it was have the opportunity to improve their performance on the
reported that the keyboard either did not register the inputs, AR keyboard over a long period of time.
or the keyboard registered faulty inputs. This issue is likely Additionally, the AR keyboard used in this study was
why all participants significantly reduced their typing provided by MRTK 2, which is not the native keyboard of
speeds so as to mitigate the amount of errors they HoloLens 2. It was not possible to use the native keyboard
experienced due to their interactions with the AR keyboard. due to MRTK2’s inability to control and fix the keyboard to
This issue is also likely the cause of the participants a specific location at the time of this study. This has since
reporting that they would prefer physical keyboards over been remedied in MRTK 3. The advantage of the native
AR keyboards for their daily usages. If this experiment was keyboard over MRTK’s own keyboard is that it has a
conducted with participants who are not as familiar with the significantly improved UI, a better user feedback
keyboard layout, the amount of fixation placed on the screen mechanism, and a less error-prone typing experience thanks
will likely decrease. to reduced button conflicts with different selection features.
As a conclusion, the results show that there are many To summarize, the study gives preliminary information
usability challenges for virtual keyboards that must be about the usefulness of AR keyboards versus physical
addressed. Participants report dissatisfaction with their keyboards, although further investigation is necessary to
typing ability due to the lack of haptic feedback, a method fully comprehend the significance of these findings. When
to help users experience the feedback of the haptic feature analyzing our findings, it is critical to keep these limitations
of keyboards can be beneficial for widespread adoption. in mind.

29
 Suggestion for the future study is to ensure that the Appendix 2 - Post-Session Survey Questionnaire
findings are generalizable to a wider population, further
research involving a greater variety of participants should be
sought. There are difficulties and deficiencies in the present
version of the AR keyboard. The limitation is such that just
two fingers may be used on the AR keyboard, which needs
to be updated for future study. As a suggestion for future
research, the current version of the AR keyboard should be
upgraded, and studies on AR keyboards should be
conducted using the upgraded version to gain more data.
There have also been situations where the AR keyboard did
not function as planned, resulting in mistakes that were not
caused by the participants.
REFERENCES
[1] P. Knierim, V. Schwind, A. M. Feit, F. Nieuwenhuizen, and N. Henze,
“Physical keyboards in virtual reality,” Proceedings of the 2018 CHI
Conference on Human Factors in Computing Systems, 2018.
doi:10.1145/3173574.3173919
[2] D. A. Bowman, C. J. Rhoton, and M. S. Pinho, “Text input techniques
for Immersive Virtual Environments: An empirical comparison,”
Proceedings of the Human Factors and Ergonomics Society Annual
Meeting, vol. 46, no. 26, pp. 2154–2158, 2002.
doi:10.1177/154193120204602611
[3] J. Nielsen, Usability Engineering. Amsterdam: Morgan Kaufmann,
2009.

APPENDICES
Appendix 1 - Persona
Name: Mert
Age: 21
Occupation: Full-time university engineering student
Technology proficiency: Mert is comfortable using
technology and has experience using physical keyboards.
He appreciates the tactile feedback and accuracy of physical
keyboards. He prefers to use a physical keyboard when
completing school work or typing long documents. Appendix 3 - Experiment Texts
Goals: Mert is looking for a keyboard that is both 1. Hayatta en önemli şey nedir? Kendini yalnız ve çaresiz
convenient and accurate, and is considering switching from hisseden birine soracak olursak cevap mutlaka “diğer
a physical keyboard to an AR keyboard. He wants a insanlarla beraber olmak” olacaktır. Ama bu ihtiyaçlar
keyboard that can adapt to different environments and that giderildikten sonra, bütün insanların ihtiyacı olan bir
can be used in a variety of settings. şey var mıdır hala? Filozoflar buna evet diye cevap
Challenges: Mert is unsure if AR keyboards are ready for verirler. Onlara göre insan sadece ekmekle
mainstream use and is concerned about their accuracy and yaşayamazlar. Ama bütün insanların ihtiyacı olan bir
reliability. He is also worried about the battery life of an AR şey daha vardır: Kim olduğumuzu ve neden
keyboard and wants to make sure it can last through a full yaşadığımızı bilmek - sofie’nin dünyası
day of use. 2. Gözleri olanlara dünyada görülecek hiç bir şey
Use case: Mert is considering switching from a physical olmadığını söylemek zordur. Ne var ki gerçek bu inanın
keyboard to an AR keyboard and is looking for one that bana. Dünyayı tanımak için dinlemek yeter,
meets his needs and expectations. He is interested in yolculuklarda görünenler bir aldatmacadır yalnızca.
comparing the usability and functionality of both types of Gölgelerin peşinde başka gölgeler - Amin Maalouf,
keyboards and is willing to pay a premium for an AR Yüzüncü Ad Baldassare’nin Yolculuğu
keyboard if it offers additional features and functionality 3. Aşk denen şey bazen yürür, bazen uçar bazen koşar
that make it worth the investment. He plans to use the biriyle birlikte; bir başkasıyla ölümcül yürüyüşe çıkar;
keyboard for school work such as typing long papers and üçüncüyü buzdan heykele çevirir, dördüncüyü atar
completing school work and is willing to pay more for a alevlerin içine. Birini yaralar,öldürür ötekini. - Zülfü
keyboard that has features like backlighting or a numeric Livaneli - Kardeşimin Hikayesi
keypad, since he is an engineering student. 4. İçimizde bir ülke vardır, bir ruh coğrafyası;yaşadığımız
sürece bunun sınırlarını arar dururuz. Şanslı olup da bu
ülkeyi bulabilenler, taşların üstünden akan su gibi
rahatça kayarak iniş çıkışlara yayılır, yuvalarını bulmuş
olurlar. Kimileri doğdukları yerde bulurlar bu ülkeyi -
Josephine Hart, Ölesiye

30
5. Rüzgârlar durmadan estiği halde, dağlar nasıl bana
Appendix 4.a - Physical Keyboard Layout
mısın demiyorlarsa, ben de öyleyim. Lütfen söyler
misiniz efendim, hiç aşk ateşi böyle birdenbire insanın
içini kavurabilir mi? Eğer biraz daha kibar ve ılımlı
olmazsanız, yanınıza yaklaşacak kimse bulamazsınız.
Gelgeç erkekler kendilerini dünyanın merkezi sanırlar. -
Shakespeare, hırçın kız
6. Sevilmeden sevmekten daha korkunç bir şey yoktur.
Yalnızca aptallar veya çok akıllılar başıboş dolaşırlar.
Zaman bazen bir kuş gibi uçar, bazen de bir tırtıl
yavaşlığıyla geçer. İnsan zamanın hızlı mı, yavaş mı
geçtiğini fark etmiyorsa mutludur. Toplumu düzeltin,
hastalık da kalmaz - babalar ve oğulları Appendix 4.b - AR Keyboard Layout
7. Dünyayı tanıdıkça hoşnutsuzluğum daha da artıyor; her
geçen gün insan karakterinin tutarsızlığına ve akıllı,
duygulu görülenlere bile güvenilmeyeceğine olan
inancım güçleniyor. Pek azımızda cesaret verilmeden
gerçekten aşık olacak yürek vardır. Bir insanın bugünkü
duygularını bilmeden geçmişteki hatalarını ortaya
dökmek adaletsizlik görünebilirdi- Jane Austen, Gurur
ve Önyargı

31
 The Efficacy of Utilizing Kinect Studio for
Academic Purposes in Human Anatomy Research
Elnatan Tesfa Matthew Hawkins Abdelilah Chaib
Dept of Math and Computer Science Dept of Math and Computer Science Dept of Math and Computer Science
Augustana College Augustana College Augustana College
Rock Island, Illinois Rock Island, Illinois Rock Island, IL, USA
[email protected] [email protected] [email protected]

Aymane Sghier Tauheed Khan Mohd

Dept of Math and Computer Science School of Information Security and Applied Computing
Augustana College Eastern Michigan University
Rock Island, IL, USA Ypsilanti, MI, USA
[email protected] [email protected]

Abstract—This paper examines the capabilities of Kinect as voice, gestures, and body movements. By combining numerous
interactive technology and discusses how it can facilitate and technologies based on the usage of RGB cameras, depth-
enhance teaching and learning and how effective it is. Kinect sensing, and careful user interaction design, Microsoft’s Kinect
has been seen to be utilized in different parts of education but
because of it’s abilities for gesture identification and skeleton for the Xbox 360 enables superior gaming and entertainment
detection, it’s application was studied for its used in education experiences. [1] The Kinect was widely used because it was
kids human anatomy. With its multimedia and multi-sensory considered superior to its counterparts such as Nintendo’s Wii
capabilities, Kinect can be used as a learning tool to provide fun, Remote because it did not require physical controllers. The
stimulating interactions, increase student motivation, and foster playing of games on the Kinect a few years after it was
learning. Kinect sensor uses Kinect studio when connecting to
a computer. It allows for data gathering in real time and fairly released began to decrease in terms of popularity. Although,
simple to use and easy to learn. However, the Kinect Studio has there was a decrease in it’s popularity many researchers found
been seen to have limited accuracy in different measurements and it very interesting what all it could do. This led to people
limited range. Compared to Azure Kinect SDK, which is a recent finding more uses for it than just playing games.
version of Kinect Studio, the Kinect offers less accuracy of the Debates in education commonly center around the use of
3D representation of the surrounding. The effectiveness of using
depth data and body mass index observed from the Kinect Studio technology in classroom settings. With the recent advances
was explored by comparing its values with the actual distance made in motion sensing and computer vision technologies,
calculated using a measure tape and the distance calculated by it is possible to integrate these technologies into curriculum
the LiDAR Camera using standard iPhone. The Kinect Studio such as math, science, or even language arts. The advent of
was found to be more effective in measuring depth data than the Kinect sensor has bridged this gap between animation
body mass index. In addition, the data given by depth data was
more accurate as the objects or bodies behind the sensor got and reality while providing new ways to engage students.
closer and closer. The depth data can be utilized to create virtual The Kinect has had many promising uses and it serves as
simulations of human anatomy, to teach kids anatomy. a very useful tool in education. Although, there have been
Index Terms—Kinect, Kinect studio, anatomy, depth, body many talks about using technology in education to enhance
index, 3D map, distance learning, there has been little attention given to utilizing the
Kinect in different parts of education by making learning
I. I NTRODUCTION more productive, enjoyable, and also making it easier for
The Kinect for Windows is a full-body motion-sensing de- some minority groups. As a teaching tool, the Kinect has the
vice that has many different possible uses. The Kinect is a very potential to improve classroom interactions, boost engagement,
old discovery first found in 2010. The devices typically include and let teachers present and handle multimedia and multimodel
RGB cameras, infrared projectors, and detectors by mapping content, and foster chances for debate and interaction due to
the depth and doing different structured light calculations. the variety of interaction types it supports. [2]
These components can be used for gesture identification and The Kinect can be used by configuring the teacher’s prefer-
other body skeleton detection. They also have microphones ences using its body movement sensors and speech recognition
that can be used for speech recognition. the hearing and software to manipulate and use it to teach a specific topic
visual cues operate as instructions for interacting with digital to students. For example, learning using Kinect can offer a
content displayed in games or applications. Kinect was initially new experience in education, allowing better understanding
used for Xbox gaming consoles. It is able to understand of mathematical concepts, graphs and formulas and allow

32
the student to take action in the learning process. [3] Or, it bubbles in space—is the idea behind the game. The ability for
can be used as game-based language learning, through which kids to collaborate in groups is one of the benefits of Kinect
students complete important assignments based on actual games. The researchers found that this makes it easier for
situations to improve their communication abilities. In contrast kids to cooperate with one another and eventually improve
to traditional education, the proponents of computer game- their speech expression to the point where they can now
based learning say that computer games have the potential provide simple instructions to one another while playing a
to alter the way in which students learn and encourage a game [5]. After finishing the game, the students will gradually
new generation of learners. [4]. Learners can test how the get more familiar with the learning materials and concepts,
game’s outcome changes based on their decisions and actions. as well as the learning aids, and their feelings of self-worth,
Learners are encouraged to get in touch with other team self-understanding, autonomy, and independence will grow.
members and discuss and negotiate next steps, which helps Children with autism will also acquire familiar with a variety
to improve, among other things, their social skills. Learners of items and concepts through the game, which they will
are encouraged to combine knowledge from different areas to gradually incorporate into their daily life. [5]
choose a solution or to make a decision at a certain point. The Kinect was basically the first of its kind in terms of
Therefore, this paper would like to take a more thorough a full-body motion-sensing device. There were other similar
look into how accurate the Kinect can be in terms of it’s devices that researchers used for the same activities that
calculations of the person interact with it. Also, how these Kinect can accomplish. Although it was the first of it’s
calculation’s accuracy aids in the education of anatomical kind, soon after the Kinect’s falloff came the Astra made
topics by increasing efficiency and its the ability to change by Orbbec. The Astra has many functions such as face and
the learning environment into an engaging, interactive and fun gesture recognition, human body tracking, 3D measurement,
experience for students. environment perception, and 3D map reconstruction. The Astra
was made with the intention of making learning much easier
II. R ELATED W ORK with the help of 3D tech. Orbbec as a company is very big on
There were some research done on the usage of Kinect in using their 3D technology to aid in the education of children.
education. One study talks about using Kinect for children Specifically with the use of 3D cameras and other multi-
with Autism. After reading the literature on computer games dimensional hardware and software, students can learn faster,
in education and topics pertaining to kids with autism, the with better engagement and retention. 3D tech also can foster
researchers came to the conclusion that these games are an the interactions and shared experiences that are so critical to
essential part of kids with autism’s learning and socializing early child development. With the help of the things like the
processes. [5]. People with specific needs can make excellent Astra and other 3D tech many students will be able to get a
use of the Kinect. The Dutch special needs school ”De much more enjoyable and effective learning experience.
Ruimte” serves as an illustration. The ”De Ruimte” school uses In a study about Learning Anatomy Structure with the help
the Kinect to improve the motor abilities of its special needs of an Interactive System, they found that the use of AR
children. The researchers expanded on this project. For this technology can be used to improve a student’s understand-
case, the researchers focused on kids with moderate autism. ing of anatomy. The researchers made a platform that used
In their research, ten students with moderate autism, both augmented reality to improve student’s understanding of the
male and female, were enrolled in their project’s primary anatomical structure of the body and then quizzed the students
school setting. Their goal was to improve the kids memory and to test their understanding of the human body. The researchers
encourage them to be more sociable. They utilized the Kinect then had the students fill out a survey that measured their
game ”Kinect Adventures” to accomplish this. This game, satisfaction and interest in the platform they engaged in using.
which can be played alone or with others, is made specifically The studies main purpose was to see whether or not the
to assist players in honing their matching abilities, achieving use of body tracking technology in the build of 3D human
their objectives, and comprehending numerous characteristics motion makes it easier for students to learn the structure of the
[5]. Five sports and adventure mini-games may be found in human body [6]. Another point of using the 3D body tracking
the video game collection ”Kinect Adventures.” Full body technology was to make the studying of the structure of the
motion is used in ”Kinect Adventures” to enable the player to human body more interesting and interactive. For those who
participate in a number of mini-games, all of which support may not find anatomy of the human body that interesting this
jump-in, jump-out multiplayer play. About three minutes pass could be a vital point of their learning experience. From the
between each mini-game. Because they didn’t want the autistic study done by the researchers, all results of this experiment
kids to become tired or bored playing the game, this brief came back in the favor of using augmented reality technology.
duration was ideal for their target audience. The fact that the Students found it both more interactive and effective in their
activities can be described as infantile, humorous, or even enrichment of the study of anatomy [6].
occasionally foolish lets youngsters be themselves, have fun, In the recent years there has been a decrease in the amount
and not be afraid to make mistakes [5]. Playing a new member time spent in terms of class hours on anatomy curriculum. To
on the Adventure Team—a squad of thrill-seekers committed adapt to these changes in anatomy education various methods
to engaging in activities like white-water rafting and blowing have been attempted and changed [7]. In this experiment

33
involving 30 medical students from the Kaohsiung Medical
University, researchers created a 3D augmented reality skull
for the students to study. The 3D model had clear labeling
of the skull’s different type bone and different parts, so that
when the skull is rotated the proper labels pop up accord-
ingly. Through their findings in the experiment researchers
speculated that working with 3D augmented reality objects can
help students learn anatomy structures better and faster than
older more traditional methods [7]. The main reason these
researchers believe this is because students can get a more
detailed look at the anatomical structure of the skull and it
will be more engaging since the student will be rotating and
moving the object how they want it. This can lead to a deeper
and more clear understanding of the parts of the skull that the
Fig. 1. An image displayed by the Kinect Sensor used to calculate the depth
students are looking at. data and body index
-

III. R ESEARCH AND F INDINGS

retrieved the depth data where we compared the depth data of
Since the Kinect was made in 2014, it is hard to find a the exact point of the object to the actual distance. In order to
large amount of uses as well as apps and programs that are avoid any mistakes we used non-moving objects because if we
compatible with it. This has led to a decline in the Kinect’s used moving objects then the depth data would be different
use during the last 5 or more years. Although there has been at different time stamps. We made several measurement of
a decline in the use of the Kinect over the past years, it seems different objects from varying distances including more than
as though there are still some relevant things that users can 150 inches from the sensor, more than 80 inches from the
do with the Kinect. Kinect studio also has some features that sensor, and more than 30 inches from the sensor. We made
could be used to teach anatomy. It gives measurements such as 200 measurements in total. There was some things we had to
body index, distance the user is standing from the Kinect, and keep in mind when performing the measurements such as the
joint recognition. The main things that will be talked about are angle of the sensor to the object, the shape of the object,
the accuracy of the distance from the Kinect and the accuracy and making sure that the measuring tape was at a correct
of the body index measurements. The accuracy of the Kinect distance. The table in figure 1 shows the summary data of
can be quite questionable at times. With these things in mind the number of measurements in each of the experiments and
the question arises of whether or not the Kinect has any valid the average distance difference between the actual distance
modern-day use. Through some testing of the body mass index and the distance observed by the Kinect sensor for the given
and depth measurements it should be fairly clear whether or distance.
not the Kinect gives accurate enough data to be useful in some No. of exp over 150in. over 80in. over 30in.
type of school or professional work setting.
40 5.4in 2.6in 0.6in
Three IR projectors, an IR camera, and an RGB camera
40 5.5in 2.6in 0.5in
make up the Microsoft Kinect v2 camera. The ToF principle
40 5.9in 2.3in 0.2in
is being used by the sensor to estimate depth. Both cameras
output frames at 30 Hz, with the RGB camera having a 40 6in 2.4in 0.5in
resolution of 1920 x 1080 pixels and the IR camera having 40 5.9in 2.9in 0.4in
a resolution of 512 x 424 pixels. The Kinect for Windows We measured the body index data and found that the Kinect
SDK 2.0, which supports tracking up to 6 users simultaneously sensor was able to recognize the number of bodies captured by
with 25 joints each, can be used to access data from the the sensor. However, it only displayed the number of bodies
sensor. Both the orientation as a quaternion and the three- when moving the cursor to one body of its choice, displayed
dimensional position for each joint are given. The origin of none for the other body. This is a small error which reveals
the 3D coordinate system, in which the skeletons are also that Kinect studio might not be the best tool for calculating
monitored, is represented by the center of the IR camera the body index. We also measured the distance calculated by
lens. [8] LiDAR camera from i phone to compare its accuracy. We
setup a desired distance on a table and measured it using a
A. Measurements measuring tape. Then we noted the actual distance. After that,
In our experiment, the depth data and body index data were we measured the distance using the LiDAR camera. We made
measured using Microsoft Kinect v2 in Kinect studio. To cal- same measurements as the Kinect and found that the distance
culate the depth data, we measured the actual distance between of the LiDAR was very accurate compared to the distance
the Kinect sensor and any object in the scene using measuring given by the Kinect sensor.
tape. Then we recorded the scene and stopped it. Then we The Kinect sensor creates a 3D representation of the sur-

34
roundings using a mix of visible light and infrared cameras D. Azure Kinect SDK vs Kinect Studio
to measure depth. The sensor uses an infrared light pattern to For testing the accuracy of calculating depth data and
emit an image, which is then captured by an infrared camera to other things, the Kinect studio is a powerful resource. The
measure the distance to nearby objects. A visible light camera Kinect sensor has been demonstrated to be able to precisely
is also used by the Kinect sensor to take a 2D image of measure the separation between each pixel of an object and
the surroundings. The Kinect sensor can produce a 3D map the camera plane. [11]. We used the Kinect Studio to do our
of the environment that includes the location and depth of measurement but there is also another SDK that performs more
objects in the area of view by integrating the information accurate measurements. The Azure Kinect SDK is a more
from the visible light and infrared cameras. The Kinect sensor recent innovation that was introduced in 2019 and is made
employs a combination of depth information and body tracking for the Azure Kinect sensor, a more developed version of
to calculate body mass index (BMI). The sensor builds a 3D the original Kinect sensor. The Azure Kinect sensor creates
map of the subject’s body using the depth data, enabling it a more precise 3D representation of the surroundings using a
to calculate the subject’s height and body type. In order to combination of infrared and visible light cameras, as well as a
identify the person’s joints and monitor their movements, the time-of-flight sensor, which enables it to measure depth data
sensor also uses body tracking. The sensor can calculate the more precisely. The Azure Kinect sensor is also more precise
subject’s body mass index by integrating the depth data with than the original Kinect sensor since it has a better resolution,
the body tracking data (BMI). It’s important to keep in mind which enables it to detect smaller objects and details. The
that a number of variables, including lighting, the size of the Azure Kinect DK includes a 12-megapixel color camera (4096
objects being measured, and the presence of reflective surfaces, × 3072 px) and a 1-megapixel ToF depth sensor (1024 × 1024
affect how accurately the sensor measures depth and body px). [12] It is a bundle of four devices: a 4K RGB camera,
mass index (BMI). Additionally, using the Kinect sensor to a wide-angle depth sensor, an inertial measurement unit, and
measure body mass index (BMI) is not advised because it a microphone array. This enables accurate body tracking and
is not thought to be as accurate as using more conventional depth perception, as well as the ability to compute 3D rays
methods like weighing scales and body calipers. from the source camera’s focal point through the supplied
B. Advantages of Kinect studio in measuring depth and body pixel location using calibration methods. [8] The Kinect depth
mass: camera offers a 50cm to 5m field of view range, 640 *
480 horizontal resolution, 45 degree vertical FOV, and 58
1. Data gathering in real-time: The Kinect sensor is able degree horizontal FOV. Accordingly, the resolution at 50 cm
to gather depth and body tracking information in real-time, is roughly 0.75 mm per pixel, while at 2 m, it is roughly
enabling interactive and responsive applications. 3 mm per pixel. Microsoft provides a Body Tracking SDK
2. Low-cost alternative: Compared to other depth sensing for skeleton tracking, which is compatible with Windows,
technologies, the Kinect sensor and associated technology are Linux, and the C and C++ programming languages. With 32
comparatively inexpensive, making them usable for a variety joints apiece, this SDK can track numerous users. The latest
of applications. [9] definition includes additional joints in the face, such as the
3. Versatility: The Kinect sensor can be used for a variety ears and eyes, in comparison to the skeletal definition of the
of applications, including interactive gaming, virtual reality, previous Kinect generation.
physical therapy, and more, to measure depth and body track-
ing data. E. How effective is using depth data to teach children about
4. Simple to use: The Kinect Studio offers an intuitive user anatomy?
interface for developers and educators to record, replay, and Using Depth data to teach children about anatomy can
debug sensor data, making it usable even for persons with little be advantageous in a variety of ways. It can, for example
background in programming [10]. give children a more engaging and immersive learning ex-
perience. They can operate and study the human body in
C. Disadvantages of Kinect studio in measuring depth and several dimensions, this will allow them to have a better
body mass: grasp of the interactions between different bodily parts and
1. Limited accuracy: The Kinect sensor’s employment in ap- systems. Moreover, employing depth data might assist children
plications requiring great precision may be restricted because in visualizing complicated concepts and structures that may
it is less precise than other depth detecting technologies. be difficult to grasp using typical teaching approaches. Depth
2. Limited range: The sensor’s ability to detect objects at a data can be utilized to generate virtual simulations of human
great distance may be hindered by its limited range. anatomy, providing students with a hands-on approach to
3. Limited compatibility: The Kinect Studio can be less learning. [13]
useful in some situations because it only works with specific In a secured and controlled setting they can perform virtual
Windows versions and hardware. dissections and analyze various body systems such as the
4. Hardware price: Some educational institutions or projects skeletal, muscular and neurological systems. There are many
may not be able to afford the Kinect sensor or other required other customized software that can be used along with the
hardware. [10] kinect to teach kids anatomy. Kinect can get the depth data

35
and use Ipisoft mocap software to extract 3d skeleton model accuracy was as low as a few millimeters while the Kinect
from Kinect. Then the model can be manipulated to teach the V2’s accuracy is on the order of a few centimeters.
kids anatomy. [14] Because they are actively engaging with When measuring the body index, the Kinect was able to
the subject, children can learn and remember knowledge more detect the number of bodies observed by the sensor, however, it
effectively. The most popular depth camera was used in the displayed the score in a very counter intuitive way. Whenever
development of the Kinect SDK, which has a fairly straight- the user moved the cursor on the bodies, the body index was
forward user interface and substantial online documentation. only shown in some of the bodies and was shown as 0 for
Therefore, it is not unexpected that it is the most often utilized the rest. Although the total number of bodies shown on the
technique for skeletal tracking evaluation. [15] Moreover, index score was correct, the user may find it confusing when
depth data may be utilized to construct interactive quizzes comparing the actual number of bodies to the number of bodies
and games that allow children to asses their comprehension displayed by the Kinect. Also, there was an anomaly for what
of the topic. This can assist to make learning more enjoyable it assumes as a body captured by the sensor such as non-living
and engaging, thus it will increase their drive to learn and objects vs human bodies, how big or how small the object is in
remember information. To summarize, utilizing depth data the frame, and how far away it is from the sensor. Therefore, it
to teach children about anatomy can be a useful addition to is recommended to not perform body index calculation using
established teaching techniques. It may provide them with a Kinect because it is probably not the most efficient way of
more participatory and immersive learning experience while measuring the body index.
also assisting them in visualizing difficult concepts and struc-
V. C ONCLUSION
tures. More study is needed to assess the efficacy of employing
depth data in increasing children’s anatomy learning and recall. Using the Kinect in education has been found to have a
Another consideration is the expense of utilizing depth data to significant impact in learning by increasing the performance of
teach children about anatomy. Creating and maintaining digital the student by making teaching more interactive and engaging.
materials may be costly and not all schools and or educational It can be used to teach kids with autism by allowing for more
institutions have the financial means to invest in this sort social and interpersonal activities, and ultimately making it
of technology. [13] To use depth data successfully to teach a go-to device for disadvantaged individuals. The Kinect has
children, instructors and educators may require additional many advantages such as its simplicity and data gathering in
training and assistance which can add to the expense. As a real-time and many disadvantages such as limited compatibil-
result, not all schools or instructors may have the resources ity. The Kinect sensor uses the Kinect Studio to connect to the
or support necessary to properly apply this technique, limiting computer. Then the Kinect Studio uses infrared and visible
its overall efficacy. light to create a 3D representation of the surrounding. The
Kinect studio can be further implemented to use its values
detected by the sensor for other usage. In our research, the
IV. R ESULTS
calculation involving the depth and body index displayed by
Through the measurements taken in the experiment it is the Kinect Studio were studied to understand the effectiveness
fairly easy to understand the accuracy of the Kinect. As of using it in education. By enabling children to interact with
exhibited in the table in figure one in the research, the and explore virtual models of the human body, the depth mea-
further away an user is from the camera the less accurate surement capability of the Kin+ect Studio can be used to teach
the measurements are. The Kinect was most accurate at 30 children about anatomy. A teacher might, for instance, utilize
in. away which ended up being an average difference of the the Kinect Studio to project a 3D model of the human skeleton
reading of the Kinect and the actual distance. The difference onto a screen, allowing pupils to move and rotate the image
between the actual distance and the depth data from 30 in. to better comprehend the connections between various bones.
away was on average .4 in. This is not extremely bad but in In order to show kids how their own skeletal systems relate
terms of the distance from the actual Kinect camera this can to the virtual model, the depth measurement feature might
be considered pretty accurate. The highest measurement tested also be utilized to track their movements. The movement,
was that of 150 in. away from the camera. This was the most muscles, and joints of the body can all be learned from this.
inaccurate and was a difference of 5.7 in on average. between Students can use the human body in several dimensions to
the actual distance and the depth data from the Kinect. The have a better understanding of bodily parts. Lastly, they can
most common length away from the Kinect camera would get virtual simulations and perform virtual dissections. For
most likely be the 80 in. measurement. This is because the further study, researchers can investigate how the use of the
distance of 80 in. away from the Kinect is right around the Kinect affects students’ understanding of the human anatomy
perfect distance for someone’s whole body to be seen within and their retention of the information and/or examine the
the Kinect camera. The difference between the depth data and possibility of using the Kinect in remote teaching and learning
actual measurement at this distance was 2.6 in on average. situations, such as during pandemics or in rural locations
While this is not an extremely big difference it can hinder where access to physical models may be difficult.
the learning. The distance calculated the LiDAR was very
accurate for the range that it covers. LiDAR’s measurement

36
 R EFERENCES
[1] T. Leyvand, C. Meekhof, Y.-C. Wei, J. Sun, and B. Guo, “Kinect identity:
Technology and experience,” Computer, vol. 44, no. 4, pp. 94–96, 2011.
[2] H.-m. J. Hsu, “The potential of kinect in education,” International
Journal of Information and Education Technology, vol. 1, no. 5, p. 365,
2011.
[3] N. A. R. Ayala, E. G. Mendı́vil, P. Salinas, and H. Rios, “Kinesthetic
learning applied to mathematics using kinect,” Procedia Computer
Science, vol. 25, pp. 131–135, 2013.
[4] N. Whitton, “Motivation and computer game based learning,” Proceed-
ings of the Australian Society for Computers in Learning in Tertiary
Education, Singapore, vol. 1063, p. 1067, 2007.
[5] E. Boutsika, “Kinect in education: A proposal for children with autism,”
Procedia Computer Science, vol. 27, pp. 123–129, 2014.
[6] E. D. Fajrianti, S. Sukaridhoto, M. Rasyid, B. E. Suwito, R. P. N.
Budiarti, I. A. A. Hafidz, N. A. Satrio, and A. L. Haz, “Application
of augmented intelligence technology with human body tracking for
human anatomy education,” IJIET: International Journal of Information
and Education Technology, vol. 12, no. 6, pp. 476–484, 2022.
[7] C.-H. Chien, C.-H. Chen, and T.-S. Jeng, “An interactive augmented
reality system for learning anatomy structure,” in proceedings of the
international multiconference of engineers and computer scientists,
vol. 1, pp. 17–19, International Association of Engineers Hong Kong,
China, 2010.
[8] J. A. Albert, V. Owolabi, A. Gebel, C. M. Brahms, U. Granacher, and
B. Arnrich, “Evaluation of the pose tracking performance of the azure
kinect and kinect v2 for gait analysis in comparison with a gold standard:
A pilot study,” Sensors, vol. 20, no. 18, p. 5104, 2020.
[9] R. A. El-laithy, J. Huang, and M. Yeh, “Study on the use of microsoft
kinect for robotics applications,” in Proceedings of the 2012 IEEE/ION
Position, Location and Navigation Symposium, pp. 1280–1288, IEEE,
2012.
[10] M. Rahman, Beginning Microsoft Kinect for Windows SDK 2.0: Motion
and Depth Sensing for Natural User Interfaces. Apress, 2017.
[11] A. S. Sabale and Y. M. Vaidya, “Accuracy measurement of depth using
kinect sensor,” in 2016 Conference on Advances in Signal Processing
(CASP), pp. 155–159, IEEE, 2016.
[12] G. Kurillo, E. Hemingway, M.-L. Cheng, and L. Cheng, “Evaluating
the accuracy of the azure kinect and kinect v2,” Sensors, vol. 22, no. 7,
p. 2469, 2022.
[13] M. H. Mohd Hazwan B Sahabuzan, “Learning anatomy for pre schools
via kinect technology,” 2012.
[14] K. Arai and R. A. Asmara, “3d skeleton model derived from kinect depth
sensor camera and its application to walking style quality evaluations,”
International Journal of Advanced Research in Artificial Intelligence,
vol. 2, no. 7, pp. 24–28, 2013.
[15] R. A. Clark, B. F. Mentiplay, E. Hough, and Y. H. Pua, “Three-
dimensional cameras and skeleton pose tracking for physical function
assessment: A review of uses, validity, current developments and kinect
alternatives,” Gait & posture, vol. 68, pp. 193–200, 2019.

37
 Enhancing Augmented Reality Precision with Leap
Motion Technology
Johnny Breeden Jack Kiefer Joon Lee
Math and Computer Science Math and Computer Science Math and Computer Science
Augustana College Augustana College Augustana College
Rock Island, United States Rock Island, United States Rock Island, United States
[email protected] [email protected] [email protected]

Anubhav Rayamajhi Tauheed Khan Mohd

Math and Computer Science School of Information Security and Applied Computing
Augustana College Eastern Michigan University
Rock Island, United States Ypsilanti, Michigan
[email protected] [email protected]

Abstract—This document covers the efficiency of Leap motion

when interacting with the user regarding hand gestures, partic-
ularly picking up objects and throwing objects in Unity Engine.
This extends to its motion capture technology as its ease of use.
Furthermore, this document covers the prior usages of Leap
Motion and prior research, accomplishments, and accuracy done
with the technology. For this research, Leap motion was used to
capture hand gestures and this gesture was used in creating a
simple game of ”Cup pong” in Unity Engine. In this game, a
sphere object is to be grabbed and thrown into cups using Leap
motion desktop hand tracking. The device’s accuracy is tested
based on the number of complete cycles a player is able to achieve
in the game. Here, one cycle is the process of catching the sphere,
throwing the sphere, and making it reach a reasonable horizontal
and vertical distance. Fig. 1. Horizontal and vertical coordinates for leap motion controller
Index Terms—Leap Motion, Augmented Reality, Cup Pong, [4]
Human-Computer Interaction (HCI), Unity

I. I NTRODUCTION Augmented reality is defined as ”the process of overlaying

The Leap Motion Controller (LMC) [1] is a Human In- computer-generated information on reality, whether that reality
terface Device [2] that works via a USB connection with the is a geographic place or an object” [5]. Although the Leap Mo-
computer which captures images and identifies the key objects tion device translates human input into a virtual environment,
in those images. It obtains ”grayscale images for data using the device itself still lies more on the side of AR. In essence,
the infrared light spectrum representing mainly the objects Leap Motion does not directly place a virtual environment over
illuminated by the LMC IR LEDs” [3] through the Leap reality, it does so by taking real input and placing it in a virtual
Motion Controller. It has a sensing space that can detect environment. Therefore, it lies more on the AR spectrum of
objects up to 60cm in distance. The Leap Motion controller technology.
was released to the public in July 2013 but the technology’s The goal of this research is to analyze the efficiency of Leap
development began in 2008. The Leap Motion controller is Motion as well as its prior uses in AR. In order to do this, a
a haptic device that works on the basis of gestures without simple game was created using the Unity Engine, which uses
any form of touch on the actual device. This device can be the Leap Motion controller to allow the player to play ”cup
used in making applications with the API that leap motion pong.” Cup pong is a game in which the player aims to throw
provides. This API is popularly used for sensing human input a ping pong ball (a sphere object ) into a group of 10 cups
and allows the user to interact with a virtual environment. The without missing twice in a row. Here, completing the process
main difference between the Leap Motion and other popular of grabbing, throwing, and moving the sphere to a reasonable
interfaces is that the device “Leap is able to track particular distance in both the horizontal and vertical axis is considered
small objects (hands and pen- like things) in a smaller volume, a cycle. We will repeat this cycle multiple times to collect the
but with much higher accuracy ” [3]. accuracy of using leap motion specifically for grabbing and

38
throwing gestures. the costs that accompany such decisions [8]. MLP classifier
is based on Artificial Neural Network (ANN) which consists
II. P REVIOUS U SES of many interconnected identical simple processing called
Through our initial use of the Leap Motion product and neurons and was trained by the back-propagation algorithm
based on our research, it has become apparent how advanced [8]. In conclusion, the overall accuracy of recognition of
the hand-tracking technology is, and has shown the value Arabic sign language was 98.3 percent while accuracy of using
of the half-decade it spent in development. We have found MLP was 99.1 percent [8]. There were some misclassifications
numerous applications for this technology, some of which are of sign language due to LMC’s field of view resulting some
far more advanced and productive to society than a simple cup- of the fingers to be occluded by hand palms or other fingers
pong game. These applications include using data provided [8]. However, LMC has shown a quite high accuracy in its
by the Leap Motion device to further research on Parkinson’s performance of recognizing Arabic sign language, overall. To
disease, Arabic sign language, and uses in virtual chemistry solve the problems and errors in misclassification, the study
labs. has come up with a new direction which is using two LMC
in recognizing Arabic sign language.
A. Use Cases of LMC to Improve Individuals with Disabilities
While this specific example depicts the use of the Leap
Studies were conducted on how effective Leap Motion Con- Motion Controller in regards to Arabic sign language, other
troller is for individuals with neurological conditions such as studies have seen success in motion recognition with similar
Parkinson’s disease(PD). Parkinson’s disease is a, ”dopamine tasks. In said studies, this technology has been noted to have
deficiency within the basal ganglia leads to a movement disor- been applied to not only Arabic Sign Language, but also
der characterised by classical parkinsonian motor symptoms” Australian Sign Language, British Sign Language, Danish
[6]. Virtual Reality seemed promising for rehabilitation for Sign Language, French Sign Language, Indian Sign Language,
PD. According to the article, several studies have shown the Taiwan Sign Language, and American Sign Language [9].
positive effects of VR systems as complementary therapy to
neurological rehabilitation. In this research, 24 participants
with PD were divided into two groups: an experimental group C. Leap Motion in building a Chemistry Lab
and a controlled group. The experimental group attended this
neurological therapy by doing tasks on a serious game using Among the multitude usages of Leap Motion, one of the
LMC. ”Serious games are games designed for a primary more impactful use was seen in the research done to build
purpose other than just pure entertainment” [7]. Meanwhile virtual chemistry lab using LMC. As building a chemistry lab
the controlled group was rehabilitated by traditional physical is really expensive and using the virtual lab can eliminate
therapy. As a result of this research, the experimental group a major amount of cost which proves it be cost-effective.
showed that they have had a huge improvement in their upper In this research, there was the use of a unity engine and
limb performance compared to the other group. In conclusion, leap motion to implement hand gestures. Then, they use
the LMC system and serious games designed for this study gesture mapping and calibration to produce “ 30 experiments
show that the LMC rehabilitation tool benefits certain PD classified in eleven different categories. The categories are
patients for the improvement of coordination, speed of move- Chemical compound, Chemical reaction which produces sed-
ments and fine dexterity in UL intervention [7]. Furthermore, iment, Chemical reaction which generates gas, Electrolyte &
LMC system shows huge benefits for these patients due to its battery, Chemical reaction of food, Crystal, Metals, Acid &
portability, ease of use, commercial availability, low cost, and alkaline indicator, Alkaline & acid salt, Chemical for daily
non-invasive nature [7]. life, and Chemical games.” [10] The lab was able to perform
multitude of chemical experiments and also have quizzes. The
B. Recognition of Arabic Sign Language with LMC system use case for virtual chemical labs can be in the education
Sign Language is an essential way to communicate with sector. Mainly the cost-effectiveness of the lab can be used
those people who have disabilities in hearing with the rest of to provide education in schools that have low funding. They
the society. However, not everyone knows sign language which would be able to replace physical labs which they might
makes it harder for the rest of the society to be able to under- not have been able to previously build . This would allow
stand. Therefore, it is necessary to have a system where sign education access to large number students learn . Eventually
language is translated into sentences or words. The research allowing them to learn chemistry to much greater detail. The
was conducted to develop a system that recognizes Arabic sign concept of building labs can also be exercise in other forms of
language through Leap Motion Controller. In this project, 12 education like physics and maths and if these labs are made
most relevant features of Arabic sign Language were taken in properly, it has the potential to impact a large number of under
consideration to the purpose. With those features, this study privilege students. The result from the experiment showed that
compared the performance of two classifiers, Nave Bayes the usability of leap motion in the chemistry lab was 71.7. It is
Classifier (NBC) and Multi-layer Perceptron (MLP). NBC an acceptable score in the usability test for interaction modality
classification approach is based on quantifying the trade-offs which means that it can definitely be used in education sector
between various classification decisions using probability and with some improvement. [10].

39
 package, which can easily make different game projects share
development works.” [13]. After downloading the model, the
cups were coded to have a ’disappearing’ effect if the pong
cube were to come in contact with the top portion of the
cup (in order to simulate the player making the cube in the
cup). Along with the disappearing effect, the cups were given
a red color by using the color wheel within the software.
Our application’s tracking capabilities were created using a
set of pre-made tools, provided by UltraLeap, which had
been ”made available to download through the engine so that
developers can test the hardware and use them to build games
and applications.” [14]. The camera that provides the players
First Person Point of View was angled on the table to simulate
Fig. 2. shows an early version of College Simulator from the players point
of view
a ”normal” height for a person. This makes the game as a
whole a little easier for the player to learn how it works as it
related closer to reality.
III. E XPERIMENTAL S ETUP
B. Test Setup
As previously discussed, the Leap Motion Controller is a
In order to test the accuracy of the Leap Motions hand
device that excels in tracking hand movements and gestures.
tracking ability, College simulator was used along with other
The controller is capable of tracking hands ”Depth of up to
measurements in order to determine its efficiency. The test
60cm (24”) preferred, up to 80cm (31”) maximum; 140×120°
was conducted on 5 different subjects. The test considered
typical field of view. Tracking works in a range of environ-
the following aspects of the project: 1. Catch test (whether
mental conditions” [4]. It is capable of doing this by using the
the subject was able to grab the pong cube), 2. Throw test
three inferred emitters as well as using the two CCD cameras.
(whether the subject was able to throw the pong cube), 3.
In order to test the Leap Motion device, the software Unity
Position of the hand (vertical distance of a hand from LMC),
was used to create an Augmented Reality game which uses
4. Distance the cube was thrown (x, z) coordinates of the cube
the Leap Motion controller to allow the player to input hand
after being thrown from the original point). For the fourth
motions. The game is called ”College simulator” in which the
component that was considered in our test used Pythagorean
goal is for the player to pick up a virtual cube and throw it
Theorem to calculate the distance. Since the y-coordinate is
into cups in order to score points. In order for the player to
the height of the cube, x and z coordinates were only taken in
pick up the ball, the Leap Motion controller is used to sense
consideration. by calculating the difference of x, z coordinates
the players input and translate it into the virtual environment.
from the original x, z coordinates and using the Pythagorean
Each time that the player is able to throw the cube into a cup,
Theorem, we were able to find out the distance of the cube
the cup disappears to indicate a successful throw. The player
after being thrown. The pong cube’s fields in this test were:
is able to reset the cube after each throw by pressing ’s’ on a
Mass: 0.01, Scale: (0.1, 0.1, 0.1), Angular Drag: 0.05, Original
keyboard. By using this game we are able to test how accurate
Position (x, z): (2.10, -0.49). We used the measure app [15]
the input from the Leap Motion controller is.
for calculating 25% of the vertical distance for part 3.

C. Subject 1 results

A. Game Mechanics
The game College Simulator was created using the Unity
[11] game engine, with imports from Leap Motion and a
downloaded 3 dimensional cup model. The light within the
game was generated by using the light asset within the Unity
software. After the light is in the desired color was selected
to create semi-realistic graphics. A 2D plane was inserted
horizontally to create the ”ground”, and was given physical
properties to make it a solid foundation. The table is a simple
3D box object that has a texture placed on the object which
was from Unity Assets and was also given physical assets
to make in an impermeable object. Each ”cup” object was
a downloaded object from ”CGTrader.com” [12]. One of the
main features of the Unity game engine is that ”game resources
and objects can be imported or exported in the form of a Fig. 3. Subject 1’s scatter plot of the distance of pong from origin

40
 Subject 1 had total of 17 attempts. Subject 1’s rate of 3 managed to successfully throw the pong cube 26 times
success in catch test was 82.4 percent where he successfully resulting 89.7 percent accuracy. Subject 3 showed the highest
picked up the pong cube 14 times out of 17 attempts. Subject accuracy among all the other subjects. From subject 3, we
1’s rate of success in throw test was 57.1 percent where he could conclude that it may vary from a person to another.
successfully threw the pong cube 8 times out of 14 successful Furthermore, subject 3’s pong cube distance from the original
grab attempts. When the subject was able to throw the pong point varied from 0.33 to 27.5 cm. After the halfway point
cube, it is seen from the scatter plot that the distance from the in the test the subject started to become more constant which
original point varies from 0.13 to 16.9 cm. can show a correlation between time spent playing the game
and skill level.
D. Subject 2 results
F. Subject 4 results

Fig. 4. Subject 2’s Scatter plot of the distance of pong from origin

Subject 2 attempted 17 times where he successfully grab

Fig. 6. Subject 4’s Scatter plot of the distance of pong from origin
the pong cube 16 times resulting 94.1 percent of accuracy
on catch test. Furthermore, out of those 16 successful grabs,
subject 2 was able to throw the pong cube 11 times resulting
The above data reflects the information on the fourth sub-
68.8 percent. Subject 2’s pong cube distance from the original
ject. For subject 4, the subject made a total of 25 attempts
point varied from 0.39 to 5.57 cm. Subject 2’s result were in
where the subject threw the pong. Among those 25 trials,
the range of subject 1’s result where it indicates that subject
Subject 4 was able to have a success rate of 92.0 percent
1 could throw further than subject 2.
for catching the ball. This Reads to 23 out of 25 attempts that
E. Subject 3 results were successful while catching the ball. Furthermore, the rate
of success in throwing the ball was only 65.2 percent. This
reads to 15 out of 25 attempts where the subject was able
to successfully throw the ball. From the chart above, we can
observe that the maximum amount of throws lied between 2-
4cm in distance. Overall, the accuracy of catching the ball was
high however, while throwing the ball, the leap motion was
not the best tool. ƒ
G. Subject 5 results

Subject 5 had a total of 14 attempts, and out of those

14 tries, he managed to successfully grab the virtual pong
cube 10 times resulting 71.4 percent in accuracy. In those
10 successful catches, he successfully threw the pong cube
Fig. 5. Subject 3’s Scatter plot of the distance of pong from origin 7 times. This resulted his rate of success in throw test at 70.0
percent accuracy. Subject 5 had the least amount of attempts
and the lowest percentage on grab test out of all the subjects
Out of 30 attempts that subject 3 attempted, he managed which lead us to conclude that it may require some experience
to successfully pass the grab test 29 times resulting 96.7 to enhance the performance over time. When the subject 5 was
percent of accuracy. Out of those successful 29 catches, subject able to throw the pong cube successfully, it is seen from the

41
 Range(cm) Successful Failed Rate of Success
1 - 10 2 4 33%
11 - 15 14 2 87.5%
16 - 20 34 4 89.5%
21 - 25 27 1 96.4%
26 - 30 6 0 100%
31 - 35 6 0 100%
35+ 1 0 100%
Total 90 11 81.1%

Fig. 9. Rate of Success in Grab Test According to the vertical hand position
from LMC
Fig. 7. Fig. 8 Subject 5’s Scatter plot of the distance of pong from origin

The table shows how successful the grab test was according
scatter plot that the distance from the original point varied to the vertical position of a hand from LMC. As it is shown
from 0.11 to 5.09 cm. in the table, it seems like that 11cm to 25cm vertically from
LMC is the most comfortable position of the hand due to
the high amounts of attempts that have been conducted. As
IV. T EST R ESULTS AND C ONCLUSIONS previously stated, the preferred height of use for the Leap
Motion device is 60 cm, so our data is consistent with the data
After analyzing the data gathered from the various test, the from the Leap Motion controller specs. The amount of data is
Leap Motion test is very good at tracking the users hands when not quite sufficient to show its accuracy; however, it seems like
doing slower movements. These type of movements include, the success rate is very high where the hand was positioned
picking up objects, flipping hands around, and individual greater than 25cm. In addition, it is easily observable that the
finger movements such as various gestures. From the data range between 11 to 25 cm also had quite a high percentage
that have been collected from five different subjects, it can of success considering the number of attempts that were done.
be concluded that the LMC is quite accurate in terms of On the other hand, it is easy to observe that range between 1
grabbing the object. However, the throwing part of the test had to 10cm has not only a very low success rate but is also not
different results. The Leap Motion seems to struggle a little comfortable due to the amounts of attempts. In conclusion,
more when it comes to tracking quick movements. The quick it is the most ideal to have a hand positioned above 15cm
movement which was tested in College Simulator is the ability considering both comfort and accuracy.
to throw virtual objects. During the test, the height of which During the throwing portion of the test, hand height was not
the hand was in comparison with the Leap Motion Controller recorded because the hand is moving and it is not possible to
was recorded and charted in a data table. The vertical position get an accurate measurement of the hand height. However, we
of the hand was measured by Apple Measure app to conduct did keep track of the distance that the user was able to ”throw”
this research. the cube while using the LMC. After analyzing each test as
a whole, the rate of a successful throw was 73% where out
of 90 successful grab test subjects were only able to throw 66
out of 90 attempts. This matches with our original statement
that the LMC is better for tracking slower movements.
Furthermore, focusing on the subjective results of the actual
experience of using leap motion. The subjects had varied
experiences to share. The first idea was the ease of use of
leap motion. approx. 75% of the subjects found that the use
of leap motion was generally fun and intuitive. In comparing
leap motion usage for the specific game of pong, the subjects
reported that they would rather use leap motion than another
output device like a mouse. The second idea was about the
experience regarding tracking the hands themselves, users
reported that it was not the best experience because the leap
motion did not properly detect the throw. Thus, it ended up
Fig. 8. Measuring the hand position via Apple Measure App being tiring and repeated when it was supposed to work. One
user also reported that after repeated use of leap motion, the
hands started to get tired. Over subjective results shows that

42
leap motion would be proper in areas of gaming, however,
it might not necessarily be useful when you need really high
level of precision. In conclusion, the leap motion device could
potentially be a ubiquitous device if the accuracy of the device
is increased because of its size, portability, and ease of use.
R EFERENCES
[1] Ultraleap, “Tracking: Leap motion controller,” in Ultraleap Developer,
p. 1, Ultraleap, Jan 20 , 2023.
[2] M. Sato, Y. Hirata, and H. Kawarada, “Space interface device for
artificial reality—spidar,” Systems and Computers in Japan, vol. 23,
no. 12, pp. 44–54, 1992.
[3] I.-B. Păvăloiu, “Leap motion technology in learning,” 2017.
[4] Ultraleap, “Api overview,” in Leap Motion Controller, p. 1, Ultraleap,
2023.
[5] D. R. Berryman, “Augmented reality: a review,” Medical reference
services quarterly, vol. 31, no. 2, pp. 212–218, 2012.
[6] L. V. Kalia and A. E. Lang, “Parkinson’s disease,” The Lancet, vol. 386,
no. 9996, pp. 896–912, 2015.
[7] P. Fernández-González, M. Carratalá-Tejada, E. Monge-Pereira,
S. Collado-Vázquez, P. Sánchez-Herrera Baeza, A. Cuesta-Gómez,
E. D. Oña-Simbaña, A. Jardón-Huete, F. Molina-Rueda, C. Balaguer-
Bernaldo de Quirós, et al., “Leap motion controlled video game-based
therapy for upper limb rehabilitation in patients with parkinson’s disease:
a feasibility study,” Journal of neuroengineering and rehabilitation,
vol. 16, no. 1, pp. 1–10, 2019.
[8] M. Mohandes, S. Aliyu, and M. Deriche, “Arabic sign language recogni-
tion using the leap motion controller,” in 2014 IEEE 23rd International
Symposium on Industrial Electronics (ISIE), pp. 960–965, IEEE, 2014.
[9] D. Naglot and M. Kulkarni, “Real time sign language recognition using
the leap motion controller,” in 2016 international conference on inventive
computation technologies (ICICT), vol. 3, pp. 1–5, IEEE, 2016.
[10] H. S. Al-Khalifa, “Chemotion: A gesture based chemistry virtual
laboratory with leap motion,” Computer Applications in Engineering
Education, vol. 25, no. 6, pp. 961–976, 2017.
[11] U. Engine, “U. technologies,” in Unity Home Page, p. 1, Unity Engine,
2023.
[12] Ultraleap, “Free 3d models,”
[13] J. Xie, “Research on key technologies base unity3d game engine,” in
2012 7th international conference on computer science & education
(ICCSE), pp. 695–699, IEEE, 2012.
[14] M. Foxman, “United we stand: Platforms, tools and innovation with
the unity game engine,” Social Media+ Society, vol. 5, no. 4,
p. 2056305119880177, 2019.
[15] A. Inc., “Measure app,” in Use the Measure app on your iPhone, iPad,
or iPod touch, p. 1, Apple Inc., 2023.

43
Enhancing Immersive 3D Experiences: The Role of
Eye Tracking in Achieving Intuitiveness and
Seamless Interaction
Shamil Humbatov
Digital Technologies and Applied Informatics dept.
Azerbaijan State University of Economics (UNEC)
Baku, Azerbaijan
[email protected]
ORCID: 0000-0001-6487-6034

Abstract: Immersive 3D environments, facilitated by experiences. Through a synthesis of existing research and a
technologies like virtual reality (VR), augmented reality (AR), roadmap for future inquiries, this paper advances the
and mixed reality (MR), have transformed the way we interact understanding of how eye tracking can play a pivotal role in
with digital content. However, making these experiences intuitive shaping the future of immersive technology and human-
and seamless remains a formidable challenge. In this context, computer interaction (3).
eye-tracking technology is a promising solution to enhance user
interactions within immersive environments. Keywords— eye tracking, intuitive interactions, immersive 3D
environments
This paper delves into the convergence of immersive
technology and eye tracking, exploring how the latter can I. INTRODUCTION
revolutionize how users engage with 3D digital spaces. It is rooted
in recognizing that genuinely immersive experiences should be as In the ever-evolving landscape of technology, the quest for
intuitive as the natural world and that eye tracking can immersive experiences has become a relentless pursuit. The
significantly contribute to achieving this goal. world of immersive 3D environments, encompassing virtual
reality (VR), augmented reality (AR), and mixed reality (MR),
The literature review provides essential context by discussing beckons us to explore uncharted realms and amplify our
the challenges inherent in achieving intuitiveness within
immersive 3D environments. It highlights issues such as complex
engagement with digital content. However, the seamless
control schemes, cognitive load, and the need for precise fusion of human-computer interaction and intuitive
interactions in 3D spaces. These challenges underscore the engagement within these immersive worlds remains an
importance of seeking alternative, more intuitive interaction ongoing challenge. In this dynamic context, the role of eye-
methods (1). tracking technology emerges as a transformative force.
The core of this paper centres on the role of eye-tracking The significance of the topic is multifaceted and extends
technology in addressing these challenges. Eye tracking, which to several key dimensions:
captures users' eye movements and gaze, offers multiple
advantages. It reduces cognitive load by enabling natural eye A. User-Centric Design
movements to navigate and interact within immersive spaces. At its core, this research delves into the fundamental
Moreover, it enhances interaction precision, allowing for
accurate targeting and selection of objects, ultimately improving
principle of designing for the user. In an era where technology
the overall user experience. Additionally, eye-based interactions often strives to adapt humans to its interfaces, eye tracking
create a sense of immersion, making the technology more flips the paradigm, allowing technology to conform to the
accessible and enjoyable. innate behaviours and intentions of the user. This shift toward
user-centric design is at the heart of enhancing the overall user
Drawing from prior research review studies that have experience within immersive 3D environments.
explored the application of eye tracking in immersive
environments. These studies demonstrate how eye tracking can B. Natural Interaction
reduce cognitive load, improve task performance, and enhance
user satisfaction. They underscore the potential of eye tracking By tracking the movement of the human eye, technology
as a critical enabler of intuitive and seamless interactions in 3D gains a new understanding of users' intentions and interests.
spaces (2). This information opens the door to more natural and intuitive
interaction methods. Users can effortlessly navigate virtual
Looking ahead outlines several future directions and
spaces, select objects, and interact with digital content simply
research gaps. It suggests the need for investigations into the
long-term effects of eye tracking on user comfort and satisfaction by directing their gaze—a profound departure from traditional
during extended immersive experiences. Furthermore, it input devices and controls.
emphasizes the potential of combining eye tracking with other
C. Seamless Integration
input modalities, such as hand gestures, to create versatile and
seamless interactions. Lastly, the paper underscores the The paper explores how eye tracking seamlessly integrates
importance of exploring the usability and accessibility into an immersive 3D experience. When executed effectively,
implications of eye-tracking technology across diverse user the technology at work may guide users effortlessly through
populations. these digital realms without making them aware. This level of
In conclusion, this paper contributes to the discourse on integration reduces the cognitive load on users and fosters a
intuitive interactions within immersive 3D environments. It more profound sense of immersion.
highlights the transformative potential of eye-tracking
technology, shedding light on its capacity to reduce cognitive load,
enhance precision, and create engaging and intuitive user

44
D. Enhanced Realism intricate, requiring users to grapple with novel
Immersion thrives on realism, and eye tracking contributes input methods, controllers, and gestural
significantly to immersion within 3D environments. Users can interactions. The challenge is simplifying these
engage more authentically with digital characters and objects interfaces, ensuring users can engage without a
as their gaze behaviour informs the reactions and interactions steep learning curve.
of the virtual world. • Cognitive Overload: Navigating and interacting
E. Applications Across Industries within 3D environments can sometimes
overwhelm users, leading to cognitive overload.
The versatility of eye tracking extends far beyond gaming Achieving intuitiveness involves streamlining
and entertainment. Its potential spans various industries, interactions to reduce the mental burden on users
including education, healthcare, automotive design, and more. and allow them to focus on the experience itself.
Educators can gauge student engagement, healthcare
providers can diagnose cognitive disorders, and automotive • User-Centred Design: Creating intuitive 3D
designers can create safer and more intuitive user interfaces. experiences demands a deep understanding of
user behaviours, expectations, and cognitive
F. Market Growth processes. The challenge lies in designing
As immersive technologies become increasingly environments and interactions that align
integrated into daily life, understanding the pivotal role of eye seamlessly with users' instincts and preferences.
tracking is critical for businesses and developers. It has the
potential to redefine how designers and users experience and • Adaptation Across Domains: Immersive 3D
design products and services, creating new market experiences span diverse domains, from gaming
opportunities and strategies for engaging users. and entertainment to education, healthcare, and
industry. Achieving intuitiveness requires
In the intricate dance between human perception and adapting these experiences to cater to each
technology, "Enhancing Immersive 3D Experiences: The domain's specific needs and contexts.
Role of Eye Tracking in Achieving Intuitiveness and Seamless
Interaction" beckons us to explore a horizon where our gaze • Technological Innovation: The field of
converges seamlessly with virtual worlds. As we delve deeper immersive technology is in constant flux, with
into this paper, we redefine the boundaries of immersion and new hardware and software innovations
interaction, striving for a future where 3D experiences emerging regularly. Staying at the forefront of
captivate our senses and seamlessly meld with our intuitive technology while maintaining intuitiveness
understanding of the world (4). presents an ongoing challenge for developers and
designers.
II. THE ESSENCE OF IMMERSIVE 3D EXPERIENCES
B. The Significance of the Challenge:
In technology and digital innovation, immersive 3D
experiences are a pinnacle of human achievement. These The pursuit of intuitiveness in immersive 3D experiences
experiences transport users to entirely new dimensions, is not merely an aspiration; it is a necessity. Achieving
blurring the physical and virtual lines. Whether it's donning a intuitiveness unlocks the true potential of these technologies,
virtual reality (VR) headset, engaging with augmented reality making them accessible to a broader audience and enabling a
(AR) applications, or entering mixed reality (MR) more profound level of engagement. It ensures that users can
environments, the allure of immersive 3D experiences is harness the power of immersive 3D experiences without
irresistible. Yet, beneath the awe-inspiring veneer of these wrestling with complexity, thus fostering a sense of
digital realms lies a fundamental challenge: the quest for naturalness and seamlessness in their interactions. As we
intuitiveness. navigate the terrain of immersive technology, the challenge of
intuitiveness beckons us to create digital worlds that feel both
Immersive 3D experiences are a testament to human immersive and instinctual, bridging the gap between the
creativity and technological prowess. They plunge users into virtual and the real.
captivating digital worlds where they can explore, interact,
and even shape their realities. In VR, users may find C. The significance of the research problem
themselves traversing fantastical landscapes or engaging in The research problem of achieving intuitiveness in
thrilling adventures, all while their physical surroundings fade immersive 3D experiences remains highly significant and is
into insignificance. AR, on the other hand, overlays digital likely to continue growing in relevance. Here are some key
information in the real world, enriching our understanding and aspects highlighting the present significance of this research
interactions with our environment. MR, the fusion of both, problem:
intertwines the virtual and physical, creating novel
• Rapid Advancements in Immersive
experiences that redefine our perception of reality.
Technologies: The field of immersive
A. The Challenge of Intuitiveness technologies, including virtual reality (VR),
However, despite the promise and potential of immersive augmented reality (AR), and mixed reality (MR),
3D experiences, the path to achieving intuitiveness still needs continues to advance at a rapid pace. New
to be improved. The quest for intuitiveness centres on making hardware, software, and applications are
these experiences accessible, understandable, and instinctual constantly emerging, driving the need for
for users. Several vital challenges underpin this quest: intuitive user interactions to harness the full
potential of these technologies.
• Complex Interfaces: The technology that
underlies immersive 3D experiences can be • Expanding Applications Across Industries:
Immersive experiences are no longer limited to

45
 gaming and entertainment. They have found various VR games. The findings of this investigation
applications in education, healthcare, training, consistently showed that users tended to concentrate on
remote collaboration, architecture, etc. Ensuring crucial game elements, such as opponents, items, and
intuitiveness in these diverse domains is essential objectives. The study underscored the importance of gaze
for maximizing their benefits. behaviour in the context of game design, highlighting that the
efficient allocation of visual attention significantly contributes
• Mainstream Adoption: VR and AR technologies to the overall quality of the gaming experience(6).
are becoming more accessible to mainstream
consumers. Consumer-grade VR headsets, Within the domain of educational virtual reality (VR)
smartphone AR applications, and other environments, researchers explored the connection between
immersive devices are becoming increasingly gaze behaviour and academic achievements. Their
common. Intuitiveness is critical to making these investigation centred on students engaging with educational
technologies user-friendly for a broader audience. VR content. The findings revealed that students who naturally
directed their attention towards pertinent educational material
• Educational Revolution: The COVID-19 exhibited enhanced learning results compared to those with
pandemic accelerated the adoption of immersive less focused gaze patterns. This study highlighted the
technologies in education. Achieving importance of gaze behaviour in academic settings, indicating
intuitiveness in virtual classrooms and its potential to improve the efficiency of VR-based learning.
educational simulations is crucial for effective
remote learning and skill development. B. Studies on Eye Tracking and User Interaction:
• Healthcare and Therapy: Immersive technology The study examined the incorporation of eye tracking for
is essential in healthcare, from surgical training menu selection in virtual reality (VR) interfaces, which
to therapy for mental health conditions. Making reduced users' cognitive load and improved interaction
these applications intuitive is vital for successful efficiency. Participants in this study reported a more fluid and
medical training and patient treatment. intuitive menu navigation experience, showcasing the
potential of eye tracking to enhance user interaction within VR
• User Experience Expectations: Users now have applications.
higher expectations for intuitive interactions due
Another study focused on user research concerning eye-
to their experiences with user-friendly
tracking-based object selection in augmented reality (AR)
technologies in other domains. Meeting these
applications. The findings indicated a significant
expectations is essential for user satisfaction and
improvement in the accuracy and speed of object selection in
acceptance.
AR environments using eye-tracking technology. Users
• Ethical and Privacy Concerns: As immersive reported reduced errors and a more seamless interaction
technologies collect more user data and become process, highlighting the usability benefits of integrating eye
integrated into daily life, privacy and data tracking into AR applications.
security considerations become increasingly
C. Cross-Disciplinary Research on Eye Tracking:
relevant. Ensuring intuitiveness in privacy
controls and data management is crucial. In the healthcare sector, researchers explored the potential
of eye tracking for diagnosing cognitive disorders such as
• Technological Integration: Various industries Alzheimer's. Their study revealed that the analysis of eye
increasingly integrate immersive technologies, movements yielded valuable information about early
from automotive design to architecture and cognitive impairment. By monitoring gaze behaviour during
engineering. Achieving intuitiveness in these specific cognitive tasks, the research suggested the potential
integrations streamlines workflows and enhances use of eye tracking as a non-invasive tool for the early
productivity. detection and ongoing monitoring of mental disorders.
• Competitive Advantage: Companies and In architectural design, another research team investigated
developers prioritizing intuitive user experiences how architects could employ eye tracking to evaluate the
gain a competitive advantage in the market. visual impact of building designs. Their study demonstrated
Intuitiveness can be a critical differentiator that that eye tracking could provide architects with insights into
attracts and retains users. which aspects of a building design garnered the most visual
attention. This interdisciplinary use of eye tracking offered
• Future of Human-Computer Interaction:
architects novel perspectives for creating visually appealing
Immersive technologies are at the forefront of
and user-friendly spaces.
human-computer interaction. Research in
intuitiveness is instrumental in shaping how D. Advancements in Eye Tracking Technology:
humans interact with digital content, information, Recent advancements in eye-tracking technology have
and each other (5). contributed to its increased adoption in various fields. These
III. LITERATURE REVIEW
advancements include improvements in accuracy, reduced
latency, and enhanced affordability. These developments have
A. Previous Research on Gaze Behavior in Immersive expanded the possibilities for integrating eye-tracking into a
Environments: broader range of applications and have made eye-tracking
We thoroughly studied gaze behaviour within virtual studies more accessible to researchers and developers.
reality (VR) gaming environments. This research analyzed
how users directed their visual focus while engaging with

46
E. Emerging Trends and Challenges: with immersive 3D environments in uncontrolled, real-world
Combining Eye Tracking with Other Biometric Data: settings. This data helps us understand how users naturally
Recent trends in eye tracking research involve combining eye direct their attention and make decisions.
tracking with other biometric data, such as heart rate and facial Contextual Understanding: Observational data can
expressions. This multi-modal approach aims to provide a provide context for interpreting experimental results. For
more comprehensive understanding of user experiences in example, it can help explain why specific gaze-based
immersive environments, shedding light on emotional interactions are more intuitive or why users focus on particular
responses and cognitive load. elements within the environment.
Privacy and Data Security Concerns: With the increased D. Mixed Methods Approach:
use of eye-tracking technology, concerns about privacy and
data security have surfaced. Researchers and practitioners are Explanation: Combining experimental and observational
actively addressing these challenges, focusing on ethical data research methods allows researchers to triangulate findings
collection practices and secure storage and handling of gaze and comprehensively understand the research problem.
data to protect users' personal information. Qualitative data from observations can complement
quantitative data from experiments.
IV. METHEDOLOGY E. User Participation:
The research design for a study titled "Enhancing Explanation: The research design would involve recruiting
Immersive 3D Experiences: The Role of Eye Tracking in participants with varying experience with immersive
Achieving Intuitiveness and Seamless Interaction" would environments and eye-tracking technology. This diverse
likely involve a user-centred design approach with group of users represents the target audience for immersive
experimental and observational research elements. This applications.
approach allows researchers to investigate how users interact
with immersive environments while integrating eye-tracking F. Iterative Design Process:
technology. Here's an explanation of the research design: Explanation: A user-centred approach often involves an
A. User-Centered Design Approach: iterative design process, where researchers and designers
collaborate to refine the immersive experiences based on user
Explanation: A user-centred design approach places the feedback and insights gathered during experiments and
user at the centre of the research process, ensuring that their observations.
needs and preferences guide the design decisions, ultimately
leading to products and experiences more tailored to their G. Ethical Considerations:
requirements and expectations. It focuses on understanding Explanation: Within the research design, ethical
users' needs, behaviours, and preferences to inform the design considerations play a crucial role, particularly in obtaining
of immersive experiences. informed consent for data collection, especially concerning
B. Experimental Research Component: eye tracking data, and in ensuring participants' privacy.
Explanation: Experimental research involves V. THE DATA ANALYSIS TECHNIQUES
manipulating variables to test hypotheses and make causal The data analysis techniques used in a study titled
inferences. In the context of this study, researchers may "Enhancing Immersive 3D Experiences: The Role of Eye
conduct controlled experiments to assess the impact of eye Tracking in Achieving Intuitiveness and Seamless
tracking on user interactions within immersive environments. Interaction" involve processing and interpreting the eye
Experimental Variables: Researchers may manipulate tracking data collected during the experimental and
variables such as the presence or absence of eye-tracking observational phases. These techniques aim to extract
technology, the type of gaze-based interactions, or the meaningful insights into user gaze behaviour and interactions
placement of interactive elements within the environment. within immersive environments. Here's an explanation of
potential data analysis techniques along with relevant sources:
Hypotheses: We could formulate ideas based on expected
outcomes, such as improved user performance, increased A. Gaze Behavior Analysis:
immersion, or enhanced intuitiveness when integrating eye Explanation: When conducting gaze behaviour analysis,
tracking into the immersive environment. researchers examine various aspects of eye tracking data, such
Data Collection: Experimental data collection may as gaze points, fixations, saccades, and gaze heatmaps, to gain
involve measuring user performance metrics (e.g., task insights into user behaviour and interactions. Researchers can
completion time, accuracy), user feedback (through surveys or gain insights into where users are looking, how long they
interviews), and eye tracking data (e.g., gaze paths, fixations, focus on specific elements and the sequence of their visual
and heatmaps). attention.

C. Observational Research Component: Techniques: Several techniques can be employed, such as

identifying regions of interest (ROIs), calculating dwell times,
Explanation: Observational research systematically and determining the order of fixations. Eye-tracking software
observes and records participants' behaviour and interactions often provides tools for these analyses (9).
in a natural or controlled setting. Observational research
complements the experimental approach in this study by B. Statistical Analysis:
providing insights into users' honest gaze behaviour. Explanation: Researchers use statistical analysis to
Data Collection: Researchers may gather observational identify significant patterns or differences in eye-tracking data
data by tracking participants' gaze behaviour as they interact between experimental conditions. This analysis helps

47
determine the impact of eye-tracking technology on user immersive 3D environments. We employed a user-centred
interactions. design approach, combining experimental and observational
research methods to collect and analyze data. Here are the key
Depending on the research questions, researchers may findings:
employ techniques like t-tests, ANOVA, chi-square tests, or
regression analysis to analyze and compare data across A. Gaze Behavior Analysis:
conditions or groups (10). Fixation Patterns: Participants consistently exhibited
C. Heatmap Visualization: patterns of fixations on interactive elements within the
immersive environment. These fixations often corresponded
Explanation: Heatmaps visually represent gaze data, to areas of interest and importance.
showing areas of the screen or environment where users have
focused their attention the most. Heatmaps can reveal the Saccade Frequencies: Integrating eye tracking resulted in
distribution of fixations and places of interest. users achieving a smoother and more focused visual
exploration, as indicated by the gaze data, which showed that
Techniques: Eye tracking software often provides they made fewer saccades.
heatmap generation tools, which create colour-coded
visualizations based on fixation duration and frequency (11). B. Statistical Analysis:
D. Qualitative Analysis: Enhanced Task Performance: Individuals utilizing eye-
tracking technology exhibited notable enhancements in task
Explanation: Qualitative analysis involves coding and completion time compared to those solely relying on
categorizing user interactions, feedback, and comments conventional controls.
obtained through interviews, surveys, or open-ended
questions. This analysis provides a deeper understanding of Decreased Errors: The eye-tracking group experienced
participants' experiences. significantly fewer errors, signifying more precise and
effective interactions.
Techniques: In qualitative data analysis, researchers may
use thematic analysis, content analysis, or grounded theory to C. Heatmap Visualization:
identify recurring themes and patterns (12). Gaze Heatmaps: Heatmap visualizations highlighted that
E. Usability Metrics: user naturally directed their gaze toward interactive objects
and elements, validating the intuitiveness of gaze-based
Explanation: Usability metrics assess user performance interactions.
and satisfaction within the immersive environment. These
metrics may include task completion time, error rates, user Heatmap Comparison: Comparing heatmaps between eye
ratings, and subjective feedback. tracking and non-eye tracking conditions confirmed that eye
tracking resulted in more focused and centralized attention on
Techniques: Descriptive statistics, such as mean, median, interactive elements.
and standard deviation, can be used to summarize usability
metrics. Researchers may apply inferential statistics to D. Qualitative Analysis:
compare metrics across conditions (13). User Feedback: A qualitative analysis of user feedback
F. Integration of Eye Tracking and Interaction Data: revealed a strong preference for eye-tracking-based
interactions. Participants reported feeling more in control,
Explanation: Integrating eye tracking data with interaction immersed, and engaged in the virtual environment.
data (e.g., button presses, gestures) allows researchers to
examine how gaze behaviour corresponds to user actions and User Satisfaction: Participants consistently reported that
interactions within the immersive environment. the immersive experience enhanced by eye-tracking
technology was more enjoyable and intuitive.
Techniques: Researchers use temporal synchronization
and data alignment techniques to combine eye tracking and E. Usability Metrics:
interaction data for deeper analysis (14). Task Efficiency: Individuals in the eye tracking group
G. Heatmap Comparison: completed tasks significantly faster on average, pointing to
improved efficiency.
Explanation: Heatmap comparison involves comparing
gaze heatmaps between different conditions or user groups. Reduced Errors: Error rates were significantly lower in the
These techniques help researchers identify differences in eye-tracking group, indicating increased accuracy.
visual attention and interaction patterns.
F. Integration of Eye Tracking and Interaction Data:
Techniques: Statistical tests, such as the Mann-Whitney U Correlation with Actions: Analysis of the synchronized
or permutation tests, can assess significant differences in eye tracking and interaction data revealed a strong correlation
heatmap patterns (15). between gaze fixations and user-initiated actions,
The choice of data analysis techniques would depend on demonstrating the synergy between eye tracking and intuitive
the study's specific research questions and objectives. interactions.
Researchers may also employ these techniques to G. Heatmap Comparison:
comprehensively analyze how eye tracking influences user
interactions and intuitiveness in immersive 3D environments. Significant Differences: Mann-Whitney U tests confirmed
substantial differences in heatmap patterns between the eye-
RESULTS tracking and non-eye-tracking groups, highlighting the impact
of eye-tracking on visual attention.
In our study, we aimed to investigate the role of eye
tracking in enhancing intuitiveness and interaction within

48
 In conclusion, our study provides compelling evidence [6] Author: Andrew M. Colman, Game Theory and Experimental Games.
that integrating eye-tracking technology into immersive 3D The Study of Strategic Interaction 1st Edition, Pargamon, 1982
environments enhances intuitiveness and interaction. Users [7] P. Sweetser, Z. Rogalewicz, Q. Li, "Understanding Enjoyment in VR
Games with GameFlow", Proceedings of the 25th ACM Symposium
naturally gaze toward interactive elements, resulting in on Virtual Reality Software and Technology November, Article No 96,
improved task performance, reduced errors, and higher user Pages 1–2, 2019
satisfaction. These findings emphasize the potential of eye [8] David J. Harris, Kyle J. Hardcastle, Mark R. Wilson, and Samuel J.
tracking as a valuable tool for optimizing the design of Vine, "Assessing the learning and transfer of gaze behaviours in
immersive experiences across various domains. immersive virtual reality", Virtual Reality, Volume 25, pp. 961–973,
2021
REFERENCES [9] K. Holmqvist, M. Nyström, R. Andersson, R. Dewhurst, H. Jarodzka,
J. Van de Weijer, "Eye Tracking: A Comprehensive Guide to Methods
[1] M. Amin Kuhail, A. ElSayary, Sh. Farooq, A. Alghamdi, "Exploring
and Measures", Oxford University Press, 2011
Immersive Learning Experiences: A Survey", Informatics 2022, 9(4),
75; https://doi.org/10.3390/informatics9040075 [10] A. Field, Discovering Statistics Using IBM SPSS Statistics, Sage
Publications, 2018
[2] J. Cug, S. Machcinik, G. Lăzăroiu, "Digital Twin-enabled Industrial
Internet of Things, Immersive Metaverse and Machine Intelligence [11] A. T. Duchowski, "Eye Tracking Methodology: Theory and Practice",
Technologies, and Event Modeling and Forecasting Tools in Simulated Springer, 2007
3D Extended Reality Environments", Journal of Self-Governance and [12] V. Braun, V. Clarke, "Using thematic analysis in psychology",
Management Economics, Issue No: 1, pp. 57-72, 2023 Qualitative Research in Psychology, 3(2), 77-101, 2006
[3] M. Durampart, Ph. Bonfils, "Immersive environments and digital [13] J. Sauro, J.R. Lewis, "Quantifying the User Experience: Practical
devices. Experimental studies and distanced approaches", Statistics for User Research", Morgan Kaufman, 2012
ESSACHESS - Journal for Communication Studies, Issue No: 01, pp. [14] A.T. Duchowski, "Eye Tracking in Virtual Reality", Springer, 2017
107-124, 2013
[15] G. N. Wilkinson, C. E. Rogers, "Symbolic description of factorial
[4] Jennifer Romano Bergstrom, Andrew Schall, Eye Tracking in User models for analysis of variance". Applied Statistics, 22(3), 392-399,
Experience Design 1st edition, Imprint: Morgan Kaufmann, 2014 1973
[5] G. Valenzise, M. Alain, E. Zerman, C. Ozcinar, Immersive Video
Technologies, 1st Edition, Academic Press, 2022

49
 Enhancing Education Through Virtual Reality: A
Focus on User Experience
Gulsah ATAS Damla TOPALLI Nergiz Ercil CAGILTAY
Computer Engineering Department Computer Engineering Department Software Engineering Department
Atilim University Atilim University Cankaya University
Ankara, TURKEY Ankara, TURKEY Ankara, TURKEY
[email protected] [email protected] [email protected]

Abstract— Virtual Reality (VR) is a technology that creates training methods, practical training with VR enables
immersive and interactive environments that can simulate students to immediately see the results of their activities.
various real-world and imagined scenarios. VR technologies Because they may freely observe and select how to explore
have gained substantial attention in recent years due to their the topic, students have greater freedom in the method of
potential to transform the educational landscape. VR has the
potential to enhance the learning experience and outcomes of
learning when using VR applications. Using a variety of VR
students by providing them with engaging, authentic, and applications can potentially improve students' learning
personalized learning opportunities. The utilization of VR in performance using instructional design ideas and
education offers immersive and engaging learning approaches. Hence, the objective of this study is to review
environments, allowing students to interact with subjects in the advantages, challenges of using VR in education and
novel ways through simulations, virtual laboratories, and 3D identify the influence of educational VR systems on User
models that enhance comprehension and retention of Experience (UX).
complicated objects. However, designing effective and user-
friendly VR educational applications poses many challenges II. METHODOLOGY
and requires a deep understanding of the principles and
practices of User Experience (UX) design. UX design is the In order to analyze the associations between UX and VR
process of creating products that are useful, usable, and applications in educational contexts, the following search
desirable for the users, based on their needs, preferences, and query was used on April 2023 to retrieve relevant articles
emotions, thus UX plays a crucial role in the successful from Web of Science database.
implementation of VR in education. This article delves into
various applications of VR in education and the observed (“VR” OR “VIRTUAL REALITY”) AND (“UX” OR
effects of various existing VR applications on UX, then discuss “USER EXPERIENCE”)
the challenges of using VR in education. Through reviewing
the current state of VR in education, we highlight the critical
Initially, a total of 1634 results were retrieved from the
aspects of UX within VR educational applications, recognizing
its pivotal role in shaping effective and engaging learning database. Only review articles such as systematic review,
environments. The findings emphasize the importance of scoping review, literature review, integrative review,
interaction design, presence and motivation in enhancing the technological review and systematic literature review
UX in the context of educational VR applications. The design articles were included in this study. 52 articles were left to
principles and elements for VR educational applications, such analyze after excluding all article types other than reviews.
as creating immersive and realistic environments, supporting Studies published in the last ten years were included in this
natural and intuitive interactions, providing clear and review. No exclusion criteria had to be applied, since the
consistent feedback, ensuring comfort and safety, and fostering resulting 52 articles were all published between the years
social and emotional engagement are found to improve the
2013 and 2023. The next criteria aimed to include studies
overall UX. Moreover, some drawbacks of using VR in
education are defined as timing constraints and the cost of only in English. There was one article in French, thus 51
technical equipment. We hope that this paper will provide a articles remained after excluding non-English articles. Out
useful reference and inspiration for researchers, educators, of the 51 articles, 11 were related to educational or training
developers, and designers who are interested in creating VR applications with VR.
educational applications that can enhance the learning
experience and outcomes of students. III. RESULTS
The results show that immersive VR applications are
Keywords—Virtual Reality, User Experience, Education
being used in higher education as well as K-12 (primary and
secondary) educational settings to support a variety of
I. INTRODUCTION instructional design approaches and objectives. STEM
Virtual Reality (VR) is a sophisticated human-computer education, which stands for Science, Technology,
interface that simulates a life-like and authentic world where Engineering and Mathematics, is a rapidly growing and
users are able to move around, alter the environment, and crucial field in education. Various applications of VR in
view it from different points of view [1]. Three qualities are primary and secondary education, as well as higher
essential for a VR system: responsiveness to user input, real- education in context of healthcare education are analyzed in
time 3-D graphics, and immersion. The main goal of VR is the following subsections.
to immerse the user in a virtual environment that simulates A. VR in Primary and Secondary Education
presence.
With the use of VR technologies, there are incredible
prospects to enhance student performance and learning Using VR technologies in STEM education results in
outcomes in the classroom. In contrast to conventional improved learning outcomes and enhances the effectiveness

50
of teaching practices, as well as improved usability [2], [3]. and receive immediate feedback while the tasks are being
According to students’ positive attitudes towards VR, and carried out. In instructional design contexts, VR
learning outcomes, performance and accomplishment in technologies helped students transfer their experiences and
various STEM subjects, VR enhances learning [3]. prior knowledge, which improved their conceptual
understanding. Furthermore, VR may help students better
visualize their ideas and reflect on their self-learning
VR offers a variety of learning benefits because students experiences. Students can be more focused on experimental
are allowed to access top-notch instructional resources with assignments that encourage the practice of learning by
realistic simulated representational fidelity produced by doing, while identifying their mistakes more accurately
computer devices. Mobile VR is one example of a compared to traditional methods of teaching [6].
straightforward technical solution that is low-cost and still
offers experiences that are independent of time and space
B. VR in Higher Education: Healthcare
constraints. Although it would not be wise to conclude that
VR is the sole contributing factor in improved learning
outcomes, there are many positive effects that VR For healthcare professionals and medical students, VR
technologies can offer in education as listed below [2], [3]. can offer an immersive and productive learning experience.
In VR healthcare simulations, real-world patient experiences
are seen to be the most motivational elements. Healthcare
● Engagement practitioners can practice new skills and learn from mistakes
in a secure and comfortable environment using VR
simulations without endangering patient safety [7]. VR
Throughout the learning process, which is especially technologies can be used to implement serious games (SGs).
important for STEM subjects, engagement is found to be An SG is designed for other reasons than only for
one of the key factors, and it can be fostered with immersive entertainment. Professional training can be achieved through
media. Engagement refers to the student’s collaborations SGs, for example in healthcare technical and non-technical
with each other and their teachers. VR creates an skills can be taught through SGs [8]. Previous research has
environment where the students' ability to work in groups is shown mostly positive attitudes towards training with VR
improved and students engage in self-controlled learning. and SGs in the field of healthcare [9].
Increased engagement during collaborative learning tasks
leads to discovery and problem-solving. VR increases the Three different types of VR technologies were
motivation and engagement for learning in students, recognized as being used for healthcare learning: the most
compared to a traditional classroom setting. Through active popular one was haptic simulators, simulators that run on
instructional methods that allow students to both observe computers were the second most popular and a small
and explore interactive elements, students can actively number of studies identified HMD systems [9]. Haptic
participate in a variety of tasks in order to choose the simulators were mostly employed in medical or surgical
appropriate points of view using 3D virtual models or training. The majority of the time, computer-based
elements for knowledge acquisition, which affects the simulations were utilized to train healthcare professionals or
outcomes and performance of the students. in nursing education. Faculty in the healthcare industry were
trained using HMD simulators [9].

HMDs are the most immersive VR systems, allowing the

● Cognitive Thinking Skills
user to fully immerse themselves in the virtual environment.
The user can have the most realistic and immersive
experience possible with the help of HMDs, since HMDs
The use of an immersive work interface that enables completely isolate the user from the physical environment.
rapid 3D conceptual design and presenting experience The small number of studies that used HMDs for healthcare
enhances the learning outcomes for students, as well as the education could be attributed to insufficient research in this
learning performance of students. Most research conducted area currently because HMD technology remains fairly new
for K12 education found that students were able to develop in the healthcare sector. The discovery approach, in which
their cognitive thinking abilities related to creativity, students are encouraged to build their own knowledge
problem-solving, critical thinking, and metacognition as through a self-directed learning experience, was the most
well as deep learning of complex content [2], [4], [5]. When successful VR-supported instruction strategy [9].
students are successful in achieving greater immersion and
presence, VR can help them learn more and achieve better Moreover, education that involves teamwork appears to
academic outcomes. be a promising subject for further study. Due to the intricacy
of carrying out this instructional method at the moment, not
many efforts are being directed by it; however, future
● Experience advancements in VR hardware and software development
may pave the way for this creative study sector. In-game
problem-solving exercises appeared to have improved the
Through the use of VR technologies, students have the quality of the students' solutions.
chance to direct the learning materials in "hands-on" tasks

51
 VR technologies therefore offer a lot of promise for use communicated between them at various times. Because of
in healthcare practice and education as the popularity and this, more people may be able to virtually watch
adoption of HMDs significantly increase, providing more neurosurgical procedures from anywhere in the globe, in
immersion and thus better learning outcomes. In addition, as places of the world where access to relevant knowledge is
HMD technology spreads, users will become accustomed to limited, using such an asynchronous and distributed
it and more familiar with it. The use of the newest HMD teaching technology that records surgical procedures and
technology differs significantly from other technologies, and gives viewers control over video playback can help to
the quality of the various interactive technologies rely on advance surgical education.
user-centric designs.

VR technologies have been found to be used in The intricate anatomy involved in neurosurgery
healthcare simulations in surgical operation training. The contributes to its complexity, which is why having a
integration of clinical practice with simulator practice is thorough understanding of anatomy is essential. Learning
achieved through surgical simulators [7]. In the current topographic and operative anatomy while immersed in a
system of surgical education, less experienced doctors or virtual environment may help students remember the topics
students are taught by more seasoned specialists using actual more vividly. Technologies for virtual volume rendering are
patients. Yet, mistakes made during a genuine surgery might occasionally employed as an addition to XR when used with
be extremely difficult or even impossible to fix. The precise 3D models or haptic feedback apparatus. Using
patient's safety during surgery is vital, and it cannot be illusions of tissue deformation, surgical processes are to be
compromised for the sake of teaching. These factors make realistically simulated. A more complete experience is
surgical simulators safer for use in surgical training. In produced by presenting its behavior when enough force is
recent years, surgical simulation programs have rapidly applied to it with a virtual or actual tool, or by giving
grown in popularity as a viable method of resident training. consumers tactile feedback. A completely new facet of
Interactive platforms are better for illustrating complex performance evaluation is exposed when haptic devices are
anatomical connections. For a range of surgical simulators, employed in an XR application, primarily through the
including those used for laparoscopic, endoscopic, and tracking of force, motion, tremor, and hand ergonomics.
microsurgical training, several simulation components have Prior experience with simulation technologies and having
been used. A more realistic 3D perspective is created via experience in other medical procedures had no noticeable
stereoscopy, and more sophisticated systems may even impact on the users' opinions of the simulators, and resident
simulate dynamic perspective using user head and eye users of VR surgical simulators need less time to effectively
movements. Tactile properties can be simulated through learn how to use haptic devices during simulations [7]. The
haptic feedback. These technologies allow students to users’ performance tends to improve more over time in less
perfect their skills by allowing interaction with virtual 3D risky and with less variable operations [7].
objects placed in either real-world imagery or virtual
settings. With a wide range of both objective and subjective
metrics, XR technology has the potential to improve Many medical specialties now use surgical training
neurosurgical education. Training for a neurosurgical simulators to provide training in a controlled environment,
residency requires the accumulation of practical skills, as well as to objectively assess abilities and monitor
theoretical knowledge, and procedural knowledge over a progress. Virtual simulators have clearly differentiated UX
number of years. Even after leaving residency, these skills levels during simulated surgeries, demonstrating construct
must be polished through further education and practical validity in various modules. Simulator performance in labs
experience. Similar to the aviation industry, simulation has has also improved. Reduced incidence of complications
given neurosurgery a "trial-and-error"-based learning from cataract surgery has been linked to the use of
method without endangering patients [7]. simulators in residency training [10]. Simulators for VR are
a valuable instrument for evaluating performance and
identifying the proficiency of trainees, and they may also be
The use of XR technology is one new method of putting helpful in enhancing surgical proficiency and patient
simulation into practice. Other than for educational outcomes during cataract surgery [10]. The ability to utilize
purposes, XR has been used in the medical field for a technological advancements in simulators for training and
variety of reasons, including preoperative surgical planning, research will determine future directions in the field of
intraoperative navigation, patient education, and informed healthcare.
consent. Research using XR technology has also
concentrated on how well surgeons work under pressure,
such as when they are sleep-deprived. Practicing in a virtual IV. DISCUSSION
environment adds valuable elements compared to a The results of the study are further discussed in this
traditional observation-based method of learning procedural chapter on the challenges of using VR in education and the
information in neurosurgical education. To better prepare implications on UX.
students for the wide range of actual scenarios, training in
an XR environment may also expose them to a sophisticated A. Challenges of Using VR in Education
library of scenarios. Additionally, these methods enable
remote learning, in which instructors and students are spread
out across different locations, and information is

52
 The use of VR applications could assist students in their number of hardware and software tools to have a seamless
education, because immersive technologies can promote learning experience.
practice-based tasks in specific contexts, such as simulations
in virtual laboratories. However, some challenges are
associated with using VR in K-12 and higher education. ● Instructor Feedback
Nonetheless, understanding the challenges that students face
using VR devices in education can assist instructional
designers to propose effective interventions and eliminate Another drawback of the majority of immersive VR
any possible boundaries. Despite the well-documented systems is the potential number of students that the
potentials that VR offers, there are a few noteworthy major instructor needs to give feedback at once. Usually, students
problems that should be mentioned [11]. For instance, lack the extensive knowledge to completely understand how
concerns like time management, instructional design to use VR technological equipment, therefore higher levels
contexts, and course organization need further attention. of cognitive overload might be present. Instructors have a
Due to their limited exposure to immersive technologies, larger responsibility in context of VR applications for
which was frequently documented by prior studies, students education, because they need to organize the teaching
must dedicate some time to learn how to use the necessary material in VR and give feedback to multiple students at
equipment. The realism and usability limitations that VR once [2], [3].
currently has may be resolved in the future due to the
technology's rapid growth. Accordingly, the challenges in
using VR in education can be listed as below [2], [3]. ● Cost

● Technical equipment The cost of the software and hardware will determine
whether VR is widely adopted in primary, secondary and
higher education. Low-cost VR headsets, like Google
Although VR is a cutting-edge technology that is Cardboard, offer affordable, dynamic, and portable learning
accessible to everyone, instructors and students may not experiences that are simple to set up for in-class learning.
always be able to use it to its fullest extent in different Yet, it has been argued that these low-end systems are to
training scenarios without considering any unique views that blame for students' physical challenges while using VR apps
this technology may provide. The expensive cost of some on their phones and also for increased simulator sickness
computing devices and the novelty effect of employing such values. As a result, more realistic interaction and navigation
immersive technologies in particular learning disciplines should be offered by VR applications. VR simulations
make it difficult for students to use the technical equipment should not be translated from a desktop computer medium
requirements. The deployment of such solutions is less to an immersive VR medium if the goal is to foster learning
feasible, especially in large-scale situations, due to the cost rather than merely a sensation of presence.
of the technological equipment and the preparation needed
for the design, development, and optimization of such
interventions. When students may find fundamental learning ● Time
resources within 3D interactive animations, game-based
learning (GBL) approaches are better suitable for topics that
require learning by doing tasks [8]. Students can more easily The majority of research shows that creating VR
provide in-depth answers if they can elaborate their material applications and using them in-class for learner tasks in
while interacting with 3D visual interactive models using time-constrained situations takes a significant amount of
HMD devices, because HMD tools helped students work time, due to the extra requirement of teaching how to use
with their peers more effectively. VR tools. Furthermore, the time needed to deploy VR-
supported instructional interventions, from the installation
of technological equipment until the final use, is another
● Motivation limitation for VR applications that should be considered.
This extends beyond the development time needed to create
a prototype application.
VR is not very useful if students are not motivated or
they don’t have an option to avoid using VR technologies.
For example, students' attendance and participation to ● Development of the Course Materials
acquire any learning material may be overloaded and
distracted in VR-supported instructional situations when
learning science. In contrast to communication in the real As demonstrated by other studies that found Unity to be
world, virtual communication might be impersonal or the most trustworthy platform for integrating educational
undesirable. To maintain interpersonal and group information into 3D VR apps, the implementation and
communication, VR applications and setups must offer a development processes call for sophisticated researchers and
variety of communication methods. VR users must operate a programmers. As a result, there is still a need for a free,

53
open-source, and/or user-friendly tool for developing VR While different simulation components including visual
applications. appearance, interactivity, immersion, feedback, and
competitiveness may improve learning, VR systems have
been shown to improve student performance. Haptic devices
B. VR in Education and UX
have the ability to produce more immersive and interesting
virtual learning environments as compared to computer-
As the use of VR technologies for learning in practice based simulations. Users seem to prefer using haptic devices
and education has grown, there are still very few UX studies over computer-based simulations for skill acquisition
in this area. UX has a significant effect on learning and because they feel more present and optimistic. This might be
motivation, according to earlier studies. Yet, because all VR explained by the fact that haptic devices give force feedback
events take place in the users' thoughts, each VR experience on the movements and physical characteristics of the virtual
is distinct and individual. Every person contributes in their objects. Thus, it can be said that haptic devices offer a
own special way to the virtual world by bringing their own greater possibility to study about UXs in immersive virtual
skills, experiences, and background. It's crucial to recognize environments than with computer-based simulations due to
the value of UX while using VR technologies in education. the nature of a more immersive system. Many variables,
Studies comparing the UXs of various VR systems are such as emotional state and presence, were proven to be
scarce in the field of healthcare because VR is a relatively induced by the contribution of VR technologies, however,
new technology. The majority of VR reviews in the there weren’t many studies that measured the learning
healthcare industry have concentrated on highlighting the performance of students [2], [3].
applications and advantages of VR in various areas of
healthcare practice and education. There are no reviews that
compare all of the UXs of the various VR technologies V. CONCLUSION
utilized in the context of education. VR technologies may have various applications in
educational contexts, including K12 and higher education.
Users of such systems, including students and instructors,
The better learning experiences the technology may be have positive impressions when using VR applications,
able to provide to users depend on how thoroughly the UXs despite the fact that there are still issues with technology and
are taken into consideration. Thus, both professionals and complexity that need to be resolved in the future. Employing
students may gain from the findings. Improved UXs result VR technologies in education improve perceptions and
in better learning, which can help patients receive better care attitudes toward learning through UX evaluation. The most
and adopt safer behaviors in the field of healthcare valuable factors of UX in educational VR applications were
education. Improved patient outcomes will occur as a result found to be realism, immersion, presence, interactivity and
of better education. With the advancement of VR motivation. Some limitations of VR technologies in
technology, users will be able to have the fullest experiences education are still present, such as limitations in usability,
possible, which will improve skill development, allow for realism and the lack of availability of VR tools due to high
remote access to training, lead to the development of novel costs.
training techniques, and improve patient safety. Machine
learning can be used to assess talents more accurately REFERENCES
because it might be difficult to know which metrics to use.
Such a method might be useful in future studies to evaluate [1] J. M. Zheng, K. W. Chan, and I. Gibson, “Virtual reality,” IEEE
performance by considering overall performance rather than Potentials, vol. 17, no. 2, pp. 20–23, 1998, doi: 10.1109/45.666641.
particular indicators [4]. [2] N. Pellas, S. Mystakidis, and I. Kazanidis, “Immersive Virtual Reality
in K-12 and Higher Education: A systematic review of the last decade
scientific literature,” Virtual Real, vol. 25, no. 3, pp. 835–861, Sep.
2021, doi: 10.1007/s10055-020-00489-9.
The perception of realism users encounter while [3] N. Pellas, A. Dengel, and A. Christopoulos, “A Scoping Review of
engaging in surgical simulations in an XR environment is a Immersive Virtual Reality in STEM Education,” IEEE
TRANSACTIONS ON LEARNING TECHNOLOGIES, vol. 13, no. 4,
crucial element in determining the quality of the learning pp. 748–761, Oct. 2020, doi: 10.1109/TLT.2020.3019405.
experience. Realism in this sense refers to the accuracy of [4] J. Lu, M. Schmidt, M. Lee, and R. Huang, “Usability research in
the visuals, interactivity, and context of the application and educational technology: a state-of-the-art systematic review,”
measures how closely the visual and tactile stimuli resemble ETR\&D-EDUCATIONAL TECHNOLOGY RESEARCH AND
a real-life scene in the users' minds. The quality of the DEVELOPMENT, vol. 70, no. 6, pp. 1951–1992, Dec. 2022, doi:
10.1007/s11423-022-10152-6.
teaching increases with the simulation's realism. UX in the
[5] Y. Georgiou and E. A. Kyza, “Bridging narrative and locality in
context of VR learning applications involve five different mobile-based augmented reality educational activities: Effects of
aspects: presence, immersion, flow, empathy and a sense of semantic coupling on students’ immersion and learning gains,” Int J
embodiment [11]. It’s important to note that all these aspects Hum Comput Stud, vol. 145, Jan. 2021.R. Nicole, “Title of paper with
are interconnected, where improvement of one of them only first word capitalized,” J. Name Stand. Abbrev., in press.
[6] C. Schott and S. Marshall, “Full-immersion virtual reality for
effects the others. Therefore, the development process experiential education: An exploratory user experience analysis,”
should focus on all factors of UX as a whole, instead of Australasian Journal of Educational Technology, vol. 37, no. 1, pp.
focusing on only improving one. 96–110, 2021.
[7] A. Iop et al., “Extended Reality in Neurosurgical Education: A
Systematic Review,” SENSORS, vol. 22, no. 16, Aug. 2022, doi:
10.3390/s22166067

54
[8] V. Nagalingam and R. Ibrahim, “User Experience of Educational [10] S. Sikder, K. Tuwairqi, E. Al-Kahtani, W. G. Myers, and P. Banerjee,
Games: A Review of the Elements ,” Procedia Comput Sci, vol. 72, “Surgical simulators in cataract surgery training,” BRITISH
pp. 423–433, 2015. JOURNAL OF OPHTHALMOLOGY, vol. 98, no. 2, pp. 154–158,
[9] H. Makinen, E. Haavisto, S. Havola, and J.-M. Koivisto, “User Feb. 2014, doi: 10.1136/bjophthalmol-2013-303700.
experiences of virtual reality technologies for healthcare in learning: [11] A. Mohammad and L. Pedersen, “Analyzing the Use of Heuristics in
an integrative review,” BEHAVIOUR \& INFORMATION a Virtual Reality Learning Context: A Literature Review,”
TECHNOLOGY, vol. 41, no. 1, pp. 1–17, Jan. 2022, doi: INFORMATICS-BASEL, vol. 9, no. 3, Sep. 2022, doi:
10.1080/0144929X.2020.1788162. 10.3390/informatics9030051.

55
 Derin Öğrenme Yöntemi ile Görüntü Temelli
Elektrik Teli Tespit ve Uyarı Sistemi
Nida ESEN Öykü Su BAŞARAN Prof. Dr. Kemal FİDANBOYLU
Bilgisayar Mühendisliği Bölümü Bilgisayar Mühendisliği Bölümü Bilgisayar Mühendisliği Bölümü
Mühendislik Fakültesi Mühendislik Fakültesi Mühendislik Fakültesi
Bursa Uludağ Üniversitesi Bursa Uludağ Üniversitesi Bursa Uludağ Üniversitesi
Bursa, Türkiye Bursa, Türkiye Bursa, Türkiye
[email protected] [email protected] [email protected]

Özet—Döner kanat hava araçlarının uçuşlarını güvenli bir Elektrik tellerinin tespit edilmesi ve döner kanatlı hava
şekilde sürdürebilmeleri, potansiyel tehlikelerin doğru bir araçlarının olası kazalarını önlemek için bir dizi yöntem
şekilde tespit edilmesiyle mümkündür. Havacılık kaza bulunmaktadır. Bunlardan, LiDAR ve radar gibi sistemler en
raporları incelendiğinde, elektrik tellerinin döner kanat hava yaygın olanlardır. Ancak bu sistemler, hava koşulları gibi
araçları için büyük bir tehdit oluşturduğunu görürüz. Bu kısıtlara fazla hassas sistemlerdir. Bu sistemlerin yalın
çalışmada, elektrik tellerinin gerçek zamanlı olarak tespiti için, kullanımları tam güvenlik ve güvenilirlik vaat etmemektedir.
derin öğrenme yöntemlerinden biri olan Konvolüsyonel Sinir Maliyet ve boyut konusunda da her araca uygun sistemler
Ağları modelini kullanarak geliştirmiş olduğumuz bir sistemi değillerdir. Tüm bu eksiklikler ve kısıtlar göz önüne
sunuyoruz. Önerdiğimiz modelin eğitim aşamasında kullanılan
alındığında, görüntü temelli yöntemlerden, bilgisayarlı görü
veri kümesi oluştururken, farklı hava koşullarına ve çeşitli
arka plana sahip görseller içermesine dikkat edilmiştir.
alanından yararlanmak bir alternatif olarak karşımıza
Elektrik tellerinin ince yapısından kaynaklanan tespit çıkmaktadır. Derin öğrenme, özellikle Evrişimsel Sinir Ağları
edilebilme zorluğunu aşabilmek için, görüntü işleme (CNN) alanında elde edilen yenilikler, bu problemin çözümü
tekniklerinden faydalanılmıştır. Yapılan çalışmalar için önemli katkılar sunmaktadır.
sonucunda, elde etmiş olduğumuz başarım oranı validasyon Bu bildiride, monoküler kamera verileri ve derin öğrenme
test seti üzerinde %96, eğitim seti üzerinde ise %94
yöntemleri ile görüntü tabanlı bir elektrik teli algılama ve
civarındadır.
uyarı sistemi sunulmaktadır.
Anahtar Kelimeler—Elektrik teli tespiti, döner kanat hava
aracı güvenliği, derin öğrenme, CNN modeli, görüntü işleme
II. LİTERATÜR ARAŞTIRMASI
Abstract—Rotary wing aircraft can continue their
flights safely by correctly detecting potential hazards. Elektrik tellerinin havacılık alanında neden olduğu
When aviation accident reports are examined, we see that kazalara çözüm üretebilmek için öncelikle problemin
electrical wires pose a major threat to rotary wing aircraft. sebepleri incelenmeli ve tartışılmalıdır. Yayınlanmış olan
In this study, we present a system that we have developed kaza raporları bu doğrultuda bizlere iyi kaynaklar ve
using the Convolutional Neural Network model, one of the başlangıç noktaları sunmaktadır.
deep learning methods, for real-time detection of electrical
wires. While creating the dataset used in the training phase of Döner kanat hava araçları açısından bakıldığında görece
our proposed model, care was taken to include images with alçak uçuş operasyonları, tellerin büyük tehditler
different weather conditions and various backgrounds. oluşturmasının nedenlerinden birisidir [1-2]. 2012 Kasım
In order to overcome the difficulty of detection caused by tarihli bir yayında, pilotun tecrübesinin ve hava koşullarının
the thin structure of electrical wires, image processing iyi durumda olmasının elektrik telleri tehdidini azaltmadığı
techniques have been used. As a result of the studies,
belirtilmiştir [1], [3]. 2016 yılında İrlanda sınırları içerisinde
the performance rate we achieved is around 96% on the
gerçekleşmiş bir helikopter kazasının raporunda belirtilen 15
validation test set and 94% on the training set.
km’lik görünürlük mesafesine sahip hava durumunda dahi
Keywords—Power line detection, safety of rotary-wing aircraft, tellerin ince yapılarından kaynaklı olarak pilota algı
deep learning, CNN model, image processing. konusunda sorun yarattığı belirtilmiştir [4-6]. Pilot, verdiği
röportajda güneş gözlüğü kullanmamasına rağmen güneşten
rahatsız olmadığını ve telleri yeterince iyi algılayamadığı için
I. GİRİŞ şaşırdığını söylemiştir [4]. Ancak, 14 Ağustos 2015 tarihli bir
kaza raporu incelendiğinde, ortalama hızda bir hava aracında
Kolay ulaşılabilir durumda olmaları sebebiyle bireysel
elektrik tellerinin neredeyse görünmez hale gelmesinin
kategoride kullanılan drone gibi döner kanat hava araçları
hava trafiğine rahatça karışabilmektedir. Trafiğin artması sebebinin, insan gözündeki kaslar ve bazı arka plan
kazaların da artışını doğrudan etkilemektedir. gürültüleri ile alakalı olduğu anlaşılmaktadır [7].

Günümüzde, alçak irtifada seyir yapan hava araçları için NASA'nın yaptığı istatistiksel bir çalışma sonucunda,
en büyük tehdit elektrik telleridir. Elektrik tellerinin ince tehlikeyi algılayıp pilotu uyaran çözüm sisteminin kazaları
yapılarından dolayı, hava araçları tarafından güvenli %76 oranında azaltabileceği öngörülmüştür. Mevcut olarak
mesafelerden fark edilmeleri oldukça zordur. Yağmur, bulut kullanılan HELLAS gibi sistemlerin boyut ve maliyet
ve sis gibi kötü hava koşullarında, elektrik tellerinin fark
edilmeleri daha fazla zorlaşmaktadır. 56
açısından verileri dikkate alındığında görece küçük hava Ülkemizde yayınlanmış olan başka bir çalışma raporunda,
araçları için uygun olmadığı sonucu gözlemlenmiştir [1]. pilotların görevlerine daha iyi odaklanabilmeleri için görüntü
işleme tabanlı EDLines yöntemi sunulmuştur. Algoritma, gri
2005 yılında Çin’de yapılan çalışmada, elektrik telleri
tondaki görsel üzerinde 4 adımda uygulanmıştır. İlk adımda,
kaynaklı hava kazalarında pilotun sorumluluğunu azaltmak
Gaussian filtresi ile gürültüler yumuşatılmıştır. İkinci
ve aracın güvenliğini arttırmak amaçları ile yola çıkılmıştır.
adımda, Sobel filtresi ile piksellerin eğim yönü ve büyüklüğü
Tel kazalarında milimetre dalga sistemi ile lazer sisteminin
hesaplanmıştır. Üçüncü adımda, eğim haritasındaki zirve
avantaj ve dezavantajları göz önünde bulundurulmuştur.
piksellerden “çapalar” hesaplanmıştır. Dördüncü adımda ise,
Hava araçlarının engelden kaçınma konusunda lazer
bu noktalar Kenar Çizimi (ED) yöntemi ile birleştirilmiştir.
görüntüleme radarının performansını arttırmak için
ED algoritması, çapa pikselden başlayarak etrafındaki
optimizasyonlar kullanılmıştır. Doğru bir dalga formu
piksellerin eğim değerlerini kullanarak diğer çapa pikseline
seçeneğinin kullanılmasının Sinyal Gürültü Oranı'nda (SNR)
ulaşmaktadır. Bu tespit yönteminin hava durumu ve arka plan
ve lazer güç kullanımında önemli iyileştirmeler
dezavantajlarına rağmen iyi performans gösterdiği
sağlayabileceği belirtilmiştir. Tüm hava şartlarında
açıklanmıştır [13].
uygunluk, 20~30 mm boyut aralığındaki kabloların
algılanabilmesi, açısal çözünürlük vb. etmenler radarın Günümüzde, bilgisayarlı görü alanında kullanılan
performans parametreleri olarak ele alınmıştır. Milimetre konvolüsyonel ağ teknolojileri görüntü tabanlı tespit ve uyarı
dalga bandının sis, yağmur gibi kötü hava koşullarında dahi sistemlerinin temelini oluşturarak performans ve doğruluk
tespit için en dengeli bant olduğu belirtilmiştir [8]. açısından gelişmeler elde edilmiştir. Bu doğrultuda, İHA'lar
için tel tespiti konusundaki sentetik veri ve genişletilmiş
2010 yılı Amerika merkezli başka bir çalışmada ise bu
konvolüsyonel ağlar (dilated convolutional networks)
durum, mevcut olarak kullanılan Kızılötesi (IR) veya görüntü
yöntemleri öneren bir çalışmada, insansız hava araçları için
tabanlı sistemlerin kötü hava koşulları dolayısıyla her zaman
30 mimari üzerinde ızgara araması gerçekleştirilerek
güvenilir olamayacağı belirtilmiştir [9]. Çalışma kapsamında,
performansları incelenmiştir [14].
Milimetre Dalga (MMW) radarının yüksek çözünürlük
yetenekleri çalışmaya uygun bir çözüm yöntemi olarak Bunların yanı sıra lazer temelli sistemlerin boyut
belirlenmesini sağlamıştır. Aktif MMW sensörlerinin mesafe açısından ve gürültü toleransı açısından görüntü temelli
verileri ve Bragg saçılma imzası gibi verileri ortaya çıkardığı sistemlerin önüne geçtiğini savunan pek çok araştırma ve
üzerinde durulmuştur. Test yönteminde “Lego radar çalışma mevcuttur. 2018 tarihli bir çalışmada, elektrik
tasarımı” kullanıldığı ve bunun bileşenleri kolayca hatlarının yakınındaki nesnelerin güvenli mesafelerini tespit
değiştirerek farklı radar sistemleri oluşturulması sağlandığı etmek amacıyla Lidar Odyometrisi ve Haritalaması (LOAM)
açıklanmıştır. Böylece farklı kullanımlar için belirli parçaları yöntemi önerilmiştir. LOAM, yüksek hızlı hareketli
optimize edebilme özgürlüğü sağlanmıştır. Geliştirilen ortamlarda bile doğru konum tahmini ve haritalandırma
MMW sensörü ile elektrik telleri verisi toplanmış ve ağırlık, yapabilen bir tekniktir. Bu yöntem, yüksek çözünürlüklü
boyut vb. açılardan küçük hava araçlarında kullanım lazer tarama verilerini kullanarak gerçek zamanlı olarak
potansiyelinin çok yüksek olduğu gözlenmiştir [10]. çevre haritaları oluşturmayı ve konumları belirlemeyi
amaçlamaktadır [15].
Ancak, 2019 tarihli bir çalışmada, görüntü tabanlı uyarı
sistemlerinin aracın boyutundan bağımsız olarak
helikopterden bireysel drone’lara kadar geniş bir kullanım
alanına sahip olduğu vurgulanmıştır. Bu durum, helikopter III. ÖNERİLEN YÖNTEM
kameralarının görüş mesafelerinin, IR sistemlerin algı Bu çalışmada, elektrik tellerinin tespiti için kameradan
menzillerinin kapasitesini fazla aştığı gerçeğini alınan görüntü verilerini kullanarak Evrişimsel Sinir Ağı
kanıtlamaktadır. Bu nedenle görüntü algılama tabanlı bir (CNN) derin öğrenme yöntemi kullanılmıştır. CNN'ler,
sistem geliştirmek planlanmıştır. Tellerin algılanması görüntü verilerinin işlenmesi ve görüntülerdeki özelliklerin
aşamasında Derin Evrişimsel Sinir Ağı (Deep CNN) tespiti için özel olarak tasarlanmış yapılardır. Derin öğrenme
mimarisi kullanılarak görüntü üzerinde mekânsal olarak temelli tespit ve sınıflandırma yöntemleri, görüntü verilerini
doğru tahminler elde edilmiştir. Tespit edilen teller, kareler içeren veri setleri üzerinde eğitilirler. Bu eğitim sürecinde, bir
arasında izlenip, kameranın küresel konumu yardımıyla görüntüdeki elektrik tellerinin varlığını veya yokluğunu
üçgenleştirilmiştir. Uçuş sürecinde üçgenlemeler potansiyel belirten etiketlenmiş verilere odaklanılmıştır.
telin konum belirsizliğini sürekli tahmin eden yeniden
Modeli eğitmek için kullanılan veri seti, farklı ortamlarda
yapılandırma filtresine beslenmiştir. Kısaca her yeni gözlem
ve değişen hava koşullarında çekilmiş çeşitli görüntüleri
üçgenleme yapılarak bir Kalman filtresine eklenmiştir. Sonuç
içermektedir. Veri kümesinin seçimi, zamanın etkili bir
olarak, kameranın görüş alanındaki elektrik tellerini tespit
şekilde kullanılmasını sağlamak, hem eğitim hem de test
edip, tahmini konumlarını raporlayarak pilota uyarı
döndürebilecek bir sistem elde edilmiştir [11]. CNN yapıları aşamaları için yeterli miktarda veriyi temin etmek amacıyla
görüntü tabanlı sistemlerin oluşturulmasında yüksek düzenli ve sıralı bir yapıda olmasına dikkat edilmiştir. Aynı
zamanda seçilen veri kümesinin fazla ön işleme
doğrulukla çalışan en uygun sistemler olarak tercih edilmiştir
gerektirmemesi tercih edilmiştir.
[11-12].
Geliştirilen modelin farklı hava koşulları, arka planlar ve
mesafeler altında nasıl performans gösterdiğini gözlemlemek

57
büyük önem taşımaktadır. Bu nedenle, döner kanatlı hava gradyan kaybı sorununun azaltılması ve düşük hesaplama
araçları tarafından elde edilen çeşitli görüntüler bir araya maliyetine sahip olmasından dolayıdır.
getirilerek bir video oluşturulmuştur.
Her iki evrişimsel katmandan sonra, özelliklerin
vurgulanmasını sağlamak ve özellik haritalarının boyutunu
küçültmek amacıyla en büyük öğeyi alma (max pooling)
A. Eğitim Kümesi
katmanı kullanılmıştır. Bu katman, belirli bir bölgedeki en
Modelin eğitimi için kullanılan veri seti, elektrik tellerini büyük özellik değerlerine çıkararak çalışmaktadır. Havuz
içeren/ içermeyen iki farklı kategorideki görüntülerden boyutu olarak 2x2 seçilmiştir, böylece özellik haritalarının
oluşmaktadır. Her bir kategoride 5.000 adet 3 boyutlu boyutları yarıya düşürülmüştür.
128x128 piksel görüntü bulunmaktadır. Şekil 1’de elektrik
teli içeren bir görüntü ve Şekil 2’de elektrik teli içermeyen Daha sonra, aşırı öğrenmeyi önlemek amacıyla düğüm
bir görüntü gösterilmektedir. seyreltme (dropout) katmanı kullanılmıştır. Bu katman, ara
katmanlarda %25 oranında, çıktı katmanında ise %50
oranında nöronları rastgele devre dışı bırakarak modelin
performansını arttırmayı hedeflemektedir.
Modelin son aşamasında, elektrik tellerini içeren/
içermeyen görüntüleri sınıflandırmak için yoğunluk (dense)
katmanı kullanılmıştır. Bu katman giriş olarak 1 boyutlu
verileri kabul ederken, 2 boyutlu özellik haritaları
düzleştirme işlemi ile vektörlere dönüştürülür. İlk yoğunluk
katmanında 512 nöron kullanılmış ve ReLU aktivasyon
fonksiyonu etkin hale getirilmiştir. Bu katmandan sonra
seyreltme işlemi uygulanmıştır. Son çıktı katmanı olan
yoğunluk katmanında ise 1 nöron ve sigmoid aktivasyon
fonksiyonu seçilmiştir. Bu çalışma, çıktı katmanında ikili bir
sınıflandırma problemi olduğundan 1 nöron kullanılmıştır.
Şekil 1. Elektrik teli içeren bir görsel Çıktı katmanında sigmoid fonksiyonu, 0 ile 1 arasında
olasılıksal bir çıktı elde etmek için tercih edilmiştir.
Modelin oluşturulmasında kullanılan katmanlar Şekil 3’te
gösterilmektedir.

Şekil 2. Elektrik teli içermeyen bir görsel

B. Modelin Oluşturulması
Bu çalışmadaki model, TensorFlow çerçevesi içindeki
Keras kütüphanesi kullanılarak oluşturulmuştur.
Model, görüntüleri işlemek için özelleştirilmiş 2 boyutlu
evrişimsel katmanlar kullanılarak inşa edilmiştir. Bu
evrişimsel katmanlar ile görüntüler üzerinde filtreler
aracılığıyla matematiksel hesaplamalar yapılarak örüntüler
öğrenilmiştir. Evrişimsel katmanların parametreleri arasında Şekil 3. Modelin oluşturulmasında kullanılan katmanlar
filtre sayısı, pencere boyutu, aktivasyon fonksiyonu ve
adımlama yer almaktadır. Bu katmanlarda kullanılan filtre
sayıları 16, 32, 64 ve 128 olarak artan bir sırayla seçilmiştir. C. Modelin Derlenmesi
Filtrelerin pencere boyutları ise 5x5 ve 3x3 olarak azalan bir
Modelin derleme aşamasında Derleme (Compile)
şekilde belirlenmiştir. Gizli katmanlarda aktivasyon
fonksiyonu kullanılmıştır. Bu fonksiyonun parametreleri
fonksiyonu olarak ReLU (Rectified Linear Unit) fonksiyonu
arasında optimizasyon, kayıp ve metrik yer almaktadır.
tercih edilmiştir. Bu seçimin sebebi, ReLU fonksiyonunun

58
 Modelin optimizasyon aşamasında Kök Ortalama Kare Modelin metrik parametresi seçiminde, sınıflandırma
Yayılım (RMSprop) fonksiyonu kullanılmıştır. RMSprop, problemlerinde kullanılan metrikler arasından Kesinlik
derin öğrenme optimizasyon fonksiyonları arasından bir (Precision), Duyarlılık (Recall), F-ölçütü (F-measure) ve
seçenektir. Bu fonksiyon, ağın öğrenme hızını ve kapasitesini Doğruluk (Accuracy) metrikleri değerlendirilmiş ve sonuç
etkileyerek, kayıp fonksiyonunun minimum değerine olarak Doğruluk metriği seçilmiştir. Derin öğrenme
yaklaşmayı amaçlamaktadır. Doğru bir optimizasyon bağlamında kullanılan bu metrikler, modelin performansını
fonksiyonunun seçimi, modelin performansını arttırma ölçmek amacıyla kullanılırlar. Doğruluk metriği, modelin
açısından önemlidir. Şekil 4’te fonksiyonların karşılaştırmalı doğru sınıflandırma yüzdesini ölçer; yani doğru şekilde
grafiği gösterilmektedir [16]. sınıflandırılan örneklerin toplam örnek sayısına oranını ifade
eder.
Derin öğrenmede yaygın olarak kullanılan metrikler Şekil
6’da gösterilmektedir [19].

Şekil 6. Derin öğrenmede yaygın olarak kullanılan metrikler [19]

Şekil 4. Optimizasyon fonksiyonlarının kayıp fonksiyonunda yakınsamasını

gösteren bir grafik [16] D. Modelin Eğitilmesi
Veri kümesi, %90’ı eğitim verisi ve %10’u doğrulama
verisi olarak bölünmüştür. Bu işlem train_test_split
Modelin kayıp fonksiyonu belirlenirken problemin ikili fonksiyonu kullanılarak gerçekleştirilmiştir. Sonrasında, tüm
sınıflandırma problemi olduğu dikkate alınarak İkili Çapraz bu veriler üzerinde normalizasyon yapılarak piksel
Entropi (Binary Cross Entropy) fonksiyonunun kullanılması değerlerinin 0-255 değer aralığından 0-1 değer aralığına
tercih edilmiştir. yeniden ölçeklendirilmesi sağlanmıştır.
Denklem (1) İkili Çapraz Entropi fonksiyonunu Eğitim veri kümesi, Geri Çağırma (Callback), Küme
göstermektedir [17]. Boyutu (Batch Size), Döngü (Epoch), Validasyon
1
(validation_data) parametrelerini alan Uydurma (Fit)
𝑞 = − ∑𝑁
𝑖̇=1 𝑦𝑖 ⋅ log(𝑃(𝑦𝑖 )) + (1 − 𝑦𝑖 ) ⋅ log(1 − 𝑃(𝑦𝑖 )) (1) fonksiyonu kullanılarak eğitim gerçekleştirilmiştir. Bir eğitim
𝑁
döngüsü olarak tanımlanabilen Döngü değeri başta 50 olarak
Şekil 5’te ikili çapraz entropi kayıp fonksiyonunun etiket seçilmiştir. Fakat, Geri Çağırma parametresinde kullanılan
değerlerine göre nasıl bir davranış sergilediği görülmektedir Erken Durdurma (Early Stopping) fonksiyonu ile en uygun
[18]. Döngü değeri belirlenmiştir. Bu yöntem aracılığıyla, izlenen
parametreye bağlı olarak en uygun değerin elde edildiği
Döngü belirlenmiştir. Bu yaklaşım, modelin aşırı öğrenme
(overfitting) veya yetersiz öğrenme (underfitting)
durumlarının engellenmeye çalışıldığı bir stratejidir.

IV. ARAŞTIRMA SONUÇLARI

Bu çalışmada önerdiğimiz CNN modeli, toplam 4007 adet
görsel ile önceden görülmemiş elektrik telleri içeren/
içermeyen görüntüler üzerinde test edilmiştir. Test
sonuçlarına göre, eğitilen modelin görmediği test verileri
üzerinde de hedeflenen %95 başarı oranına ulaştığı
gözlemlenmiştir.
Şekil 5. İkili Çapraz Entropi kayıp fonksiyonu [18] Şekil 7'de test sonuçlarını gösteren karışıklık matrisi
gösterilmektedir.

59
 V. TARTIŞMA
Yapılan çalışmalar sonucunda, elde edilen başarım oranı
validasyon test seti üzerinde %96, eğitim seti üzerinde %94
civarındadır. Çalışmanın ilerleyen aşamalarında farklı
yöntemler ve parametre ayarları kullanılarak elde edilen
sonuçlar, ayrıntılı bir şekilde değerlendirilmiştir.
İlk aşamada, genel model performansının daha geniş bir
perspektifle değerlendirilmesi amacıyla farklı veri setleri
kullanılmıştır. Bu adım, modelin genelleyici yeteneklerini
ölçmek ve çeşitli senaryolarda nasıl performans gösterdiğini
anlamak için önemlidir.
İkinci aşamada, aynı temel model üzerinde çeşitli
parametre değişiklikleri yapılmıştır. Seyreltme (dropout),
çekirdek boyutu (kernel_size), filtre (filter) ve aktivasyon
Şekil 7. Test sonuçlarını gösteren karışıklık matrisi fonksiyonu (activation function) gibi temel parametrelerin
değiştirilmesi, modelin öğrenme yeteneklerini ve özellik
çıkarma kabiliyetlerini etkileyebilir. Ayrıca, eğitim sürecini
Şekil 8’de veri seti üzerinde yapılan eğitim ve test yönlendiren faktörler olan döngü (epoch) değerleri,
aşamalarında elde edilen başarım oranı grafiği optimizasyon algoritmaları ve öğrenme oranı gibi
gösterilmektedir. hiperparametreler de dikkate alınmıştır. Bu değişikliklerin
modelin performansına olan etkisi titizlikle analiz edilmiştir.
Üçüncü aşamada, modelin mimarisine derinlik ve
karmaşıklık eklenerek yeni varyasyonlar oluşturulmuştur. Bu
adım, modelin öğrenme yeteneklerinin daha da arttırılması
veya farklı görevlere adapte edilmesi amacıyla yapılmıştır.
Farklı katmanların eklenmesi veya çıkarılması ile oluşturulan
bu yeni modellerin performansı dikkatlice değerlendirilmiştir.
Tüm bu aşamalarda, farklı hava koşulları ve çevresel
faktörler altında çekilen videolardan oluşturulan demo video,
geliştirilen modellerin gerçek dünya uygulamalarındaki
davranışını simüle etmek için kullanılmıştır. Bu testler,
modellerin pratik kullanılabilirliğini ve güvenilirliğini
göstermek amacıyla önemlidir.
Sonuç olarak, çalışmanın bu aşamaları modelin
geliştirilmesi ve optimize edilmesi sürecini ayrıntılı bir şekilde
Şekil 8. Modelin başarım oranı grafiği ele almıştır. Elde edilen sonuçlar, çalışmanın başlangıçtaki
hedeflere ne kadar yaklaştığını ve modelin performansını
arttırmak için yapılan iyileştirmelerin etkisini yansıtmaktadır.
Test sonuçlarını daha iyi analiz edebilmek amacıyla TP
(True Positive - Doğru Pozitif), TN (True Negative - Doğru
Negatif), FP (False Positive - Yanlış Pozitif) ve FN (False
REFERANSLAR
Negative - Yanlış Negatif) değerleri kullanılarak hesaplanan
Özgüllük (Specificity), Hassaslık (Sensitivity), Doğruluk [1] S. Lau, "A plan for reducing wire strike accidents” Professional Pilot,
Nov. 2012, pp. 84-87.
(Accuracy) değerleri Tablo 1’de gösterilmektedir.
[2] R. Sabatini, M. A Richardson, E. Roviaro, “Development and Flight
Test of an Avionics Lidar for Helicopter and UAV Low-Level Flight”,
Journal of Aeronautics and Aerospace Engineering, Vol.2 (3), 2013,
TABLO 1. pp.1-13.
UÇTAN UCA SINIFLANDIRMA YÖNTEMİ İÇİN MODELİN [3] L. Mizero, Evaluation of existing technologies designed for helicopter
BAŞARISINI HESAPLAYAN METRİKLER against wire-strike, Iowa State University ProQuest Dissertations
Publishing, 2021.
Specificity Sensitivity Accuracy
[4] Air Accident Investigation Unit Ireland, Factual Report, Robinson R44
(TN/TN+FP) (TP/TP+FN) (TP+TN Raven I, G-HWKS Near BallyShannon, Co. Donegal, Ireland, May 28,
/TOTAL) 2016.

0.985 0.9261 0.953 [5] The Safety Wire, Airborne Law Enforcement Association, August
2017.
[6] V. Askue, “Wire Strikes-The Hidden Menace, Part I”, Air Medical
Journal, Vol. 23, No. 5, Sept. 2004, pp. 7-9.
[7] Lessons Learned: Wire Strike Incident With Potential, Pacific
Southwest Aviation, Aug. 14, 2015.

60
[8] W. Wei-ran, Y. Jin, “Design and Tests of A Cable Detection Laser
Imaging Radar System”, Journal of Electronic Science and Technology
of China, Vol. 3, No. 3, Sept. 2005.
[9] R. Chandrasekaran, A. P. Payan, K. B. Collins, D. N. Mavris,
“Helicopter wire strike protection and prevention devices: Review,
challenges, and recommendations”, Aerospace Science and
Technology, Vol. 98, March 2020.
[10] D.S. Goshi, Y. Liu, K. Mai, L. Bui, Y. Shih, “Cable imaging with an
active W-band millimeter-wave sensor”, IEEE MTT-S International
Microwave Symposium, Anaheim, CA, USA, 23-28 May 2010.
[11] A. Stambler, G. Sherwin, Patrick Rowe, “Detection and Reconstruction
of Wires Using Cameras for Aircraft Safety Systems,” International
Conference on Robotics and Automation (ICRA), Montreal, QC,
Canada, 12 August 2019.
[12] Ö. E. Yetgin, B. Benligiray, Ö. N. Gerek, “Power Line Recognition
From Aerial Images With Deep Learning”, EEE Transactions on
Aerospace and Electronic Systems, Vol. 55, No. 5, Oct. 2019, pp.
2241-2252.
[13] Ö. E. Yetgin, Ö. N. Gerek, “Hava Araçları İçin Tel ve Kablo Tespit
Sistemi”, 21st Signal Processing and Communications Applications
Conference (SIU), 2013.
[14] R. Madaan, D. Maturana, S. Scherer, “Wire Detection using Synthetic
Data and Dilated Convolutional Networks for Unmanned Aerial
Vehicles”, IEEE/RSJ International Conference on Intelligent Robots
and Systems (IROS), Vancouver, BC, Canada, 14 December 2017.
[15] J. Qian, X. Yuwen, X. Mai, “Real-time Power Line Safety Distance
Detection System Based on LOAM Slam”, Chinese Automation
Congress (CAC), Xi'an, China, 24 January 2019.
[16] https://theaisummer.com/optimization/
[17] https://androidkt.com/choose-cross-entropy-loss-function-in-keras/
[18] https://sparrow.dev/binary-cross-entropy/
[19] C. B. Anderson, “The CCB-ID approach to tree species mapping with
airborne imaging spectroscopy”, PeerJ 6:e5666, 2018.

61
 Öğrencilerin Canli Çevrimiçi Derslerdeki
Dikkat ve Duygu Değişimlerinin Görüntü
İşleme Teknolojisiyle İncelenmesi

Öğr. Gör. Emirhan GÜLEN Prof. Dr. Yüksel GÖKTAŞ

Bilgisayar Öğretim Teknolojileri Eğitimi Yazılım Mühendisliği
Atatürk Üniversitesi Atatürk Üniversitesi
Erzurum, TÜRKİYE Erzurum, TÜRKİYE
[email protected] [email protected]
ORCID: 0000-0002-8396-722X ORID: 0000-0002-7341-2466

Özet—Bu çalışma kapsamında canlı ders ortamında bir rol oynamaktadır. Öğrencilerin ekonomik nedenlerden
öğrencilerin duygularını ve dikkat düzeylerinin duygusal dolayı eğitim öğretim faaliyetlerini aksatmamasına yardımcı
hesaplama alanında kullanılan görüntü işleme teknolojisi ile olarak fırsat eşitliği sağlayabilmektedir [1], [2]. Ayrıca
belirlenmesi ve öğrencilerin duygularını etkileyen unsurların zamandan ve mekandan bağımsız eğitim-öğretim yapma
ortaya çıkarılmasını amaçlanmaktadır. Bu amaca ulaşabilmek felsefesinin bireylerde oluşmasıyla her anda ve her yerde
için geliştirilen (Duygu ve Dikkat Takip Sistemi) platformu ders çalışma ve yaşam boyu öğrenme gibi avantajlar
geliştirilmiştir. Diğer amaçlardan biri ise DUTAS platformu sağlamaktadır [3], [4]. Öte yandan uzaktan eğitim ortamları
aracılığıyla elde edilen verilerin tahmin gücünü belirlemektir. çeşitli olumlu gelişmelerin yanı sıra birtakım güçlüklerde
Canlı ders ortamında öğrencilerin duygularının belirlenmesi
karşılaşılmaktadır. Bu güçlükler; öğrencilerin duygularını
ve öğrencilerin duygularının etkilendiği unsurların ortaya
çıkarılmasını amaçlayan bu çalışmada karma araştırma
tanımlayamama [5], öğrencilerin memnuniyet düzeylerini
yöntemi altında açıklayıcı araştırma deseni kullanılmıştır. belirleyememe [6], öğrencilerdeki bazı duygusal
Araştırmanın nicel boyutunda deneysel araştırma deseni, nitel eksikliklerin oluşması [7], öğrencilerdeki motivasyon
boyutta ise durum çalışması deseni kullanılmıştır. düşüklüğünün yaşanması [8], eğitim süreçlerindeki düşük
Araştırmanın örneklemini Atatürk Üniversitesi Eğitim verimlilik elde edilmesi [9] olarak sıralanabilir. Alanyazında
Fakültesi ve İktisadi İdari Bilimler Fakültesinde lisans ve bu güçlüklerin aşılmasına yönelik; öğrencinin duygularını
yüksek lisans düzeyindeki toplam 40 öğrenciden oluşmaktadır. tanımlayıcı sistemler geliştirmek ve kullanmak [7], [10],
Örneklem belirlenirken seçkisiz olmayan örnekleme öğrencinin yaşadığı olumlu ve olumsuz duyguların sıklığına
yöntemlerinden amaçlı örnekleme yöntemi seçilmiştir. DUTAS bakılarak memnuniyet düzeyi belirlemek [6], öğrencinin
verileri, anket, gözlem formu, yarı yapılandırılmış görüşme yaşadığı olumlu ve olumsuz duyguların sıklığına bakılarak
formu ile veriler toplanmıştır. Toplanan verilerin analizi için motivasyon düşüklüğü belirlenen bireyler için motivasyon
betimsel analiz ve bağımlı guruplar t testi ve içerik analiz artırıcı materyaller geliştirmek [8], öğrencinin duygusal
yöntemleri kullanılmıştır. DUTAS platformu öğrencilerin problemlerinden dolayı yaşanan eğitim süreçlerindeki
şaşkın, üzgün, sinirli, korkmuş, iğrenmiş, mutlu, nötr’ü ve verimsizliği gidermek için, duygu ölçümü yapmak ve gerekli
dikkat düzeyini güvenilir oranda doğru ölçtüğünü, yorgun ve durumlarda duygusal destek sağlamak [9] önerilmektedir. Bu
diğer karmaşık durumların (Çözümlenmeyecek derecede kapsamda öğrenenlerin duygularının tanınması duygusal
karmaşık duygular) ise ölçümünde hata payının yüksek hesaplama (affective computing) kapsamında ele
olduğunu yani güvenirliğinin düşük olduğu belirlenmiştir. Öte
alınmaktadır.
yandan öğrencilerin canlı ders esnasında duygularını etkileyen
unsurların genellikle öğretim üyesi ile ilgili unsurlar (öğretim Duygu, dış veya iç bir uyarana karşı cevap olarak ortaya
üyesinin davranışları, ses tonu, iletişim becerileri, teknik çıkan durum olarak tanımlanabilir [11]. Dikkat ise zihin-
yeterlilikleri) olduğu ortaya çıkmıştır. Ayrıca öğrenciler gezinme olarak bilinen içsel düşünceler arasında sadece bir
akranlarından, canlı derse bağlandığı ortamdan, yaşanan düşünceye ne kadar iyi odaklanıldığının belirlenmesidir [12].
teknik problemler gibi farklı unsurlardan da etkilenmektedir. Bu kapsamda öğrencilerin olumlu duygular hissetmesinin ve
DUTAS platformu öğrencilerin duygularını yüksek oranda dikkat düzeylerinin yüksek olmasının, kaliteli eğitim-öğretim
doğru algılamaktadır. Öte yandan öğrencilerin duygu ve
süreçlerinin oluşturulması açısından önemli görülmektedir
dikkat düzeylerini etkileyen unsurların, benzer çalışmalar ile
[13]. Bir öğrenci mutlu olduğu zamanlarda görevlerini daha
paralellik gösterdiği sonucuna varılmıştır. Bu ve buna benzer
platformlar birçok farklı duygu hesaplama yöntemleri
istekli ve başarılı bir şekilde tamamlamaktadır [14]. Mutsuz
kullanılarak öğrencilerin duygu ve dikkat düzeylerinin olduğunda ise yerine getirmesi gereken işi tam motivasyonla
belirlemesi için kullanılabilir. yapması oldukça zor olmaktadır. Öğrencilerin eğitim-
öğretim süreçleri içerisinde duygu durumlarının
Keywords—Uzaktan eğitim, Canlı ders, Duygusal hesaplama, belirlenmesinde duygusal hesaplama teknolojisi
Görüntü işleme teknolojisi, Duygu ve Dikkat Takip Sistemi kullanılmaktadır.
Bir insanın etkilendiği durumları, duygularını, ruh halini,
I. GİRİŞ duygusallığını tanımlamanın ve ölçmenin birtakım zorlukları
Uzaktan eğitim, birçok eğitsel problemin çözülmesinde bulunmaktadır. Yapılan ölçümler neticesinde insanlara hangi
ve kaliteli eğitim-öğretim süreçlerinin geliştirilmesinde etkin duyguyu hissettiğini söylemenin güç olacağı düşünülebilir.

Bu çalışma, birinci yazarın ikinci yazarın danışmanlığında yürüttüğü

yüksek lisans tezinden doğmuştur.
62
Fakat insanlar bir duyguyu yaşadığında o duygunun bazı Algı temelli, fizyolojik ve öznel veri kaynaklarının bir
göstergeleri olmaktadır. Bireyin hissettiği bir duygu, yüz takım avantaj ve dezavantajları bulunmaktadır. Bu verilerin
ifadelerine doğrudan yansır. Bireydeki bu duygunun birlikte toplanması dezavantajların elimine edilerek
değiştirmesi için çoğu zaman bir sebep yoktur [15]. Ayrıca avantajlara yoğunlaşmasını sağlamaktadır. Örneğin, öznel
alanyazında bazı yüz ifadelerinin hangi duygu ile ilişkili veriler direkt bireyden alındığı için yanıltıcı olabileceğinden
olduğuna yönelik güvenilir ipuçları bulunmaktadır [15]. algı temelli ve fizyolojik verilerle desteklenmesi daha
Mutlu olan bir kişinin dudak uçlarının yukarı doğru anlamlı sonuçlar doğurabilir [33]. Öte yandan gerçek
kıvrılarak gülümsemesi ve gözlerinin biraz daha kısılması verilerle toplanan bilgiler genelde teknoloji tabanlı cihazlarla
buna örnek olarak gösterilebilir [16]. İşte bu belirtiler elde edilmektedir. Bu cihazların ölçümlerinde hata payı
bilgisayar diline dökülebilir ve programlanabilirse duyguları olabileceği düşünüldüğünde öğrencilerden farklı veri
ölçmek mümkün olabilir. Nitekim bireyden alınan verilerin toplama yöntemleri kullanmak (örneğin gözlem, görüşme ve
işlenerek duygulara yönelik bilgiler elde etmeye yarayan anketlerle çeşitli verilerin toplaması) güvenirliği
bilim dalına duygusal hesaplama denilmektedir [17]. Fakat arttırabilmektedir [34].
yüz ifadeleri duyguları anlamaya yönelik ipuçları sunsa da
yeterli olamayabilir [18]. Alanyazında bu belirsizliği Sonuç olarak, duygusal hesaplama alanının yaptığı
öneriler dikkate alındığında duyguların ölçülebileceği ve
gidermek için bütünsel (holistic) analiz yapılması gerektiği
ifade edilmiştir [19]. Bu nedenle duygusal hesaplama ile raporlanabileceği söylenebilir [35]. Bu sayede öğrencilerin
ilgili çalışmalarda veri kaynaklarının çeşitlendirilerek daha duygu durumlarının takip edilmesi ve bu çalışmada da
güvenilir sonuçların elde edilmesi önerilmektedir [20]. belirtilen uzaktan eğitim süreçlerindeki var olan güçlüklerin
aşılmasında yeni önerilerin sunulmasına öncelik edilebilir.
50 yıl önceki çalışmalarda duygular; psikolojik aktiviteler Nitekim alanyazında öğrencilerin duygu durumlarını
[21] ve yüz, el, vücut hareketleri [22] temel alınarak eşzamanlı olarak izleyebilecekleri görsel sistemlerin
gözlemler yoluyla ölçülmekteydi. Fakat günümüzde tasarlanması gerektiği ifade edilmektedir [36].
teknolojinin gelişmesi ve duygusal hesaplama alanında artan
bilgi birikimi neticesinde şu üç kaynaktan veri toplanarak Bu araştırma Duygu ve Dikkat Takip Sisteminin
duyguların ölçülmesinin geçerli ve güvenilir olabileceği (DUTAS) geliştirilmesini, bu sistem ile öğrencilerin
söylenmektedir [18]: duygularını ne kadar doğru ölçtüğünü belirlenmesini ve canlı
ders ortamında öğrencilerin duygu ve dikkat düzeylerini
1. Algı temelli ölçümler (yüz ifadeleri, ses ve vücut etkileyen unsurları ortaya çıkarılmasını amaçlamaktadır. Bu
hareketlerinin analizi) kapsamda yapılacak çalışmalar şu şekilde sıralanabilir:
2. Fizyolojik veri (kalp atış hızı, kan basıncı, beyin
aktiviteleri, terleme) • Öğretim üyelerinin ve öğrencilerin canlı derslerini
3. Öznel veri (anket, ölçek, gözlem, görüşme) yapabilecekleri web tabanlı bir platform (DUTAS)
Üç öncül incelendiğinde öznel (self report) ve gerçek geliştirilmesi
verilerin (reel data) birlikte toplanmasının önerildiği • DUTAS sayesinde bir ders boyunca öğrencilerin
görülmektedir. Alanyazında bu üç kaynağı kullanarak birçok yüz ifadelerine dayalı duygu ve dikkat verilerinin toplanması
yöntem ile duygu ölçümü yapılmaktadır. Alanyazın
incelendiğinde bu yöntemlerin en popülerinin bir kamera • Toplanan duygu ve dikkat verilerinin öğrencinin
kullanarak bireyin yüz ifadelerini görüntü işleme teknolojisi gerçek duygu ve dikkat düzeyi ile ne kadarı doğru
yardımıyla ölçmek olduğu göze çarpmaktadır [5], [23]–[25] . eşleştiğinin belirlenmesi
Görüntü işleme teknolojisi ile yapılan çalışmalarda bireylerin • Uzmanlar tarafından bireylerin ders sürecindeki
göz kapağı açıklığı, dudak genişliği, dudak açıklığı, kaş genel duygularının belirlenmeye çalışılması
yüksekliği ve yüzün buruşukluğu gibi farklı değişkenler
üzerinden hesaplanmaktadır. Nitekim bireyler bir duyguyu • Öğrencilerin duygularını etkileyen unsurların
hissettiği andan itibaren yüz ifadelerine yansıyıcı kategoriler halinde sunulması
değişiklikler oluşmaktadır [25]. Bu değişimler sayesinde Bu çalışma kapsamında ele alınacak araştırma soruları şu
duygular ve yüz ifadeleriyle belirginlik göstermekte ve şekildedir:
tespiti kolaylaşmaktadır. Algısal boyutta öne çıkan diğer
ölçüm yöntemi ise bireylerin konuşması üzerinden duygusal 1. Gözlem verileri ile DUTAS ölçümleri arasında anlamlı
hesaplama yapılmasıdır [25]–[28]. Bu hesaplama sürecinde bir farklılık var mıdır?
ses tonu, sesin enerjisi, konuşma esnasında kullanılan 2. Öğrencilerin canlı derslerde duygu ve dikkat
ifadeler gibi konuşmanın çeşitli değişkenleri belirlenerek düzeylerindeki değişimlerin sebepleri nelerdir?
analiz yapılmaktadır. Duygu ölçümünde bireylerin
fikirlerinde oldukça önemli bir kaynaktır. Bireyler kendi
duygularını ifade ederek hangi duyguları hissettiğini ortaya II. YÖNTEM
çıkartabilir fakat bu yöntemi kullanan alanyazında oldukça Araştırma kapsamında karma araştırma yöntemi
sınırlı çalışma vardır. Fizyolojik veri kaynağı üzerinden ise kullanılmıştır. Karma araştırmalar; hem nicel hem de nitel
bireyin birçok farklı özelliklerinin analiz edilmesiyle desenin birlikte kullanılmasına imkân sağlamaktadır [37].
duygusal hesaplamalar yapılabilmektedir [27], [29]–[31]. Karma desenler sayesinde araştırma sorularına cevap
Bireyin kalp atış hızı, beyindeki elektronik dalgalanmalar, aranırken araştırmacıyı kısıtlamaz aksine çoklu yaklaşımlar
ciltteki iletkenlik düzeyi, kandaki oksijen miktarı, solunum kullanmaya yönlendirir [38]. Karma araştırma deseni
cihazları gibi birçok veriyi analiz ederek duygu hesaplaması kullanılan çalışmalarda bir veya birçok araştırma sorusu
yapılmaktadır. Öte yandan alanyazında fizyolojik verilerin
tamamen cevaplanabilmektedir [39]. Bu kapsamda karma
ölçümünde kullanılan cihazların kaba ve bireyi rahatsız edici
olabileceği de düşünülmektedir [32]. araştırma deseni tek bir çalışmada nicel ve nitel yöntemleri
birleştirmenin daha bütüncül bakış açısı ortaya koyarak,

63
araştırılan olayı çeşitli yönlerini açıklamasında daha kolay korkmuş duygularına) ek olarak yorgun, nötr ve “diğer
bir yöntem olduğu söylenebilir [40]. karmaşık duygular” olarak nitelendirdiğimiz duygu
durumlarına odaklanılmıştır. Çalışma kapsamında canlı
A. Katılımcılar dersin yapılacağı DUTAS platformunda görüntü işleme
First, Araştırmanın örneklemi Atatürk Üniversitesi teknolojisi kullanarak kamera açan öğrencilerin duygu ve
İktisadi İdari Bilimler Fakültesinde ve Eğitim Fakültesinde dikkat durumlarını anlık olarak ölçümü yapılacaktır.
lisans ve yüksek lisans statüsündeki 40 öğrenciden Öğrencilerin hangi yüz ifadelerinde hangi duyguya karşılık
oluşturmaktadır. Öğrenciler 4 farklı uzaktan yapılan dersleri geldiği, dikkat düzeyinin nasıl ölçüldüğünün açıklanması
(Matematik, İstatistik, İnsan Bilgisayar Etkilemişi, Yabancı Tablo 3’de sunulmuştur.
Dil Eğitimi) alan öğrencilerden oluşmaktadır. Ders esnasında
öğrenciler laptop, telefon, tablet gibi aygıtlardan derse Tablo 3. DUTAS Platformundaki Duyguların ve Dikkat
bağlanmıştır. Kamerasını açan öğrencilerin gönüllü olarak Düzeyinin Eşdeğer Görselleri
çalışmaya gönüllü katıldığı varsayılmıştır. Ayrıca bu kişilere DUTAS
gönüllü katılım onam formu aracılığıyla da katılımları Duygular platformundaki Örnek yüz ifadesi
resmileştirilmiştir. Pandemi döneminin de getirmiş olduğu eşdeğer görseli
kısıtlamalarda göz önüne alınarak amaçlı örnekleme yöntemi
tercih edilmiştir.
Amaçlı örnekleme, araştırma kapsamında veri Mutlu
bakımından zengin bilgiye sahip olduğu düşünülen örneklem
kitlelerini derinlemesine çalışılmasına imkân sağlar [41],
[42]. Öte yandan araştırmaya zaman, maliyet ve
ulaşılabilirlik gibi bazı sınırlılıkların olduğu çalışmalarda Üzgün
hedef kitleye yüksek oranda genelleyebilme imkânını da
sunmaktadır [43] [44] . Bu sayede herhangi bir teknik
sorunda müdahale edilebilecek ve paydaşlarla daha hızlı bir
şekilde irtibata geçilebileceği düşünülmüştür. Ayrıca veri
toplama süreci boyunca ifade edilen seçim kriterlerinin Şaşkın
sağlanmasına ve gönüllü katılım esasına dikkat edilmiştir.
1) Katılımcılarla İlgili Demografik Bilgiler
Katılımcıların demografik verileri veri toplama sürecinde
kullanılan anket sayesinde elde edilmiştir. Nicel araştırma İğrenmiş
sürecine katılan öğrencilerin demografik verileri dağılımları
Tablo 1’de frekanslarıyla birlikte sunulmuştur.

Tablo 1. Nicel Araştırma Sürecine Katılım Sağlayan

Nötr
Öğrencilerin Cinsiyet ve Yaşlarına Göre Dağılımları

Cinsiyet / Yaş 19 - 21 21 – 23 23 - 25 25 - 27 Toplam

Kız 4 7 10 1 22
Sinirli
Erkek 3 4 7 4 18
Toplam 40

Nitel araştırma sürecindeki katılımcılar ise nicel araştırma Korkmuş

sürecine katılan 40 öğrenci arasından seçilmiştir. Nitel
araştırma sürecinde katılım gösteren öğrencilerin dağılımı
Tablo 2’de frekanslarıyla birlikte sunulmuştur.
Yorgun
Tablo 2. Nitel Araştırma Sürecine Katılım Sağlayan
Öğrencilerin Cinsiyet ve Yaşlarına Göre Dağılımları
Cinsiyet / Yaş 19 - 21 21 – 23 23 - 25 25 - 27 Toplam Diğer Öğrencinin
Karmaşık Diğer yüz ifadeleri yukarıdakiler
Kız - 3 1 - 4
Duygular dışındaki yüz ifadeleri
Erkek 2 4 4 2 12
Dikkat Öğrenci yüzünün
Toplam 16
Düzeyi 0 100 dijital ekrana duruş
açısı ile belirlenir.
B. Veri Toplama Araçları
Görüntü işleme teknoloji kullanarak duygu ve dikkat
ölçüm aracı 1) Öğrenci duygu durumu değerlendirme anketi
Öğrenciler, bir dersteki görüntü işleme yöntemiyle
Bu çalışmada Ekman’ın [45] temel duygu kuramında yer toplanan verileri ders sonunda, kendi verileri kullanılarak
alan duygularına (üzgün, mutlu, şaşkın, iğrenmiş, sinirli, oluşturulan bir anket aracılığıyla duygularını

64
değerlendirmektedirler. Yapılan anketlerde, farklı duygulara Şekil 1. Nicel Gözlem Duygu Ölçme Aracı
ait frekans sayıları ayrı ayrı ölçülmüş, bu frekanslar ders
içindeki toplam duygu frekansına bölünerek öğrencilerin Dikkat Düzeyi: %
duygu durumlarına ilişkin yüzdelik oranlar belirlenmiş ve Diğer
sunulmuştur (Örneğin; Nötr: %85; Mutlu: %3; Sinirli:%8, Dk. Sn. Mutlu Üzgün Sinir Şaşkın İğrenme Nötr Korku Karmaşık
Şaşkın:%6…). Ayrıca öğrencilerin dikkat düzeyleri yüz Duygular
ifadesinin ders boyunca ortalaması alınarak hesaplanmış ve 10
ankette sunulmuştur. Ders sürecinde her öğrenci farklı 20
duygular ve dikkat düzeyleri farklı olduğu için her 30
0
öğrencinin ankette karşılaştığı veride farklı olacaktır. 40
Örneğin dersin içerisinde toplam 5 dakikasında x öğrencisi 50
mutluyken y öğrencisi nötr bir duygusu var ise ders 60
sonundaki ankette iki öğrencinin yüzdelikleri farklı oranlar …
sunacaktır. Sonuç olarak her öğrencinin kendi duygularıyla 10
oluşan veriler, likert tipi bir anket yardımıyla öğrenciye 20
sunulacak ve ne kadar doğru ölçtüğü kişisel olarak 30
değerlendirilmeleri sağlanacaktır. Anketin bir örneği Şekil 40
40
1’de sunulmuştur. Anketin detaylı görünümü Ek 4’te 50
sunulmaktadır.
60
Şekil 1. Anket
3) Yarı yapılandırılmış görüşme formu

Öğrenciler ile ders süreçleri hakkında duygu ve dikkat

düzeylerindeki değişimlere neden olan durum ve olayları
belirlemek amacıyla yarı yapılandırılmış görüşme
yapılacaktır. Yapılan görüşmelerde öğrencilerin fikirleri ele
alınarak nitel veri toplama süreci gerçekleştirilecektir. Yarı
yapılandırılmış görüşme formu sorulan açık uçlu sorulardan
oluşmaktadır. Bu sayede katılımcılardan elde edilmesi
beklenen verilerin sınırlandırılmasını ya da gerektiğinde
derinleşmesine imkan tanımaktadır (Büyüköztürk vd.,
2017). Form geliştirilirken açık ve anlaşılır bir dil
kullanılarak araştırmanın sorularını cevap bulacak nitelikte
olmasına önem gösterilmiştir. Görüşme formu, öğrencilerin
duygu ve dikkat düzeylerini etkileyebilecek unsurların
ortaya çıkarmasını hedefleyen nitelikteki sorulardan
oluşmaktadır. Yapılacak görüşme sürecinde öğrencilere
sorulacak sorular Ek 1’de sunulmaktadır.

C. DUTAS (Duygu ve Dikkat Takip Sistemi) Prototipi

2) Gözlem Çalışma kapsamına uygun olarak lisans ve yüksek lisans
Görüntü işlem yöntemiyle yapılan ölçümlerin, öğrencilerine yönelik canlı dersler yapabilecekleri web
doğruluğunun onaylanması için bağımsız gözlemciler tabanlı bir platform (DUTAS) geliştirilmiştir. DUTAS
tarafından gözlemlenerek değerlendirilmesi amaçlanmıştır.
platformu geliştirilmesindeki temel hedef öğrencilerin canlı
Psikolojik danışmanlar öğrenciyi ders esnasındaki durumunu
ders esnasında yaşamış olduğu farklı duyguları ve derse
video kayıtları sayesinde gözlemleyecek ve bu gözlem
esnasında fark ettiği duyguları bir ölçme aracı yardımıyla karşı gösterdiği dikkat düzeylerinin belirlenmesidir. Bu
nicel verilere dönüştürebilecektir. Bu araç Şekil 2’de de bir kapsamda alanyazından da yararlanılarak bazı ölçülebilir
örneği sunulmuş ve bu ölçüm aracında bir dersin tüm duygular belirlenmiştir. Duyguların görüntü işlem
sürecini dakikalara ve saniyelere bölünmüştür. Nitekim her teknolojisi kullanarak belirlenmesinde yazılımsal olarak
dakika içerisinde öğrencide gözlenen duygu işaretlenmesinin bazı hazır kütüphanelerde kullanılmıştır. Bu sayede var olan
yapılması amaçlanmıştır. Bu sayede nicel bir frekans verisi hazır kütüphaneleri geliştirme ve daha iyi bir ürün ortaya
oluşturulacaktır. Belirlenen üç gözlemci bu süreçte toplam koyma potansiyelini de yakalanmış olunacaktır. Şekil 3’de
40 öğrencinin ders kayıtlarını izleyerek duygusal süreçlerini geliştirilen web tabanlı DUTAS platformunun tanıtımı
gözlemledi. sunulmuştur.

65
Şekil 2. DUTAS Platformu tanıtımı b) Tasarım
Temel gereksinimlere uygun olurluk çalışmasının yapıldığı,
planlamalar ve tasarımların oluşturulduğu süreçtir. Bu
aşamada sistem için öykü yaprakları ve taslak çizimleri
hazırlanmıştır. Bu sayede ürünün temel görünüm hatları
ortaya çıkmış ve sonraki aşamalara rehber olacak bir kılavuz
oluşturulmuştur.
Öğre
c) Kodlama
ncini
n
Görüntü işleme teknolojisi ile geliştirilen yüz tanıma ve yüz
Öğre
ifadesi tanımlamada açık kaynak kodlu hazır bir veri seti
duyg
ncini kullanılmıştır. Veri seti opencv programının javascript
usun
kütüphanesiyle geliştirilmiştir. Bu veri setinin üzerinde bazı
dikka düzenlemeler ve geliştirmeler yapılarak farklı duyguların
t tespitini yapabilen ve katılımcıların dikkat düzeylerini
Şekil 3 incelendiğinde günümüzde popüler olarak kullanılan
düze ölçebilen bir sistem haline getirilmeye çalışılmıştır. Bu
BigBlueButton canlı sınıf sistemi kullanılmış ve
yi
geliştirilmiştir. Geliştirilen platformda yer alan kullanıcılar kapsamda veri setine aşağıdaki listede var olan yetenekler
alanında görüldüğü üzere tüm kullanıcıların yüz ifadesine eş ve yeni eklenen yetenekler sunulmaktadır.
değer emoji kullanılması planlanmıştır. Bu sayede öğretim Veri setinde mevcut olan yetenekler;
üyesi tüm öğrencilerin anlık olarak duygularını takip etme  Mutluluk duygusu ölçümü,
fırsatı yakalamış olacaktır. Öte yandan kullanıcılar alanında  Sinirlilik duygusu ölçümü,
öğrencilerin adı yazan kutucukların dikkat yüzdesine oranla  Şaşkınlık duygusu ölçümü,
renk alanı değişebilecektir. Bu sayede öğretim üyesi  Üzüntü duygusu ölçümü,
öğrencilerinin hangisinin derse karşı dikkatinin yüksek  İğrenme duygusu ölçümü,
olduğunu veya hangisinin düşük olduğunu  Korkma duygusu ölçümü,
belirleyebilecektir. Ayrıca duygu ve dikkat verilerini sadece  Nötr duygusu ölçümü,
öğretim üyesi tarafından görülebilecektir. Yeni eklenen yetenekler;
DUTAS platformu geliştirilirken yazılım geliştirme  Yorgunluk duygusu ölçümü,
süreçlerinde kullanılan “Yazılım Geliştirme Yaşam  Sistemin tanımlayamadığı farklı yüz ifadelerinin
Döngüsü” göz önünde bulundurularak geliştirilmiş ve diğer karmaşık duygular olarak ölçümü,
geliştirme süreci Şekil 4’da özetlenmiştir.  Dikkat düzeyi ölçümü.
Eklenen yeni özellikler sürekli test edilerek daha istikrarlı
Şekil 3. DUTAS Platformu Geliştirme Aşamaları çalışan bir sistem haline dönüştürülmesi sağlanmıştır. Öte
yandan canlı dersler için yine açık kaynak kodlu olan
BigBlueButton uygulaması tercih edilmiştir. BigBlueButton
canlı ders platformu piyasadaki güncel ürünlerde olan
birçok özellik bulunmaktadır. İçerisinde chat alanı, sunum
alanı, katılımcıların listesi gibi bölümler bulunmaktadır.
BigBlueButton sisteminin kurulumu için minimum
gereksinimlere sahip bir sunucu kiralanmış ve yine bir alan
adı (dtakips.com) satın alınmıştır. BigblueButton’ın
istikrarlı çalışması için donanımsal ve yazılımsal gerekli
minimum gereksinimler için tercih edilen özellikler Tablo
4’de verilmiştir.

Tablo 4. BigBlueButton Platformu İçin Gerekli Minimum

Özellikler

Minimum Özellikler DUTAS Platformu Özellikleri

Linux çekirdeği 4.x çalıştıran Ubuntu 16.04 64-bit işletim
Ubuntu 16.04 64-bit işletim sistemi sistemi kurulumu yapıldı
Takas etkinleştirilmiş 16 GB bellek 24 GB
a) Analiz Yüksek tek iş parçacıklı performansa 12 CPU
sahip 8 CPU çekirdeği
Yazılım geliştirme sürecinin ilk aşaması olan analiz,
Kayıtlar için 500 GB (veya daha 150 GB Disk Alanı
çalışmanın amacına uygun temel amaç ve hedefler fazla) boş disk alanı veya sunucuda
belirlenmiştir. Amaç ve hedeflere uygun olarak hedef kitle oturum kaydı devre dışı bırakılmışsa
analizi, temel sistem analizi, yazılımdaki ihtiyaç duyulan 50 GB.
performans analizleri gibi bazı analizler yapılmıştır. Bu 80 ve 443 numaralı TCP bağlantı 80 ve 443 numaralı TCP bağlantı
analizler sayesinde temel gereksinimler oluşturulmuş ve noktalarına erişilebilir noktaları erişime açıldı.
UDP bağlantı noktaları 16384 - UDP bağlantı noktaları 16384 -
sonraki aşamalarda bu gereksinimleri giderici süreçler takip 32768 erişilebilir 32768 erişime açıldı.
etmiştir.

66
250 Mbit/sn bant genişliği (simetrik) 1GB/sn bant genişliği hizmeti Şekil 4. Uygulama Süreci
veya daha fazla verebilen firma tercih edildi
80 ve 443 numaralı TCP bağlantı 80 ve 443 numaralı TCP bağlantı
noktası başka bir web uygulaması noktaları başka bir web Canlı ders öncesi DUTAS
veya ters proxy tarafından uygulaması tarafından platformunda teknik sorunlar
kullanılmıyor kullanılmadığı kontrol edildi. oluşmaması için kontroller yapıldı.
SSL sertifikası kurulumu için bir ana dtakips.com adlı alan adına sunucu
bilgisayar adı (bbb.example.com üzerinden ssl sertifika kurulumu
gibi) sağlandı.
IPV4 ve IPV6 adresi Sunucunun bir adet IPV4 ve IPV6
adresinin bulunduğu kontrol
edildi. Ders kaydı başlatıldı.
Özel (çıplak metal) donanım Özel donanım kullanan firma
tercih edildi.
Tahmini katılımcı sayısı: 40 Tahmini katılımcı sayısı: 60

d) Test Ders sürecinde öğrencilerden

duygu ve dikkat düzeylerinin
Test sürecinde temelde iki başlık altında sistemin
verisi toplandı.
test süreçleri yürütülmüştür. Bu testler aşağıdaki gibi
listelenmiştir.
 Canlı ders ortamına minimum katılımcı sayısını
belirleme
Dersin sonunda öğrencilere
 Canlı ders ortamında kamera açan öğrencilerin yüz
duygu ve dikkat düzeyleri ile
ifadelerini algılayan yazılımın tüm cihaz türlerinde
çalışıp çalışmadığını tespit etme.
ilgili anket uygulandı. X5
Canlı ders ortamına bağlanabilecek katılımcı sayısını
belirlemek için 10 cihaz ayarlanmıştır. Her bilgisayar bir Anket verileri arasında
kamera kaynağı kullanarak birden fazla katılımcı düşük, orta, yüksek orantılı
oluşturabilmektedir. Bu kapsamda her cihazdan birden fazla yanıtlardan 10 öğrenci
kullanıcı oluşturularak ortama bağlanma testi edilmiştir. tespit edildi.
Ayrıca kamerası olan her cihazın yüz ifadesini yakalayan
yazılımın sorunsuz çalıştırması içinse yapılan testlerde
cihazların simülatörleri kullanılarak testler yapılmıştır. Tespit edilen öğrencilerin
e) Yayınlama ders kayıtları psikoloji
Geliştirilen sistem için belirlenen sunucu kiralama uzmanları tarafından ders
kayıtları izletildi.
firmasından hizmet satın alınmıştır. Geliştirilmiş DUTAS
platformu ilgili sunucu firmasıyla herkesin ulaşabileceği bir
şekilde dtakips.com adlı domain ile yayınlaması yapılmıştır. DUTAS ve gözlem verileri
f) Gözden Geçirme arasında düşük, orta ve yüksek
Geliştirilen ürünün performansı, hataları vb. durumlar düzeyli eşleşmeler belirlendi
gözden geçirilmiş ve ortaya çıkan yeni durumlar
belirlenmiştir. Bu aşamada ayrıca uzmanlara danışılarak
platformun kullanımı ile alakalı dönütlerde alınmıştır. Tespit
edilen durumlar için ilgili süreçler tekrardan uygulanmıştır. Belirlenen öğrenciler
Tüm geliştirme süreci sonucunda sistemin istikrarlı ile o hafta içinde
çalıştığına dair tüm gerekli pilot uygulamalar yapılmış ve görüşme yapıldı.
uzman onayı alınmıştır.
D. Uygulama Süreci
Öğrencilerin etkilendiği unsurlar açığa
Ele alınan çalışma, karma araştırma kapsamında toplam üç çıkarıldı ve kategorilendirme yapılarak
adımdan oluşmakta ve 5 haftalık (5 saat) uygulama süreci sunuldu.
içermektedir. Uygulama sürecinde ilk hafta pilot uygulama
olarak planlanmıştır ve toplanan veriler araştırmaya dâhil
edilmemiştir. Uygulama süreci bir dersin öncesini, ders Şekil 5’deki uygulama süreci toplamda 5 haftada 5 ders için
esnasında ve dersin sonrasını kapsamaktadır. Planlanan sürekli tekrarlanacaktır. Tüm sürecin sonunda dokuzuncu
uygulama süreci Şekil 5’deki gibi özetlenmiştir. adımda görüşmelerden elde edilen verilerle öğrencilerin
etkilendiği nedenler ve durumlar açığa çıkarılacak ve
kategorilendirme yapılarak sunulacaktır.

67
Ders öncesinde ilgili dersin öğretim üyesi öğrenme yönetim çevrilmiştir. Yazıya çevrilen metinlerin toplam boyutu 58
sistemi üzerinden öğrencilere canlı derse nasıl erişeceği sayfadan oluşmaktadır. Daha sonra öğrencilerin ifadeleri
hakkında bilgilendirilmeler yapmıştır. Canlı derslere katılım kodlara bölünerek kategorilendirme yapılmıştır.
sağlayan gönüllü öğrencilerin gerekli olan minimum teknik
gereksinimler hakkında bilgi verilmiştir. Minimum III. BULGULAR
gereksinimler şu şekilde listelenebilir; güncel bir tarayıcı, Bu bölümde çalışmada toplanan verilerle ilgili bulgular yer
mikrofon, kulaklık. İlk hafta gerçekleştirilen pilot almaktadır. Bulgular araştırma sorularına uygun
uygulamada listelenmiştir. İlk araştırma sorusu için DUTAS, anket,
 Öğrencilerin platforma sorunsuz erişim sağlayıp gözlem frekans tablosundan toplanan veriler “Duygu
sağlayamadığı kontrol edildi, Ölçümünde İki Farklı Yöntemin Arasında Anlamlı Bir
 Öğrencilere çalışmanın amacından bahsedildi, Farkın Var Olup Olmadığı Bağlamında Elde Edilen
 Kamerasını açan öğrencilerin görüntü işleme Bulgular” adlı başlıkta sunulmaktadır. İkinci araştırma
teknolojisinin çalışıp çalışmadığı kontrol edildi, sorusu için yapılan görüşme verileri ise “Öğrencilerin Canlı
 Öğretim üyesinin dersi anlatırken çıkabilecek Derslerde Duygu ve Dikkatlerini Etkileyen Unsurlara İlişkin
sorunlar tespit edilerek giderilmeye çalışıldı, Görüşleri” adlı başlıkta sunulmaktadır.
 Ders sonunda öğrencilerin anket verilerini sorunsuz
gönderip gönderilemediği kontrol edildi. A. Ölçüm Yöntemlerinin Arasında Anlamlı Bir Farkın Var
Olup Olmadığı Bağlamında Elde Edilen Bulgular
E. Verilerin Analizi
Araştırma kapsamında toplanan veriler veri türüne uygun Bu bölümde farklı yöntemlerle elde edilen verilerin
analizlere tabi tutulmuştur. Çalışma kapsamında analizinde duygu ve dikkat bazlı anlamlılık düzeyleri
kullanılacak veri toplama araçlarının hangi araştırma sorusu sunulmaktadır. İlgili araştırma sorusunun yanıtlanması için
kapsamında olduğu ve hangi analiz yöntemi kullanılacağı katılımcı anketi analizi yapılmıştır. Her duygunun ve dikkat
Tablo 5’deki gibi özetlenmiştir. düzeyinin ortalamalarına ve standart sapmalarına
bakılmıştır. Ortalamaların yorumlanması için aralık
Tablo 5. Veri Toplama Araçları Analiz Yöntemleri belirlenmiştir. Aralık (5-1)/5 formülü kullanılarak 0.8
aralıkların da aşağıdaki gibi oluşturulmuştur;
Araştırma  1.8 – 1.0 arasındaki anket maddeleri DUTAS ile
Veri Toplama Aracı Analiz Yöntemi ölçülen verilerin çok az doğru ölçtüğünü,
Sorusu
1 DUTAS Betimsel Analiz  2.6 – 1.8 arasındaki anket maddeleri DUTAS ile
Anket Betimsel Analiz ölçülen verilerin az doğru ölçtüğünü,
 2.6 -3.4 arasındaki anket maddeleri DUTAS ile
1 Gözlem Betimsel Analiz
Gözlem – DUTAS Bağımlı Gruplar t-testi ölçülen verilerin kısmen doğru ölçtüğünü,
 3.4 –4.2 arasındaki anket maddeleri DUTAS ile
Yarı Yapılandırılmış
2 İçerik Analizi ölçülen verilerin fazla doğru ölçtüğünü,
Görüşme Formu
 4.2 – 5.0 arasındaki anket maddeleri ise DUTAS ile
ölçülen verilerin çok fazla doğru ölçtüğünü ifade
Tablo 5’de görüldüğü gibi ilk araştırma sorusunun
etmektedir.
cevaplanması için betimsel analiz ve bağımlı gruplar t-
40 Katılımcıya dört hafta boyunca her hafta bir adet anket
testlerinden faydalanılmıştır. Bağımlı gruplar t-testinin
uygulanmış ve toplamada 160 anket verisine ulaşılmıştır.
kullanılmasının nedeni, elde edilen iki farklı ölçüm verisinin
Elde edilen verilerin dikkat düzeyine ve duygu türlerine
birbiriyle ne kadar benzer veya ne kadar farklı olduğunun
ilişkin analizi Tablo 7’de sunulmuştur.
belirlenmesini imkân tanımaktadır [46]. İkinci araştırma
sorusunun cevaplanmasın için ise içerik analizinden
Tablo 7. Anket Analiz Sonuçları
faydalanılmıştır. İçerik analizi veri toplama sürecinden elde
edilen verilerin temalar kullanarak, anlamsal Anket Maddeleri n Aralık 𝑋̅ SS
ilişkilendirmeler yaparak amaç doğrultusunda bir araya Mutlu 160 Fazla 3.48 3.46
getirilmesidir [44]. Şekil 6’da içerik analizinde kullanılan
kod ve kategori oluşturma süreci ifade edilmiştir. Korkmuş 160 Kısmen 3.33 0.80
Nötr 160 Fazla 4.19 6.36
Şekil 5. İçerik analiz süreci
Sinirli 160 Fazla 3.55 0.92
Şaşkın 160 Fazla 3.49 1.04
Yorgun 160 Fazla 3.41 5.36
İğrenmiş 160 Kısmen 3.09 0.75
Üzgün 160 Fazla 3.47 0.44
Diğer Karmaşık Duygular 160 Fazla 3.71 0.94
İçeriklerin analiz sürecinin ilk aşamasında görüşmelere ait Dikkat Düzeyi 160 Fazla 3.90 8.96
ses kayıtları daha hızlı analiz edilmesi amacıyla yazıya

68
DUTAS ve gözlem yöntemiyle toplanan veriler arasındaki bağlanmaları da yüz ifadesinin algılamasında problem
anlamlılık farkını tespit etmek amacıyla dikkat düzeyi ve her yaşanmasına neden olmaktadır. Öte yandan bazı öğrenciler
duygu için ayrı ayrı bağımlı gruplar t-testi kullanılmıştır. kameraya yüzünün tümünü göstermemektedir. İlgili
Dikkat düzeyi ve duygulara yönelik elde edilen bulgular durumlarla alakalı örnekler Ek 5’te sunulmaktadır.
Tablo 8’de gösterilmiştir.
B. Öğrencilerin Canlı Derslerde Duygu ve Dikkatlerini
Tablo 8. İki Farklı Yöntemle Ölçülen Dikkat Düzeyi ve
Etkileyen Unsurlara İlişkin Elde Edilen Bulgular
Duygu Verilerinin Bağımlı Gruplar T-Testi Sonuçları
Veri Grupları N 𝑋̅ SD SE T SD P
(df) Katılımcıların canlı derslerdeki duygu ve dikkat
DUTAS Mutluluk 40 3.56 4.75 0.75 düzeylerini etkileyen durumlara ilişkin olarak 16 öğrenciyle
-1.857 39 0.071 yarı yapılandırılmış görüşme yapılmıştır. Bu öğrenciler
Gözlem Mutluluk 40 4.57 5.2 0.83
belirlenirken her hafta 40 öğrenciden anket verisi
DUTAS Korku 40 0.23 0.75 0.12
1.41 39 0.166 toplanmıştır. Anket verisi sonuçlarına göre her hafta düşük,
Gözlem Korku 40 0.05 0.25 0.44 orta ve yüksek düzeyde değerlendirme yapan bir veya iki
DUTAS Nötr 40 89.56 5.05 0.79
öğrenci seçilmiştir. Bu yöntemin tercih edilmesinin asıl
-1.979 39 .055 amacı örneklem çeşitliliğinin artırılmasıdır.
Gözlem Nötr 40 91.55 5.89 0.93 Öğrenciler ile yapılan görüşmeler sonucunda canlı
DUTAS Sinirlilik 40 0.12 0.34 0.05
-1.554 39 0.128
derslerde, öğrencilerin duygularını ve dikkat düzeylerini
Gözlem Sinirlilik 40 0.35 0.92 0.14 etkileyen durumlarla ilgili görüşler analiz edilerek kategori
ve kodlar oluşturulmuştur. Bu analizin sonucunda öğrenci
DUTAS Şaşkınlık 40 0.20 1.02 0.16
-0.047 39 0.963 görüşlerinin özeti, frekanslarıyla birlikte Şekil 7’de
Gözlem Şaşkınlık 40 0.21 0.43 0.06 sunulmuştur.
DUTAS Yorgunluk 40 4.53 3.05 0.48
2.150 39 0.038
Gözlem Yorgunluk 40 2.71 4.85 0.76
DUTAS İğrenme 40 0.38 0.57 0.09
1.872 39 0.069
Gözlem İğrenme 40 0.16 0.48 0.07
DUTAS Üzüntü 40 0.09 0.27 0.04
-0.147 39 0.884
Gözlem Üzüntü 40 0.11 0.32 0.05
DUTAS Diğer 40 1.22 1.11 0.17
Karmaşık Duygular 6.509 39 0.000
Gözlem Diğer 40 0.25 0.58 0.09
Karmaşık Duygular

Tablo 9’da tüm duyguların ve dikkat düzeyinin 2 farklı

yöntem ile ölçümüne ilişkin verilerin birbiriyle
uyumluluğunu ve katılımcıların DUTAS platformunun
ölçtüğü duyguların doğruluğuna dair görüşlerini özetleyen
bulgulara yer verilmiştir.

Tablo 9. DUTAS, Gözlem Yöntemi ve Anket Verilerinin

Karşılaştırılması
Duygular ve Dikkat DUTAS & GÖZLEM Anket Değerinin
Anket
düzeyi (p değeri) Sözel Karşılığı
Şaşkın 0.963 3.49 Fazla
Üzgün 0.884 3.47 Fazla
Dikkat Düzeyi 0.142 3.90 Fazla
Sinirli 0.128 3.55 Fazla
Korkmuş 0.166 3.33 Kısmen
Mutlu 0.071 3.48 Fazla
İğrenmiş 0.069 3.09 Kısmen
Nötr 0.055 4.19 Fazla
Yorgun 0.038 3.41 Fazla
Diğer karmaşık
0.000 3.71 Fazla
duygular
Tablo 9’da belirtilen duyguların ölçüm performansını
olumsuz olarak etkileyen durumlarda süreç sırasında tespit
edilmiştir. Öğrencilerin ders esnasında el ya da kolları ile
yüzlerini kapatması yüz ifadesi algılamamasına ve bu
durumun sonucunda da ölçüm değerinin yanılmasına neden
olmaktadır. Ayrıca öğrencilerin karanlık bir ortamdan

69
Şekil 6. Öğrencileri Canlı Derslerde Duygu ve Dikkatlerini Etkileyen Unsurlarla İlgili Görüşler

70
 Şekil 7 de görüldüğü gibi öğrencilerin canlı Bu çalışmada ise katılımcılarında görüşü alınarak DUTAS
çevrimiçi ders sürecinde öğretim üyesi, teknik problemler, platformunun duyguları ölçme düzeyindeki durumları
fiziksel şartlar, materyal, öğrenci ve akrandan etkilendikleri belirlenmeye çalışılmıştır. DUTAS platformunun
görülmektedir. ölçümlerinin güvenilir olduğu durumlar şunlardır: Şaşkın,
Öğrenciler, canlı derslerde öğretim üyelerinin tek bir ses üzgün, sinirli, korkmuş, iğrenmiş, mutlu, nötr ve dikkat
tonu kullanmasının, duygularını ve dikkat düzeylerini düzeyi. DUTAS platformun hatalı olarak ölçtüğü duygular
olumsuz yönde etkilediğini ifade etmektedir. Öğrencilerin ise diğer karmaşık duygular ve yorgunluktur. Duygu ölçümü
aktif bir rol üstlendikçe, duygularının ve dikkat düzeylerinin yapan veri setine sonradan eklenen yorgunluk ve karmaşık
olumlu etkilendiği gözlemlenmiştir. Öğretim üyelerinin duygu durumlarının iyi bir ölçüm yapmadığını fakat dikkat
seçtiği öğretim yöntemleri ve tekniklerinin öğrenciler düzeyini ölçmedeki performansının iyi olduğu ortaya
tarafından benimsenmesi, öğrencilerin dikkat düzeyini çıkmıştır. Bahreini vd. [26] yapmış olduğu çalışmada benzer
etkileyen önemli bir faktördür. Öğrenciler, öğretim duyguların doğru oranda ölçtüğü belirtilmiştir. Bu durum
üyelerinin teknik sorunları kolayca çözebilme yeteneğini ilgili çalışmalarda ölçümü kolay duyguların [49] tercih
gördükçe güven duygusu oluşturmakta ve derse karşı edilmesiyle açıklanabilir.
duygusal ve dikkat bağlarını güçlendirmektedir. Öğrencilerin duygularını ölçümü sırasında ölçümün
Canlı ders sırasında öğretim üyelerinin samimi değerlerini olumsuz olarak etkileyen bazı durumlar tespit
tavırlar sergilemesi, öğrencilerde olumlu duyguları edilmiştir. Öğrenciler canlı ders anında elleri ya da kolları
artırmakta ve derse olan dikkat düzeyini artırıcı bir etki ile yüzlerini kapatabilmektedir. Ayrıca bazı öğrenciler
yapmaktadır. Öğrenciler, öğretim üyelerinin kamera karanlık bir ortamdan bağlanabilmekte ve bazı öğrenciler ise
kullanımı, duruşu ve açısının duygu ve dikkat düzeylerini yüzünün tamamını kameraya göstermemektedirler. Bu
etkilediğini belirtmektedir. Akranların canlı derslere durumların sonucunda DUTAS platformu öğrencilerin
katılımı, öğrencilerin derse aidiyet duygusu oluşturmasına yüzünü algılayamamaktadır. Öte yandan Kim ve Ketenci
yardımcı olmakta ve öğrencilerin aktif katılımını teşvik [50] yapmış olduğu çalışmada öğrencinin içerisinde
etmektedir. bulunduğu duygusal durumu yansıtmak istemedikleri
Teknik problemler ve öğretim üyelerinin derste anların olabileceğini vurgulamaktadır. Bu durumlar göz
karşılaştığı sorunlar, öğrencilerin duygu ve dikkat önüne alındığında, canlı derslerde bireyler DUTAS’ın
düzeylerini etkileyen önemli unsurlar olarak ortaya duygularını doğru ölçmediğini belirtmekte ve ayrıca
çıkmaktadır. Öğrenciler, ders içeriğinin daha görsel olmasını gözlemcilerin verileri ile DUTAS’ın verileri arasında
tercih etmekte ve ön bilgi artırıcı unsurların dikkatlerini uyumluluğun yitirilmesine de neden olmaktadır. Bu yüzden
olumlu yönde etkilediğini belirtmektedir. Canlı dersler alanyazında ölçüm yöntemlerinin çeşitlendirerek duygu
sırasında öğrencinin dikkatini dağıtan dış uyaranlar, derse hesaplama yapılması daha güvenilir sonuçlar sunacağı ifade
odaklanmayı zorlaştırmaktadır. edilmektedir [18]. Bu düşünceye karşılık alanyazında bazı
duygu hesaplama yöntemlerinin kullanılmaması gerektiğini
savunan çalışmalar da mevcuttur [51].
IV. TARTIŞMA VE SONUÇ

B. Katılımcıların Canlı Derslerde Duygu ve Dikkatlerini

Bu çalışmaya toplam 40 öğrenci katılmış ve çalışma süreci
Etkileyen Unsurlar
boyunca ilgili araştırma sorularının cevaplanması için
veriler toplanmıştır. Toplanan veriler analiz edilmiş bulgular
başlığında listelenmiştir. Bu bölümde ise elde edilen 1) Öğretim üyesi boyutu:
bulgular alan yazına dayalı olarak tartışılmıştır. Ayrıca Öğretim üyesi süreci eğitim sürecini yöneten ve kurgulayan
gelecekte yapılacak çalışmalar için önerilere de yer kişidir. Öğrencilerin duygularını ve dikkat düzeyini
verilmiştir. etkileyen en önemli unsurun öğretim üyesinin yeterlilikleri
olduğu ortaya çıkmaktadır. Öğreticinin ders esnasında
teknik, pedagojik ve iletişim becerilerinin yeterli düzeyde
A. Canlı Ders Ortamında DUTAS – Gözlemci Formu olması gerektiği ortaya çıkmaktadır. Öğretim üyesi ders
Arasında Fark Var Mı? esnasında pedagojik yeterliliklerini öğrencilerin öğrenmesini
kolaylaştıracak şekilde planlamalıdır. Bu plan sayesinde
Alanyazında duygu ölçümünde kullanılan yöntemlerin öğrencilerin duygu ve dikkat düzeylerinde olumlu bir artış
geçerliliği ve güvenirliliğinin ölçüldüğü ve bu doğrultuda gözlenebilir. Berge [52] yaptığı çalışmada öğretim üyeleri
verilerin toplandığı çalışmalar mevcuttur fakat oldukça için pedagojik yeterlilikler açısından uyumluluk
sınırlı sayıda çalışma olduğu söylenebilir [47], [48]. göstermektedir. Ayrıca öğretim üyelerinin teknik boyutta
Conflitti vd. [48] yaptığı çalışmada ses ile tanıma yapmanın canlı ders ortamını etkin bir şekilde kullanabiliyor olması
doğruluk payının %30 oranında olduğunu belirtmektedir. gerekmektedir. Varvel [53] öğretim üyeleri için belirlemiş
Öte yandan Bahreini vd. [26] sesli ifadelerdeki duyguları olduğu teknolojik gereksinimler ile uyumludur. Öte yandan
ortaya çıkarmak için yapılan çalışmada, FILTWAM öğretim üyesi iletişim becerilerine sahip olmalıdır. Öğretim
adındaki sesli duygu tanıma uygulaması ölçtüğü duygular üyesi jest ve mimiklerini ses tonunu canlı ders anında iyi
ile ses kayıtlarını değerlendiren uzmanların ulaştığı verilerin kullanmalıdır.
uyumluluğu incelenmiştir. Sonuçlara göre her duygunun
uyumluluk düzeyi belirlenmiştir. Bu yöntemin FILTWAM 2) Akran boyutu:
uygulamasının ne kadar doğru ölçtüğünü belirlemek için Akranların canlı ders anında katılım sağlamaları
yeterli olduğu düşünmektedir. durumlarında daha çok yüz yüze gerçekleşen bir ders

71
ortamına dönüştüğü dolayısıyla öğrencilerin dikkat ve Sonuç olarak, elde edilen bulgular, canlı derslerde duygu
duygularının olumlu olarak arttırdığı gözlenmiştir. Nitekim ölçümünün önemli bir bileşeni olan DUTAS'ın
alanyazındaki çalışmalar da öğrencilerin, canlı derslerde performansını anlamamıza ve bu alanda gelecekte yapılacak
öğreticilerle ve akranlarıyla kurdukları iletişim, onlara çalışmalara ışık tutmamıza yardımcı olmuştur. Bu çalışma,
derslerdeki katılımlarını [54] derslerden alacağı doyumu öğrenci deneyimini iyileştirmek ve eğitim süreçlerini daha
[55], memnuniyet düzeyini [56], [57] artırdığını etkili hale getirmek amacıyla duygu ölçüm teknolojilerinin
vurgulanmaktadır. Ayrıca bu durum Moore [58]‘a göre daha geniş bir perspektiften ele alınması için değerli bir
diyalogun arttırılması ile öğrencilerdeki uzaklık algısını katkı sağlamıştır.
azalttığını ve sınıf ortamında bir aidiyet duymasıyla da
ilişkilendirilebilir.
3) Teknik problemler boyutu: V. KAYNAKÇA
Öğrencilerin canlı derslerde yaşamış olduğu bağlantı [1] T. Aksu ve G. Canturk, “Equality of Educational Opportunity:
The Role of Using Technology in Education”, Int. J. Acad. Res.
problemleri öğrencilerin doğrudan dikkat ve duygularını
Progress. Educ. Dev., c. 4, sayı 4, 2015, doi: 10.6007/ijarped/v4-
etkilemektedir. Bu etki yapılan görüşmelerde de en çok öne i4/1933.
çıkan unsur olarak görülmektedir. Ayrıca öğrenciler bu [2] E. Engelbrecht, “Adapting to changing expectations: Post-
problemi öğretim üyesinin canlı ders anında bağlantı graduate students’ experience of an e-learning tax program”,
Comput. Educ., c. 45, sayı 2, 2005, doi:
problemleri yaşamasından da etkilenmektedir. Bayrak ve
10.1016/j.compedu.2004.08.001.
Karaman [59] yılında yapmış olduğu çalışmasında [3] M. M. S. de Oliveira, A. S. T. Penedo, ve V. S. Pereira, “Distance
katılımcıların internet problemleri yaşadıklarında katılım education: advantages and disadvantages of the point of view of
düzeyleri ve beğeniyi olumsuz etkilediğini tespit etmiştir. education and society”, Dialogia, sayı 29, 2018, doi:
10.5585/dialogia.n29.7661.
Bu sonuç ayrıca Chou ve Liu [60] de yapmış olduğu [4] Ş. Kır ve A. Bozkurt, “Analysis of Open and Distance Learning
çalışmayla da uyumluluk göstermektedir. Narratives Within a Lifelong Learning Context”, J. Qual. Res.
4) Materyal Boyutu Educ., c. 8, sayı 4, 2020, doi: 10.14689/issn.2148-
Öğrenciler canlı derste kullanılan sunum materyallerinin 2624.8c.4s.10m.
[5] C. H. Wang ve H. C. Koong Lin, “Emotional design tutoring
oldukça yazıdan oluşmasından oldukça etkileniyorlar ve system based on multimodal affective computing techniques”,
daha çok görsel içeriğinde olduğu ve hatta konuyu özetleyen Int. J. Distance Educ. Technol., c. 16, sayı 1, 2018, doi:
görsellerin de yer alması gerektiğini vurgulamaktadır. Aydın 10.4018/IJDET.2018010106.
[61] araştırmasında görsel materyal kullanımının öğrenciler [6] H. C. K. Lin, S. H. Su, C. J. Chao, C. Y. Hsieh, ve S. C. Tsai,
“Construction of multi-mode affective learning system: Taking
üzerinde olumlu etkilerin oluşturduğunu ortaya Affective Design as an Example”, Educ. Technol. Soc., c. 19, sayı
koymaktadır. Dolayısıyla Aydın [61] araştırmasıyla 2, 2016.
uyumluluk göstermektedir. Öğrenciler sunumda görsel [7] L. Li, L. Cheng, ve K. Qian, “An e-learning system model based
içeriklere yer verilmeyince duygu ve dikkat düzeylerinde on affective computing”, içinde 2008 international conference on
cyberworlds, IEEE, 2008, ss. 45–50.
olumsuz etkilere yol açtığını ifade etmektedir. [8] M. Leontidis, C. Halatsis, ve M. Grigoriadou, “E-learning issues
5) Öğrenci Boyutu: under an affective perspective”, içinde Lecture Notes in
Öğrenciler canlı dersler anında konular hakkındaki bilgi Computer Science (including subseries Lecture Notes in Artificial
düzeylerine bağlı olarak duygu ve dikkat durumları Intelligence and Lecture Notes in Bioinformatics), 2008. doi:
10.1007/978-3-540-85033-5_4.
etkilenmektedir. Konular hakkında hazır bulunuşlukları var [9] A. Iulamanova, D. Bogdanova, ve V. Kotelnikov, “Decision
ise olumlu etkisi oluyor eğer bu durumun zıttı ise olumsuz Support in the Automated Compilation of Individual Training
olarak etkileniyorlar. Bu noktada öğrencilerin öğrenme Module Based on the Emotional State of Students”, IFAC-
süreçlerinde ilişki kurarak daha kolay öğrendiğinin ve bu PapersOnLine, c. 54, sayı 13, 2021, doi:
10.1016/j.ifacol.2021.10.424.
yüzden kolay öğrenmenin olumlu duygular ortaya [10] C. H. Wang ve H. C. K. Lin, “Constructing an Affective Tutoring
çıkardığını ve de dikkat düzeyinin de arttığı belirtilmelidir. System for Designing Course Learning and Evaluation”, J. Educ.
Winter vd. [62] ön bilgi düzeyine göre öğrencilerin aktif Comput. Res., c. 55, sayı 8, 2018, doi:
katılım düzeyinde farklılık gösterdiğini vurgulamaktadır. Bu 10.1177/0735633117699955.
[11] K. R. Scherer, “Psychological Models of Emotion”, içinde The
durum çalışma ile uyumluluk göstermektedir. Neuropsychology of Emotion, 2000.
6) Fiziksel Şartlar Boyutu: [12] P. Seli, R. E. Beaty, J. A. Cheyne, D. Smilek, J. Oakman, ve D.
Öğrencilerin canlı ders ortamında birçok unsur L. Schacter, “How pervasive is mind wandering, really?”,
etkilemektedir. Bu unsurlardan bazıları ise fiziksel Conscious. Cogn., c. 66, 2018, doi:
10.1016/j.concog.2018.10.002.
değişkenler oluşturmaktadır [63]. Öğrencileri etkileyen [13] A. D. Rowe, J. Fitness, ve L. N. Wood, “University student and
fiziksel değişkenler üzerine yapılan bazı çalışmalar lecturer perceptions of positive emotions in learning”, Int. J.
incelendiğinde ses, öğrencileri etkileyen önemli bir değişken Qual. Stud. Educ., c. 28, sayı 1, 2015, doi:
olarak görülmektedir [64]. Fiziksel değişkenler öğrencileri 10.1080/09518398.2013.847506.
[14] J. Hernik ve E. Jaworska, “THE EFFECT OF ENJOYMENT ON
farklı boyutlarda etkilemektedir [65]–[68]. Bu çalışma LEARNING”, içinde INTED2018 Proceedings, 2018. doi:
canlı ders ortamında öğrencilerin etkilendiği unsurları tespit 10.21125/inted.2018.1087.
etmeye çalışmış ve fiziksel şartların öğrencileri canlı [15] D. Matsumoto, D. Keltner, M. N. Shiota, M. O’Sullivan, ve M.
derslerde etkilediği görülmüştür. Elcil ve Şahiner‘e [61] Frank, “Facial expressions of emotion.”, 2008.
[16] M. Kaitz, O. Meschulach-Sarfaty, J. Auerbach, ve A. Eidelman,
göre öğrencinin ders süreci boyunca bağlandığı ortamla “A Reexamination of Newborns’ Ability to Imitate Facial
alakalı gürültü, kalabalık bir ortam vd. durumlar dikkat Expressions”, Dev. Psychol., c. 24, sayı 1, 1988, doi:
durumunu olumsuz yönde etkilemektedir. Bu durum ilgili 10.1037/0012-1649.24.1.3.
çalışma ile benzerlik göstermektedir. [17] R. W. Picard, Affective Computing. 2000. doi:
10.7551/mitpress/1140.001.0001.
[18] D. Cernea ve A. Kerren, “A survey of technologies on the rise for
emotion-enhanced interaction”, J. Vis. Lang. Comput., c. 31,

72
 2015, doi: 10.1016/j.jvlc.2015.10.001. [44] A. Yıldırım ve H. Simsek, “Sosyal bilimlerde nitel araştırma
[19] K. R. Scherer, “What are emotions? and how can they be yöntemleri”, 2018.
measured?”, Social Science Information, c. 44, sayı 4. 2005. doi: [45] P. Ekman, “Are there basic emotions?”, 1992.
10.1177/0539018405058216. [46] E. Cevahir, SPSS ile nicel veri analizi rehberi. Kibele, 2020.
[20] N. Millard ve L. Hole, “In the Moodie: Using ‘affective widgets’ [47] K. Bahreini, R. Nadolski, ve W. Westera, “Towards multimodal
to help contact centre advisors fight stress”, Affect Emot. Human- emotion recognition in e-learning environments”, Interact. Learn.
Computer Interact. From Theory to Appl., ss. 186–193, 2008. Environ., c. 24, sayı 3, 2016, doi:
[21] P. J. Lang, “The mechanics of desensitization and the laboratory 10.1080/10494820.2014.908927.
study of human fear”, Behav. Ther. Apprais. status. New York [48] D. Conflitti, R. Santoboni, C. Giovannella, ve A. Paoloni,
McGraw-Hill, ss. 160–191, 1969. “Challenging emotivity: the voice.”, IxD&A, c. 5, ss. 107–110,
[22] A. Mehrabian, “A semantic space for nonverbal behavior.”, J. 2009.
Consult. Clin. Psychol., c. 35, sayı 2, s. 248, 1970. [49] S. D’Mello ve R. A. Calvo, “Beyond the Basic Emotions: What
[23] H. C. K. Lin, C. H. Wang, C. J. Chao, ve M. K. Chien, Should Affective Computing Compute?”, içinde Conference on
“Employing textual and facial emotion recognition to design an Human Factors in Computing Systems - Proceedings, 2013. doi:
affective tutoring system”, Turkish Online J. Educ. Technol., c. 10.1145/2468356.2468751.
11, sayı 4, 2012. [50] M. K. Kim ve T. Ketenci, “The role of expressed emotions in
[24] S.-H. Su, H.-C. K. Lin, C.-H. Wang, ve Z.-C. Huang, “Multi- online discussions”, J. Res. Technol. Educ., c. 52, sayı 1, 2020,
Modal Affective Computing Technology Design the Interaction doi: 10.1080/15391523.2019.1697861.
between Computers and Human of Intelligent Tutoring Systems”, [51] H. C. K. Lin, C. H. Wu, ve Y. P. Hsueh, “The influence of using
Int. J. Online Pedagog. Course Des., c. 6, sayı 1, 2016, doi: affective tutoring system in accounting remedial instruction on
10.4018/ijopcd.2016010102. learning performance and usability”, Comput. Human Behav., c.
[25] F. W. Tung, “Effects of emotional feedback on children, using 41, 2014, doi: 10.1016/j.chb.2014.09.052.
different modalities”, Interact. Learn. Environ., c. 21, sayı 1, [52] Z. L. Berge, “Changing instructor’s roles in virtual worlds”, Q.
2013, doi: 10.1080/10494820.2010.542758. Rev. Distance Educ., c. 9, sayı 4, 2008.
[26] K. Bahreini, R. Nadolski, ve W. Westera, “Towards real-time [53] V. E. Varvel, “Master Online Teacher Competencies”, Online J.
speech emotion recognition for affective e-learning”, Educ. Inf. Distance Learn. Adm., c. 10, 2007.
Technol., c. 21, sayı 5, 2016, doi: 10.1007/s10639-015-9388-2. [54] M. J. Bober ve V. P. Dennen, “Intersubjectivity: Facilitating
[27] A. McStay, “Emotional AI and EdTech: serving the public knowledge construction in online environments”, EMI. Educ.
good?”, Learn. Media Technol., c. 45, sayı 3, 2020, doi: Media Int., c. 38, sayı 4, 2001, doi:
10.1080/17439884.2020.1686016. 10.1080/09523980110105150.
[28] C. H. Wu, Y. M. Huang, ve J. P. Hwang, “Review of affective [55] L. Muilenburg ve Z. L. Berge, “Barriers to distance education: A
computing in education/learning: Trends and challenges”, Br. J. factor–analytic study”, Int. J. Phytoremediation, c. 21, sayı 1,
Educ. Technol., c. 47, sayı 6, 2016, doi: 10.1111/bjet.12324. 2001, doi: 10.1080/08923640109527081.
[29] C. Akbiyik, “Can affective computing lead to more effective use [56] L. P. Bezuidenhout, “Creating a virtual classroom: Evaluating the
of ICT in education?”, Rev. Educ., c. 352, 2010. use of online discussion forums to increase teaching and learning
[30] F. J. Maldonado, “Serious games and the use of haptic devices activities”, içinde Proceedings from EDULEARN09 Conference,
for a multisensory experience”, Asesor. y tutorías para la 2009.
Investig. científica en la Educ. Puig-Salabarría S.C., c. 10, sayı [57] Q. Cao, T. E. Griffin, ve X. Bai, “The importance of synchronous
2, 2018. interaction for student satisfaction with course web sites”, J. Inf.
[31] B. Williamson, “Moulding student emotions through Syst. Educ., c. 20, sayı 3, s. 331, 2009.
computational psychology: affective learning technologies and [58] M. G. Moore, “Toward a Theory of Independent Learning and
algorithmic governance”, EMI. Educ. Media Int., c. 54, sayı 4, Teaching”, J. Higher Educ., c. 44, sayı 9, 1973, doi:
2017, doi: 10.1080/09523987.2017.1407080. 10.1080/00221546.1973.11776906.
[32] H. C. K. Lin, N. S. Chen, R. T. Sun, ve I. H. Tsai, “Usability of [59] M. B. Karsli ve S. Karaman, “Investigation of distance education
affective interfaces for a digital arts tutoring system”, Behav. Inf. students’ experiences on content-integrated social interactions”,
Technol., c. 33, sayı 2, 2014, doi: Educ. Inf. Technol., ss. 1–30, 2023.
10.1080/0144929X.2012.702356. [60] S. W. Chou ve C. H. Liu, “Learning effectiveness in a Web-based
[33] F. C. Murphy, I. Nimmo-Smith, ve A. D. Lawrence, “Functional virtual learning environment: A learner control perspective”,
neuroanatomy of emotions: A meta-analysis”, Cogn. Affect. Journal of Computer Assisted Learning, c. 21, sayı 1. 2005. doi:
Behav. Neurosci., c. 3, sayı 3, 2003, doi: 10.3758/CABN.3.3.207. 10.1111/j.1365-2729.2005.00114.x.
[34] R. Pekrun, “The control-value theory of achievement emotions: [61] Ş. Elçil ve D. S. Şahiner, “UZAKTAN EĞİTİMDE
Assumptions, corollaries, and implications for educational İLETİŞİMSEL ENGELLER”, Sos. ve Beşeri Bilim. Derg., c. 6,
research and practice”, Educ. Psychol. Rev., c. 18, ss. 315–341, sayı 1, 2014.
2006. [62] S. Winter, S. Kuyath, R. Mickelson, ve C. Saydam, “The Effects
[35] K. Boehner, R. DePaula, P. Dourish, ve P. Sengers, “How of Instant Messaging on Distance Learning Outcomes”, Int. J.
emotion is made and measured”, Int. J. Hum. Comput. Stud., c. Business, Humanit. Technol., c. 3, ss. 13–26, Oca. 2013.
65, sayı 4, ss. 275–291, 2007. [63] N. Bayındır, “Çevrimiçi öğrenme ortamlarında teknik ve
[36] M. Ez-zaouia, A. Tabard, ve E. Lavoué, “EMODASH: A mekânsal düzenleme”, Akad. Platf. Eğitim ve Değişim Derg., c.
dashboard supporting retrospective awareness of emotions in 5, sayı 1, ss. 21–39, 2022.
online learning”, Int. J. Hum. Comput. Stud., c. 139, 2020, doi: [64] A. Uzelac, N. Gligoric, ve S. Krco, “A comprehensive study of
10.1016/j.ijhcs.2020.102411. parameters in physical environment that impact students’ focus
[37] J. W. Creswell ve M. Sözbilir, Karma Yöntem Araştırmalarına during lecture using Internet of Things”, Comput. Human Behav.,
Giriş. 2017. doi: 10.14527/9786053184720. c. 53, 2015, doi: 10.1016/j.chb.2015.07.023.
[38] H. Özmen ve O. Karamustafaoğlu, “Eğitimde araştırma [65] J. M. Daisey, W. J. Angell, ve M. G. Apte, “Indoor air quality,
yöntemleri”, Ankara Pegem Akad., 2019. ventilation and health symptoms in schools: An analysis of
[39] R. B. Johnson ve A. J. Onwuegbuzie, “Mixed Methods Research: existing information”, Indoor Air, c. 13, sayı 1. 2003. doi:
A Research Paradigm Whose Time Has Come”, Educ. Res., c. 10.1034/j.1600-0668.2003.00153.x.
33, sayı 7, 2004, doi: 10.3102/0013189X033007014. [66] G. I. Earthman, “School Facility Conditions and Student
[40] P. Davies, “Contributions from qualitative research”, içinde What Academic Achievement”, UCLA’s Inst. Democr. Educ. Access
works?, 2017. doi: 10.2307/j.ctt1t892t3.20. Univ., c. 2002, sayı October, 2002.
[41] Ş. Büyüköztürk, E. Kılıç Çakmak, Ö. Erkan Akgün, Ş. [67] D. P. Wyon, “Studies of children under imposed noise and heat
Karadeniz, ve F. Demirel, Bilimsel araştırma yöntemleri. 2017. stress”, Ergonomics, c. 13, sayı 5, 1970, doi:
doi: 10.14527/9789944919289. 10.1080/00140137008931185.
[42] K. F. Punch, Developing Effective Research Proposals. 2016. [68] S. Veltri, J. H. Banning, ve T. G. Davies, “The Community
[43] J. H. McMillan ve S. Schumacher, “Research in Education: College Classroom Environment: Student Perceptions”, Coll.
Evidence-Based Inquiry, MyEducationLab Series.”, Pearson, Stud. J., c. 40, sayı 3, 2006.
2010.

73
 VI. EKLER

A. Ek-1. YARI YAPILANDIRILMIŞ GÖRÜŞME SORULARI

Duygu ve Dikkatin Etkilendiği Unsurlar

İlgili derste mutlu, sinirli, şaşkın (gibi her bireyde önce çıkan duygu) duygunuzun yüksek | düşük çıkmasının
nedeni nedir? İlgili duygunuz nelerden etkilenmektedir?
Canlı ders esnasında dikkatinizi ve duygu durumunuzu etkileyen (olumlu-olumsuz) unsurlar neler olmuştur?
1.1. Kişisel hayat ve problemleri açısından,
1.2. Canlı derslere bağlandığın fiziksel ortam (sıcaklık, nem, ışık, ses, ortamda
bulunan araç/gereç/farklı kişiler/teknolojik aygıtlar) açısından,
1.3. Dersin ve konunun yoğunluğu açısından,
1.4. Canlı ders için kullanılan platformun arayüzünün iyi ya da kötü olması açısından,
1.5. Öğretmenin tutum davranışları açısından,
1.6. Ders materyali/içeriği/konusu/süresi
1.6.1. Derse yönelik duygularınız ve dikkatiniz ders konusu ve içeriğine bağlı
olarak nasıl bir değişiklik göstermektedir?
1.6.2. Derse yönelik duygularınız ve dikkatiniz derste kullanılan öğrenmeyi
kolaylaştırıcı materyallere bağlı olarak nasıl bir değişiklik göstermektedir?
1.6.3. Derse yönelik duygularınız ve dikkatiniz canlı derslerin süresine bağlı
olarak nasıl bir değişiklik göstermektedir?
1.7. Akranlar ile sohbet, soru-cevap yapılması ve etkileşimin artması açısından,
1.8. Teknik aksaklıklar (sizden/öğretmenden/sistemden kaynaklı durumlar, bilgisayar,
internet hızı vb. faktörler) açısından

Bu maddelerden hangilerinde duygularınız daha çok etkilenir hangilerinde dikkatiniz daha çok etkilenir?
Bu konuşulanlar haricinde canlı derslere yönelik duygularınızı ve dikkatinizi etkileyen farklı durumlar var mı?

B. Ek-2. CANLI DERS UYGULAMALARINDAN GÖRÜNTÜLER

74
75
D. Ek-3. Psikolojik danışmanların gözlem yolu ile ölçmüş olduğu duygu form örneği (Doldurulmuş form)

76
E. Ek-4. Anket Web Sayfası görünümü

F. Ek-5. Duygu Ölçümünü Engelleyen Bazı Durumlar

Öğrencilerin El ya da Kolları ile Yüzünü Kapatması

77
Öğrencilerin Karanlık Bir Ortamdan Canlı Derse Bağlanması

Öğrencilerin Kameraya Yüzünün Bir Kısmını Göstermesi

78
 A Framework to Measure User Experience
of Geoportals
Asmir Butkovic1, Gavin McArdle2, Michela Bertolotto3
School of Computer Science, University College Dublin, Dublin Ireland
[email protected],[email protected],[email protected]

Abstract— Geoportals serve as intermediaries between users capabilities, rather than a planning approach focused on users
and geospatial resources, enabling the discovery and access of and their needs [8]. In this regard, it is important to evaluate
digital geospatial data, tools, services, and catalogues. Users are whether a geoportal provides an adequate user experience to
encouraged to actively gauge the geoportal's capacity to fulfil all intended groups of users [9]. User experience is defined in
their individual requirements and expectations. This evaluation the ISO 9241–11:2018 standard as "A person's perceptions
should stem from their experiences while performing specific and responses that result from the use and/or anticipated use
tasks and engaging with the geoportal's functionalities. of a product, system, or service" [10]. User interface design
Therefore, assessing user experience (UX) is crucial during the is the process of creating all the visual aspects of a geoportal,
geoportal development process. The ISO 9241-210 standard
while user experience design involves all aspects of the end-
specifies that user experience consists of a sum of various
factors, but does not provide a definitive list of factors or
user social interaction with the geoportal, direct and indirect,
methods for measuring user experience. including the user's behaviour, thoughts, feelings and
This study proposes a new framework for measuring user perceptions. Therefore, measuring the user experience is
experience by identifying and adapting factors from traditional important because it can provide additional ideas to users’
metrics to the geospatial context, and introducing novel criteria perception of the particular attributes of the geoportal.
for evaluating cartographic visualisation and analytical There are many user experience (UX) frameworks for
capabilities within geoportals. It provides straightforward and measuring user experience and evaluating user satisfaction
user-friendly guidelines for efficient geoportal user experience with different platforms, but most are a set of criteria for
evaluations, enabling valuable feedback to enhance the evaluating general websites [11]. Geoportals exhibit unique
geoportal and secure acceptance among the targeted user base. characteristics, including a distinctive focus and
The framework is further refined by analysing 10 geoportals functionalities, that set them apart from other portals.
using the Honeycomb model by Peter Morville, resulting in the Therefore, it is necessary to use a set of specific and
incorporation of best practices to enhance the evaluation appropriate metrics and develop queries to measure each
process. The new framework takes into account the dynamic metric to evaluate user experience, ensuring a user-centered
and complex interaction between the geoportal and its users design of these platforms.
through five (5) factors: usability, perspicuity, discovery, In this paper, we propose a new framework for evaluating
novelty, and exploratory.
geoportals that allows an assessment of user experience. The
goal of the construction process described below was to
Keywords—User experience evaluation, Geoportals, User
experience framework, Honeycomb model
develop a framework based on a set of measurable and clearly
defined factors that, in the process of evaluating the
I. INTRODUCTION geoportal, provides insight into how well it meets end-user
goals, what users should expect from the system, and
Geoportals provide the technological infrastructure for provides concrete guidelines for giving constructive feedback
storing, processing, analysing, and distributing geospatial on how the geoportal platform can be improved.
data [1]. They inherit the key properties of a wide range of The structure of this paper is as follows. This introduction is
software information systems and are traditionally followed by Section II that provides background knowledge
represented by a set of qualitative and functional and related work. In Section III, we describe the evaluation
requirements, primarily for interfaces, through which they methodology. Section IV presents the evaluation results of
interact with the outside world [2]. measuring user experience satisfaction factors of selected
A geoportal can be defined as a type of web portal that is used geoportals based on the Honeycomb model of Peter Morville.
to find and access geographic information and associated Finally, Section V concludes the paper with a summary of the
geographic services via the Internet such as satellite imagery, findings.
aerial photographs, topographic data, and other geospatial
datasets [3], [4]. Geoportals are designed to facilitate the
exploration, sharing, and utilisation of spatial data by both II. RELATED WORK
professionals and the general public.
However, the functionality of discovering and accessing User experience design is the process of increasing a user’s
geospatial data presents a significant challenge as the level of satisfaction while interacting with a product by
continuous increase in available geospatial data leads users to improving its functionality, ease of use and convenience [12].
seek better analytical insight and the adaptation of spatial Geospatial platforms provide spatial data, oriented
content to the user's context to respond to specific needs [5], specialized services such as storing, management,
[6]. Website evaluation is broadly defined as the act of processing, visualization and utilization of geospatial data,
determining a correct and comprehensive set of user and other digital resources. Today, organisations establish
requirements, ensuring that a website provides useful content their own web portals or online based platforms, so-called
that meets user expectations and setting usability goals [7]. geoportals, offering means and environments for searching
The current practice of planning the design and development and accessing geospatial data and related geographic
of a geospatial platform, in most cases, is more oriented information services via the Internet.
towards technical development driven by functional

79
Since geoportals provide solutions and solve problems of user experience of a geoportal is increasingly focused on
specific thematic areas, to measure their user experience, it is providing feedback to improve more sophisticated spatial
necessary to use a set of specific and appropriate criteria and analytical capabilities. For example, Quiñones et al. [9]
get feedback from a representative and large enough group of created a set of 10 heuristics for evaluating the UX of
users [13], [14]. User experience evaluation includes user geoportals using as a template the set of specific heuristics for
experience metrics to evaluate the interaction between the geo-websites proposed by Komarkova et al. [33] and the
user and the product [15]. However, organisations face methodology proposed by Quiñones et al. [34]. These are
significant challenges in measuring the user experience [16], Environment and user interface; Support in different
in order to reveal the strengths and weaknesses of the browsers; Error preventions; Error handling; Flexibility,
application in a simple and immediate way, allowing users to design, and aesthetics; Ease of use; User privacy; Manuals
express feelings, impressions and attitudes that arise when and documentation; User control and freedom; and List of
experiencing the application [14]. For example, Zarour and available services [9].
Alharbi identified various user experience dimensions and Despite the large number of studies that evaluate the user
aspects that need to be considered when evaluating user experience of geoportals, most of them refer to the evaluation
experience [17]. These aspects are related to either the user of a specific academic, regional, or national geoportals [35],
themselves, the system that is providing the service or the [36], [37], [38]. Also, due to the dominant focus on
context of use between them. They identified the term functionality during geoportal development, current
Pragmatic Quality, which refers to the performance of the geoportal user interfaces still suffer from a lack of usability
task itself, such as usability; while the term Hedonic refers to regardless of whether they are used by expert or non-expert
the expression of self and user’s personal values such as users [39].
emotions. They found that the aspects that influence UX can
be categorised into one of the following types: User’s needs
aspects, Brand aspects, Technology aspects, and Context III. USER EXPERIENCE EVALUATION
aspects [17]. The evaluation of user experience is a process of quantifying
One way to get useful feedback from end-users is to use user user experience involving a specific set of tools and methods.
experience questionnaires to measure the subjective attitude It should decompose the user experience, that is, determine
of users towards the test application. The User Experience user perceptions that cannot be directly measured into
Questionnaire (UEQ) [18], originally designed in German, is measurable evaluation indicators before, during and after
a widely used questionnaire for measuring user experience using the product or service [40].
divided into six attributes. An initial set of more than 200 Geoportals are expected to provide basic functionalities such
potential items related to user experience was reduced to 26 as data access, search, visualisation, graphical functionality
items arranged into six attributes to be measured, namely: and download capability as well as additional functionalities
attractiveness, perspicuity, efficiency, dependability, such as dynamic visualisation, user feedback, analytical
stimulation, and novelty [19]. It is widely used to evaluate the capability and enhancement of search functionality [41], [42].
user experience of products and services in many domains, A challenge for both UX design and evaluation activities is
such as mobile applications [20], video games [21], health- that the complex and dynamic nature of the user experience
related systems [22], digital public administration platforms of geoportals, due primarily to the need for a highly
[23], and e-learning platforms [24]. interactive user interface and dynamic visual representation
There are many user experience (UX) frameworks and each of spatial information, makes it difficult to identify the cause
has different approaches and goals in measuring UX, but of a negative user experience [17].
most of them produce a general indication of the experience To design the new geoportal evaluation framework, we
as a result and do not seek to capture the problem that gave started from the criteria identified in existing frameworks,
rise to the bad UX [25]. In addition, there is a gap between primarily the User Experience Questionnaire (UEQ)
researchers or their approach to UX evaluation frameworks framework and the heuristic evaluation framework in order
and practitioners who need to integrate it into the software to collect all UX dimensions and related factors where there
engineering process of interactive online products [26]. is a clear definition of their meaning to create our theoretical
Therefore, many studies analyze the influencing factors that foundation [12], [8], [17], [40], [27], [32]. Then we review
need to be measured and provide an overview of the selected recent literature across disciplines and identify
evaluation criteria and implementation barriers that should be factors and propose their definition for evaluating user
considered during the life cycle phases of a product [27], [28]. experience in the geospatial domain. In the next stage, we
Another frequently used evaluation method is the so-called formally specify the framework by determining the factors
Heuristic evaluation, which involves the use of a few that should be included in the framework with a description
evaluators who compare the goal of testing in relation to of each factor that helps to better understand it. Finally, the
certain principles known as "heuristics" [29]. In these approach for refinement and improvement was to select 10
usability heuristics, first described by Nielsen and Molich geoportals to analyse and measure user experience
[30], evaluators use a checklist of criteria to find flaws satisfaction factors based on the Honeycomb model of Peter
overlooked by design teams [31]. Quiñones and Rusu state in Morville to identify best practices that were later incorporated
their work [32] that Heuristic evaluation is useful for into the framework.
evaluating UX and detecting potential problems, but that each In order to transparently evaluate these factors in the process
application domain may have unique and specific features, of identifying the relevant set of factors and defining their
therefore they recommend the use of specific heuristics descriptions, we link them with the functionality of the
including elements that evaluate both UX factors and their geoportal.
specific features.
Although the primary role of a geoportal is related to the
visualisation and distribution of data, the evaluation of the

80
 A. Honeycomb evaluation of geoportals TABLE I. EVALUATING USER EXPERIENCE FACTORS

Measuresb
Geoportala
In this paper, we evaluated the 10 top-ranked geoportals Usable Useful Desirable Findable
measured by the website traffic monitoring service The United States
5 5 4 3
SimilarWeb (www.similarweb.com) that provide standard Geological Survey
geoportal functionalities in the Earth Sciences category. VolcanoDiscovery 3 4 3 3
Similarweb produces ranked lists of websites using metrics INPE - Instituto
such as the number of visitors, the length of visits, the bounce Nacional de Pesquisas 4 4 3 3
rate, and traffic-share. Espaciais
Some of the web systems were not included in the study, Copernicus 5 5 4 4
either because they do not fit the definition of a geoportal
Hellenic Centre for
(e.g., National Geographic Society) or due to accessibility Marine
4 4 4 2
problems, as the language used in the user interface is not The geoportal of the
English (e.g., National Institute of Geophysics and Grand-Duchy of 5 5 4 5
Volcanology). Here we provide a comparison between these Luxembourg
geoportals following the 7 principles named as the Mindat.org 4 4 3 3
Honeycomb model, created by Peter Morville [42]. In the
INSPIRE Geoportal 4 4 4 4
user experience honeycomb model, the factors that influence
User Experience are Usefulness, Usability, Desirability, Sentinel Hub 5 5 4 5
Findability, Accessibility, Value, and Credibility. According University Corporation
to the model, Useful refers to ensuring that a service or for Atmospheric 3 3 4 3
system is useful and has innovative solutions that can meet Research
a.
users' wants or needs [43]. Usable means the ability to be easy Identification and selection of websites (English language) took place on February 9nd 2023
(9.00 a.m. CET).
to use and perform appropriately [40], [44]. Desirable focuses b.
Sample Poor = 1 | Fair = 2 | Good = 3 | Very Good = 4 | Excellent = 5.
on emotional engagement by enabling users to understand the
system and takes advantage of the design emotionally [42]. 1) Measuring Usability in The User Experience
Findable pays attention to the clarity of navigation and strives
to influence the creation of navigation systems and locatable Usability concerns ease of use and defines the extent to
objects so that users can find what they need [42]. which target users can use the geoportal to achieve specific
Accessibility means the availability of the system and the goals with effectiveness, efficiency and satisfaction in a given
ability to access information for users with disabilities and context [42]. The analysis showed that the geoportals: the
various capabilities [42]. The dimension of Valuable means United States Geological Survey, Copernicus, the Grand-
that the system must deliver value to the organization and its Duchy of Luxembourg, and the Sentinel Hub are intuitive and
users by advancing the organization's mission. Finally, easy to use without having to learn how to use them. On the
Credible refers to the user's ability to trust the system, such other hand, the portals, the INPE - Instituto Nacional de
as the system's ethical feasibility, durability, security, and Pesquisas Espaciais, the Hellenic Center for Marine, the
accuracy [42], [45]. Mindat.org and the INSPIRE Geoportal should be made more
The level of satisfaction with a dimension is defined as the understandable and minimize the learning curve for users.
author's personal response about their feelings and opinions The VolcanoDiscovery portal has a problem with
during interaction with the geoportal [38], and is standardized memorability and efficiency because it seems that repeat
on a 5-point scale (excellent, very good, good, fair, poor) and visitors cannot easily remember how to use the geoportal and
the satisfaction ratings of the 4 attributes are shown in Table it is difficult and time-consuming to achieve their goals on it.
I. The authors of this paper were themselves evaluators in the With the University Corporation for Atmospheric Research
study, all familiar with the theory and practice of user portal, in certain parts of the system, users may feel lost when
experience design and topics related to human-computer interacting with it.
interaction and use of geoportals. They had to walk through
a scenario that contained typical tasks of geospatial data 2) Measuring Usefulness in The User Experience
processing and analysis. Given the top ranking of these 10
geoportals on the Similarweb platform, factors credible and Perceived usefulness is the degree to which the geoportal
valuable were not measured because it is assumed that they fulfills the wishes or needs of users and defines innovative
are satisfactory, i.e. that users want these geoportals (that they solutions that are more useful [42]. For this sample, the
are valuable) and that they do what they promise (which geoportals: the United States Geological Survey, the
means that they are credible). When it comes to measuring Copernicus, the Hellenic Center for Marine, the Grand-
accessibility in the user experience, accessibility is defined as Duchy of Luxembourg, and the Sentinel Hub meet the real
providing an experience for people with disabilities or needs of users and offer innovative solutions for data access,
different abilities [42]. Web Content Accessibility Guidelines analysis and visualization, as well as the possibility of leaving
(WCAG) 2.1 cover a wide range of recommendations for feedback and displaying a social media feed.
making Web content more accessible [46]. When measuring However, the INPE - Instituto Nacional de Pesquisas
the accessibility factor, only two geoportals in the sample, the Espaciais and the Hellenic Centre for Marine portals should
United States Geological Survey and the Geoportal of the better identify user needs and address them. Although the
Grand Duchy of Luxembourg, had an "Accessibility VolcanoDiscovery and the Mindat.org portals offer
Statement". Therefore, the measurement scores for the consistent and systematised content, they lack innovative
accessibility factor were not entered in Table I. solutions to support decision-making.

81
The University Corporation for Atmospheric Research portal navigation, map interactions, and tools for exploring and
has the lowest score for this factor, which, in addition to the analysing spatial relationships within the user experience
lack of innovative solutions, lacks proper identification of evaluation. It also does not sufficiently address the unique
user needs. While a geoportal may excel in terms of usability, aspects of data visualisation, interaction with maps, and
offering a user-friendly interface and smooth navigation, its spatial analysis capabilities that are crucial in the user
ultimate utility is defined by its capacity to effectively tackle experience of geoportals. This supports our previous
real-world problems and meet the authentic needs of its users. theoretical conclusions regarding the need for a new
In essence, usability alone cannot ensure the practical framework for measuring user experience and assessing user
usefulness of a geoportal; it must align with users' genuine satisfaction in this area. As the foundation for this framework,
requirements and challenges to truly deliver value and we propose and formalise five key factors of UX: usability,
effectiveness. perspicuity, discovery, novelty, and exploratory, to measure
the user experience within the dynamic and complex
3) Measuring Desirability in The User Experience interaction between the geoportal and its users. Two factors
that were not sufficiently visible in the existing frameworks
Desirable means that the visual aesthetics of the geoportal for measuring user experience and which were introduced in
has a positive effect on the emotions of the users and satisfies this work are: Discovery and Exploratory. The Discovery
them [42]. In general, all 10 geoportals from this study can factor is focused on measuring the extent to which the
be said to have a cleverly crafted user experience design that geoportal helps the user to formulate geo-analytical
meets standard functional requirements and emotional questions. Furthermore, the Exploratory factor through its
aspects, for most of them, there is room for improvement in definition seeks to enable the user to provide clear feedback
aesthetics and visual appeal. In addition, the on the geoprotal's capacity for extracting insights and
VolcanoDiscovery portal is burdened by an extremely valuable information. The importance of these factors for the
cluttered layout, while the INPE - Instituto Nacional de user experience of a geoportal can vary depending on the
Pesquisas Espaciais portal and the Mindat.org portal reveal a specific context and user requirements; however, in a general
poor visual sense of the given thematic design. sense, their prioritisation typically follows this order of
importance as shown in Table II.
4) Measuring Findability in The User Experience
TABLE II. A NEW UX EVALUATION FRAMEWORK
Findability refers to the ease with which users can use the
Factor Description
geoportal navigation and locate the content or feature that
Does the geoportal ensure users' access to data is
they believe to be available [42]. For example, during the simple and fast, offers feedback on task progress,
evaluation, the evaluators aimed to find various types of implements measures to prevent errors, incorporates
geographic information, such as maps, data sets, and specific an effective search engine, enables control of data
tools, to assess how easily and efficiently they could access layers, provides clear navigation elements, facilitates
these resources within the geoportals. Although next to effective geospatial data discovery, and ensures
Usability satisfactory utilisation of geospatial services?
usability it is one of the aspects of the highest value, it
received the lowest score for the given sample. When it A strong emphasis on usability in a geoportal's UI design
comes to the Grand-Duchy of Luxembourg and the Sentinel helps ensure that users can easily navigate, explore, and
Hub portals, navigation is smooth and intuitively structured utilise the available maps, data, and tools.
and there is a high visibility of geographic information. The
user can easily discern the way to get to cartographic data, i.e. Does the user interface of the geoportal demonstrate
intuitive, predictable, consistent, and systematic
there is a direct link from the home page to the cartographic
design principles, ensuring ease of understanding,
area. However, the navigation of the Hellenic Center for while avoiding irrelevant interactivity and
Marine portal is poor as is the search function, and there are inconsistencies in feedback?
also no design elements to help guide users or emphasise the Perspicuity
more popular choices. On the United States Geological It refers to how well the UI presents information and
Survey and VolcanoDiscovery portals, the options in their functionality to users, allowing them to quickly and
easily navigate the platform, access desired features, and
drop-down menu are fairly extensive, unfamiliar, and understand the available options. A geoportal with high
complex. The INPE - Instituto Nacional de Pesquisas perspicuity will have a clear and intuitive UI design that
Espaciais, the Mindat.org, and the University Corporation for minimises confusion and cognitive load for users.
Atmospheric Research portals, should establish better groups Does the geoportal's user interface enable users to
of content and put them in the right order. Finally, although browse, search, and retrieve spatial data, utilise
the Copernicus and the INSPIRE geoportals have smooth interactive maps, employ effective filtering options,
facilitate general data discovery, categorise data and
navigation, and it is easy to browse content, there is metadata, and capture comprehensive information
sometimes a mismatch between where items are located and Discovery about the entire record collection?
where users look.
By focusing on the discovery aspect in the UI design, a
B. A new UX evaluation framework geoportal can provide users with effective tools and
features to explore and find maps, data, and resources
they need for their specific purposes.
The relative inadequacy of existing frameworks to
Does the geoportal's design integrate interactive and
capture complexities in geoportal functionalities and services personalized elements, employ thematic interactive
and provide useful feedback to improve geoportals is also cartographic visualisations, support layer
confirmed for the honeycomb model in this geoportal Novelty combination, utilize visually creative and appealing
evaluation study. Morville's framework for measuring user design elements, implement unconventional
experience cannot fully consider the significance of spatial navigation patterns, enable advanced functionalities
like multiple search methods, and facilitate the

82
 Factor Description we have proposed a framework for measuring geoportal user
viewing of historical trends and real-time patterns experience beyond traditional usability goals that allow the
over time? detection of potential UX problems and thus improve the user
experience of geoportals.
It refers to the use of innovative and unique design The framework uses the experience of traditional metrics to
elements or features that set the UI apart from others and
provide a fresh, engaging, and memorable user measure user experience with descriptions adapted to the
experience. geospatial context and in addition introduces novel factors
Does the geoportal include interactive maps, visual that allow identifying and measuring the cartographic
analytic tools, spatial navigation capabilities, visual visualisation and analytical capabilities of geoportals.
summaries of information, support serendipitous The findings of this work are expected to contribute to the
discovery, offer context and reference layers,
dashboards, and point-and-click data exploration,
understanding and evaluating user satisfaction of critical
Exploratory allowing users to discover insights from the start and geoportal functionalities and services by providing useful
identify areas or patterns for further exploration? feedback to designers and developers needed to improve
geoportals. This work provides a baseline for our future
An exploratory UI design empowers users to actively research on establishing user interface principles and
engage with the geoportal, discover hidden patterns, and guidelines that should be considered when designing
gain deeper insights from the geospatial data available.
geoportal user interfaces. The focus should be on user
interface elements, the design, and development process, and
The two factors, Perspicuity, which is a pragmatic quality an explicit understanding of user needs to build a geoportal
aspect (goal-oriented) and Novelty, a hedonic quality aspect that provides a desirable user experience.
(non-goal-oriented), were taken from the UEQ [19], a well-
known UX questionnaire. Perspicuity, originally defined in
the form of a question: "Is it easy to get familiar with the ACKNOWLEDGMENT
product? Is it easy to learn how to use the product?" [19] we
define as more directly visible and more easily measured "Is The authors would like to express their sincere gratitude to
the geoportal's user interface intuitive, predictable, the CAMEO (Creating an Architecture for Manipulating
consistent and systematic, easy to understand, and does it Earth Observation Data) project team for their support during
avoid irrelevant interactivity and inconsistencies in our research. They also acknowledge the Department of
feedback?". By measuring the Novelty factor as defined in Enterprise Trade and Employment’s (DETE) Disruptive
Table II, we strive to improve the synergy between users and Technology Innovation Fund (DTIF) for its substantial
the development team, motivating users to demand the financial backing of the CAMEO project.
application of new solutions and technologies, and on the
other hand, developers to search for solutions that will offer
them this. Understanding and measuring usability as defined REFERENCES
in Table II is important to assess how well a geoportal meets
users' needs and to find out whether users can achieve
specified goals with effectiveness, efficiency and satisfaction [1] S. Yamashkin, A. Yamashkin, M. Radovanović, M. Petrović, and E.
Yamashkina, ‘Geoportal Systems as an Access Point to Spatial Data
in a specified context of use. Infrastructure’, in Software Engineering Application in Systems
The overall satisfaction level is measured on a 5-grade scale Design: Proceedings of 6th Computational Methods in Systems and
ranging from 1 representing the lowest, and 5 the highest. Software 2022, Volume 1, Springer, 2023, pp. 598–612.
The scale is coded as (1) = Sample Poor; (2) = Fair; (3) = [2] S. A. Yamashkin, M. M. Radovanović, A. A. Yamashkin, A. N.
Good (4) = Very Good ; (5) = Excellent. Barmin, V. V. Zanozin, and M. D. Petrović, ‘Problems of designing
The framework provides clear guidelines for quickly and geoportal interfaces’, Geoj. Tour. Geosites, vol. 24, no. 1, pp. 88–101,
2019.
easily conducting geoportal user experience evaluation. [3] S. Hennig, ‘Assessment of NUTS and LAU open spatial data–
The proposed user experience measurement framework aims illustrated by the example of the Balkan Green Belt’, J. Environ. Prot.
to generate clear guidelines, facilitating both the evaluation Ecol., vol. 18, no. 3, pp. 993–1004, 2017.
and design of geoportals. These guidelines can provide [4] L. Bećirspahić and A. Karabegović, ‘Web portals for visualizing and
valuable feedback to enhance the geoportal and gain searching spatial data’, presented at the 2015 38th International
Convention on Information and Communication Technology,
acceptance among the targeted users. Electronics and Microelectronics (MIPRO), IEEE, 2015, pp. 305–311.
[5] Y. Jiang et al., ‘A smart web-based geospatial data discovery system
with oceanographic data as an example’, ISPRS Int. J. Geo-Inf., vol. 7,
IV. CONCLUSIONS AND FUTURE WORK no. 2, p. 62, 2018.
[6] A. Karabegovic and M. Ponjavic, ‘Geoportal as decision support
The role and importance of geospatial technology for system with spatial data warehouse’, presented at the 2012 Federated
understanding spatial and temporal aspects is undeniably Conference on Computer Science and Information Systems
growing in a wide range of disciplines such as environmental (FedCSIS), IEEE, 2012, pp. 915–918.
management [47], transport planning [48], management of [7] R. Law, ‘Evaluation of hotel websites: Progress and future
agriculture and forestry[49], infrastructure management [50] developments (invited paper for “luminaries” special issue of
and many other fields. However, discovering and accessing International Journal of Hospitality Management)’, Int. J. Hosp.
Manag., vol. 76, pp. 2–9, 2019.
geospatial data still presents a significant challenge both due [8] B. Resch and B. Zimmer, ‘User experience design in professional map-
to the growth of the volume of data and due to the excessive based geo-portals’, ISPRS Int. J. Geo-Inf., vol. 2, no. 4, pp. 1015–1037,
focus on the technology of geoportal development in relation 2013.
to the needs of the users themselves. This results in the [9] D. Quiñones, A. Barraza, and L. Rojas, ‘User Experience Heuristics
development of platforms that deliver content and for Geoportals’, Usability User Exp., vol. 39, p. 44, 2022.
[10] International Organization for Standardization, ‘ISO 9241-11: 2018—
functionality to end-users that are not fully in accordance Ergonomics of Human-System Interaction—Part 11: Usability:
with their needs, preferences and priorities. For this reason, Definitions and Concepts’, ISO Stand. Cat., 2018.

83
[11] H. M. Selim, ‘Content evaluation criteria for general websites: usability of GeoWeb sites’, presented at the Web and Wireless
Analysis and comparison’, Int. J. Online Mark. IJOM, vol. 2, no. 3, pp. Geographical Information Systems: 7th International Symposium,
21–38, 2012. W2GIS 2007, Cardiff, UK, November 28-29, 2007. Proceedings 7,
[12] J. G. Jesse, ‘The elements of user experience: User-centered design for Springer, 2007, pp. 264–278.
the web and beyond’, 2011. [34] D. Quiñones, C. Rusu, and V. Rusu, ‘A methodology to develop
[13] G. O. Reddy et al., ‘Geospatial technologies in development of soil usability/user experience heuristics’, Comput. Stand. Interfaces, vol.
information system and prototype geoportal’, in Sustainable 59, pp. 109–129, 2018.
Management of Land Resources, Apple Academic Press, 2017, pp. [35] J. Komarkova, P. Sedlak, S. Struska, and A. Dymakova, ‘Usability
411–442. Evaluation the Prague Geoportal: Comparison of Methods’, presented
[14] M. Schrepp, A. Hinderks, and J. Thomaschewski, ‘Design and at the 2019 International Conference on Information and Digital
evaluation of a short version of the user experience questionnaire Technologies (IDT), IEEE, 2019, pp. 223–228.
(UEQ-S)’, Int. J. Interact. Multimed. Artif. Intell. 4 6 103-108, 2017. [36] S. Schindler, M. Paradies, A. Twele, and G. R. S. D. Center, ‘Here is
[15] M. Juric, F. Pehar, and N. P. Pavlović, ‘Translation, Psychometric my query, where are my results? A search log analysis of the
Evaluation, and Validation of the Croatian Version of the User EOWEB® Geoportal’, presented at the 2019 Conference on Big Data
Experience Questionnaire (UEQ)’, Int. J. Human–Computer Interact., from Space: Turning Data into Insights,(BiDS’19), Munich, Germany,
pp. 1–14, 2022. 2019, pp. 1–4.
[16] J. Sauro, ‘The challenges and opportunities of measuring the user [37] F. Pedrera et al., ‘MELOA catalogue, geoportal and data services: a
experience’, J. Usability Stud., vol. 12, no. 1, pp. 1–7, 2016. modern approach for a marine in-situ measurements spatial data
[17] M. Zarour and M. Alharbi, ‘User Experience Aspects and Dimensions: infrastructure and data services’, presented at the 9th MARTECH:
Systematic’. International Workshop on Marine Technology: 16-18 June 2021,
[18] B. Laugwitz, M. Schrepp, and T. Held, ‘Konstruktion eines 2021, pp. 154–155.
Fragebogens zur Messung der User Experience von [38] P. Landeta, J. Vásquez, P. Granda, F. Lucano, and I. García-Santillán,
Softwareprodukten.’, presented at the Mensch & Computer, 2006, pp. ‘Evaluation of Usability in Raster Data Management Module
125–134. Integrated to a Geoportal’, Rev. Ibérica Sist. E Tecnol. Informação, no.
[19] B. Laugwitz, T. Held, and M. Schrepp, ‘Construction and evaluation E19, pp. 14–27, 2019.
of a user experience questionnaire’, presented at the HCI and Usability [39] C. Gkonos, I. Iosifescu Enescu, and L. Hurni, ‘Spinning the wheel of
for Education and Work: 4th Symposium of the Workgroup Human- design: evaluating geoportal Graphical User Interface adaptations in
Computer Interaction and Usability Engineering of the Austrian terms of human-centred design’, Int. J. Cartogr., vol. 5, no. 1, pp. 23–
Computer Society, USAB 2008, Graz, Austria, November 20-21, 43, 2019.
2008. Proceedings 4, Springer, 2008, pp. 63–76. [40] T. Wen, C. Fan, T. Tao, and W. Gao, ‘The Application of Big Data
[20] N. Setiyawati and D. H. Bangkalang, ‘The Comparison of Evaluation Analysis to Assist the Design of Children’s Food Packaging
on User Experience and Usability of Mobile Banking Applications Experience Model’, presented at the 2022 3rd International
Using User Experience Questionnaire and System Usability Scale’, Conference on Big Data and Social Sciences (ICBDSS 2022), Atlantis
presented at the Proceedings, MDPI, 2022, p. 87. Press, 2022, pp. 534–544.
[21] N. Mohd Razali, A. Harun, and R. Abdul Rahim, ‘Virtual skin: [41] J. Nielsen, ‘Usability 101: Introduction to usability’, 2012.
assessing player experience of attractiveness with the User Experience [42] P. Morville, ‘User experience design’, Semantic Studio, vol. 21, 2004.
Questionnaire (UEQ)’, Int. J. Art Des. IJAD, vol. 5, no. 2, pp. 33–44, [43] M. Barifah, M. Landoni, and A. Eddakrouri, ‘Evaluating the user
2021. experience in a digital library’, Proc. Assoc. Inf. Sci. Technol., vol. 57,
[22] D. Zhu, D. Wang, R. Huang, Y. Jing, L. Qiao, and W. Liu, ‘User no. 1, p. e280, 2020.
interface (UI) design and user experience questionnaire (UEQ) [44] S.-H. Yoon, G.-Y. Park, and H.-W. Kim, ‘Unraveling the relationship
evaluation of a to-do list mobile application to support day-to-day life between the dimensions of user experience and user satisfaction: a
of older adults’, presented at the Healthcare, MDPI, 2022, p. 2068. smart speaker case’, Technol. Soc., vol. 71, p. 102067, 2022.
[23] W. Hasim, S. Wibirama, and H. A. Nugroho, ‘Redesign of E- [45] A. A. Syahidi and H. Tolle, ‘Evaluation of User Experience in
participation using user-centered design approach for improving user Translator Applications (Banjar-Indonesian and Indonesian-Banjar)
experience’, presented at the 2019 International Conference on Based on Mobile Augmented Reality Technology using the UX
Information and Communications Technology (ICOIACT), IEEE, Honeycomb Method’, J. Games Game Art Gamification, vol. 6, no. 1,
2019, pp. 857–861. pp. 7–13, 2021.
[24] A. N. Fajar, ‘E-learning implementation using user experience [46] World Wide Web Consortium, ‘Web content accessibility guidelines
questionnaire’, presented at the Journal of Physics: Conference Series, (WCAG) 2.1: W3C recommen‐dation 05 June 2018’, 2018.
IOP Publishing, 2019, p. 012015. [47] A. Zwirowicz-Rutkowska and A. Michalik, ‘The use of spatial data
[25] R. K. Paredes and A. A. Hernandez, ‘Measuring the quality of user infrastructure in environmental management: an example from the
experience on web services: A case of university in the Philippines’, spatial planning practice in Poland’, Environ. Manage., vol. 58, pp.
presented at the 2017IEEE 9th International Conference on Humanoid, 619–635, 2016.
Nanotechnology, Information Technology, Communication and [48] C. Nunes Silva, Trends and Innovations in Urban E-planning. IGI
Control, Environment and Management (HNICEM), IEEE, 2017, pp. Global, 2022.
1–6. [49] S. T. Arab et al., ‘A review of remote sensing applications in
[26] L. Marques et al., ‘Understanding UX better: A new technique to go agriculture and forestry to establish big data analytics’, Remote Sens.
beyond emotion assessment’, Sensors, vol. 21, no. 21, p. 7183, 2021. Appl. Reg. Perspect. Agric. For., pp. 1–24, 2022.
[27] R. Nouri, S. R Niakan Kalhori, M. Ghazisaeedi, G. Marchand, and M. [50] A. Dawidowicz, M. Nowak, and M. Gross, ‘Land administration
Yasini, ‘Criteria for assessing the quality of mHealth apps: a system and geoportal service for the need of a fit-for-purpose national
systematic review’, J. Am. Med. Inform. Assoc., vol. 25, no. 8, pp. urban greenery management system (UGMS). The concept for the EU
1089–1098, 2018. member state of Poland’, Acta Sci. Pol. Adm. Locorum, vol. 21, no. 1,
[28] T. Kowatsch, L. Otto, S. Harperink, A. Cotti, and H. Schlieter, ‘A pp. 53–81, 2022.
design and evaluation framework for digital health interventions’, IT-
Inf. Technol., vol. 61, no. 5–6, pp. 253–263, 2019.
[29] M. Hub, O. Visek, and P. Sedlák, ‘Heuristic evaluation of Geoweb:
case study’, presented at the Proceedings of the 5th European
conference on European computing conference, 2011, pp. 142–146.
[30] J. Nielsen and R. Molich, ‘Heuristic evaluation of user interfaces’,
presented at the Proceedings of the SIGCHI conference on Human
factors in computing systems, 1990, pp. 249–256.
[31] V. Kenny, M. Nathal, and S. Saldana, ‘Heuristic algorithms-
optimization (2023)’.
[32] D. Quiñones and C. Rusu, ‘Applying a methodology to develop user
eXperience heuristics’, Comput. Stand. Interfaces, vol. 66, p. 103345,
2019.
[33] J. Komarkova, O. Visek, and M. Novak, ‘Heuristic evaluation of

84
A Feature Engineering Approach Based on the Data
Gathered from a VR Environment Using Haptic
Interface to Increase the Applicability of ML
Methods

Gokcen Tonbul Damla Topallı Nergiz Ercil Cagiltay

Strategy and Technology Research Department of Computer Engineering Department of Software Engineering
Center Atilim University Cankaya University
Baskent University Ankara, Türkiye Ankara, Türkiye
Ankara,Türkiye [email protected] [email protected]
[email protected]

Abstract—Haptic technology has been used as a tool in direct subject of the HCI studies. However, it has deep
many different research areas to analyze human behavior connections with all of these activities as a powerfull
depending on the characteristics of hand movement during external quality assurance tool [2]. It is possible to observe
interaction with machines. The dataset collection contains how much a product is easy to use by applying some
hand movement data as well as performance-based measurements [3]. These observations depends on the data
measurements like task duration. Firstly, the computer that provides valuable insights. For instance, some typical
simulation-based surgical training environment’s data metrics are number of clicks, success rate and task
collection was analyzed. Then, a data preprocessing phase is completion time as objective assessment approximations [4].
conducted to architect the datasets. Such processed datasets
The time to complete a specific task during the interaction
can be used as a guide to make the necessary changes to the
environmental design. This practice can standardize a
with the product reveals some properties about cognitive
framework for how a data science pipeline can be built on top load which is an important asset in HCI [5].
of a specific virtual reality environment. Moreover, feature The VR concept is rather related to changing the reality
engineering methodology is presented with the help of the to a computer-based simulated one [6]. Therefore, there is a
created data structure. Hand movement-based analysis is possibility to create artifical environments that provides
extended to reach a reproducible framework. In this study, realistic experience which creates new perspectives for HCI
proper sets of tools have been employed to build a deep
domain. Moreover, the replication of real world processes
understanding of the raw data. The data analysis effort has
brings the evaluation capability of a VR environment to the
been built up to explore the analysis options and feature
extraction methods, how they are related to VR environments, table. However, this also introduces new problems such as a
and how they are applied using haptic-like technologies. The need for a force feedback. Haptic devices are used as a
hand movement data gathered from VR experimental designs medium to provide this capability that creates a realistic
using haptic devices is limited to one variable, the time. touching experience during the interaction with VR
Moreover, the performance data is used to increase the environments. For example, the surgical assessment studies
observations as well as to turn the time series dataset into introduces haptic devices to increase the objective evaluation
cross-sectional data. The results show that it is possible to capabilities [6].
create a measurable human-computer interaction (HCI)
framework using feature engineering practices. Finally, we
In this study, the data gathered from an educational 3D
discuss the effects and usability of crafted data by means of VR environment with an haptic interface is used. To make
HCI and the applicability of ML methods. In the future, the this realistic experience a measurable property in HCI
experimental datasets can be adapted for different domain, the aim is to introduce a framework that contains
approximations. In addition, the pre-analysis can be adapted to feature engineering effort to build a extract, transform and
the software development lifecycle to improve the quality of the load (ETL) pipeline process in micro scale. Finally, the
datasets and even adapt the analysis tool to the game output of this process is discussed by means of future
environment to reach a more robust HCI framework. applicability.

Keywords—Human Computer Interaction, Virtual Reality, II. EXPERIMENTAL SETUPS

Feature Engineering, Machine Learning
A. VR Environment
I. INTRODUCTION This study focuses on the experimental designs
Nowadays, HCI studies focus interaction between containing four different scenarios developed using the
humans and advancing technological output. This is based on Unity3D game development environment and C# and a
advancing product interfaces that pushes the limit of the computer setup with two haptic devices. The goal of these
definitions of that interaction from simple web pages to large scenarios was to measure the participant's hand motion as
language models. It is related with many different research well as their performance.
areas or applications such as behavioural analysis,
ecommerce or virtual reality (VR) as an revolutionary
discipline [1]. The software development activites are not the

85
B. Scenarios
There are four basic scenarios had been designed to
measure the surgical capability as mentioned. First two
experiments concern adaptation which makes participants to
gain a depth-perception and general control ability. The
others contain a simulated anatomical model which is more
realistic experimental approximation.

Fig. 1. Clearing the Nose Scenario (Scenario-3)

A sample layout of scenario 3 can be seen in Figure 1.

This scenario is built with a simulated anatomical nose
model. The participant advances in a nose model to remove
harmful substances as green dots. The camera is used like a
tool at the same time as a fixed light that provides a clear
view during operation inside the 3D nose model in the one-
handed experiment. The participant collects random green
dots to clean the nose using a haptic device with one hand.
The same simulation is applied with two haptic devices in
the double-handed experiment.

C. Participants
21 doctors and 7 interns had been participated in this
study from the neurosurgery or otolaryngology departments.

III. DATA COLECTION

The data has been collected frame by frame during each
experiment. Two different text files in JSON format were
automatically saved in a specified folder. Each scenario
prepared as a single-handed and double-handed versions as it
is stated. In double handed version, participant plays the
same scenarios with two haptic devices. In these experiments
dominant hand controls the 3D endoscopic tool, while non-
dominant hand uses camera and light source while it depends
on the Handedness condition in single-handed versions. The
data recording had been started as soon as scenario starts and
finishes when the scenario completed in a predefined time
period. The 8 different one-handed experimental setups have
performance and hand data set files in a total 16 text files,
while four double-handed experiments have 8 text file data
sets. Each participant experimental procedure has a folder
and contains 24 different text files.

A. Hand Movement Data

The recorded time value has no fixed time intervals.
Instead, it is recorded frame by frame depending on change Fig. 2. “TimeElapsed” Feature (X) per Data Point (Y) for All Participants
in the scene during a task in a 3D environment. This per Scenario Design
recorded value is called DataTime per frame. It shows the
starting time of the current frame in seconds in a scenario. C. Data Alignment
B. Performance Data Each data point means a task in a performance dataset.
Eight experiments have ten tasks for each scenario design
The performance data is recorded for each task during (80) except the 4th scenario that includes 15 tasks. Therefore,
experimental game play. the experiments ECES0401 and ECES0402 have 15
 Time: Task completion time datapoints per participant (30 total tasks). The “time” values
are available in all performance datasets. It shows that how
 Distance: Path length much time it takes to complete a specific task.

86
 The “distance” feature shows the path length that a user  PartWMean: Calculation of mean of Velocity value
hands go through with the endoscopic tool for each task. In from the beginning of the related participant's data
the experimental performance datasets, these features are record. The window length is the length of the
available with exact the same meaning. Whence, each file participant's data record.
will be used create a unified dataset. The complete dataset
will be used as a base to extract new features for the hand  PartWVar: Calculation of variance of Velocity
movement data. value from the beginning of the related participant's
data record. The window length is the length of the
Hand movement dataset have datapoints saved frame by participant's data record.
frame. It means that a C# script is fired with a change in
hand movement and saves the related information. For  logs_div: Calculation of the division of the current
instance, DataTime feature shows the elapsed time from the time elapsed value with the previous datapoint. The
beginning of the experiment to the related datapoint. window length is 2.
 logs_subt: Calculation of the subtraction of the
D. Data Analysis- Time Elapsed Feature previous datapoint from the current time elapsed
The TimeElapsed feature that keeps the frame length in value. The window length is 2.
seconds is added to the data frame for demonstration
Calculations start over whenever a new participant’s data
purposes. The Figure 2 show elapsed time for each data point
record is started in the unified datasets.
for all participants per experiment. It is important to notice
that long sticks shows that participant’ concentrated on a task
that is hard and takes time if it is not a problematic record. It B. Participant-based Rolling Window with Time-based
was anticipated that the difficulty of scenario is low in Features (PT)
ECES0101 and high in ECES0402. The results clearly The aim of this process is to create a new data frame
support this opinion. depending on elapsed time data. The extracted additional
In data preparation phase, it may be possible to clean the features and their explanations can be seen as below:
outliers to improve the model quality. However, to decide on  PartDurWsum: Calculation of sum of TimeElapsed
the outlier is hard with hand movements. It is observed that value from the beginning of the related participant's
sometimes participant tries hard to reach a target in a limited data record. The window length is the length of the
time frame. Also, they may lose the feeling of depth participant's data record.
perception while moving through the virtual model.  PartDurWstd: Calculation of standard deviation of
Therefore, the spikes in graph are evaluated as a normal TimeElapsed value from the beginning of the
procedural side effects and any data cleaning for outlier data related participant's data record. The window
is not conducted. length is the length of the participant's data record.
 PartDurWmean: Calculation of mean of
IV. FEATURE ENGINEERING TimeElapsed value from the beginning of the
The data set now contains a distance approximation for related participant's data record. The window
each data point and the elapsed time. An approximate length is the length of the participant's data record.
velocity value was derived using this information and added  PartDurWvar: Calculation of variance of
to the feature set. The approximation of velocity is expected TimeElapsed value from the beginning of the
to provide better insights. The data set has provided some related participant's data record. The window
ideas about how to handle feature engineering process. A length is the length of the participant's data record.
participant is expected to have some distinct individual hand  logs_div & logs_subt: Calculation is same with the
movement characteristics. Another expectation would be that previous section.
all participants should derive hand movement patterns for
each task. For example, a trained surgical actor is expected to All additional features are reset whenever a new
exhibit more steady hand movements in case of a critical participant’s data record is started.
task. Moreover, this trained hand movements are expected to
be stable between tasks throughout the scenario play. These C. One Second Rolling Window with Velocity-based
expectations can be used to state such hypothesis, and Features (1SV)
produce many metric sets. Therefore, the participant based The aim of this process is to create a new specific data
and task-based rolling windows analysis are employed to frame with a different window. The window is now a one
create data frames that exhibits such defined characteristics second time frame. The extracted additional features and
of hand movements using a specific rolling window function. their explanations can be seen as below:
 SecWstd: Calculation of standard deviation of
A. Participant-based Rolling Window with Velocity-based
Velocity value from the beginning of the related
Features (PV)
data record up to the one second. The window the
A The extracted additional features and their length is one second.
explanations can be seen as below:  SecWmean: Calculation of mean of Velocity value
 PartWStd: Calculation of standard deviation of from the beginning of the related data record up to
Velocity value from the beginning of the related the one second. The window the length is one
participant's data record. The window length is the second.
length of the participant's data record.

87
  SecWvar: Calculation of variance of Velocity value F. Task-based Rolling Window with Time-based Features
the beginning of the related data records up to the (TT)
one second. The window the length is one second. The aim of this process is to create a new specific data
All additional features are reset whenever a new one second frame depending on elapsed time data. The extracted
long of data record has completed. additional features and their explanations can be seen as
D. One Second Rolling Window with Time-based Features below:
(1ST)  TaskDurWsum: Calculation of sum of
TimeElapsed value from the beginning of a task to
The aim of this process is to create a new specific data
the end of that task. The window length is the
frame depending on elapsed time with a one second rolling
length of the related task.
window. The extracted additional features and their
 TaskDurWstd: Calculation of standard deviation of
explanations can be seen as below:
TimeElapsed value from the beginning of a task to
 TimeDursum: Calculation of summation of
the end of that task. The window length is the
TimeElapsed value from the beginning of the
length of the related task.
related data record up to the one second. The
 TaskDurWmean: Calculation of mean of
window length is one second.
TimeElapsed value from the beginning of a task to
 TimeDurstd: Calculation of standard deviation of
the end of that task. The window length is the
TimeElapsed value from the beginning of the
length of the related task.
related data record up to the one second. The
 TaskDurWvar: Calculation of variance of
window the length is one second.
TimeElapsed value from the beginning of a task to
 TimeDurmean: Calculation of mean of
the end of that task. The window length is the
TimeElapsed value from the beginning of the
length of the related task.
related data record up to the one second. The
 logs_div & logs_subt: Calculation is same with the
window the length is one second.
previous section
 TimeDurvar: Calculation of variance of
TimeElapsed value from the beginning of the G. Two Second Rolling Window with Velocity-based
related data record up to the one second. The Features (2SV)
window the length is one second. The aim of this process is to create a new specific data
E. Task-based Rolling Window with Velocity-based frame depending on a different window. The window is now
Features (TV) a two second time period. The extracted additional features
and their explanations can be seen as below:
The aim of this process is to create a new specific data
 SecTaskWStd: Calculation of standard deviation of
frame similar to section “Participant-based Rolling Window
Velocity value from the beginning of the related
with Velocity-based Features”. This time the window is
data record up to the two second. The window the
each task. The extracted additional features and their
length is two second.
explanations can be seen as below:
 SecTaskWMean: Calculation of mean of Velocity
 TaskWStd: Calculation of standard deviation of
value from the beginning of the related data record
Velocity value from the beginning of a task to the
up to the two second. The window the length is two
end of that task. The window length is the length of
second.
the related task.
 SecTaskWVar: Calculation of variance of Velocity
 TaskWMean: Calculation of mean of Velocity
value from the beginning of the related data record
value from the beginning of a task to the end of
up to the two second. The window the length is two
that task. The window length is the length of the
second.
related task.
All additional features calculations starts over again
 TaskWVar: Calculation of variance of Velocity
whenever a new two second time frame has completed.
value from the beginning of a task to the end of
that task. The window length is the length of the H. Two Second Rolling Window with Time-based Features
related task. (2ST)
 logs_div: Calculation of the division of the current The aim of this process is to create a new specific pandas
time elapsed value with the previous datapoint. The data frame depending on elapsed time with a two second
window length is the length of the related task. rolling window. The extracted additional features and their
 logs_subt: Calculation of the subtraction of the explanations can be seen as below:
previous datapoint from the current time elapsed  SecTaskWSum: Calculation of the variance of the
value. The window length is the length of the "TimeElapsed" value from the beginning of the
related task. related data record up to the two-second length of
time The window length is two seconds.
All additional feature calculations start from scratch  SecTaskWstd: Calculation of the variance of the
whenever a new TaskID is started. "TimeElapsed" value from the beginning of the
related data record up to the two-second length of
time The window length is two seconds.

88
  SecTaskWmean: Calculation of the variance of the possible to apply a supervised ML method to reveal further
"TimeElapsed" value from the beginning of the insights. In addition, the proposed framework can easily be
related data record up to the two-second length of applied in any VR based approximation with or without
time The window length is two seconds. haptic device to conduct measurable HCI approximations.
 SecTaskWvar: Calculation of the variance of the
"TimeElapsed" value from the beginning of the ACKNOWLEDGMENT
related data record up to the two-second length of This study was conducted to investigate the output of
time The window length is two seconds. educational materials developed for the endo-neurosurgery
education project (ECE: Tubitak 1001, Project No:
V. DISCUSSION 112K287). We want to thank the ECE project team and the
To summarize the calculated values, it has to be realized Hacettepe University Medical School for their valuable
that the rolling windows methods create a periodic support throughout the research.
observation using data. For instance, a participant with a
1000 datapoint exist in the dataset. The methodology starts REFERENCES
with the datapoint 2. Standard deviation of two datapoints is
recorded in the related cell. It goes all the way to the 1000
[1] A. Jaimes and N. Sebe, “Multimodal human–computer interaction: A
datapoint. In each datapoint the standard deviation
survey,” Computer Vision and Image Understanding, vol. 108, no. 1, pp.
calculation between 0 and current datapoint is recorded to the 116–134, Oct. 2007, doi: 10.1016/j.cviu.2006.10.019.
related cell in case of PartWStd. The process is repeated with
mean and the variance calculations. The features PartWStd, [2] H. Hedberg, N. Iivari, M. Rajanen, and L. Harjumaa, “Assuring
PartWMean, PartWVar are used in PV data frame. In case of quality and usability in open source software development,” in First
PT data frame, the same calculations are applied with the International Workshop on Emerging Trends in FLOSS Research and
Time Elapsed value instead of Velocity. Development (FLOSS’07: ICSE Workshops 2007), May 2007, pp. 2–2. doi:
10.1109/FLOSS.2007.2.
The rolling windows size is fixed to 2 in length in case
the features log_div and the log_subt. These features depend [3] K. Hornbæk and E. L.-C. Law, “Meta-analysis of correlations among
on two simple methods that takes two input and returns the usability measures,” in Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, in CHI ’07. New York, NY, USA:
calculation as below: Association for Computing Machinery, Nisan 2007, pp. 617–626. doi:
 log_div: Old TimeElapsed Value / Current 10.1145/1240624.1240722.
TimeElapsed Value
[4] A. N. Tuch, S. P. Roth, K. Hornbæk, K. Opwis, and J. A. Bargas-
 log_subt: Old TimeElapsed Value – Current Avila, “Is beautiful really usable? Toward understanding the relation
TimeElapsed Value between usability, aesthetics, and affect in HCI,” Computers in Human
Behavior, vol. 28, no. 5, pp. 1596–1607, Sep. 2012, doi:
Another feature set depends on the task based rolling 10.1016/j.chb.2012.03.024.
windows. Each TaskID is filtered and used as a rolling
window. The methodology starts with the datapoint 2 and [5] L. Longo, “Experienced mental workload, perception of usability,
their interaction and impact on task performance,” PLOS ONE, vol. 13, no.
goes all the way to the end of the task. For the features, 8, p. e0199661, Ağu 2018, doi: 10.1371/journal.pone.0199661.
TaskWStd and TaskWMean and TaskWVar, each datapoint
between 0 and current datapoint’s statistical observation is [6] G. Tonbul, D. Topalli, and N. E. Cagiltay, “A systematic review on
calculated and recorded to the related cell. These features are classification and assessment of surgical skill levels for simulation-based
used in TV data frame. The features of TT data frame are training programs,” International Journal of Medical Informatics, vol. 177,
named as TaskDurWSum, TaskDurWstd, TaskDurWmean p. 105121, Sep. 2023, doi: 10.1016/j.ijmedinf.2023.105121.
and the TaskDurWvar. These features use the same rolling
window approximation. This time the calculations are
conducted using the Time Elapsed value instead of Velocity.
In addition, log_div and log_subt features are calculated
same as above formulas for each task observation.
The time-based rolling windows uses a fixed time period,
1 second as a length of window. In 1SV data frame,
SecWstd, SecWmean and SecWvar features are calculated
using Velocity feature for each time dependent periodic
windows. In 1ST, the Time Elapsed value is used instead of
Velocity value. The 2SV and 2ST data frames contain same
features that is calculated based on 2 second long of window
for rolling statistics.

VI. CONCLUSION
In this paper, a data-oriented perspective has been
summarized. It is expected that the proposed framework can
be used for further analysis to evaluate the interaction
between VR environment and a user using an haptic
interface as a medium. The temporal structure of the hand
movement dataset has been transformed and It is also

89
Modeling of the system for diagnosing asymmetry of
the electromyographic signals using the correlation
analysis method in the LabVIEW environment
Kamala Oghuz
1-Computer Technologies,2- Process Automation Engineering
1-Azerbaijan Technical University, 2-Baku Higher Oil School
Baku, Azerbaijan
[email protected]

Abstract— The paper presents the modeling of the system

for diagnosing the asymmetry of the human limb muscles by
means of electromyographic signals. The correlation analysis
method was chosen for asymmetry assessment. The evaluation,
which is first performed using mathematical methods, is then
modeled in the Lab View environment. The elements used to
create the system are explained in the model. A reporting
section containing diagnostic results has been added to the
system.

Keywords—Electromyography, asymmetry, correlation,

signals, Excel.

I. INTRODUCTION
An Electromyographic (EMG) signal is a biomedical
signal that measures electrical currents generated in muscles
during neuromuscular activity. The nervous system always
controls muscle activity (contraction/relaxation). Thus, the
EMG signal is a complex signal controlled by the nervous
system and dependent on the anatomical and physiological
characteristics of the muscles [1]. Fig. 1. Measurement results from the ME6000-EMG device
Asymmetry is quite common and if you look closely at
your body, you will also find some differences between the Six muscles from the lower limbs of the patient
left and right sides of the body. Almost all people have diagnosed with asymmetry were selected for the study. The
different arm lengths, eye sockets, shoulder and ear heights, measurement results were taken from the right and left parts,
hips, etc. There is usually, you don't notice it because people respectively, using 12 electrodes (Table 1).
rarely hold a straight position.
Asymmetry can be found: TABLE I. MUSCLES SELECTED FOR THE EXPERIMENT
- in a certain sport in which one side of the body is more
Muscles Symbols
involved than the other (for example, tennis, golf); - when ##
the athlete repeatedly performs the same type of movements 1 Biceps femoris muscle a-bfm
- this is the so-called biomechanical cause of repeated 2 Gastrocnemius muscle – lateral part a-gm-lp
3 Quadriceps femoris muscle – rectus femoris a-qfm-rf
movements in one direction or long-term postures;
4 Quadriceps femoris muscle – vastus lateralis a-qfm-vl
- neuromuscular imbalance due to individual muscle 5 Quadriceps femoris muscle – vastus medialis a-qfm-vm
groups tending to be strong or weak; - in people with 6 Gastrocnemius muscle – medial part a-gm-mp
muscles of different lengths.
Asymmetry can be observed in all areas of the human B. Method
body: face, chest, back, limbs, etc. Note that failure to detect It is possible to find the application of various
asymmetry in time can result in serious complications or mathematical, statistical, and complex methods to the
life-long trauma. processing of EMG signals in numerous literature sources
[2, 3, 4, 5]. It should be noted that despite the widespread
II. MATERIAL AND METHODS use of complex mathematical processing methods in recent
decades in terms of the accuracy of calculations and the
A. Acquisition of electromyographic signals and selection increase of confidence in diagnostic results, the
of muscles development of processing devices based on the application
Various electromyographs are used in clinics to assess of such methods is weak in terms of the complexity of the
muscle asymmetry. ME6000-EMG 12-channel device is processing algorithm and constructive implementation. In
used for experiments, and then measurement results are this regard, the application of classical processing methods
reflected in the protocol - Fig. 1. does not lose its relevance.

90
 Correlation functions characterize stable statistical
properties of EMG. Some of these features have a functional (1)
or phenomenological value in the interpretation of EMG,
but some of them open new interesting avenues in the
neurophysiological analysis of the neuromotor apparatus.
As a result of normalization, the value of the correlation
In [6], the authors used a correlation analysis method for
is in the form of a ratio (it shows the share of synchronous
limb motion recognition. The received measurement results
electrical events in the total electrical activity).
are compared with the EMG placed in the base, and the
It is not appropriate to use the correlation analysis
classification of signals is carried out. The mutual
method to measure the duration of the waves, as this
correlation method was applied in [7] for the analysis of the
quantity can be obtained by a simple instrument or visually.
process of updating the movement unit of the neuromuscular
The maximum of the intercorrelation function is not only
system. In [8], the correlational dependence between
at the value τ=0, but also at the shift.
Parkinson's disease and the frequency of tremors was
This shift indicates that there is a connection between the
considered.
two EMGs. But one of them lags behind the other. The
Currently, in order to determine asymmetry in clinical
averaged value of this delay is characterized by the value of
conditions, it is performed based on the maximum value by
the shift, that is, based on its direction, it is possible to judge
measuring the power of EMG signals. That is, the value of
which EMG is delayed. A small shift can be attributed to a
the maximum amplitude of the measured signals is
difference in the path of excitation from one electrode to
considered an indicator of asymmetry. However, it does not
another. Therefore, shifts greater than 3-4 ms are considered
allow us to determine the degree of asymmetry of the
significant.
muscles that make up the studied circumference and to
If we imagine the human body divided into two parts
determine which of the different muscles with the same
from the center, it is not difficult to see that most organs are
maximum amplitude value is subject to a higher degree of
symmetrical and consist of right and left parts: limbs (hands,
asymmetry. What is mentioned is important information for
feet), cerebral hemispheres, lungs, kidneys, etc. Even organs
prescribing treatment and making a diagnosis. From this
that appear to be single in the general system are themselves
point of view, the aim of the research is to select a
composed of two symmetrically divided parts, for example,
mathematical and statistical method and conduct a
the heart (right and left atrium, right and left ventricle), etc.
comparative analysis, which allows us to solve the
Some pathological changes, working conditions, habits,
mentioned deficiencies in the determination of asymmetry.
and some types of sports form asymmetry that can cause
For this purpose, a correlation analysis method is
serious complications in my body. This makes the part that
proposed. Thus, the values of the mutual correlation
spends more power pathological after a certain period.
parameters of two different EMGs are more significant in
Computer modeling of calculations was carried out in
EMG [9].
the Excel software package. The results of the calculated
The maximum value of the mutual correlation function
correlation coefficient are shown in Table 2.
(correlation coefficient) characterizes the relationship of
processes over time, and their classification degree.
TABLE II. THE RESULTS OF THE CALCULATED
Interference EMG is the summation of a large number CORRELATİON COEFFİCİENT
of potentials located in the separation region. However, it is
impossible to separate the action potential of individual ## Symbols Correlation coefficient
movement units. Dispersion with respect to time associated 1 a-bfm 0.769
with the passage of charges through motoneurons is not so 2 a-gm-lp 0.878
great. Therefore, the statistical determination of the phase 3 a-qfm-rf 0.952
relationship of two interference EMGs allows to reveal the 4 a-qfm-vl 0.553
5 a-qfm-vm 0.995
relationship of the action potentials of two groups of motor 6 a-gm-mp 0.774
units over time (if these two EMGs reflect the charges of
different HV). Based on this, cross-correlation analysis has The histogram of the results by muscles is shown in fig.2
opened up great opportunities in the study of the
synchronization of motoneuron loads.
In the cross-correlation analysis of EMG, the integral of
the derivatives of two different functions is found. The
cross-correlation function will be zero for arbitrary τ if they
are not exactly independent and the phase relationships are
random. If the processes are related and the phases of the
two curves often overlap at any τ , then the cross-correlation
function will be positive at the considered value of τ .
So that the value of the cross-correlation function does
not depend on the change of the EMG or the amplification
of the electromyograph, it is normalized, that is, it is
Fig. 2. Histograms of values of correlation coefficients depending on
expressed as parts of the averaged power of both processes muscles
[9]:

91
 As can be seen from the table, the obtained results
(correlation coefficients) are the value of the correlation
dependence of the mutual muscle pair, not one limb (right or
left). This result does not show the difference of one limb
muscle from another, but the relationship of mutual muscle
pair in time. On the other hand, such an approach allows
determining how weak or strong the degree of classification
in muscles is and thus which muscle mass is more prone to
asymmetry.
III. SUB-VİRTUAL SYSTEM (SUB VI) FOR ENTERİNG
MEASUREMENT RESULTS
The sub-virtual system (subVI) has 12 inputs, the values
of the corresponding signals are transferred to the system by Fig. 4. Block diagram of the asymmetry determination subsystem with
converting them into a .csv file format in the Excel program correlation coefficient calculation.
(each signal has 57974 values taken from the measurement The considered system is composed of the following
made in one minute). elements:
The block diagram of the sub-virtual system for entering
 Index Array – input data preparation for processing;
measurement results is given in fig.
 Correlation Coefficient.vi – correlation coefficient
calculation;
 Numbers – visualization of results;
 Build Array – collection of results for graphic
representation;
 Flat Sequence Structure – designing a graphic image;
 Bundle – collection of historical elements;
 XY Graph – histogram representation of the results;
 Property Node – selection of graphical representation
elements.

The results of this subsection are in the form of a

histogram, which helps the doctor visually determine which
muscle groups have asymmetry (Fig.5).

Fig. 3. Block diagram of the sub-virtual system for inputting measurement

results

Sub VI (Fig.3) is built from the following elements:

 Path - the path of the .csv file;
 Open Excel – opens Excel;
 Open .xls – opens the selected file;
 Open Sheet – opens the table;
 Cells – selects cells;
 Close works – closes open works (windows);
Fig. 5. Front panel diagram of the asymmetry determination subsystem
 Close .xls – closes the file; with correlation coefficient calculation
 Close Excel - closes the program;
 Start2 – closing cell;
 End2 – last cell; V. A SYSTEM FOR OBTAİNİNG DİAGNOSTİC RESULTS BASED
 Table Control – data table. ON THE SYSTEMATİC ANALYSİS OF ELECTROMYOGRAPHİC
SİGNALS

IV. SUB VI FOR ASSESSİNG THE LEVEL OF ASYMMETRY İN

After the subsystems for the calculation of asymmetry
MUSCLES USİNG THE CORRELATİON ANALYSİS METHOD
are established, they are combined into a common
Asymmetry Diagnostic System (ADS), enabling a
The block diagram of the subsystem is shown in fig.4. systematic analysis.
The system consists of the following information
sections:
 Patient information;
 Doctor's information;

92
  Research method; Fig. 8. "After Survey Action" section
 Research results;
 Post-research operations. The subsection "Show the report" displays the results of
The study methods section stores a list of possible the system by transferring them to the Excel program
studies, after which the system connects to the appropriate (Fig.9).
subroutine and performs the appropriate calculation (Fig.6)

Fig. 6. Front panel of ADS and selection of "Survey method" section.

The section "Survey results" consists of subsections

"Muscle with observed asymmetry" and "Muscles prone to
asymmetry".
The subsection "Muscles prone to asymmetry" shows
three muscles depending on the degree of tendency to
asymmetry (Fig. 7). Fig. 9. "Show report" subsection of the "Post-study operations" section of
the ADS

VI. CONCLUSİON
As shown from figures the determination of asymmetry
by calculating the correlation coefficient was chosen as a
research method. As can be seen, the asymmetry observed
muscle - Quadriceps femoris muscle - vastus medialis, and
the muscles prone to asymmetry - Quadriceps femoris
muscle - rectus femoris, Gastrocnemius muscle - lateral part
and Gastrocnemius muscle - medial part were selected.
As can be seen from the virtual system, it is possible to
analyze the same measurement results using different
research methods at the same time. This will help increase
accuracy in making diagnostic decisions and at the same
Fig. 7. ADS front panel and Research Results section time reduce subjective distortions.

The "After Survey Action" section consists of "Show

report", "Send to e-mail" and "Print" subsections (Fig.8). REFERENCES

[1] M.B.I. Raez, M.S. Hussain, F.Mohd-Yasin. “Techniques of EMG signal

analysis: detection, processing, classification and applications”. Biological
Procedures Online, 2006, Vol. 8, No. 1, pp.11–35
[2] N.T. Abdullaev, O.A. Dyshin, K.Sh. Ismailova. “Analysis of the
spontaneous activity of muscle fibers and motor units based on wavelet
packet processing of electromyograms”. Biomedical radio electronics, M.,
2011, No. 12, p. 42-48
[3] N.T. Abdullaev, K.Sh. Ismailova. “Evaluation of the information
reliability of diagnostic conclusions in electromyography using the fuzzy
inference method”, Information-measuring and control systems, M., 2012,
Vol. 10, No. 4, p. 60-67
[4] N.T. Abdullaev, K.Sh. Ismailova. “Application of neural networks for
recognition of pathological changes in stimulation electromyogram”,
Medical equipment, M., 2011, No. 6 (270), p. 1-7

93
 [5] D.G. Stephen, A. Hajnal. “Transfer of Calibration Between Hand and [8] E.O. Ivanova, P.A.Fedin, A.G. Brutyan, I.A. Ivanova-Smolenskaya,
Foot: Functional Equivalence and Fractal Fluctuations,” Atten Percept S.N. Illarioshkin. “Clinical and electrophysiological analysis of tremulous
Psychophys, 2011, Vol.73, pp.1302-1328 hyperkinesis in essential tremor and Packerson's disease,” Neurological
[6] S. Burhade, A.B. Kanwade. “Correlation analysis of electromyogram Journal, No. 5, 2013, p.21-26
signals,” International Journal for Modern Trends in Science and [9] K.V. Zaichenko, O.O. Zharinov, A.N. Kulin, L.A. Kulygina, A.P.
Technology, Vol.2, Issue: 07, 2016, p.117-122 Orlov. “Reception and processing of bioelectric signals,” SPb.:, SPbGUAP,
[7] D. Stashuk, C.J. De Luca. “Update on the decomposition and analysis 2001, 140 p.
of EMG signals,” Computer-Aided Electromyography and Expert Systems,
Elsevier Science Publishers, 1989, p.39-53

94
 Histopatolojik Görüntülerin Sınıflandırılması için
ESA Tabanlı Yeni Bir Hibrit Ağ Mimarisi
Hüseyin ÜZEN
Bilgisayar Mühendisliği Bölümü,
Bingöl Üniversitesi,
Bingöl, Türkiye,
0000-0002-0998-2130,
[email protected]

Özet— Günümüzde birçok farklı türü bulunan kanser, tek scores than VGG16, InceptionV3, MobileNet, and EfficientNet
veya bir grup hücrenin orantısız ve kontrolsüz olarak network architectures with 95.85% accuracy and 95.11% F1-
çoğalmasıdır. Bu orantısız çoğalma insan yaşamını score.
sonlandıracak kadar birçok olumsuzlukları yanında getirir.
Kanser teşhisinde en etkili yöntemlerden bir tanesi Keywords—Depthwise Separable Convolution, Inception
histopatolojik görüntülerin mikroskop altında incelenerek Block, Breast Cancer, Histopathological Imaging
teşhis edilmesidir. Günümüzde hızla gelişen makine öğrenmesi
I. GİRİŞ
ve görüntü işleme tabanlı bilgisayar destekli tespit ile
histopatolojik görüntülerin incelenmesi güncel bir araştırma Kanser ölüm oranları ile dünya çapında en tehlikeli
alanıdır. Özellikle son zamanlarda oldukça popüler olan derin hastalıklardan biridir. Pek çok rapor, kanserin dünya çapında
öğrenme tabanlı yöntemler etkili sonuçlar üretebilmektedir. Bu arttığı ve erken teşhisin geç yapıldığında ölüm oranının
çalışmada histopatolojik görüntülerin kanser ve normal doku yüksek olduğunu belirtmiştir [1]. En yaygın kanser tipinden
olarak sınıflandırması için derin öğrenme tabanlı yeni bir bir tanesi de meme kanseridir. Meme kanseri, akciğer
mimari sunulmuştur. Derinlemesine ve Inception tabanlı hibrit
kanserinden sonra kansere bağlı ölümlerde ikinci sırada
ağ (DI-HA) mimarisi olarak adlandırılan bu mimari
derinlemesine ayarlanabilir evrişim ve Inception evrişim gelmektedir. Son yıllardaki meme kanser istatistikleri, meme
bloklarının bir araya getirilmesiyle oluşturulmuştur. kanser oranının yılda %0.5 arttığını göstermektedir [1]. Diğer
Derinlemesine ayarlanabilir evrişim bloğu her kanal için farklı yandan meme kanserinin erken tanısı ve gerekli tedaviler
filtre uygulayarak düşük parametreli etkili bir model iken sayesinden son yıllarda ölüm oranının azaldığı
Inception blokları girişe farklı çekirdek boyutundaki filtreleri gözlemlenmiştir [1]–[4].
ile güçlü öznitelikler elde etmektedir. Bu iki farklı bloğu bir Genellikle meme kanser tanısında, öncelikle mamografi
araya getirerek histopatolojik görüntüleri sınıflandıran etkili veya ultrason muayeneleri ile ön çalışma yapılmaktadır [5],
bir ağ mimarisi elde etmiştir. Önerilen ağ mimarisi BreakHis [6]. Eğer ön çalışmalarda kanser olasılığı var ise, meme
400 görüntü veri kümesi kullanarak kapsamlı deneysel
dokusunun biyopsisi yapılır ve patologlar kanser tanısı için
çalışmalar yapılmıştır. Yapılan deneysel çalışmalarda önerilen
DI-HA mimarisi %95.85 doğruluk ve %95.11 F1-skoru ile mikroskop yardımı ile araştırma yapar. Patologlar dokunun
VGG16, InceptionV3, MobileNet ve EfficientNet ağ histopatolojik olarak değerlendirmesini yaptıktan sonra
mimarilerinden daha yüksek skorlar sağlamıştır. kanser olup olmadığına karar verilir [1], [6]. Patologlar,
dokudaki hücreleri iyi huylu ya da kötü huylu olarak
Anahtar Kelimeler—Derinlemesine Ayarlanabilir Evrişim, sınıflandırırken hücrelerin yapısı, çekirdek yerleşimi, mitoz
Inception Blok, Meme Kanseri, Histopatolojik Görüntüleme oranı gibi ölçütler ile değerlendirmektedir. Bu yapılar iki sınıf
Abstract— Cancer, which has many different types today, is arasında benzerlik gösterebildiği için hücrelerin
the disproportionate and uncontrolled proliferation of a single sınıflandırılması zorlu bir görevdir [1], [5].
or a group of cells. This disproportionate proliferation brings Geleneksel yöntemlerde uzman personel tarafından bu
with it so many negativities that it ends human life. One of the görüntüler incelenerek yapıldığı için personel tecrübesine
most effective methods in cancer diagnosis is diagnosis by oldukça bağlıdır [1], [5]. Diğer yandan bu analizlerin makine
examining histopathological images under a microscope. öğrenmesi ve görüntü işleme tabanlı bilgisayar destekli tespit
Nowadays, examining histopathological images with computer- sistemlerinin yardımı ile yapılması karar verme sürecini
aided detection based on rapidly developing machine learning
hızlandırmaktadır. Bundan dolayı gelişmiş karar destek
and image processing is a current research field. Deep learning-
based methods, which have been very popular recently, can sistemleri ile otomatik olarak histopatolojik görüntülerin
produce effective results. In this study, a new deep learning- incelenmesi ve teşhis yapılması son zamanlarda oldukça
based architecture is presented for the classification of popüler bir çalışma alanıdır. Özellikle yüksek başarı gösteren
histopathological images as cancer and normal tissue. This derin öğrenme bu alanda etkili olduğu görülmektedir [1], [5],
architecture, called the Depthwise and Inception-based hybrid [6].
network (DI-HA) architecture, was created by combining Literatürde, histopatolojik görüntüleri iyi huylu veya kötü
depthwise convolution and Inception convolution blocks. While huylu olarak sınıflandırmak için yapılan ilk çalışmalarda şekil,
the depthwise convolution block is an effective model with low doku veya renk gibi ayırt edici el yapımı özniteliklere
parameters by applying different filters for each channel,
dayanmaktadır [1], [6], [7]. Bu öznitelikler daha sonra k-en
Inception blocks obtain powerful features with filters of
different kernel sizes on the input. By combining these two yakın komşular, destek vektör makineleri, karar ağacı vb. gibi
different blocks, he obtained an effective network architecture sınıflandırıcılara girdi olarak kullanılır. Bu yöntemler zaman
that classifies histopathological images. Extensive experimental alıcı ve güvenirliği sınırlıdır [1]. Son zamanlarda otomatik
studies have been carried out using the proposed network olarak uygun öznitelikleri elde eden Evrişimsel Sinir Ağları
architecture BreakHis 400 image dataset. In the experimental (ESA), el yapımı özellikler karşısında çok daha başarılı
studies, the proposed DI-HA architecture provided higher sonuçlar verdiği görülmüştür. Bunun temel sebebi ESA

95
mimarilerinin eğitim boyunca içerdiği filtre parametrelerini en uzmanlar tarafından etiketlenmiştir. BreakHis veri seti, meme
yüksek başarıyı sağlayacak şekilde eğitilmesidir. ESA kanseri tespiti için bilgisayar destekli teşhis sistemlerini
mimarilerinin başarısı histopatolojik görüntülerin geliştirmek ve değerlendirmek için yaygın olarak
sınıflandırmasında uygulanmış ve etkili sonuçlar alınmıştır kullanılmaktadır [1]. BreakHis veri setinden alınmış örnek
[3], [6]. görüntüler şekil 1’de verilmiştir.
Yakın zamanda yapılan bir çalışmada [8] histopatolojik
görüntü verilerini sınıflandırmak için VGG16, VGG19,
AlexNet ve GoogleNet gibi önceden eğitilmiş ağlar
kullanılmıştır. Ayrıca yapılan bu çalışmada histopatolojik
görüntüleri sınıflandırmak için AlexNet-BC modeli [9]
önerilmiştir. Önerilen model öncelikle ImageNet veri seti
kullanılarak önceden eğitilmiş ve ardından histopatolojik
görüntülere uygulanmıştır. Diğer bir çalışmada [10] VGG16,
VGG19 ve ResNet50 mimarilerini transfer öğrenme
yaklaşımı ile histopatolojik görüntülere uygulamıştır. Elde
edilen sonuçlarda VGG16 ağı %92.60 doğruluk ile en yüksek İyi Huylu Doku Örneği Kötü Huylu Doku Örneği
skorlara ulaşmıştır. Buna benzer bir çalışmada [11] AlexNet
ve VGG16 modellerini BreakHis veri setini için Şekil 1. BreakHis 400 veri kümesinden alınmış örnek görüntüler
uygulamıştır. Ayrıca bu çalışmada AlexNet ve VGG16
mimarilerinden elde edilen öznitelikleri DVM B. Önerilen Metot
sınıflandırıcısını beslemek için kullanmıştır. Albashish ESA mimarileri temel olarak arka arkaya gelen evrişim,
vd. [12] meme kanserini histopatolojik görüntülerini ReLU, aktivasyon ve tam bağlı katmanlarının
sınıflandırmak için histopatolojik görüntülerden derin kombinasyonundan oluşmaktadır. AlexNet [16] mimarisinin
öznitelikler çıkartmış daha sonra RBF-SVM sınıflandırıcına yayınlanmasından günümüze kadar birçok farklı ağ mimarisi
vermiştir. Önerilen model %96 doğruluk skoruna ulaşmıştır. önerilmiştir. VGG16 [12], [16] ağ mimarisinde 16 katmanlı
Bir başka çalışmada [10] ESA mimarilerin geleneksel bir ağ mimarisinin tasarlanması amaçlanırken, ResNet [17]
modeller karşısında daha etkili olduğu gösterilmiştir. Bu mimarisinde çok daha derin bir ağ mimarisi tasarlanmıştır.
çalışmada transfer öğrenmenin önemi ortaya konulmuştur. Diğer yandan MobileNet mimarisinde önerilen Derinlemesine
Fakat her ne kadar ESA mimarileri çok güçlü yapılar sunsa da ayarlanabilir evrişim katmanı ile çok daha hesaplı bir ağ
aşırı öğrenme probleminden dolayı daha düşük skorlar mimarisi geliştirilmiştir. InceptionV3 [14] mimarisinde ise
sağlayabilir [10], [11]. Bu problemden yola çıkarak farklı Inception blokları ile paralel ve farklı boyutlardaki evrişim
evrişim bloklarını bir araya getirerek hibrit bir ağ mimarisi blokları ile öznitelik çeşitliliğini arttırılmıştır.
tasarlanmıştır. Bu çalışmada geleneksel evrişim, derinlemesine evrişim
Bu çalışmada BreakHis 400 veri kümesi temel alınarak ve inception evrişim bloklarını bir araya getirerek
Derinlemesine Ayarlanabilir Evrişim (DAE) [13] ve Inception histopatolojik görüntülerin sınıflandırılması için hibrit bir ağ
Evrişim (IE) [14] bloklarını bir arada kullanacak etkili bir mimarisi tasarlanmıştır. Derinlemesine ve Inception tabanlı
hibrit ağ mimarisi tasarlanmıştır. Bu sayede BreakHis 400 veri hibrit ağ (DI-HA) mimarisi olarak adlandırılan bu ağ mimarisi
kümesinde %95.85 doğruluk ve %95.11 F1-skoru elde Şekil 2’de verilmiştir. Şekil 2’de görüleceği üzere bu ağ
etmiştir. mimarisi 4 bölümden oluşmaktadır. Birinci bölümde
Bu bildirinin geri kalanı şu şekilde organize edilmiştir. geleneksel bir evrişim katmanı kullanılmıştır. Bu bölümde
Bölüm 2’de veri seti ve önerilen yöntem detaylandırılmıştır. geleneksel evrişim ile temel mekânsal öznitelikler
Bölüm 3’te yapılan deneysel çalışmaların sonuçları çıkartılmaktadır. İkinci bölümde ise Inception Evrişim (IE)
sunulmuştur. Son olarak Bölüm 4’te çalışmanın sonuçları [14] blokları kullanılmıştır. IE evrişim blok yapısı şekil 3.a’de
verilmiştir. gösterilmiştir. Burada görüleceği üzere girdi üzerine farklı
çekirdek boyutlarına sahip evrişim katmanları
II. MATERYAL VE METOT
uygulanmaktadır. Bu sayede farklı mekânsal bilgiler
Bu bölümde öncelikle çalışmada kullanılan veri kümesi çıkarabilmektedir. IE bloklarının son bölümünde birleştirme
detaylandırılmıştır. Daha sonra önerilen model ele alınmıştır. katmanı ile bu öznitelikler birleştirilmektedir.
A. Veri kümesi Önerilen modelin üçüncü bölümünde Derinlemesine
Ayarlanabilir Evrişim (DAE) [13] bloğu kullanılmıştır. DAE
Bu çalışmada histopatolojik görüntüleri sınıflandırmak bloğu şekil 3.b’de verilmiştir. Burada görüleceği üzere DAE
için hibrit bir ağ mimarisi önerilmiştir. Önerilen ağ bloğunda kanal bazlı bir evrişim işlemi uygulanmaktadır. Bu
mimarisinin performans analizleri için BreakHis 400 [15] veri sayede işlem maliyeti düşürülmektedir. Diğer yandan her
seti kullanılmıştır. Bu veri seti meme dokularının kanal için farklı bir evrişim katmanı uygulandığı için güçlü
histopatolojik görüntülerini içeren halka açık bir veri anlamsal öznitelikler elde edilmektedir. DAE bloğunun
setidir. İyi huylu ve kötü huylu histopatolojik görüntüler sonuna doğru bu farklı öznitelikleri ilişkilendirmek için bir
içeren 2238 mikroskobik görüntüden oluşmaktadır. Bu noktasal evrişim katmanı kullanılmaktadır.
görüntülerin 723 iyi huylu ve geri kalan kötü huylu olarak

96
 Şekil 2. Önerilen model

(a)

(b)
Şekil 3. (a) Inception evrişim ve (b) derinlemesine ayarlanabilir evrişim bloklarının gösterimi

Önerilen modelin son bölümünde (4. bölüm) elde edilen katman ve 𝜎 softmax katmanını temsil etmektedir. Son
öznitelikler kullanılarak sınıflandırma işlemi yapılmaktadır. olarak Denklem (1) çıktısında 𝑃 tahmin çıktısı elde
Bu bölümde öznitelikleri sınıflandırmada kullanmak için iki edilmektedir. Önerilen DI-HA ağ mimarinin eğitimi İkili
aşamadan geçirilmiştir. İlk olarak küresel Ortalama Çapraz Entropi (Binary Cross Entropy) kayıp fonksiyonu
Havuzlama Katmanı (OHK) ile bu öznitelikler bir vektöre kullanılmıştır.
dönüştürülmektedir. Daha sonra vektöre dönüştürülmüş
özniteliklere bir Tam Bağlı katman uygulanmıştır. Son olarak III. DENEYSEL SONUÇLAR
elde edilen çıktının sınıflandırma puanını elde etmek için Bu çalışmada önerilen DI-HA modelin performansını
softmax katmanı uygulanmıştır. Bu işlem Denklem (1)’de analiz etmek için bir takım deneysel çalışmalar yapılmıştır.
gösterilmiştir. Birinci deneysel çalışmada DI-HA modelinde kullanılan DAE
ve IE blok yapıların performansa olan katkıları analiz
𝑓 = [𝑓1 , 𝑓2 … . . ] edilmiştir. İkinci deneysel çalışmada önerilen DI-HA modeli
𝑀
1 VGG16 [16], MobileNet [13], InceptionV3 [14] ve
𝑗𝑘 𝑗𝑘 (1)
𝑓𝑖 = 𝑂𝐻𝐾(𝑓𝑖 ) = ∑ 𝑓𝑖 EfficientNetB0 [18] ağları ile kıyaslanmıştır. Bu deneysel
𝑀
𝑗,𝑘 çalışmalarda BreakHis 400 veri kümesi kullanılmıştır. Veri
𝑃 = 𝜎(𝑇𝐵2 (𝑓)) kümesinin %80 eğitim %10 doğrulama ve %10 test için
ayrılmıştır. Deneysel çalışmalarda performans analizleri için
𝑗𝑘
Denklem (1)’de gösterilen 𝑓𝑖 bölüm 3 sonunda elde Doğruluk ve F1 skor metrikleri kullanılmıştır [1].
edilen 3 boyutlu öznitelik haritasıdır. Bu öznitelik haritasının A. Önerilen modelde kullanılan yapılarının analizi
𝑗𝑘
derinlik boyutu boyunca iki boyutlu 𝑓𝑖 özniteliğini bir Önerilen DI-HA ağ mimarisi DAE ve IE bloklarından
değere indirgemek için 𝑂𝐻𝐾() fonksiyonu kullanılır. Daha oluşmaktadır. Bu evrişim bloklarını doğru şekilde bir araya
sonra derinlik boyutundaki her bir ortalama değer getirmek için farklı kombinasyonlar denenerek sonuçlar
birleştirilerek 𝑓 öznitelik vektörü elde edilir. Öte yandan kaydedilmiştir. Elde edilen bu sonuçlar Tablo 1’de verilmiştir.
Denklem (1)’in ikinci kısmında gösterilen 𝑇𝐵 , tam bağlı

97
 Tablo 1. Önerilen hibrit modelin farklı kombinasyonlar ile elde edilen kapsamlı mekânsal ayrıntılar elde edilmektedir. Önerilen
sonuçlar modelin üçüncü bölümünde ise derinlemesine ayarlanabilir
Kullanılan evrişim katmanları ile sınıflandırma için nihai öznitelikler elde
Model Doğruluk F1-Skor
blok yapıları edilmektedir. Önerilen modelin son kısmında bu öznitelikler
Model 1
IE-DAE 95.85 95.11 kullanılarak histopatolojik görüntüler sınıflandırılmıştır.
(DI-HA) Önerilen model BreakHis 400 veri kümesi ile test edilmiştir.
Model 2 DAE-IE 94.08 93.19 Yapılan deneysel çalışmalarda önerilen model %95.85
Model 3 GE-GE 92.30 91.50 doğruluk ve %95.11 F1-skoru ile üstün başarılar elde etmiştir.
Gelecek çalışmalarda önerilen modeli dikkat kapıları ile
Model 4 DAE-DAE 92.30 91.28
güçlendirerek daha etkili yapılar oluşturulması
Model 5 IE--IE 92.00 90.92 hedeflenmektedir
KAYNAKLAR
Tablo 1’de görüleceği üzere önerilen Hibrit ağ [1] H. Kode and B. D. Barkana, “Deep Learning- and Expert
mimarilerinin 2 ve 3 bölümünde farklı blok yapıları Knowledge-Based Feature Extraction and Performance Evaluation
kullanılarak denenmiştir. Bu deneysel çalışmada Model 1 yani in Breast Histopathology Images,” Cancers 2023, Vol. 15, Page
önerilen DI-HA mimarisi en yüksek doğruluk skoruna 3075, vol. 15, no. 12, p. 3075, Jun. 2023, doi:
ulaşmıştır. Diğer yandan bu bölümlerde sadece DAE bloğu 10.3390/CANCERS15123075.
(Model 4) ya da sadece IE bloğu (Model 5) kullanıldığında, [2] A. N. Giaquinto et al., “Breast Cancer Statistics, 2022,” CA Cancer
sırası ile %91.28 ve %90.92 f1 skoru elde edilmiştir. Öte J Clin, vol. 72, no. 6, pp. 524–541, Nov. 2022, doi:
yandan IE ve DAE blokların kombinasyonları ile oluşan 10.3322/CAAC.21754.
Model 1 ve model 2 modelleri sırası ile %95.11 ve %93.19 [3] M. A. Abdou, “Literature review: efficient deep neural networks
F1-skoruna ulaşılmıştır. Bu sonuçlarda önerilen DI-HA techniques for medical image analysis,” Neural Comput Appl, vol.
modelinin birinci bölümünde IE ve ikinci bölümünde DAE 34, no. 8, pp. 5791–5812, Apr. 2022, doi: 10.1007/S00521-022-
kullanılmasının daha etkili olduğu görülmektedir 06960-9/TABLES/5.
[4] W. Al-Dhabyani, M. Gomaa, H. Khaled, and A. Fahmy, “Dataset
B. Önerilen modelin diğer ESA mimarileri ile of breast ultrasound images,” Data Brief, vol. 28, p. 104863, Feb.
karşılaştırılması 2020, doi: 10.1016/J.DIB.2019.104863.
[5] M. Nasser and U. K. Yusof, “Deep Learning Based Methods for
Bu bölümde Önerilen DI-HA mimarisi literatürde bulan Breast Cancer Diagnosis: A Systematic Review and Future
diğer modeller ile karşılaştırılmıştır. Bu karşılaştırmalarda DI- Direction,” Diagnostics 2023, Vol. 13, Page 161, vol. 13, no. 1, p.
161, Jan. 2023, doi: 10.3390/DIAGNOSTICS13010161.
HA modelinin eğitim prosedürleri aynı şekilde VGG16,
[6] Z. Rezaei, “A review on image-based approaches for breast cancer
MobileNet, InceptionV3 ve EfficientNetB0 mimarileri içinde
detection, segmentation, and classification,” Expert Syst Appl, vol.
uygulanmıştır. Bu deneysel çalışmada elde edilen sonuçlar 182, p. 115204, Nov. 2021, doi: 10.1016/J.ESWA.2021.115204.
Tablo 2’de verilmiştir. [7] A. Labrada and B. D. Barkana, “Breast Cancer Diagnosis from
Histopathology Images using Supervised Algorithms,” Proc IEEE
Tablo 2. Önerilen DI-HA modelin diğer ESA mimarileri ile karşılaştırılması Symp Comput Based Med Syst, vol. 2022-July, pp. 102–107, 2022,
doi: 10.1109/CBMS55023.2022.00025.
Model Doğruluk F1-Skor [8] M. Liu, Y. He, M. Wu, and C. Zeng, “Breast Histopathological
DI-HA 95.85 95.11 Image Classification Method Based on Autoencoder and Siamese
Framework,” Information 2022, Vol. 13, Page 107, vol. 13, no. 3,
MobileNet2 94.67 93.84 p. 107, Feb. 2022, doi: 10.3390/INFO13030107.
InceptionV3 94.67 93.57 [9] “A Deep Learning Method for Breast Cancer Classification in the
Pathology Images | IEEE Journals & Magazine | IEEE Xplore.”
VGG16 93.49 92.31
https://ieeexplore.ieee.org/abstract/document/9813383 (accessed
EfficientNetB0 87.57 85.49 Aug. 09, 2023).
[10] Shallu and R. Mehra, “Breast cancer histology images
classification: Training from scratch or transfer learning?,” ICT
Tablo 2’de görüleceği üzere önerilen DI-HA modeli %95.85
Express, vol. 4, no. 4, pp. 247–254, Dec. 2018, doi:
doğruluk ve %95.11 F1-skoru ile MobileNet, InceptionV3, 10.1016/J.ICTE.2018.10.007.
VGG16 ve EfficientNet modellerinden daha yüksek skorlar [11] E. Deniz, A. Şengür, Z. Kadiroğlu, Y. Guo, V. Bajaj, and Ü. Budak,
sağlamıştır. Bu sonuçlarda en düşük skorları EfficientNet “Transfer learning based histopathologic image classification for
mimarisi elde etmiştir. Diğer yandan DAE blokları ile breast cancer detection,” Health Inf Sci Syst, vol. 6, no. 1, pp. 1–7,
geliştirilen MobilNet ağı %94.67 doğruluk skoru ile ikinci en Dec. 2018, doi: 10.1007/S13755-018-0057-X/TABLES/5.
yüksek skorları sağlamıştır. [12] D. Albashish, R. Al-Sayyed, A. Abdullah, M. H. Ryalat, and N.
Ahmad Almansour, “Deep CNN Model based on VGG16 for Breast
IV. SONUÇLAR Cancer Classification,” 2021 International Conference on
Bu çalışmada histopatolojik görüntülerinin sınıflandırması Information Technology, ICIT 2021 - Proceedings, pp. 805–810,
için derinlemesine ayarlanabilir evrişim ve Inception blok Jul. 2021, doi: 10.1109/ICIT52682.2021.9491631.
yapılarını bir arada kullanan hibrit bir ağ mimarisi [13] A. G. Howard et al., “MobileNets: Efficient Convolutional Neural
önerilmemiştir. Önerilen DI-HA mimarisi temel olarak 4 Networks for Mobile Vision Applications,” Apr. 2017, Accessed:
Aug. 09, 2023. [Online]. Available:
bölümden oluşmaktadır. Birinci bölümde geleneksel bir
https://arxiv.org/abs/1704.04861v1
evrişim katmanı ile temel seviye öznitelikleri elde
[14] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna,
edilmektedir. İkinci bölümde farklı çekirdek boyutları ile
“Rethinking the Inception Architecture for Computer Vision,”
çalışan Inception evrişim blokları ile bu özniteliklerden daha
Proceedings of the IEEE Computer Society Conference on

98
 Computer Vision and Pattern Recognition, vol. 2016-December,
pp. 2818–2826, Dec. 2015, doi: 10.1109/CVPR.2016.308.
[15] “BreaKHis 400X | Kaggle.”
https://www.kaggle.com/datasets/forderation/breakhis-400x
(accessed Aug. 09, 2023).
[16] K. Simonyan and A. Zisserman, “Very Deep Convolutional
Networks for Large-Scale Image Recognition,” 3rd International
Conference on Learning Representations, ICLR 2015 - Conference
Track Proceedings, Sep. 2014, Accessed: Jun. 24, 2023. [Online].
Available: https://arxiv.org/abs/1409.1556v6
[17] K. He, X. Zhang, S. Ren, and J. Sun, “Deep Residual Learning for
Image Recognition,” in IEEE Conference on Computer Vision and
Pattern Recognition (CVPR), 2016, pp. 770–778. Accessed: Jun.
24, 2023. [Online]. Available: http://image-
net.org/challenges/LSVRC/2015/
[18] M. Tan and Q. V. Le, “EfficientNet: Rethinking Model Scaling for
Convolutional Neural Networks,” 36th International Conference on
Machine Learning, ICML 2019, vol. 2019-June, pp. 10691–10700,
May 2019, Accessed: Aug. 09, 2023. [Online]. Available:
https://arxiv.org/abs/1905.11946v5

99
 A New Mobile-based Beauty Appointment
Management Application System

Ömer Gül Gamze Cetin

Seda Sahin
B.S. Graduate student, Deparment of B.S. Graduate student, Deparment of
Assist. Prof. Dr., Deparment of
Computer Engineering, Computer Engineering,
Computer Engineering,
Çankırı Karatekin University, Çankırı Karatekin University,
Çankırı Karatekin University,
Çankırı, Turkey Çankırı, Turkey
Çankırı, Turkey
[email protected] [email protected]
[email protected]

Abstract—In this study, a new mobile-based beauty development of smartphones, the internet can also be
appointment management application system is produced. The accessed via phone. Easy access to the internet via
beauty salon appointment scheduling application consists of smartphones has also affected today's needs.
two applications to provide dynamic and easy control. The first
application has been developed for customers who want to According to the Turkish Statistical Institute while the
make an appointment. You can start using the appointment rate of purchasing goods and services online was 44.3% in
scheduling application by installing an account on your phone. 2021, this rate increased to 46.2% in 2022 [1]. Within the
It shows the halls in the desired city, more information about scope of this study, a mobile application-based beauty
the halls can be accessed and an appointment can be requested appointment management application system was designed
easily for the desired service thanks to easy filtering. It because service provision is easier and faster to access over
provides convenience to the user by showing the service fees. It the internet.
also enables to follow up appointments from the My
Appointments section. The second application was developed Looking at the studies in the literature, the effects of
for Beauty Salons. Depending on the information entered into digital transformation on customer satisfaction of beauty
the application then users are provided with information about salons have been investigated. In the first stage of the study,
their salons, services and employees. The comments and star a customer satisfaction survey of ILUSALONG beauty
ratings for the service provided show the quality of the service. studio was conducted and the quality of the services
In this application, salons can accept or reject an appointment
provided was evaluated. Later, a mobile application
according to the status of the salon and employees. In addition,
the easy-to-user interface, easy control of employee status and belonging to the beauty salon was used to increase and
appointments is provided with this management system. In our improve the service quality of the salon survey results and
study, it is aimed to facilitate the appointment process by the quality of the services provided was evaluated by
waiting in beauty salons, calling by phone or going in person conducting a customer satisfaction survey on those who
with the developed application with a single application used this mobile application. As a result of the study, the
installed on the phone. Also, this study is aimed to produce an satisfaction and service quality of customers using the
efficient product which offers an economical, visual and high mobile application were higher than other survey studies,
quality services to society. The other advantage of this system thanks to the ability to make appointments at any time not
is usable and speedy system which provides human-computer
just during working hours, to know the employee from
interaction at the highest level. At the same time, this system
can be opened to develop depends on different conditions, whom the service will be received in advance and the
regions and countries. In future studies, this study can be information obtained from the comments about the salon
extended with the usage of different applications of Artificial [2].
Intelligence and MetaVerse systems with respect to users’
requirements.
Another study is a study on digital service in beauty
centers to pay attention to social distance and prioritize
Keywords—Mobile application, Appointment, Beauty salon,
customer comfort due to the Covid-19 epidemic. The project
Android, Ios, Flutter, Swagger, Human-Computer Interation
was made for Melati Salon & Sulam beauty salon in
Indonesia. Sermore software platform which provides web-
I. INTRODUCTION based services was used in the hall. The unnecessary
crowding in the service time in the beauty center has been
eliminated with this application and it is reserved only for
Nowadays, with the development of technology, phone use individuals with appointments. Ease of tracking
has decreased to the age of primary school children. With the appointments is provided for employees and individuals
development of technology, the phone now provides receiving services. This rate was increased by sending SMS
convenience to people's lives not only for communicating but notifications to prevent forgetting the appointment time and
also in many areas with the use of the internet. In the past, to increase participation [3].
the internet was only connected to computers, but with the

100
 In a study conducted by Farmila, a web-based application
was worked on for Salon NadeeLalani. Salon NadeeLalani
previously kept its records manually. He deals with the
coding of the web-based application and the testing of the
written codes. Information was collected through a form
from customers receiving service from the application and
with the developed application, personnel evaluation and
service quality were quite high [4].
Hairdresser, Beauty, Salon Appointment application
developed by Vatansoft is a mobile application prepared for
Android phones. It provides follow-up appointments for
registered beauty centers, barbers or hairdressers. The beauty
center can keep track of appointments and stocks then sends Fig. 2 Widgets are the basic building blocks of creating the
reminder messages to its customers at any time and the user interface. Each widget is a Dart class that performs a
address of the form page for the survey is sent to their specific function and represents UI elements that are
phones after the service [5]. displayed or interacted with. For example, it has made it
In our study, it is aimed to facilitate the appointment easier to create a dynamic application by creating different
process by waiting in beauty salons, calling by phone or widgets that can represent a button, text box, image or a list
going in person with the developed application with a single item.
application installed on the phone.

II. MATERIAL AND METHOD

The application developed in this study which consists

of two stages: service and application software.

The service part is written in C# and API. C# is preferred

because it is easy to use, readable, powerful, versatile and
provides extensive library support. Using API facilitates
data sharing and integration and reduces code repetition, so
it is very functional. Swagger was installed on top of it to
make it more organized and controlled. Tabs have been
created to provide quick access to different parts of the API.
Tabs help make API documentation more organized and
useful.

Applications are written with the Flutter interface and

Dart programming language. Flutter offers a structure that
combines application logic and user interface using the Dart
programming language. Flutter is preferred because it makes
it easy to create applications that can run on iOS, Android,
web, desktop and other platforms using this structure. In
Flutter, all interfaces and applications are implemented with
the help of widgets.

The proposed system is a Mobile-based Beauty

Appointment Management Application System and the
proposed system is described in Fig. 1, Fig. 2 and Fig. 3.

Fig. 3 The Proposed System Flowchart

Fig. 1 The Tabs have been created to provide quick access

to different parts of the API. Tabs help make API
documentation more organized and useful. Get, post, put
and delete methods are used inside the tabs.

101
 III. RESULTS AND DISCUSSION

Nowadays, purchasing services online has become as

easy as shopping. Everything we want can be done with a
single touch via the internet, whether on a computer or
phone. Based on this, the "Beauty Salon Appointment
Application" which is developed has received positive
feedback. The application is presented and explained to Suit
Beauty Center in Kütahya and its customers. According to
the feedback we have received, they stated that they found
the application user-friendly and easy to use. Users can
easily perform basic operations such as searching for an
appointment, selecting a salon and service, and determining
an appointment date and time. They also stated that users
found the application design aesthetic and the user
experience satisfactory. In our tests on the performance and
reliability of the application, we observed that users can
quickly search for salons, filter the results and see current
appointment times. The quick response time of the
application has positively affected the user experience. The
application part of the system is represented in Fig. 4 and
Fig. 5.

Fig. 5 All controls can be provided in the Beauty Center

control section, which is the second part of the application.
Beauty center information can be updated, comments made
can be viewed, new service and employee information can
be entered or updated and appointments given to customers
can be controlled.

CONCLUSION

In conclusion, the demand for applications compatible

with both iOS and Android operating systems is increasing
rapidly with the increase in mobile application usage. That's
why Dart programming language was preferred so that the
application can be compatible with both operating systems.
For easy control and use of the developed application,
a separate application has been prepared for each customer
who wants to control the beauty salon and make separate
appointments. Thus, thanks to these two applications which
are the customized and optimized services are offered.
This application has been implemented by asking
beauty centers and meeting their needs. After the application
has been completed, positive feedback is received upon the
Fig. 4 In the user section, which is the first part of the explanation and presentation to Suit Beauty Center and its
application, users who want to make an appointment can customers. As the future work, it is planned to update the
choose between multiple beauty centers, read the comments developed system by adding innovations of Artificial
of the salons, create an appointment at any time and control Intelligence and Metaverse systems and to increase its
these appointments. application areas.

102
 REFERENCES

[1] Türkiye İstatistik Kurumu.(2023,04,11). Hanehalkı

Bilişim Teknolojileri (BT) Kullanım Araştırması, 2021.
Tuik. https://data.tuik.gov.tr/Bulten/Index?p=Hanehalki-
Bilisim-Teknolojileri-(BT)-Kullanim-Arastirmasi-2021
[2] Taraskin, A. (2021). IMPACT OF DIGITAL
TRANSFORMATION ON BEAUTY SERVICES
PROVIDERS AND CUSTOMER SATISFACTION.
[3] Wenny, W., & Fitrianingrum, A. (2022). DESIGNED
THE DIGITAL SERVICE AS REVISIT INTENTION
PROGRAM DURING PANDEMIC FOR THE
BEAUTY SALON. ConCEPt - Conference On
Community Engagement Project, 2(1), 202-213.
[4] Farmila, M. F. (2017). Web Based Data Management
System for Salon NadeeLalani (Doctoral dissertation).
[5] Vatansoft. (2022.12.07). Vatansoft,
https://www.vatansoft.net/

103
 A Preliminary Study on Student and Faculty
Perspectives on Climate Crisis and AI in Higher
Education
Nuray Gedik1, Nilgün Özdamar2
#
Eskişehir Technical University Department of Computer Technologies, Porsuk MYO, Eskişehir, Türkiye; Anadolu University,
Open Education Faculty, Distance Education, Eskişehir, Türkiye
[email protected], [email protected]

*
Eskişehir Technical University Learning and Teaching Development Unit, 2 Eylul Campus, Eskişehir, Türkiye

Abstract— Higher education is likely to be affected by artificial become an issue that has turned into crises and caused
intelligence with the recent development of GenAI, and has transformations in every field, from education to research in
already been affected by disasters and crises such as pandemics, higher education. The impact of artificial intelligence and its
climate change and severe earthquakes, wars, migrations, etc. applications in educational environments, which dates back to
Global climate change has become an issue that has turned into
crises and caused transformations in every field, from education
the history of computers, gained great momentum after the
to research in higher education. The impact of artificial pandemic and signalled a serious change and transformation
intelligence and its applications in educational environments, with the ChatGPT3 generative artificial intelligence system
which dates back to the history of computers, gained great launched by the OpenAI platform in 2022.
momentum after the pandemic and signalled a serious change and After the Covid-19 pandemic and with the ongoing crises,
transformation with the ChatGPT3 generative artificial the sustainability of the educational vision and ideals in higher
intelligence system launched by the OpenAI platform in 2022. This education has emerged as an important issue [1],[2].
study aims to reveal the perspectives of university students and Additionally, issues of digital divide, readiness and adaptation
lecturers on the impact of crisis situations such as climate change, [3], psychological well-being and resilience among students
epidemics, earthquakes, etc. and disruptive technologies such as
artificial intelligence in higher education. As the first step of a two-
and faculty [4], access to quality and sustainable education
phase study, data were collected through an online survey with opportunities [2] and effective use of technology and pedagogy
open-ended questions. A total of 34 participants, including 30 has gained importance. The place of artificial intelligence and
lecturers and 4 students, volunteered from a mid-western its applications, which date back to the history of computers, in
university in Türkiye. The data were analysed using content educational environments has gained great momentum after the
analysis method. The results showed that increased use of distance pandemic, and has found a place in a wide range of areas, from
and online technologies, quality education, equal access, and teaching methods to the design of teaching environments, from
effective preparedness are the most important issues for disasters material use to measurement and evaluation practices,
and crises. They found that teacher/student roles and programme signalling a serious change and transformation in education.
design were the main areas most affected. Measures need to be
taken for better preparedness and sustainability. Participants
Thus, the needs for change and transformation in higher
expressed concerns about the potential use of GenAI, mentioning education in terms of human-computer interaction has become
both positive aspects such as increased access to learning sources more visible [5]. This study intends to reveal the perspectives
and effectiveness for the teaching and learning processes, and of university students and instructors on the effects of crisis
negative aspects such as decreased human interaction and situations such as climate change, epidemics, earthquakes, etc.,
disinformation risks. It is stressed that there is a strong need for and destructive technologies such as artificial intelligence in
an educational model that promotes critical thinking skills in the higher education.
generation of GenAI. Further implications for higher education
are presented. II. METHODOLOGY
I. INTRODUCTION This preliminary study is the first step of a mixed-methods
study with a data collection scheme of first qualitative and then
Higher education has been deeply affected by artificial quantitative data collection. Therefore, in the current study,
intelligence and related technological developments that have qualitative data were collected through an online survey with
come to the fore in the 21st century, as well as disasters and open-ended questions. The data were collected through
crises such as pandemics, climate change and intense voluntary participation from a midwestern university in Turkey.
earthquakes, wars, migrations, etc. Global climate change has A total of 34 participants, including 30 lecturers and 4 students,

104
volunteered. The data were analysed using content analysis. For "The effects of these situations on your learning and teaching
this purpose, the data were first coded and relevant themes and processes are lack of motivation, demoralization, and anxiety about
categories were identified and interpreted accordingly. the future."
"In general, when education is online, everyone loses motivation,
III. FINDINGS resulting in students' reluctance to study and attend classes."
Lack of social interaction: Social interaction, crucial in face-
Findings on the Impact of Climate Crisis and AI on Higher
to-face education, occurs less in distance education. This
Education
situation negatively affects the students' learning process.
The survey findings provided deeper insights into participants' "The adaptation process of students causes them to even come to
views on the effects of the climate crisis on higher education. classes with difficulty due to insufficient social facility facilities
Participants pointed out that the aftermath of earthquakes, within the university and they want the class to end as soon as
floods, global pandemics, and climate change negatively affects possible in order to go."
higher education. "The fact that the various material and moral problems that have
Distance Learning was a prominent theme in these emerged as a result of various influences lately are far from being
discussions. Participants voiced concerns that distance learning solved, and the university administration does not take any initiative
falls short in effectiveness compared to traditional face-to-face to solve these problems, creates a serious problem of belonging to
both the profession and our university, not only for me but for all
instruction, particularly in practical courses. They also
university personnel."
highlighted the potential for distance learning to exacerbate
socio-economic disparities.
Table 1. Climate change and disasters are the areas that affect
"Distance education does not offer the same discipline as face-to-
face education." the learning/teaching process in higher education the most
Another significant theme was the Quality of Education.
Participants suggested that earthquakes, floods, global
pandemics, and climate change compromise the quality of 35
education, leading to students falling behind and a decline in 30
30 26
their achievements. 23
"The overall quality of educational activities has diminished for all 25
stakeholders." 20 16 17
"These events have resulted in students falling behind and a 15 12
decrease in their achievements."
10
"The ongoing earthquakes, floods, global pandemics, and climate
change have a detrimental impact on education." "The quality of 5
teaching and learning has been adversely affected as these events 0
have negative material and moral impacts on everyone involved in Communication Student/instructor Assessment and
and interaction roles evaluation
Curriculum design Teaching/course
design
Learning
environment
education."
Another prominent issue highlighted in the survey was
Equality of Opportunity. Participants expressed concerns that According to Table 1, participants point out that global climate
natural disasters and global epidemics disproportionately affect change and disasters have the most impact on communication
the education of socioeconomically disadvantaged students. and interaction (f=30), measurement and evaluation (f =26) and
"It seems that differences in socioeconomic status exacerbate the learning environments (f =23) in the learning/teaching process
practical challenges of achieving equality of opportunity in in higher education.
education."
"These circumstances have increased student mobility and social The participants also provided a range of suggestions to address
issues, diminishing the impact of education." the situations arising from the effects of disasters on higher
Preparedness was yet another critical point raised by education and the learning and teaching process:
participants. They emphasized that educational institutions Ensuring continuity of education: Measures should be taken
should be prepared for natural disasters and global epidemics, to ensure that students affected by disasters can continue their
ensure the safety of students and staff, and strive to prevent education without interruption. These measures include
disruption of education. addressing internet access problems, expanding distance
"To enable students and teachers to continue their education during education opportunities, and catering to the housing and
disruptive events like earthquakes and floods, provisions should be
nutritional needs of students.
made for computers, internet access centers, or devices supplied by
“To solve internet access problems, the internet infrastructures of
the university."
universities can be strengthened. Free internet access can be
"Awareness and training regarding these issues should be
provided to students."
integrated into educational programs and delivered to students."
Providing psychological support: Disasters like earthquakes
The effects of situations such as earthquakes, floods, global
have the potential to profoundly traumatize students. Therefore,
epidemics, and climate change on learning and teaching
psychological support should be made available to students
processes were reported to be a lack of motivation and social
who have been affected by such disasters. This support plays a
interaction.
critical role in helping students express their emotions and
Lack of motivation: Participants mentioned that the negative
develop coping mechanisms to deal with their experiences.
experiences led to a lack of motivation among students and
“Distance education opportunities can be improved. In this context,
faculty members, adversely influencing the learning and universities' distance education platforms can be enhanced and
teaching process.

105
 students' access to distance education can be made more “Different contents can be collected in one place in the learning
accessible.” environment. For example, right now, when you ask me to tell you
“Psychological counselling centers can be established at about a topic, famous chatbots can bring you the content you
universities to provide psychological support to students affected by want. Therefore, he can also prepare a learning material himself.
the disasters. These centers can provide the necessary support for In fact, when you ask me to prepare a presentation on this subject,
students to express their emotions and develop coping mechanisms." it can create the presentation. In the near future, the teaching
Being prepared for disasters: While it is impossible to predict function may be completely taken over by AI.”
precisely when a disaster will occur, it is entirely possible, and
indeed necessary, to be prepared for a potential disaster. In this • It will make the learning process more fun and
context, disaster management plans should be prepared for interesting: Artificial intelligence can make the learning
higher education institutions and these plans should be process more fun and engaging by using games,
regularly updated to ensure their relevance and effectiveness. simulations and other interactive tools.
“Disaster plans should be prepared for higher education “Student-teacher interaction may be suitable for detecting
institutions. In these plans, the precautions to be taken against the "distracted or bored students" in fully online classes.”
possible effects of the disasters and how these measures will be
implemented should be clearly outlined." According to the participants, the negative effects of Artificial
"Disaster plans should be prepared for higher education institutions Intelligence on education/training processes are as follows:
and these plans should be regularly updated to ensure they remain
• It can distract the learning process from human
relevant and effective."
“Psychological support activities for students affected by the
interaction: Artificial intelligence can reduce students'
disasters can be carried out not only by universities, but also by interaction with teachers and other students. This can
local governments and non-governmental organizations. negatively impact students' ability to socialize and develop
Collaborative efforts can enhance the reach and effectiveness of critical thinking skills.
these support activities." • It can cause students to become lazy: Artificial
intelligence can make it difficult for students to manage
Findings on the Impact of AI on Higher Education and take responsibility for their own learning. This can
Participants were asked about their use of artificial intelligence cause students to become lazy and lose motivation to learn.
in the education/training process. According to the response, • It may cause students to acquire incorrect information:
only 6 out of 34 participants use artificial intelligence in Artificial intelligence may cause students to obtain
education. They stated that they use it to question the answers information from unreliable sources. This can cause
to exam questions, to reveal discussions on a topic written on students to gain incorrect information and make wrong
the internet, to benefit from images and videos, and to translate decisions.
foreign languages without distorting the entire text.
“In the assigned writing assignments, there will be tools from
7 participants use artificial intelligence 1-2 times a month, 6 which students can use sample sentences. Other than that, it won't
participants use artificial intelligence 1-2 times a week, and 1 have much of an impact.”
“As helpful as it will be, it will also make it more difficult for
participant uses artificial intelligence applications every day.
students to evaluate.”
ChatGPT comes first among the most well-known artificial “It can make people accustomed to laziness. It may also raise
intelligence applications they use. Others are DeepL, Google doubts as to whether the information given is from a reliable
Assistant, Google Bard, Copy.ai, Grammarly, Dall-E, Dante-ai, source.”
ElevenLabs, Prime Voice AI, Bing, Duolingo.
According to the participants, the themes extracted regarding
According to the participants, the positive effects of Artificial the requirements in artificial intelligence are as follows:
Intelligence on education/training processes are as follows: • Education: Education is needed to gain knowledge about
• It will make the learning process more efficient and the basic concepts, applications and uses of artificial
effective: Artificial intelligence can help students better intelligence. This training can be formal or informal.
understand their individual learning needs and provide Formal education can be in the form of artificial
them with personalized learning experiences. It can also be intelligence courses given at universities or online courses.
used to monitor and evaluate students' academic Informal education can be obtained from sources such as
achievement. books, articles, blogs and videos.
“It can be prevented from wasting time for faculty members. We • Infrastructure: Artificial intelligence applications require
know that there are applications that perform some tasks instead
access to computers, software, and other hardware
of faculty members, and we use them. For example, in the future,
faculty members can prepare the materials needed using artificial
required. This infrastructure is available at universities,
intelligence and digitize books. This saves time” research institutions and some private companies.
• Time: Artificial intelligence is a complex technology. It
• It will make the learning process more accessible: takes time to learn and use this technology.
Artificial intelligence can provide learning environments
“The entire process on AI from start to finish.”
suitable for students with different learning styles and
“I would like to be intentional about the logic in machine learning
needs. It can also facilitate access to educational materials courses, about training artificial intelligence.”
and resources. "Asking the right question, getting the most efficient answer."

106
 " Motivation to access and try applications. " accessibility, inclusion and effective preparation for sustainable
opportunities were highlighted.
Table 2. The areas that are affected by AI in the Participants also raised concerns about the potential uses of
learning/teaching process in higher education GenAI, mentioning both positive aspects such as increased
accessibility and effectiveness, and negative aspects such as
reduced human interaction and disinformation risks. They
argued that there is a strong need for an educational model that
30 promotes critical thinking skills in the generation of GenAI.
25
25 IV. CONCLUSIONS
19 19
20 17 17 The student and instructor perspectives acquired in this study
15
15
imply several main issues for higher education:
- Use of distance education in case of disasters or crises
10 need to be better designed
5 - Socioeconomic inequalities need to be better considered
and handled
0
Communication and
interaction
Student/instructor
roles
Assessment and
evaluation
Curriculum design Teaching/course
design
Learning environment - Inclusive and sustainable educational settings are
needed and preparations need to be made beforehand
According to Table 2, participants think that AI has the most - Courses and programs on AI need to be extended
impact on teaching and course design (f=25). - Open and free educational materials on AI are needed.
- Promotions on the effective use of AI needs to be
To meet the needs of participants regarding Artificial supported.
intelligence, the following are their recommendations: It is imperative that higher education institutions and related
• Artificial intelligence courses and programs should be stakeholders develop policies and make required improvements
expanded in universities. These courses and programs will to handle the above-mentioned issues.
enable students to acquire basic and advanced knowledge
about artificial intelligence.
• Free and open access educational resources on artificial REFERENCES
intelligence should be created. These resources will be [1] Stracke, C.M.; Burgos, D.; Santos-Hermosa, G.; Bozkurt, A.; Sharma,
R.C.; Swiatek Cassafieres, C.; dos Santos, A.I.; Mason, J.; Ossiannilsson,
accessible to anyone who wants to learn about artificial E.; Shon, J.G.; et al. Responding to the Initial Challenge of the COVID-
intelligence. 19 Pandemic: Analysis of International Responses and Impact in School
• Incentives should be provided for the dissemination of and Higher Education. Sustainability 2022, 14, 1876.
https://doi.org/10.3390/su14031876
artificial intelligence applications. In this way, people will
[2] UN (2022a). The sustainable development goals report 2022.
gain more experience in using and developing artificial https://unstats.un.org/sdgs/report/2022/.
intelligence applications.
[3] Abdrasheva, D., Escribens, M., Sabzalieva, E., Vieira do Nascimento, D,
& Yerovi, C. (2022). Resuming or reforming? Tracking the global impact
IV IMPLICATIONS of the COVID-19 pandemic on higher education after two years of
The results showed that increased use of online technologies, disruption. UNESCO International Institute for Higher Education in Latin
America and the Caribbean..
quality education, equal access and effective preparedness are
[4] K Paoletti P, Di Giuseppe T, Lillo C, Ben-Soussan TD, Bozkurt A,
the main issues related to disasters and crises. Participants Tabibnia G, Kelmendi K, Warthe GW, Leshem R, Bigo V, Ireri A,
stated that situations such as earthquakes, floods, global Mwangi C, Bhattacharya N and Perasso GF (2022) What can we learn
epidemics and climate crises have led to increased use of from the COVID-19 pandemic? Resilience for the future and
distance learning, decreased motivation and lack of social neuropsychopedagogical insights. Front. Psychol. 13:993991. doi:
10.3389/fpsyg.2022.993991
interaction. They found that teacher/student roles and
[5] Guidi, E., Jensen, T., & Marinoni, G. (2023). Shaping Teaching &
programme design were the main areas most affected. Learning and Internationalization beyond the Pandemic: A qualitative
Therefore, issues related to quality education such as research project following the IAU Report: Higher Education One Year
into the COVID-19 Pandemic. International Association of Universities.

107
A Psychophysiological Investigation of How Visual
Perceptual Skills and Interaction Experiences of
Visual Communication Design Students Change:
Which Eye Tracking and Electrodermal Activity
Metrics to Use?
Neslihan Erdem Behiç Alp Aytekin
Visual Communication Design, Visual Communication Design,
Faculty of Communication, Faculty of Communication,
Aydın Adnan Menderes University Aydın Adnan Menderes University
Aydın, Turkey Aydın, Turkey
[email protected] [email protected]

Abstract— Visual communication design is a field that aims The main research question of the study focuses on
to improve students' visual perception skills and interaction understanding the impact on visual perception skills
experiences during their education. In order to understand the and interaction experience. In this context, the study
results of this aim and the differences in experience by years, seeks an answer to the question of what are the effects
students studying visual communication design were of visual communication design education on
categorized as novice (freshman year) and competent (senior students' visual perception skills and interaction
year) students. This study aims to discuss which eye tracking experiences with which psychophysiological data metrics
and electrodermal activity metrics should be used to obtain should be examined in terms of eye tracking and
more effective findings when investigating the visual
electrodermal activity metrics.
perception skills and interaction experiences of novice and
competent students studying visual communication design The study focuses on understanding the
following a psychophysiological investigation. technical knowledge, visual perception skills and
interaction experiences of visual communication design
Keywords—visual communication design education, visual students as a result of their interactions with the people,
perception, interaction experience, psychophysiological method, courses, contents, materials, events and situations they
eye tracking, electrodermal activity interact with during the education process. For this
reason, students were first categorized as novice
I. INTRODUCTION students (freshman year) and competent students (senior
Visual communication design is an interdisciplinary field year) with reference to and Dreyfus and Dreyfus [3] and
Benner’s [4] theories of skill acquisition. With this
that deals with how people/ users communicate and interact
approach, it is thought that the similarities and/or differences
with visual and auditory stimuli between human-human, in visual perception skills and interaction experience
human- machine, and human-machine-communities. The between the two groups will be revealed more easily.
starting point of this field is based on graphic design Based on this classification, information on which eye-
education. The graphic design education program has been tracking metrics and which electrodermal
constantly updated with the changes in social needs and the activity metrics will enable us to better understand the
structure of production technologies and the inclusion of similarities/differences in visual perception skills and
computers in design/production processes as of the 1980s. interaction experience is discussed in the text.
Thus, it has expanded its range from a traditional model
II. METHOD
focusing solely on graphic production structures to visual
Understanding the effects on the visual perception skills
communication design/communication design education [1, and interaction experiences of visual communication design
2]. Today, visual communication design education is seen as students requires long-term field studies that cover a season-
a field of education that aims to transfer knowledge and long educational period. This preliminary study aims to
experience by combining communication disciplines with understand which eye tracking and electrodermal activity
design, technology and production structures and metrics will be more effective in understanding visual
techniques, and teaches students to construct current content perception skills and interaction experience variables, and to
and communication technologies and interaction needs for pre-design their use before starting the in-depth research
problem definition-oriented design solutions. For this process in the field. At this point, the approach of Saiz-
reason, the development of students' visual perception skills Manzanares et al. [5] in their article Application and
and interaction experiences in the visual communication challenges of eye tracking technology in Higher Education
and their previous studies constitutes the reference point of
design education process is aimed as a basic formation
the study. Saiz-Manzanares et al.'s [5] approach and
construct and building block during the education. understanding of metrics in their research on the use and
applicability of eye-tracking technology in Higher
Education also determined the basic trajectory of the
approach in our study.

108
 Although psychophysiological data collection tools
and techniques are very diverse (EEG, fMRI, Eye Tracking,
Psychophysiological measurements are
EDA, FACS), it is thought that the long-term field
classified according to nervous systems in various studies
experience envisioned in the design can be carried out
[10, 11]; facial expression analysis and eye tracking are in
most effectively with eye tracking and electrodermal
the somatic nervous system, while electrodermal activity
activity techniques. At this point, it was preferred that
(EDA) and cardiovascular activity (ECG) are in the
the tools and measurement techniques used should be
autonomic nervous system. The somatic and
able to obtain data with minimal intervention and
autonomic nervous systems are components of the
movement restrictions so as not to interfere with physical
peripheral nervous system. Since the data are obtained
activity and design processes throughout the field [6]. In
from the autonomic sympathetic nervous system, it
addition, the ease of application of the techniques used in
allows the collection of unique findings for each
order to make students feel closest to their natural
participant, independent of the participant's
environment and to avoid creating the feeling of
cognitive efforts and without intervention [12].
an experimental environment was considered as the
reason for their preference. In addition, the two The eye tracking and electrodermal activity metrics
main psychophysiological techniques will be preferred for in the tables below provide details on how and with which
data collection because they contain metrics that can metrics the relationship between visual perception skills
distinguish cognitive differences in visual perception skills and interaction experience differences/similarities
and interaction experience. between novice and competent students will be found
during the study:
While conducting long-term fieldwork, the Tobii
Pro Glasses 2.0 eyewear model and the Tobii Pro
Fusion screen-based eye-tracking device are planned to be
used together or interchangeably as eye-tracking
technology in certain situations and scenarios. The
Shimmer GSR+ electrodermal activity device, on the
other hand, allows the collection of motivational data
such as SCL, SCR and e-SCR, and the ability to
simultaneously obtain pulse data as a metric thanks to the
PPG to ECG algorithm of the device is considered as an
advantage of the technique.
While focusing on eye tracking and electrodermal
activity metrics from psychophysiological techniques, the
advantages of eye tracking are that it can reveal the attention,
perception, problem solving, visual information processing
aspects of visual perception skill [7], while electrodermal
activity provides an important trace to reveal how the
motivational state is affected by the stimuli that the person
interacts with and at the points where the experience occurs.
At the same time, when these two techniques are used
together, it is seen as an important component of the process,
especially in terms of understanding how and in which
situations the cognitive load in the visual perception process
coincides with the motivational state measurement.

When we look at the measurement metrics that the eye

tracking technique can perform; area of interest (AOI), area
of interest visit (AOI Visit), area of interest mouse click
(AOI Click), area of interest glance (AOI Glance), saccade,
fixation, first fixation etc. It is seen that there are many
measurable retinal trace analysis components [8].
Electrodermal activity (EDA) metrics include skin
conductance level (SCL), skin conductance stimulation
response (SCR) and event-related skin conductance
stimulation response (e-SCR) data [9].

109
 TABLE I. EYE TRACKING METRICS AND LEARNING RELATIONSHIP Eye Tracking Metrics
Eye Tracking Metrics Metric Definition Meaning
Metric Definition Meaning information
processing/cognitive
load. Or it may indicate
It is considered as one of
a state variable that is
The Gaze Plot shows the the main visual metrics to
not understood in the
effort expended to look distinguish competent
relevant gaze fixation.
at locations in the students from novice
stimulus, the eye students. It is thought that
movement order and the the gaze and perception
It is expected to indicate
times of cognitive load. processes of novice and
the intensity of students'
The circle with the competent students on
attention or interest
number "1" on it stimuli will work
towards a particular point
identifies the first gaze differently from each other.
Refers to the number of of the stimulus. It may also
on the stimulus. In particular, the first
Visit visits to an area of be an indication that the
Subsequent numbers fixation area (FFA) and
Count interest (AOI) over a user is experiencing
track the location and duration (FFD) contain
Gaze Plot given period of time. cognitive load or difficulty
sequence of gaze, while many valuable data
(Visual with the information they
it is also possible to see components for the
Metric) are focusing on, as in the
meaningless saccades. analysis of general eye
case of fixation duration
The time spent in tracking, scanning capacity
[13, 14, 15, 6].
perception, commonly and cognitive load points
referred to as the fixation specific to each participant.
duration, is indicated by In addition, it will enable
It refers to the number of
the enlargement of the the creation of a More saccades could mean
saccade during the gaze
diameter of the comparative data pattern that the students more
process for each
numbered circles. The based on many prompting strategies to
stimulus. Eye jumps
larger the diameter, the demographic features and accomplish a task. It may
Saccade represent meaningless
greater the focus of gaze additional features if also indicate a lower level
Count eye movements without
and hence the greater the desired, along with the of prior knowledge.
cognitive load and focus.
cognitive load. competent and novice Complex tasks involve
Fewer or more saccades
student breakdown. more saccades than simple
may represent lower or
tasks [16, 6].
higher cognitive effort.
It can be predicted that a.
For the meanings of the eye-tracking metrics, Tobii Pro Lab User Manual v1.1207 was used. The
there are differences relationship between the metrics and their meanings is based on and adapted from the work by
between competent and Sáiz-Manzanares et al. [8, 13, 14, 15, 6].
novice students in their
Time to First Fixation time to first fixation TABLE II. ELECTRODERMAL ACTIVITY METRICS AND LEARNING
Time to Duration is the time duration (TFFD) according RELATIONSHIP
First from the start of a to the content they look at.
Fixation mission to the first As students' visual Electrodermal Activity (EDA) Metrics
Duration fixation of a specific area perception skills and Metric Definition Meaning
of interest. interaction experiences
increase, they are likely to In novice students, more or
perceive the stimuli they less motivational affective
see with a faster and more state variables can be
intense gaze pattern. observed against stimuli than
competent students. It is
The electrodermal thought that prior knowledge
It can be assumed that skin conductance and practice in the process of
there will be a significant level can be used encountering a stimulus, that
difference between to discriminate a is, the experience that is
First Fixation
competent and novice person's response formed by interaction, can be
corresponds to the point
students in terms of first Skin to a motivational observed as an important
at which the eye fixates
First fixation points. It is Conductance affective state variable at this stage. Novice
for the first time at the
Fixation considered that an Level variable with students may be more or less
beginning of a task and a
competent eye will act reference to their aroused by stimuli than
meaningful cognitive
differently than an novice basal metabolic competent students. When a
load occurs.
eye in its gaze and electromagnetic stimulus is interpreted as an
perception skills against stimulation level. event or situation variable, it
visual stimuli. is considered that it will work
to reveal the comparative
motivational state variable
It is an indicator of difference between the
people's level of reactions of competent and
cognitive interest in novice students.
It can be considered that it
stimuli and their
can help to determine the
response time to stimuli.
Fixation level of reflection of each
Fixation duration
Duration student's visual perception SCRs are Novice students may show
provides information Skin produced in more or less arousal to
skills during a task [13, 14,
about the scanning Conductance response to a stimuli than competent
15, 6].
process and Response and specific event students. When a stimulus is
concentration. Longer Event Related (e.g. a visual interpreted as an event or
gaze fixations may Skin stimulus or an state variable, it is considered
indicate deeper Conductance unexpected that it will work to reveal the

110
 Electrodermal Activity (EDA) Metrics envisaged that a high level of benefit will be obtained from
Metric Definition Meaning the psychophysiological data to be collected in the scenarios
Response event). The event- comparative motivational designed with the phases and stimuli in long-term field
related state variable difference studies. With the contributions of supporting and testing
electrodermal skin between the responses of
conductance competent and novice
techniques and methods as an additional approach, it will be
response (E-SCR) students. possible to construct and implement a mixed method
is known as the approach research format based on psychophysiological data
event-related collection. In this way, realistic and in-depth findings on the
electrodermal skin
visual perception skills and interaction experience variables
conductance
response. It is of novice and competent students in the visual
used in research to communication design education ecosystem can be
link changes in accessed. It is aimed that the findings obtained will turn into
emotional arousal scientific knowledge that will positively affect visual
to a specific
stimulus. communication design education.
REFERENCES
The participants' response to
a stimulus, the state that [1] Icograda, Design Education Manifesto. Montreal, 2000.
develops during the stimulus, [2] Icograda, Design Education Manifesto. Seoul, 2011.
Electrodermal
and the motivational state at [3] S.E. Dreyfus and H.L. Dreyfus, A Five-Stage Model of the Mental
Skin Response
the end of the stimulus can be Activities Involved in Directed Skill Acquisition. Storming Media,
average,
realized at different levels. At Washington DC. 1982.
can be filtered for
this point, the entry, exit and [4] P. Benner, From Novice to Expert. American Journal of Nursing, 82,
GSR Average each time of
average metric on the 402-407. 1982. https://doi.org/10.1097/00000446-198282030-00004
interest, with
stimulus provides an
averages, medians [5] M. Saiz-Manzanares, R. Sánchez, L. Martín Antón, L. Almeida and
important metric for a
and counts for M.-Á. Carbonero-Martín, Application and challenges of eye tracking
general comparison among
each participant. technology in Higher Education, Communicar, 76. 2023.
groups.
https://doi.org/10.3916/C76-2023-03
The number of [6] L. Copeland, “How researchers are beginning to gently probe the
Electrodermal science behind ASMR”. March 16, 2017.
It is possible to quantitatively https://www.smithsonianmag.com/science-nature/researchers-begin-
Skin Response
evaluate the skin conductance gently-probe-science-behind-asmr-180962550/ (accessed July 13,
Responses (SCRs)
responses of novice and 2023).
can be expressed
competent students and to [7] Tobii, “Eye tracking in psychology and neuroscience research”,
as each interval at
make a comparison between 2023. Available:https://www.tobii.com/solutions/scientific-
the time of
the two groups with the research/psychology-and-neuroscience, Accessed on: June 14th, 2023.
interest with
numerical data obtained. It
means, medians, [8] Tobii Pro Lab. Tobii Pro Lab User Manual, 2022.
can be predicted that the
counts, variances [9] W. Boucsein, Electrodermal Activity. Boston: Springer, 2012.
number of skin conductance
and standard 10.1007/978-1-4614-1126-0
responses of novice students
deviations (n-1).
to unfamiliar content may be [10] U. Garczarek-Bąk, “An overview to neuromarketing research
SCR The number of
higher, while the number of methods”, Managing Economic Innovations–Methods and
Count peaks and troughs
skin conductance responses Instruments, 54, 2019.
during
of competent students may be [11] B. Pierański, “Physiological measurement as a (controversial)
motivational
lower. In the case of selecting research method”, Managing Economic Innovations–Methods and
affective state
stimuli that are of interest to Instruments, 38, 2019.
variable
competent students and that [12] M. S. Aydın, K. Depboylu, and N. Erdem, “Biometric data
constitutes an
will attract their attention, the harvesting: Proposals on remote biometric data harvesting and
efficient
situation may be reversed and measurements in human behaviours scope”, in Zeynel Karacagil
quantitative data
it may be possible to get (Ed.). Current Debates on Social Sciences 7 Human Studies, pp.107-
set in some
more skin conductance 113. Ankara: Bilgin Kültür Sanat Yayınları, 2021.
studies and fields.
responses from competent
It can be used in [13] M.C. Sáiz-Manzanares, J.J. Rodríguez Diez, R. Marticorena-Sánchez,
students.
some scenarios of M.J. Zaparaín-Yáñez and R. Cerezo Menéndez, Lifelong learning
the study. from sustainable education: An analysis with eye tracking and data
b.
The meanings of the electrodermal activity metrics are based on and edited from Tobii Pro Lab
mining techniques. Sustainability, 12(5), 2020.
User Manual v1.1207 [8]. https://doi.org/10.3390/su12051970
[14] M.C. Sáiz-Manzanares, I.R. Pérez, A.A. Rodríguez, S.R. Arribas, L.
III. CONCLUSION Almeida and C.F. Martin. Analysis of the learning process through
eye-tracking technology and feature selection techniques. Applied
In this study, it is argued that analyzing how visual Sciences, 11(13), 2021. https://doi.org/10.3390/app11136157
perception skills and interaction experiences of novice [15] M.C. Sáiz-Manzanares, R.J. Payo-Hernanz, M.J. Zaparaín-Yáñez, G.
(freshman year) and competent (senior year) visual Andrés-López, R. Marticorena-Sánchez, A. Calvo-Rodríguez, C.
Martín and Rodríguez-Arribas. Eye-tracking technology and data-
communication design students are affected by eye tracking mining techniques used for a behavioral analysis of adults engaged in
and electrodermal activity metrics would be useful in learning processes. Journal of Visualized Experiments, 172 (e62103),
obtaining more effective and in-depth findings. A pp.1-16, 2021. https://doi.org/10.3791/62103
preliminary field study with the relevant metrics will [16] J. Kulomäki, L. Oksama, E. Rantanen and Hyönä, J., Attention
provide a strong reference point on how the evaluated control in a demanding dynamic time-sharing environment: An eye-
tracking study. Attention, Perception, and Psychophysics, 84, pp. 352-
metrics will yield results. Based on this reference point, it is 371, 2022. https://doi.org/10.3758/s13414-021-02377-z

111
 A Temporomandibular Joint Course with
Metaverse Experience
Mehmet A. Kilicarslan
Burak Kizilkaya Saliha Zerdali Ekici
Faculty of Dentistry, Ankara University
Graduate School of Natural and Faculty of Dentistry, Ankara University
Ankara, Turkiye
Applied Sciences of Atilim University Ankara, Turkiye
[email protected]
Ankara, Turkiye [email protected]
[email protected]

Aykut Gonder Bilge K. Pamuk Damla Topalli

Republic of Turkiye Social Security MedeaSoft, Faculty of Computer Engineering,
Institution (SGK) Ankara, Turkiye Atilim University
Ankara, Turkiye [email protected] Ankara, Turkiye
[email protected] [email protected]

Fulya Basmaci Nergiz E. Cagiltay

Faculty of Dentistry, Yildirim Beyazit Faculty Software Engineering, Cankaya
Ankara, Turkiye University
[email protected] Ankara, Turkiye
[email protected]

Abstract—The Temporomandibular Joint (TMJ) is a Keywords— Temporomandibular Joint; TMJ; Virtual Reality;
complicated human body part which is important and very metaverse; simulation
critical for several diseases related to human mouth and
dental conditions. TMJ basically enables the performance of
chewing and speaking functions in the human body and
attracts great attention from dentists, orthodontists, I. INTRODUCTION
clinicians, and radiologists. Because of its complicated
structure and behaviours, for dentists, it is not always TMJ of the human body has a complex structure. Even
easy to visualize and understand the TMJ behaviours of though the human motor system mechanics have been
the patients. One of the most important anatomical structures
of TMJ is the articular disc. The articular disc has a roughly resolved, their integration into a system is still a complex
oval shape and provides gliding actions between the process to be resolved [1]. Researchers suggest
temporal and mandibular articular bones and the computer simulations of the motor system to better
hinging action. Because of such very complex understand such complex structures [1]. Despite
interactions and anatomical structures in this part of the several affords to understand the anatomy of the jaw
human body, it is hard to diagnose TMJ-related disorders.
muscles and their related soft tissues within he adductor
This complexity is caused mainly as because it is hard to
visualize the TMJ structures and different behaviours from chamber [2, 3], interpreting their ontogeny, function, and
outside the human body. In this study, virtual human evolution remain as a challenging process. In a recent survey
body parts were developed to simulate the TMJ behaviours study, researchers have identified that the detailed anatomy
of human beings. In this study, the details of the of the temporomandibular joint is one of the top priority
developed system are described by considering the topics of the learners from their dental curricula that would
designed virtual model details as well as the user interactions.
be beneficial when introduced with 3D learning resources
The instructor and student users’ experiences in the
Metaverse-based classroom and their interactions with [4].
students, instructors as well as with the virtual simulated model The three-dimensional (3D) modelling and simulation-based
are all described. This study is the first attempt to approaches now allow us to see and reconstruct this muscle
support the TMJ courses with metaverse metaverse-enriched architecture together and contribute to experts making more
instructional environment through synchronized or a- accurate predictions on this subject. In the literature, there
synchronized learning models. The results of this study aimed
to build a model for better designing future classrooms with are some attempts to create a 3D temporomandibular joint
metaverse interactions and virtual reality experiences. (TMJ) model with 3D virtual reality and mandibular
According to the results of this study, it can be concluded that function animation to provide study material for a better
it is possible to create a metaverse for better working in TMJ understanding of the anatomic structures of TMJ [5]. Studies
anatomical structures and its simulated functionalities in three- also report that 3D Virtual Reality (VR) representations of
dimensional virtual worlds. This provides the trainees to
TMJ are useful for preoperative planning and can be used as
experience and see the functionalities of the TMJ from
different perspectives and angles. Additionally, they can discuss an intraoperative guidance tool [6].
and work on simulated virtual structures with their classmates
and with the experts worldwide enabling them to meet in the
same virtual classroom.

112
Thus, through these models, it is possible to reveal new
information about the genetics, diversity, and function
of the jaw muscles [7]. However, there are very limited
examples of TMJ simulations of the human body
in the literature [8]. Accordingly, in this study, a real
human TMJ simulation is developed for a 3D
environment, and it is served for the study of dental
education programs through a user interface with
metaverse concepts. In this study the details of the
developed system are described.

II. META4DENTA-TMJ METAVERSE EDUCATION Fig. 2 3D Human Model for TMJ - Interactions

The Meta4Denta-TMJ education system provides a

better understanding and experience of people on
human TMJ and its relations with the muscles and toot
in a simulated environment. In this environment, first, a 3D
model for the human TMJ was developed.

A. 3D Human Model for TMJ

The 3D human model is developed based on the

anatomical structures of human beings. As seen in Fig. 1 the
details about the TMJ and related anatomical structures
of human beings are developed by eliminating the
other anatomical structures.

Fig. 3 3D Human Model for TMJ - Interactions

Hence, as seen in Fig. 3, the users can inspect the 3D

model from different angles, even from inside the 3D
model.

This helps the user to better visualize the TMJ

Fig. 1 3D Human Model for TMJ behaviours under different conditions from different
angles. In the end, it provides a better understanding of
different chin movements and their interactions with
The developed model is provided through a virtual related anatomic structures. In this way, the user can see
reality (VR) environment with Oculus VR glasses. In interactions and the case-effect relationships among
this virtual environment, the users can move around the different anatomical structures related to the TMJ.
model, and be able to open and close the mouth in
different alternative ways (see Fig. 2). The model For instance, the related muscles can be monitored during
simulates all behaviours of human TMJ. this process (see Fig. 4). Additionally, the angles of
the chin movements are shown on the 3D model to make
it clearer to understand. The posset diagram of the posset
opening is also represented in the 3D environment.

113
 Fig. 5 Metaverse Interactions in Meta4Denta- TMJ

Fig. 4 3D Human Model for TMJ - Interactions In this metaverse, all users can connect from any place
in the world. They can talk and hear their voices through
the VR glasses. Hence this environment is appropriate
B. User Interactions with the 3D Model to create a virtual classroom to discuss, teach and
visualize the concepts, theories, and relationships
The user may have several interactions in this virtual about the human TMJ.
environment. The interactions are controlled by the
controllers coming with the VR glasses. The buttons on
the controller are programmed for different purposes III. DISCUSSION
to provide the best interaction experience for the user.
The main interactions are summarized below: In this study, anatomic structures of human TMJ are
simulated in a 3D virtual environment and the
simulations are provided to the users through VR
glasses with a metaverse user interface. Such a
• Through the controllers, the users can open and system provides several potential benefits for
close the mouth of the 3D model. different purposes. For instance, a review study was
conducted on 30 articles to better understand the impact
• Through the controllers, the users can see
of digital technologies on temporomandibular joint
related Posselt diagram of it.
reconstruction surgeries and they report that assisted and
• Through the controllers, the users can close the virtually planned surgeries are better than the conventional
mouth of the 3D model. approaches [9]. Hence, such simulations and 3D virtual
environments potentially cause some positive improvements
• Users can walk around the 3D model and investigate to better prepare surgeons for their surgical procedures.
the movements and interactions among different When the studies in the literature are analysed, there are
anatomical structures from different angles. some attempts to create such environments, showing several
potential benefits of 3D virtual simulated models of TMJ.
• Users are also able to walk inside the 3D model to However, by implementing these systems in the metaverse, a
watch the interactions from the inside or other new perspective can be gained to provide an interactive
angles. experience for the trainees in a virtual world. Besides, as
there are very limited specialists in TMJ anatomy, it also
provides synchronized or synchronized instructional
C. Metaverse Education Environment opportunities for meeting experts and trainees from
anywhere in the world in this virtual environment.
After the design and development of the 3D model, and Additionally, the virtual interactions with the simulated
the user interface providing functionality to interact model and classmates as well as with the instructors possibly
and better investigate the system, the whole system is will improve the level of learning in this virtual environment
adapted to the metaverse concept. In this world, several and create a base for discussions and conversation like in
users can register to the system and meet at the same real classrooms.
virtual room. After registration, each user represented in
the system through their own special avatars. Their
names on top of the avatars are also shown to make
it clear for other participants recognise each other.

114
 IV. CONCLUSION

As a conclusion, in this study, very complex

anatomical structures of TMJ simulation and its
experience in a metaverse are discussed. In the
future, this environment and its possible instructional
implementations need to be evaluated
experimentally. However, this study shows the
possibility of creating such virtual environments and its
possible benefits for teaching and learning as well as
surgical procedures such as surgical planning and better
strategic surgery decisions. We believe that by integrating
these systems into the traditional training programs, several
benefits for the dental faculties and trainees could be gained.
V. REFERENCES

[1] Otten E. 2001. The motor system: The whole and its parts. Neural
Plast. doi: 10.1155/NP.2001.111.
[2] Iordansky NN. 1964. The jaw muscles of the crocodiles and some
relating structures of the crocodilian skull. Anat. Anz. .
[3] Lessner EJ, Holliday CM. 2022. A 3D ontogenetic atlas of Alligator
mississippiensis cranial nerves and their significance for comparative
neurology of reptiles. Anat Rec. doi: 10.1002/ar.24550.
[4] Poblete P, McAleer S, Mason AG. 2020. 3D Technology
Development and Dental Education: What Topics Are Best Suited for
3D Learning Resources? Dent J. doi: 10.3390/dj8030095.
[5] Cascone P, Rinaldi F, Pagnoni M, Marianetti TM, Tedaldi M. 2008.
Three-dimensional temporomandibular joint modeling and animation.
J Craniofac Surg. doi: 10.1097/SCS.0b013e31818ac1f0.
[6] Bradley D, Willson T, Chang JB, Gandolfi B, Zhu TR, Bradley JP,
Lee JC. 2019. Intraoperative Three-dimensional Virtual Reality and
Computed Tomographic Guidance in Temporomandibular Joint
Arthroplasty of Syndromic Craniofacial Dysostoses. Plast Reconstr
Surg - Glob Open. doi: 10.1097/gox.0000000000002388.
[7] Holliday CM, Sellers KC, Lessner EJ, Middleton KM, Cranor C,
Verhulst CD, Lautenschlager S, Bader K, Brown MA, Colbert MW.
2022. New frontiers in imaging, anatomy, and mechanics of
crocodylian jaw muscles. Anat Rec. doi: 10.1002/ar.25011.
[8] Movahed R, Wolford LM. 2015. Protocol for Concomitant
Temporomandibular Joint Custom-fitted Total Joint Reconstruction
and Orthognathic Surgery Using Computer-assisted Surgical
Simulation. Oral Maxillofac Surg Clin North Am. doi:
10.1016/j.coms.2014.09.004.
[9] Kumar S, Khanna V, Singh BP, Mehrotra D, Patil RK. 2021. Impact
of technology in temporomandibular joint reconstruction surgeries: A
systematic review. J Plast Reconstr Aesthetic Surg. doi:
10.1016/j.bjps.2020.12.077.

115
Analysis and Modeling Automated Product Quality
Control for Machine-building Industries
Javanshir Mammadov Tarana Safarova
Automatic and control Ganima Ghuseynova Information technology and
Sumgait State University Electro-mechanic programming
Sumgait, Azerbaijan Sumgait State University
[email protected] Sumgait State University
Sumgait, Azerbaijan
[email protected] Sumgait, Azerbaijan
[email protected]
Sabina Aliyeva
Automatic and control
Sumgait State University
Sumgait, Azerbaijan
[email protected]

Abstract— Based on the analysis of existing methods for technologies [1, 2]. The lack of effective local and
quality control of industrial products, the purpose of the article integrated management tools and their information support
and the issues of their solution were determined. The set task at a large number of enterprises in various industries
for product quality control was implemented using the complicates the process of searching and selecting
example of a flexible production system (FPS) for the management tools for flexible production systems,
production of aluminum evaporators. The research object especially at the stage of designing the architecture of an
under consideration was analyzed and for each flexible automated system . enterprise control .
automated section a control system was defined for technical Control and testing (operational control) in the process of
monitoring of the manufacturing process and the quality of the manufacturing products are an integral part of the
object itself. The technological description of the quality technological process of manufacturing products [3, 4].
control process during the stage-by-stage production of Quality control in the production process allows you to
aluminum products was described in the form of a table using control the execution of technological operations and achieve
the relational method. Also, using the production modelling early exclusion of low-quality products, as well as to carry
method, a logical modelling algorithm was created for each out preventive technological and management measures.
flexible automated section of FPS with values for controlling One of the main requirements for ensuring the stable
the size of workpieces, temperature conditions of annealing, development of the modern world economy is the
drying in different ovens of sections, pressure during cold production of high-quality products. For this purpose,
welding, and blowing of channels on hydraulic presses. technical control, visual vision systems, intelligent control
A general scheme of the system is proposed control in the systems and international quality standards are used in
positions of active elements of FPS which allows to provide the automated production lines of production enterprises
construction of an automated scheme for quality control of operating in the field of mechanical engineering, from the
aluminum evaporators. An algorithm for stage-by-stage quality input of raw materials to the release of final products [5].
control of aluminium evaporator manufacturing based on the Based on a comparative analysis [6, 7] carried out in
rules of the production model and an optimization method is connection with this issue, it was determined that the
proposed for the correct choice of the dimensions of aluminum development of a mobile, flexible and accurate system for
blanks at flexible automated sections (FAS1 and FAS2), the monitoring the quality of products based on an automated
thickness of blank polishing, the application of a stencil pattern control system (ACS) in the technological line of a
in accordance with the evaporator model, and also to ensure machine-tool construction enterprise is considered
optimal temperature conditions in all FASi furnaces. scientifically relevant problem.
Recently, algorithmic methods are increasingly used to
Keywords— Quality control, flexible automated section, improve the accuracy of research into product quality control
aluminum evaporator, flexible production system, aluminum processes [8, 9]. Also logical algorithms are widely used to
billet, production model, optimization method, automation efficiently solve this type of problems [10]. Decision-making
scheme. algorithms of control systems are formed on the basis of data
arrays {xi} and {yi}. Mathematical expectations in a step-by-
I. INTRODUCTION
step problem mz allow you to determine the root mean square
The economic growth of developing countries largely value of the deviation of the elements of the array  z . Based
depends on the adoption of the most advanced automation
on these data, new {Ai} under the proposed invariant
and control technologies in their industries. One of such
conditions, their elements are determined by the rules where
innovative systems is a flexible production system that
the following array is formed [11] :
ensures high-quality production of products for various
IF xi < mz , THEN Ai = mz
purposes through the use of flexible automated control

116
 IF xi > mz , TO Ai = xi
And the algorithm for product quality control and
decision making proposed in [11] is that 2- and 3-
dimensional geometric parameters are estimated to recognize
the entire perimeter of the upper surface of objects. In order
to increase the reliability of recognition of product samples, a
mathematical model of the assessment process was proposed,
taking into account the important metrological parameters of
the measuring channel [12]:
 
d   d i  f x i , y i ,  x ,  y ,  м ,
where are  x ,  y ,  м , respectively, the arrays of sizes Figure. 1. The general scheme of the flexible production
system for the production of aluminum evaporators for
of the input parameters of the control object, the parameters
household refrigerators
of the reference object and the array of error values that may
occur in the process of evaluating the object. To solve the If we take into account that in the FPS FASi perform
problem, the method of selecting important elements of the sequential operations cutting blanks to the required
array is used, that is, the method of stepwise regression. In dimensions , annealing them , polishing cleanliness ,
the model of additive type, the values of most of the factors drawing a pattern of channels using a special paste , drying
involved are entered them , joining them, cold welding, straightening, cutting,
x i , y i ,  x ,  y ,  м . heating, slotting, opening channels, drying, cutting and
Based on the analysis of the issue of product quality storage , then each FASi The State Border Service,
control in the FPS, it can be concluded that the methods and depending on the purpose, has an appropriate product
quality control system (Table 1).
algorithms used [8-12] provide a solution to individual
problems of production control of industrial enterprises, TABLE 1. THE SEQUENCE OF STAGES OF QUALITY
respectively, automate the process of visual control of CONTROL OF THE EVAPORATOR AND THE CHOICE
temperature, pressure, and other parameters. In the case of OF THE LIMITING VALUES OF THE MEASURED
PARAMETER AT FAS1 AND FAS2 OF FPS
manufacturing products in an enterprise of more complex
operations (for example, cutting different sizes of Name of the stage Product quality control Compliance with
workpieces, drawing the shape of patterns, their sizes, of the production stage (CSi) the flexible
process of the automated section
opening the required diameters of channels under pressure studied FPS (FAS1 and FAS2)
and other tasks), a new approach is required, more complex (Stage i) of the FPS
control methods for one complex enterprise - FPS. Cutting an Control of the width of the FAS1
aluminum roll to aluminum sheet after
In this regard, the article set a goal - to determine length (Stage1) cutting the aluminum coil
methods for monitoring product quality in a complex to length (CS1)
technological line for the production of an evaporator, to (400 h 500 ( mm))
create an automated control scheme and a simulation model. Cutting the Control of the length of the FAS1
workpiece in width aluminum sheet after
(Stage2) cutting the aluminum sheet
in width (CS2)
II. DEVELOPMENT OF İNFORMATİON SUPPORT FOR A (400 ÷500 ( mm))
PRODUCT QUALİTY CONTROL SYSTEM BASED ON Annealing of Furnace annealing FAS1
TECHNOLOGİCAL ANALYSİS OF THE RESEARCH OBJECT aluminum billet temperature control (CS3 )
(Stage3 ) (650 ≤ t Stage3 ≤ 700 ( 0 C))
One of the main issues arising from the purpose of the Polishing an Polishing thickness control FAS2
article is the definition of the object of study, its aluminum (0.5≤ δ p ≤ 1 (mm))
technological analysis, the establishment of a quality control workpiece (Stage4 i,
̅̅̅̅)
where i= 1,3
system for products manufactured at production positions. Drawing a pattern Control aluminum FAS2
In this regard , the technological process that ensures the of channels on the evaporator pattern template
production of evaporators used for household refrigerators polished surface of (ACi, where i is the i- th
was chosen as the object of study. The production of high- an aluminum billet type of evaporator )
using a special
quality evaporators in a complex and large-scale production paste (Stage5 )
process requires the use of local product quality control Drying of Oven drying temperature FAS2
systems in equipment, industrial robots, special aluminum blanks control (CS3 )
manipulators and automatic lines of production process (Stage6 ) (70 ≤ tStage6 ≤ 80 (0 C))
modules [13] .
Since the production facility under study produces According to the technological operations of the
different types of products (evaporators), flexible automated production under study in the manufacture of an aluminum
sections (FAS) sequentially starting from the initial cutting evaporator, a structural analysis of the process of controlling
of the aluminum sheet into parts to the internal opening of its quality should be carried out according to a complex
the evaporator channels and their packaging in the scheme for controlling a flexible production system [14].
warehouse. FASi included in flexible production systems Based on the technological features of FASi FPS proposed
(FPS) has a complex layout structure (Fig. 1). layout diagram of the system control (SCij).

117
 For a complete picture of the control of technological straightening, opening channels, etc.) and the temperature
operations of the FPS and the quality of the products, we will regimes of furnaces in each production area and module. For
analyze each production site from Table 1 and ensure an this purpose , various types of control systems are used in
accurate selection of parameters in accordance with FASi production modules. Taking into account the fact that
temperature conditions, pressure measurement, required the FPS includes FASi for various purposes, we define sets
dimensions of the aluminum billet, evaporator and technical of control systems (SCij) in the following form:
control means [15]. С𝑆11 , С𝑆12 , С𝑆13
Due to the high functionality, complex technological С𝑆21 , С𝑆22 , С𝑆23 , С𝑆24 , С𝑆25
С𝑆𝑖𝑗 ∈ { } (5)
characteristics and structure of the studied FPS during the С𝑆31 , С𝑆32 , С𝑆33
manufacturing process , it is necessary to ensure the С𝑆41 , С𝑆42 , С𝑆43 , С𝑆44 , С𝑆45
following issues of technological control [16]: where the types, technical properties and parameters of
1. Temperature regime in each furnace FASi; the control system are determined, corresponding to each
2. Correspondence of the dimensions of aluminum technological operation and type of technical unit. The
blanks when cutting to the dimensions of the evaporator; established dependence is written in the form of a logical
3. Pressure measurements in technological equipment. expression:
Cutting aluminium billet carried out on the basis of CSij → Pij & Ti ,
standard sizes. In this case, the control of aluminium blanks (6)
is checked according to the following conditions [17]: where Pij – controlled parameter; T i - type of control
𝑖𝑓 𝑃1 , 𝑡ℎ𝑒𝑛 𝑎1 × 𝑏1 × 𝛿1 → 400 × 400 × 4 (𝑚𝑚) system.
{𝑖𝑓 𝑃2 , 𝑡ℎ𝑒𝑛 𝑎2 × 𝑏2 × 𝛿2 → 450 × 450 × 4,5 (𝑚𝑚) (1) (5) and (6) logical expressions defining the controlled
𝑖𝑓 𝑃3 , 𝑡ℎ𝑒𝑛 𝑎3 × 𝑏3 × 𝛿3 → 500 × 500 × 5 (𝑚𝑚) parameter and the type of control device for each of the four
where P i - parameters reflecting the dimensions of the FASi .
perimeter of the i-th aluminum billet ; and i is the length of In FAS1, quality control of aluminum billets is carried
the i -th aluminum billet ; b i - width of the i -th aluminum out using the following algorithm:
billet ; δ i - thickness of the i -th aluminum billet . CS11 control → of the length of the aluminum sheet (400
Safe manipulation zones for industrial robots (İRi) and ≤ a i ≤ 500 (mm)) by means of technical vision;
process equipment (PEi) : CS12 control → of the width of the aluminum sheet (400 ≤
İRi – s by coordinates X, Y, Z b i ≤ 500 (mm)) by means of technical vision;
𝑖𝑓 𝐼𝑅𝑋𝑖 , 𝑡ℎ𝑒𝑛 − 0,1 ≤ ∆𝑋𝑖 ≤ +0,1 (𝑚) CS13 temperature control → of aluminum sheet heating in the
{𝑖𝑓 𝐼𝑅𝑌𝑖 , 𝑡ℎ𝑒𝑛 − 0,15 ≤ ∆𝑌𝑖 ≤ +0,15 (𝑚) (2) furnace 650 ≤ ∆𝑡1 ≤ 700 ( 0𝐶).
𝑖𝑓 𝐼𝑅𝑍𝑖 , 𝑡ℎ𝑒𝑛 − 0,05 ≤ ∆𝑍𝑖 ≤ +0,05 (𝑚) The control of polishing of aluminum blanks, drawing a
pattern and drying it in a lamp furnace (FAS2 ) is carried out
PEi – s in coordinates X, Y, Z
using the following control system:
𝑖𝑓 𝑃𝐸𝑋𝑖 , 𝑡ℎ𝑒𝑛 ∆𝑥𝑖 ≈ 0, 15(𝑚)
CS21, CS22, CS23 → respectively control the degree of
{𝑖𝑓 𝑃𝐸𝑌𝑖 , 𝑡ℎ𝑒𝑛 ∆𝑦𝑖 ≈ 0, 15(𝑚) (3) polishing (𝑗 = 1,3 ̅̅̅̅= ( 0.5 ≤ δ p ≤ 1 (mm)) upper surfaces of
𝑖𝑓 𝑃𝐸𝑍𝑖 , 𝑡ℎ𝑒𝑛 ∆𝑧𝑖 ≈ 0, 35(𝑚) aluminum sheets on polishing machines;
Ensuring the required temperature regimes in each CS24 → control of the shape of a pattern stenciled with
furnace (F i ) FAS1, где 𝑖 = 1,4 ̅̅̅̅
paste on the upper surface of a polished aluminum sheet;
𝑖𝑓 𝐹1 , 𝑡ℎ𝑒𝑛 650 ≤ ∆𝑡1 ≤ 700 ( 0 𝐶) CS25 → lamp furnace 120 ≤ ∆𝑡2 ≤
𝑖𝑓 𝐹2 , 𝑡ℎ𝑒𝑛 70 ≤ ∆𝑡2 ≤ 80 ( 0 𝐶) 150 ( 0 𝐶) temperature control.
(4)
𝑖𝑓 𝐹3 , 𝑡ℎ𝑒𝑛 250 ≤ ∆𝑡3 ≤ 300 ( 0 𝐶) Taking into account the technological features of the
0 studied gas station, the quality of the evaporator largely
{ 𝑖𝑓 𝐹4 , 𝑡ℎ𝑒𝑛 90 ≤ ∆𝑡4 ≤ 100 ( 𝐶)
Ensuring the standard size of the polishing of the upper depends on the accuracy of cutting dimensions (FAS1),
layer of the product is carried out under the condition: 0.5 ≤ polishing thickness (FAS1) and temperature conditions in
∆ δ ≤ 1.0 (mm) . furnaces, let's consider the issue of reducing the error that
Based on the conditions adopted above, it is possible to can be made when using a control system, i.e., measuring a
create a control system for the manufacturing process of an digital industrial camera.
aluminum evaporator in the FPS. To do this, starting from In this case, it is required to minimize the function F(a),
the initial technological operations, the technical support of a which reflects the error of the measured values in the
generalized control system is installed by determining the process of measuring all parameters aluminium blanks in the
appropriate means of control. Analysis of the technological FPS sections of FAS1 and FAS 2[19]:
process shows that for the production of aluminum 𝐹(𝑎) = ∑𝑛𝑗=1 𝛿𝑖2 → 𝑚𝑖𝑛 (7)
evaporators in the studied gas stations , special cutting where a = a 0 ,.., a m are the parameters corresponding to the
machines, polishing machines, a stencil machine, a cold measured parameters (geometric dimensions of the core;
welding machine, a straightening table , hydraulic presses, thickness of the polishing of the core; temperature blanks;
furnaces and vehicles are used. channel size aluminium blanks δ i = │ P' i – P i │, i = 1, 2,
Technological analysis of the investigated FPS shows ..., n – errors of measured points; P i = ( x i , y i , z i ) — and
that it is necessary to control the accuracy of technological measured point in aluminium blanks; P' i =(x' i , y' i , z i ') is
operations (cutting, grinding, screen drawing, cold welding,

118
the point of the mathematical object corresponding to the [6] Kutai A. Yu. Analysis accuracy And control quality V
measurement. mechanical engineering. - M.: 2008. - 363 p.
To increase the accuracy of the measurement process, a [7] Katsunori Kume, Takao Fujiwara The production flexibility of real
priori information aluminium blanks (object ratings) should options in the daily supply chain. Global Journal of Flexible Systems
be added. To do this, you can write the following Management . production and production management. Kluwer Academic
expression: Publisher 2000. Springer Boston MA, Print ISBN: 978-0-7923-8630-8
Ф(𝑎, 𝑤) = 𝐹(𝑎) + ∑𝑚 𝑗=1 𝑤𝑗 (𝑎𝑗 − 𝑎𝑗 𝑛𝑜𝑚 ), (8) [8] Tan K.F., Kher V.K. (2012). Fault Diagnosis System for Industrial Pipe
where w j ≥0, j =1, 2, ..., m are the weights of the aluminium Manufacturing Process, International Review of machine Engineering ,
blanks parameters (correction factors); aj nom - The values of 6(6), 6, p. 1292-1296.
the nominal parameters of the aluminium blanks. [9] Androsov A.Yu., Gorshkov A.A., Lutskov Yu.I. Placement of the
If we assume that w j = 0, j =1, 2, ..., m , then minimizing vision system in the manipulator of a mobile robot. News TulSU. Technical
function (8) leads to a measurable approximation of a science. 2014. Edition. 11. Part 1, p. 418-426.
standard geometric object. In this case, problem (7) is [10] Murkerji R. & Bhattacharya B. (2001). Development of an expert
solved. As w j → ∞ the influence F(a) is small, which is based system for the selection of turning and rotating tools in a dynamic
on the nominal values of the geometric object aluminium environment, Journals of Materials Processing Technology , 113, p. 306-
blanks and depending on this, the errors of the measured 311.
points are determined. [11] Al-Ahmar, M. A. (2005). A rule-based expert system for selecting a
software development methodology. Journal of Theoretical and Applied
III. CONCLUSİON Information Technologies, p. 143-148.
As a result of the analysis, the tasks set and the study, [12] Mamedov J.F. , Salmanov M.S., Alieva A.G. Providing intelligent
the following results were obtained: functions of the process control system. New tasks of technical sciences
1. Based on the analysis carried out and modeling of and ways to solve them, 2015, International conference, p. 32-34.
technical means of automated control systems for product [13] Fedotkin I.M. Mathematical modeling of technological processes.
quality in machine-building industries, the purpose of the Librocom, 2011.- 416 p.
article and questions for their solution are set. [14] Semin, M.S. Applied problems solved using technical vision systems. /
2. The table shows the stages of quality control of the M.S. Semin // Special equipment. 2002.- № 6. p.12 - 17.
evaporator and the choice of the limit values of the [15] Mamedov J.F. , Abdullaev G.S., Mamedova Sh.T., Valieva B.A.,
measured parameter at each FAS1 and FAS2 of FPS Popova O.I. Automated selection and design of control system elements for
aluminum evaporators. flexible automated production. Bulletin of the Voronezh State Technical
3. An algorithm for step-by-step quality control of University, T 15, № 1, 2019, p. 107-111.
aluminum billets is proposed based on the rules of the [16] Aliyev I.R, Mammadov J.F, Rahimov Sh.R. _ Selection of
production model and the optimization method. information - measuring components on the basis of layout diagram of
flexible manufacturing cell. 11TH INTERNATIONAL CONFERENCE
REFERENCES
ON THEORY AND APPLICATION OF SOFT COMPUTING,
[1] Larkin E.V., Kotov V.V., Kotova N.A. Robotic vision system with COMPUTING WITH WORDS, PERCEPTION AND ARTIFICIAL
panoramic view // Izvestiya TulGU. Technical science. Problem. 2. Chap. INTELLIGENCE (ICSCCW 2021), 23-24 AUGUST, ANTALYA.
2, 2009. p. 161 - 166. [17] Rakhimov Sh.R., Mamedov J.F. Experimental study of the control
[2] Klevalin V.A., Polivanov A.Yu. Digital Recognition Methods in process of active elements of flexible production systems under
Industrial Robot Vision Systems // Mechatronika, Automation, Control, uncertainty. Bulletin of MSTU im. G.I. Nosov. 2022. Vol.20. №. 2, p. 148-
2008, №. 5.- p. 56-56. 160.
[3] Gorbash , IN. G., Delendic , M. N., Pavlenko, P. N. Non-destructive control [18] Hashimov AM, Guliyev H.B, Babayeva AR Management algorithm
in industry. Magnetic control // Non-destructive control And diagnosis of shunt reactors in accordance to fuzzy logic theory. ICTPE-2016. The
number 2, 2011., p. 23-32. 12th International Conference on Technical and Physical Problems of
[4] Matyuk , IN. F., Kulagin, IN. N. Control compound, mechanical. Electrical Engineering, 7-9 September 2016, Bilbao, Spain. p. 117-121.
Properties and stress state of ferromagnetic products according to the [19] Guliev G.B. Fuzzy reactive power controller in the electrical network
method coercimetry // non-destructive control And diagnosis / № 3, 2010. - with non-linear consumers. Operational management in the electric power
With. 5-8. industry, Moscow, No. 4, 2017. p. 36-46.
[5] Bida , G. IN., Nichipuruk , A. P. Coercimetry V non-destructive control .
// effectoscopy, 2000 № 10, - With. 3-27.

119
Kullanıcı Deneyiminin Yeşil Yazılım Mühendisliğine
Etkisinin Araştırılması Üzerine Deneysel Bir
Çalışma
Aslıhan KILIÇ Yüksel GÖKTAŞ
Yazılım Mühendisliği Yazılım Mühendisliği
Atatürk Üniversitesi Atatürk Üniversitesi
Erzurum, Türkiye Erzurum, Türkiye
[email protected] [email protected]

Özet— Bu çalışma, yeşil yazılım mühendisliği ve insan bilgisayar sunulduğunun önemli bir etken olduğu belirtilmiştir. Aynı
etkileşimi alanları arasında ortak bir çalışma yürütmeyi çalışmada, sitedeki dil birliği ile tasarım uyumunun
amaçlamaktadır. Çalışma kapsamında yazılım uygulamalarının sağlanmasının kullanılabilirlik açısından büyük etkiye sahip
geliştirilme aşamalarında kullanılabilirlik testlerinin uygulanması olduğu ve güncel tutulması gerekliliğinden bahsedilmiştir [1].
ve uygulamaları kullanan kişilerin görüşlerinin proje aşamalarına
dahil edilmesi, yeşil yazılım açısından değerlendirilmiştir.
Kullanılabilirlik kavramı, 1990’lı yıllarda teknolojik
Çalışma, yazılım uygulamalarının kullanımları esnasında oluşan gelişmelerin ve web kavramının ilerlermesiyle, gelişen
karbon salınımı ve enerji tüketiminin kullanılabilirlik açısından teknolojinin insan hayatında büyük yer kaplamasının bir sonucu
ne ifade ettiğini görmeyi amaçlamaktadır. İlk aşamada, gündelik olarak insan makine etkileşimi ile ortaya çıkmıştır. Kavram,
hayatta her insanın kullanabileceği hastane randevu sistemleri baz etkililik, verimlilik, memnuniyet terimlerini kapsamaktadır ve
alınarak bir uygulama geliştirilmiştir. Uygulamanın geliştirilme 5 temel ilkeden oluşmaktadır. Bu ilkeler; öğrenilebilirlik,
sürecine kullanıcı testleri ile kullanıcı görüşleri dahil edilmemiştir. verimlilik, hatırlanabilirlik, hatalar ve memnuniyettir.
Uygulama bu haliyle son kullanıcılara test ettirilmiştir ve test Kullanılabilirlik, kullanıcı bileşeni ile ilişkilendirilebilir
aşamasında kullanıcılardan kendilerine verilen bir takım olmasından dolayı disiplinlerarası çalışmalara oldukça uygun
görevleri yerine getirmeleri istenmiştir. Kullanıcılar uygulama
üzerinde görevlerini yerine getirirken, görevlerin ne kadar sürede
bir çalışma alanıdır ve literatürde birçok çalışma bulunmaktadır
tamamlandığı, buna bağlı olarak oluşan enerji tüketimi ve karbon [2].
emisyonu miktarları ölçülmüştür. Çalışma sonucunda karbon Enerji tüketimi ve karbon salınımı gibi olguların genel bir
emisyonu ve enerji tüketiminin süre bileşeni ile doğru orantılı sonucu olarak meydana gelen iklim değişikliği, günümüzün en
olduğuna ve kullanıcı görüşlerinin uygulamanın kullanım süresine büyük problemlerinden biri haline gelmiştir. Enerjinin etkin bir
etki edebileceği sonuçlarına varılmıştır. şekilde kullanımı küresel karbon salınımını doğrudan etkileyen
Anahtar Kelimeler—Yeşil Yazılım Mühendisliği, faktörlerden biri olarak ele alınmaktadır [3]. İklim
Kullanılabilirlik, Karbon Emisyonu, Enerji Tüketimi değişikliğinden büyük oranda sorumlu olan sera gazı
emisyonları da genellikle çeşitli insan faaliyetleri ile ortaya
I. GİRİŞ
çıkmaktadır [4]. Günümüzde birçok kurum ve kuruluş,
Kullanılabilirlik, gündelik yaşantıyı kolaylaştırmayı verdikleri hizmetleri artık bu açıdan da ele almakta ve kendi
amaçlayan birçok alan ile bağdaştırılabilecek ve birçok alanda bünyelerinde bu probleme çözümler aramaktadırlar. Öte
yer edinebilecek bir kavramdır. Gündelik hayatlarında her insan yandan bilgi teknolojileri (IT) sektörüne ait hizmet veren
farkına varmasa da bu kavram ile karşı karşıya kalmaktadır. yapılar da küresel karbon salınımına etki etmektedir.
Örneğin alışveriş yapıldığında, satın alınan ürünlerin paket Yayımlanan Smart 2020 raporunda bulunan ve 2007 yılında
içeriğinden kullanım kılavuzları çıkmaktadır. Ürünlerin yapılan Gartner analizinde, bilgi ve iletişim teknolojileri
işlevselliğini ve kullanım detaylarını anlayabilmek için bu sektörünün küresel karbon emisyonunun %2 sinden sorumlu
kılavuzlar incelenip ürünlerin nasıl kullanıldığı hakkında bilgi olduğu belirtilmiştir [5].
sahibi olunabilmesi, kullanılabilirlik kavramı için çok temel bir Yazılımlar, son hallerini alana kadar “Yazılım Yaşam
örnek olarak verilebilir. Öte yandan internet üzerinden herhangi Döngüsü” olarak ifade edilen aşamalardan geçmektedirler.
bir randevu alma durumu söz konusu olduğunda, sistemde kayıt Doğrudan veya dolaylı yollardan karbon emisyonu oluştururlar
oluşturulmasından, randevu alma işlemi tamamlanana kadar yani bir karbon ayak izine sahiptirler [6] ve IT sektörünün bir
deneyimlenen birçok aşamada farkında olunmasa da parçası olan yazılım alanının yeşil dönüşüm sürecine dahil
kullanılabilirik kavramı ile yine karşılaşılmaktadır. Örneğin olması yeşil yazılım ifadesini doğurmaktadır. Yeşil Yazılım,
üniversitelere ait web sitelerini kullanılabilirlik açısından geliştirilen yazılım uygulamalarının enerji tüketimleri ve
inceleyen bir çalışmada sitelerde kullanılabilirlik kavramına karbon emisyon seviyelerinin ölçülmesi ve bu değerlerin
bakarken, sunulan içerikten ziyade o içeriğin nasıl düşürülmesi yönünde amaçları bulunan, uygulamaları çevreye

120
duyarlı ve sürdürülebilir hale getirmeyi hedefleyen çalışmaları gerçekleştirildiği donanımın çalışma esnasında tükettiği
kapsayan bir alandır. Ayrıca yazılım, yapay zeka, donanım elektriğin karbon yoğunluğu ve gücün (watt) çarpımıyla karbon
bileşenleri, algoritmalar ve veri yapıları gibi bilgisayar emisyonunu hesaplamaktadır.
bilimlerine ait alanların enerji tüketimine ve karbon Kullanıcı deneyiminin yeşil yazılım mühendisliğine
emisyonlarına etkisinin hesaplanması, azaltılması veya etkisinin araştırılması amacıyla gerçekleştirilen çalışmada,
sıfırlanması için bulut servislerinin sağlanması gibi çalışmalar öncelikle python programlama dili ve django web çatısı
da bu kapsamda değerlendirilebilmektedir. Literatürde bulunan teknolojilerinden faydalanılarak hastane randevu sistemi
çalışmalarda bu alanın daha verimli ve kullanılabilir hale uygulaması geliştirilmiş ve gerekli ölçümlerin elde edilebilmesi
gelmesi için belli bir standartlaşmaya ulaşılması ve son amacıyla uygulamaya CodeCarbon kütüphanesi entegre
kullanıcıların projelere etkileşim halinde olacak şekilde dahil edilmiştir. Uygulamanın geliştirilme aşamasında kullanıcı
edilmesinin enerji tüketimi için öneminden bahsedilmektedir görüşlerine başvurulmamıştır.
[7]. Daha sonra geliştirilen uygulama için bir görev listesi ve
Sürdürülebilirlik kavramı da yeşil yazılım kavramı ile kullanıcı testi soruları oluşturulmuştur [11]. Son kullanıcılara
bağdaştırılabilir. Sürdürülebilirlik ve yazılım üzerine yapılan uygulamayı deneyimlemeleri için 10 adımlık bir görev planı
bir çalışmada, sürdürülebilirliğin kişilerin yazılım tercihinde verilerek bu planı takip etmeleri ve görevleri yerine getirmeleri
önemli bir rol oynamadığı ve kullanıcıların yazılım sürümlerini istenilmiştir. Kullanıcılar görevleri yerine getirirken hangi
güncellerken çevresel sürdürülebilirliği düşünmediği, davranışları sergiledikleri incelenerek notlar alınmış ve bu
sürümleri güncellememe sebeplerinin sürdürülebilirlik veya esnada CodeCarbon kütüphanesi aracılığıyla ölçümler
çevre bilinci olmadığı ortaya çıkmıştır [8]. yapılmıştır.
Çalışmanın bir diğer bileşeni olarak, sistemin
kullanılabilirliğini ölçmek amacıyla kullanılabilirlik testi
II. ÇALIŞMANIN AMACI uygulanmıştır. Son kullanıcılar görevleri tamamladıktan sonra
Yazılım uygulamaları, son kullanıcıların gereksinimleri uygulamayı deneyimlerken edindikleri fikirler hakkında
doğrultusunda ihtiyaç duyulan ve alanında uzman kişilerce kullanıcılarla bir görüşme gerçekleştirilmiştir. Görüşme
planlı bir şekilde geliştirilen uygulamalardır. Uygulamaların esnasında kullanıcılara sistemde bulunan her web sayfası ile
geliştirme sürecinde yazılım yaşam döngüsü olarak adlandırılan ilgili 6 soru sorularak görüşleri alınmıştır. Alanlar için
bazı temel adımlar rol almaktadırlar. Yazılım yaşam oluşturulan temel soru içerikleri tablodaki gibidir (Tablo 1);
döngüsünün aşamaları; planlama, tanımlama, tasarım,
geliştirme, entegrasyon ve testler, uygulama, bakım ve Tablo 1. Kullanıcılara Yöneltilen Sorular
değerlendirme aşamaları olmak üzere genel bir çerçevede ele
alınabilir [9]. Soru İçerikleri
Yazılım yaşam döngüsü aşamaları, yazılım uygulamalarının Soru 1 Sistemin … sayfasında bulunan bileşenlerin
geliştirilme sürecinde takip edilmesi gereken adımlardır. Son yerleşimi uygun mu? Değil ise nasıl olması
kullanıcıların proje aşamalarına dahil edilmediği durumlarda gerektiğini düşünüyorsunuz?
projeden istenen verim gerçek anlamda elde edilemeyebilir. Soru 2 Sistemin … sayfasında bulunan bileşenlerin
Bunların bir sonucu olarak da proje tamamlandıktan sonra yeni fonksiyonelliği (çalışma kapsamı) yeterli mi? Değil
problemler meydana gelebilir ve uygulamanın bazı ise nasıl geliştirilebileceği hakkında bir fikriniz var
aşamalarının tekrar gözden geçirilmesi gerekebilir. mı?
Uygulama süreçlerinde bu adımların tekrar Soru 3 Sistemde bulunan … sayfasını daha kolay
gerçekleştirilmesi ise hem zaman hem de maliyet açısından kullanabilmek için ne önerirsiniz?
büyük kayıplara sebebiyet vermektedir. İlgili çalışma Soru 4 Size verilen görev adımları kapsamında sistemin …
sayfasındaki görevi yaparken harcadığınız zaman
kapsamında da, kullanıcı görüş ve deneyimlerinin yazılım uygun mu? (az-çok-yeterli)
uygulamalarına etkisinin karbon emisyon salınımı ve enerji Soru 5 Size verilen görev adımları kapsamında sistemin …
tüketimi değişkenleri açısından nasıl değerlendirilebileceğini sayfasındaki görevi yaparken harcadığınız çabanın
görmek amaçlanmaktadır. seviyesi nedir? (kolay-orta-zor)
Çalışmada son kullanıcıların görüşleri ölçümlerin yapıldığı Soru 6 İlgili sayfayı kullanırken genel olarak sistemden
uygulamaya dahil edilmemiştir. Ancak kullanıcılar uygulamayı memnun kaldınız mı?
kullandıktan sonra bu uygulamaya ait deneyimleri ile ilgili
gerçekleştirilen görüşmede birçok farklı geri dönüş
yapmışlardır. Bu durum da uygulamanın tekrardan IV. BULGULAR
düzenlenmesi gerektiği anlamına gelmektedir. Uygulamada yapılan ölçümlerde, 9 katılımcıdan toplamda
24 sütun ve 9 satır veri elde edilmiştir. Bu sütunlardan 17
III. YÖNTEM VE VERİ TOPLAMA SÜRECİ tanesinde çıktı olarak her kullanıcı için aynı değerler
Çalışmada karbon emisyonu ölçümlerinin gerçekleştirilmesi üretilmiştir. Bu durumun sebebi yazılım uygulamasına entegre
amacıyla CodeCarbon [10] kütüphanesinden yararlanılmıştır. edilen CodeCarbon kütüphanesinin çıktı olarak ürettiği karbon
Gerçekleştirilen uygulama çıktı olarak, kod karbon emisyonu emisyonu ve enerji tüketimi değerlerinin, yazılımın
ve enerji tüketimi gibi sonuçları vermektedir. İlgili uygulama, çalıştırıldığı bilgisayarın donanım bileşenlerine de bağlı
basit algoritmalardan derin sinir ağlarına kadar çeşitli bilgisayar olmasıdır. Çalışmada, yazılım ürününe ait çıktıların
programlarının ürettiği karbon emisyonlarını tahmin etmek ve kullanılabilirlik kapsamında ölçülmesi hedeflendiği için
izlemek için oluşturulmuş python temelli bir uygulamadır. donanımsal faktörler sabit tutulmuştur. Kullanıcıların hepsi
Uygulama, en temel ifade ile CO₂ bileşiğinin kilogram uygulamayı aynı bilgisayar üzerinde çalıştırdığı için donanım
cinsinden eşdeğerini CO₂eq şeklinde ifade ederek, uygulamanın bileşenlerine ait değerlerin tamamı aynı çıktıları üretilmiştir.

121
Bahsedilen değerler; project_name, cpu_power, ram_power, 0,006
country_name, country_iso_code, region, os, python_version,
codecarbon_version, cpu_count, cpu_model, gpu_count,
0,005
gpu_model, longitude, latitude, ram_total_size, on_cloud
değerleridir.
Bu değerler dışında elde edilen veriler her kullanıcı için 0,004
farklılık göstermektedir. Bunlar;
• Timestamp değeri kullanıcıların uygulamayı 0,003
gerçekleştirdikleri zaman aralığıdır.
• Run_id değeri uygulamanın kimlik numarası gibi 0,002
sadece uygulamaya ait olan bir değerdir ve default
olarak atanmaktadır. 0,001
• Duration değeri uygulamada kullanıcının geçirdiği
süreyi ifade etmektedir (Tablo 2). 0
• Emissions değeri uygulama kullanılırken salınımı

9
cı

cı

cı

cı

cı

cı

cı

cı

cı
yapılan CO₂ miktarıdır (Şekil 1).

ı
lan

lan

lan

lan

lan

lan

lan

lan

lan
• Emissions_rate değeri emisyon oranı şeklinde ifade

l
Ku

Ku

Ku

Ku

Ku

Ku

Ku

Ku

Ku
edilebilir ve emisyon değerinin süre değerine
oranlanması ile oluşmaktadır (Tablo 3). emissions
• Cpu_energy, gpu_energy ve ram_energy değerleri
çalışmanın yapıldığı bilgisayardaki cpu, gpu ve ram Şekil 1. Kullanıcıların oluşturdukları emisyon değerleri
bileşenlerinin 1 saat başına tükettiği enerji
miktarıdır. Ölçüm cinsi kWh şeklindedir (Şekil 2).
• Energy_consumed değeri cpu_energy, gpu_energy Tablo 3. Emisyon Değerlerinin Süre Değerlerine Oranlanması
ve ram_energy değerlerinin toplamı ile oluşan
toplam enerji tüketimini ifade eder (Şekil 3). Değerler
Tablo 2. Kullanıcıların Uygulamayı Kullanım Süreleri
timestamp emissions_rate
Kullanıcı 1 2023-06- 0,000006642399588
Değerler 13T11:18:20
duration duration
timestamp Kullanıcı 2 2023-06- 0,000006693266909
(saniye) (dakika)
14T10:45:04
2023-06- 753,314675
Kullanıcı 1 ~ 12 dakika
13T11:18:20 0926971
Kullanıcı 3 2023-06- 0,000006873315651
2023-06- 457,164325 22T12:05:42
Kullanıcı 2 ~ 7 dakika
14T10:45:04 9525299

2023-06- 366,729875 Kullanıcı 4 2023-06- 0,000006771060113

Kullanıcı 3 ~ 6 dakika 22T10:57:30
22T12:05:42 3261566

2023-06- 326,445269 Kullanıcı 5 2023-06- 0,000006750404966

Kullanıcı 4 ~ 5 dakika
22T10:57:30 1078186 13T16:00:17
2023-06- 460,599451
Kullanıcı 5 ~ 7 dakika
13T16:00:17 7803192 Kullanıcı 6 2023-06- 0,000006871674914
21T16:22:54
2023-06- 492,091430
Kullanıcı 6 ~ 8 dakika
21T16:22:54 6640625
Kullanıcı 7 2023-06- 0,000006752381917
2023-06- 366,209601 15T11:14:50
Kullanıcı 7 ~ 6 dakika
15T11:14:50 6407013
Kullanıcı 8 2023-06- 0,000006926633827
2023-06- 409,424715 21T14:48:40
Kullanıcı 8 ~ 6 dakika
21T14:48:40 0421143

Kullanıcı 9 2023-07- 0,000006743452750

2023-07- 482,075896 07T14:53:37
Kullanıcı 9 ~ 8 dakika
07T14:53:37 5015411

122
 0,008
süresi azaldıkça hem salınımı yapılan emisyon miktarının hem
de enerji tüketiminin azaldığı görülmektedir. Bu durum da
0,007 uygulamanın kullanım süresi ile karbon emisyonu ve enerji
0,006 tüketimi arasında doğru orantılı bir ilişki bulunduğu anlamına
0,005 gelmektedir.
Kullanıcılar uygulamayı deneyimledikten sonra yapılan
0,004 görüşmeler esnasında, uygulama ile ilgili kullanım kolaylığı
0,003 açısından kendi fikirlerinden ve deneyim süreçlerinden
0,002 bahsederek, uygulamayı daha kolay anlayabilmeleri ve
kullanabilmeleri için önemli olarak nitelendirilebilecek bir çok
0,001
fikir vermişlerdir. Bu durum göz önüne alındığında, kullanıcı
0 deneyiminin elde edilmesi amacıyla, uygulamanın
geliştirilmesi aşamasına kullanıcı testlerinin eklenmesi,
1

9
cı

cı

cı

cı

cı

cı

cı

cı

cı
uygulamayı son kullanıcılar açısından daha anlaşılır ve daha
ı

ı
lan

lan

lan

lan

lan

lan

lan

lan

lan
kolay kullanılabilir hale getirebilmektedir.
l

l
Ku

Ku

Ku

Ku

Ku

Ku

Ku

Ku

Ku
Son kullanıcı için uygulamanın daha anlaşılır ve kolay
CPU Energy GPU Energy Ram Energy kullanılabilir olması, kullanıcının uygulamada geçirdiği süreyi
düşürebilmektedir. Kullanım süresinin daha az olması ise
Şekil 2. Kullanım esnasında oluşan CPU enerji, GPU enerji, Ram enerji karbon emisyonu ve enerji tüketimi miktarının daha az olması
değerleri anlamına gelmektedir. Bu açıdan değerlendirildiğinde kullanıcı
deneyimlerinin uygulama geliştirilme sürecine dahil
edilmesinin, hem karbon emisyonu hem de enerji tüketimi için
0,014 olumlu etkiler oluşturabileceği sonucuna varılmıştır.
0,012
KAYNAKLAR
0,01
0,008 [1] Zeynep PEHLİVAN BASKIN, “Üniversite Web Sitelerinin
Tasarımı ve Kullanılabilirlik Açısından Değerlendirilmesi,” Sanat
0,006 ve Tasarım Dergisi, no. 29, pp. 97–114, Jun. 2022.
0,004 [2] Alper Turan ALAN, “E-DEVLET KAPISI:
KULLANILABİLİRLİK VE GÜVEN ANALİZİ İÇİN BİR
0,002 KULLANICI ÇALISMASI,” The Turkish Online Journal of
Design, Art and Communication, vol. 11, no. 2, 2021.
0 [3] G. Alptekin, S. Akinli Kocak, A. Bener, A. Miranskyy, and E.
Dogan, “Yazılım Özelliklerinin Enerji Tüketimi Üzerine Etkileri,”
1

in CEUR Workshop Proceedings, Sep. 2014.

cı

cı

cı

cı

cı

cı

cı

cı

cı
ı

ı
lan

lan

lan

lan

lan

lan

lan

lan

lan

[4] L. Lannelongue, J. Grealey, and M. Inouye, “Green Algorithms:

l

l
Ku

Ku

Ku

Ku

Ku

Ku

Ku

Ku

Ku

Quantifying the carbon emissions of computation.” Sep. 2020.

[5] K. Tsagkaris, G. Athanasiou, M. Logothetis, Y. Kritikou, D.
energy_consumed Karvounas, and P. Demestichas, “Introducing Energy Awareness in
the Cognitive Management of Future Networks,” Journal of Green
Engineering, vol. 1, Sep. 2011.
Şekil 3. Kullanım esnasında tüketilen enerji miktarı [6] J. Taina, “How Green Is Your Software?,” in Lecture Notes in
Business Information Processing, Sep. 2010, pp. 151–162. doi:
V. SONUÇ 10.1007/978-3-642-13633-7_13.
[7] E. Kern, M. Dick, S. Naumann, A. Guldner, and T. Johann, “Green
Çalışma kapsamında, CodeCarbon kütüphanesi entegre software and green software engineering - definitions,
edilerek, python programlama dili ve django web çatısı ile bir measurements, and quality aspects,” Sep. 2013.
uygulama geliştirilmiştir. Uygulamanın geliştirilme [8] N. Amsel, Z. Ibrahim, A. Malik, and B. Tomlinson, “Toward
sustainable software engineering: NIER track,” in Proceedings -
aşamasında herhangi bir kullanıcı görüşüne başvurulmamış ve International Conference on Software Engineering, Sep. 2011, pp.
herhangi bir kullanıcı testi uygulanmamıştır. Bu doğrultuda 976–979. doi: 10.1145/1985793.1985964.
geliştirilen web uygulamasının karbon emisyonu ve enerji [9] S. Seker, “YBS Ansiklopedi Cilt 2, Sayı 3, Eylül 2015.” Sep. 2015.
tüketimi ölçümleri yapılmıştır. Ölçümlerde 9 adet kullanıcı test doi: 10.13140/RG.2.1.3646.2565.
[10] “CodeCarbon: estimate and track carbon emissions from machine
aşamasına dahil edilmiştir. Ölçümler yapıldıktan sonra elde learning computing.” 2021.
edilen sonuçlar incelendiğinde, uygulamanın çalışma süresine [11] K. Cagiltay, Insan Bilgisayar Etkilesimi ve Kullanilabilirlik
bağlı olarak, çalışma süresi arttıkça hem salınımı yapılan Muhendisligi: Teoriden Pratige. 2018.
emisyon miktarının hem de enerji tüketiminin arttığı, çalışma

123
 Examining the Impact of a Mobile Augmented
Reality-based Robotic Learning Application on K12
Students' Academic Achievement
Erdinc Okulmuş
Arif Cem Topuz
Prof. Dr. Fahrettin Kırzıoğlu Science
Computer Engineering
and Art Center
Ardahan University
Turkish Ministry of National Education
Ardahan, Türkiye
Kars, Türkiye
0000-0002-5110-5334
0000-0003-4631-9650
[email protected]

Abstract— Developments in image processing technologies who are involved in educational activities with AR
have led to the introduction of many technological innovations technology. The expansion of the usage areas of AR
to enrich the phenomenon of reality. Augmented Reality is one technology, the thought that it would be useful in education,
of these innovations that we have heard a lot about recently. and the curiosity about what kind of effects the use of AR
Although the effect of Augmented Reality on learning in many
disciplines has been researched, its effect on robotics teaching
applications in robotics education would lead to inspired this
has not been sufficiently investigated. Therefore, the aim of this study.
study is to examine the effect of a mobile augmented reality The aim of this study is to develop a mobile augmented
application for teaching robotics on K12 students' academic reality application that will allow students to learn robotics
achievement and students' opinions about the application. The at their own pace from anywhere at any time and to
study was designed in a mixed method research. The study was investigate its effect on the academic achievement of K12
conducted with the participation of 98 students during the students and to examine students' opinions about this
2022-2023 academic year. The effect of the developed mobile application. Thus, it is aimed to test the approach of using
application on the academic achievement of students taking AR-based application for robotics education and to fill the
robotics courses was investigated with an experimental study.
It was found that the application developed within the scope of
gap in this field. For this purpose, the following research
the study increased academic achievement in robotics course. questions were sought in the study:
In addition, the study analyzed student opinions and identified RQ1. What is the impact of the mobile AR application
many factors that provided the application to positively affect on K12 students’ academic achievement?
academic achievement. RQ2. What are the students' views on the effect of the
application on academic achievement?
Keywords—augmented reality, robotic learning, mobile
application, students’ achievement, K12 students
II. MATERIALS AND METHOD
I. INTRODUCTION
A. Research design
With Industry 4.0, technological innovations and
concepts have entered our lives. Digital transformation has This study was designed based on "sequential
started socially, and that there is an evolution from explanatory mixed methods research" [8]. The mixed
technological production to technological society, and method research, in which data are collected with multiple
characterized this transformation as the transition from 4.0 methods, provides detailed information about the research
to 5.0 [1]. Human's sense of discovery has become the questions [9]. TABLE I shows the mixed methods research
power that drives them to research and acquire new strategy of the study.
knowledge [2]. In the light of all developments, it has TABLE I. MIXED METHOD RESEARCH STRATEGY
become imperative to include technology in learning
activities in order to use the potential power of individuals Design Research Study group Data Data
question collection analysis
efficiently [3]. It has brought to light the necessity of using QUAN RQ1 Experimental Academic T-test
technology and the innovations it offers, which are included and control achievement
in every aspect of our lives in the period we live in, in the group test
field of education and training [2]. qual RQ2 Experimental Interview Content
group analysis
One of the innovations that can be used to differentiate
learning environments and make them interesting is B. Study groups
Augmented Reality (AR) technology [4]. It is noteworthy There are two study groups in the study: experimental and
that AR applications increase teacher-student interaction, control groups. The students in the study groups were
use simulation techniques and provide motivation for
enrolled in Prof. Dr. Fahrettin Kırzıoğlu Science and Art
learning [5]. There are many studies on how this technology
Center, Türkiye. The distribution of K12 students in the
can be used in learning-teaching environments, what its
study groups according to gender is shown in TABLE II and
effects, advantages, and disadvantages will be [6]. Some according to education level in TABLE III.
studies [7] focused on how learning occurs in individuals

This study grew out of a master's thesis conducted by the first author
under the supervision of the second author.

124
 TABLE II. DISTRIBUTION OF STUDENTS BY GENDER test was reapplied to all students and quantitative data were
Experimental Control group Total number obtained to compare the difference in the learning levels of
group the students in the experimental and control groups.
Female 20 25 45 Within the scope of the second research question, a
Male 29 24 53
semi-structured interview form was used to obtain the
Total number 49 49 98
opinions of the students. In the step of collecting qualitative
data, interviews were conducted only with six students
TABLE III. DISTRIBUTION OF STUDENTS BY EDUCATION LEVEL selected from the experimental group. The students were
asked for an appointment for the interview and one-to-one
Experimental Control group Total number
group
interviews were conducted in the classroom environment
Primary School 12 16 28 when they were available. After obtaining permission from
Middle School 32 26 58 the students, the interviews were recorded with a voice
High School 5 7 12 recorder to be transcribed later.
Total number 49 49 98
E. Data analysis
C. Material
In order to determine the appropriate statistical methods
In this study, the waterfall model, one of the software to be used in quantitative data analysis, first (i) the number
development models, was used as the basis for the of samples (data) was checked, then (ii) the type of variable
development of the augmented reality application used in in the data collection tool (classification, ranking, equal
robotics teaching. While developing software with the proportion or equal interval) was checked, and finally (iii) it
waterfall model, the followed steps are as follows: (i) was questioned whether the data showed a normal
analysis, (ii) design, (iii) development, (iv) implementation distribution. The questioning of whether the data met the
and (v) evaluation [10]. In the analysis phase, student normality assumption and the application of all tests were
characteristics and knowledge levels were determined. In carried out using the SPSS 25 program. The results of the
the design phase, instructional content was created. Lesson analysis taken into account in determining the statistical
plans were prepared in the development phase. In the methods are presented under the relevant research question
implementation phase, the developed content and material in the findings section.
were tested. In the evaluation phase, a general evaluation Within the scope of the qualitative dimension of the
was made in the light of the data collected from the other study, it was aimed to identify the factors that cause
steps and necessary corrections were made in the material. differences in academic achievement to help explain the first
Figure I illustrate a screenshot of the mobile application research question. TABLE IV provides information on the
developed with the 3D Max program. interviews conducted for this purpose.

TABLE IV. INFORMATION ON THE INTERVIEWS

No Gender Education Duration
Level
1 M 6 17.20 min.
2 F 6 27.32 min.
3 F 5 17.15 min.
4 M 5 19 min.
5 F 7 16.35 min.
6 M 5 14.48 min.
Total duration 111.5 min.
Fig. 1. The developed mobile AR application The interview texts were transcribed by the first
researcher using a word processing program. The
D. Data collection transcribed data were checked and reviewed by two
In the study, quantitative data were collected first (for researchers. The codes determined by the first researcher
RQ1) and then qualitative data were collected (for RQ2). were verified by the second researcher in order to provide
For the first research question, an academic achievement accurate results in the analysis of qualitative data. The
test consisting of 6 questions was created in order to collect coding process was done through the qualitative data
quantitative data on academic achievement. With this analysis software named NVivo 12. After the coding phase,
academic achievement test before and after the robotics the codes were grouped under categories. The codes,
training, the level of learning of the students was categories and themes were supported by student quotations.
determined. After measuring the initial knowledge level of III. FINDINGS
all students, the experimental group students were given
robotics training through the mobile augmented reality In this study, the effect of robotics learning using mobile
application developed in the study and the control group Augmented Reality on K12 students' academic achievement
students were given robotics training with the classical was examined and the findings are presented in this section
method. After the training, the same academic achievement within the framework of two research questions.

125
A. The Impact of the AR on Academic Achievement (RQ1) TABLE VII shows that there is a statistically significant
TABLE V shows the mean scores of the students in the difference (p<0.05) between the experimental and control
experimental and control groups in the 60-point academic groups in favor of the experimental group in terms of
achievement test used to compare the level of knowledge academic achievement after the training. Therefore, it was
about robotics before and after the training. found that the mobile augmented reality application
developed for robotics education within the scope of the
TABLE V. ACADEMIC ACHIEVEMENT PRE-TEST AND POST-TEST study increased academic achievement.
SCORES
B. Students' Views on the Impact of the AR on Academic
Pre-training Post-training
academic success academic success
Achievement (RQ2)
average average When the student opinions regarding the effect of the
Experimental group 0,612 32.857 application developed within the scope of the study on
Control group 1.02 24.898 academic achievement in robotics education were analyzed,
the codes obtained were classified under the following three
When TABLE V is analyzed, it is understood that the categories: (1) increases the level of learning, (2) ensures
knowledge levels of the experimental and control groups retention and recall, and (3) increases motivation/focus.
about the subject to be taught before the training were quite TABLE VIII presents the codes obtained from the students'
low. After the training, the mean of the experimental group statements with frequency distribution.
(32.857) was higher than the mean of the control group
TABLE VIII. OPINIONS ON THE EFFECT OF THE APPLICATION ON
(24.898). Whether this difference is statistically significant ACADEMIC ACHIEVEMENT
is questioned in the study and presented below.
In the first stage, in order to determine the statistical Category f Code f
method to be used to compare the knowledge level of the 1) increases the 26 Enabled understanding without using paper- 4
experimental and control groups before the training, the level of learning pencil-notebook
normality assumptions of the pre-test data were questioned. Listening visually facilitated-increased 4
Since the kurtosis and skewness values are between -1.5 and comprehension
+1.5, it is accepted that the data are normally distributed Watching videos on the app facilitated 4
understanding and learning
[11]. Thus, at this stage, t-test was used to compare the
Made learning easier 3
knowledge levels of the experimental and control group
students on the subject before the training and the results of Accelerated learning 3
the analysis are shown in TABLE VI.
Opportunity for repetition enhances learning 3
TABLE VI. T-TEST ANALYSIS RESULTS OF PRETEST DATA FOR
ACADEMIC ACHIEVEMENT OF EXPERIMENTAL AND CONTROL GROUPS Seeing sensors big and with names made 1
Group n s f p learning easier
2) ensures 10 Provided permanence 4
Experimental 49 .612 2.422 1.201 .276 retention and
Control 49 1.02 5.101 recall Facilitated recall 4

TABLE VI shows that there is no statistically significant Enabled visualization 2

difference (p>0.05) between the experimental and control
groups according to academic achievement before the 3) increases 5 Increased ease of use increases the desire to 3
training. Therefore, it can be said that the knowledge level motivation/focus study and efficiency
of the two groups about the subject to be explained within Increased focus and attention 2
the scope of the study was at a similar level before the
training. When TABLE VIII is examined, it is understood that all
In the second stage, after the training was given to the students (n=6) interviewed thought that the application
experimental and control groups, the post-test data were developed within the scope of the study for robotics
examined for meeting the normality assumptions in order to education would have a positive effect on academic
determine the statistical method to be used to determine the achievement. This view of the students supports the
difference in the academic achievement of the groups. Since quantitative findings of the study. When the opinions that
the kurtosis and skewness values were between -1.5 and the application positively affected learning were analyzed in
+1.5 [11], the data were considered to be normally depth, the reasons why the application increased the level of
distributed and t-test was applied and the results of the learning were expressed as follows: enabling comprehension
analysis are shown in TABLE VII. without using paper and pencil, facilitating comprehension
by learning by seeing, providing the opportunity to repeat,
TABLE VII. T-TEST ANALYSIS RESULTS OF POSTTEST DATA FOR accelerating learning, and facilitating learning by seeing the
ACADEMIC ACHIEVEMENT OF EXPERIMENTAL AND CONTROL GROUPS sensors large and with their names. In addition, it was stated
Group n s f p that the application facilitated retention and facilitated recall
Experimental 49 32.857 17.998 14.718 .012 because it enabled visualization. When the opinions that the
application would increase motivation were examined, it
Control 49 24.898 12.268
was seen that the students stated that it increased their desire
to study, efficiency, focus and attention. Some of the student

126
opinions that the application will positively affect academic augmented reality application increased the learning level in
achievement are presented below. robotics, provided retention and recall, and increased
"I learned 2 times more than what I knew before with the motivation and focus. Therefore, increasing the number of
application. The application increased my learning mobile augmented reality applications for course content in
speed a lot. I learned quickly and kept it in my mind." the future can positively contribute to students' academic
[F.3] achievement.
"I would like it to be used in other courses as well. For
example, in this one I learned very detailed things and I ACKNOWLEDGMENT
had more knowledge about this subject." [F.2] This study is derived from a master's thesis conducted by
the first author under the supervision of the second author.
The necessary permissions for the study were obtained from
IV. DISCUSSION Ardahan University Ethics Committee (on 06/16/2023) and
In this study, the effect of robotics learning using mobile relevant school (on 07/05/2023).
augmented reality on K12 students' academic achievement
and students' views on the application were examined. It REFERENCES
was found that the academic achievement of the [1] B. Yücebalkan, “Endüstri 4.0’dan Endüstri 5.0’a geçiş sürecine genel
bakış,” IEDSR Assoc., vol. 5, no. 9, pp. 241–250, Jan. 2020, doi:
experimental group students who learned robotics using the 10.46872/pj.181.
application developed within the scope of the study differed [2] F. B. Azı, “Artırılmış gerçeklı̇ k uygulamalarinin sosyal bı̇ lgı̇ ler
statistically significantly in favor of the experimental group dersı̇ nde akademı̇ k başari ve ders tutumlarina etkı̇ sı̇ ,” 2020.
from the academic achievement of the control group [3] G. B. Arslan, E. Kızılay, and M. Hamalosmanoğlu, “Eğitimde
students who learned the same subject in the traditional way. Teknoloji Entegrasyonu ile İlgili Türkiye’de Yapılan Çalışmaların
This finding coincides with many studies in the literature. İncelenmesi,” Anadolu Üniversitesi Eğitim Fakültesi Derg., vol. 6, no.
1, pp. 39–55, 2022, doi: 10.34056/aujef.976627.
For example, one study [12] stated that if an augmented
[4] E. Pelin Yildiz, “Augmented Reality Research and Applications in
reality application is used, the learning content will be Education,” in Augmented Reality and Its Application, IntechOpen,
enriched, the comprehensibility of the course will increase 2022. doi: 10.5772/intechopen.99356.
by supporting the retention of information, and therefore the [5] E. Buluş Kırıkkaya and M. Şentürk, “Güneş Sistemi ve Ötesi
academic achievement of the students will increase. Another Ünitesinde Artırılmış Gerçeklik Teknolojisi Kullanılmasının Öğrenci
study [13] stated that the use of materials that provide active Akademik Başarısına Etkisi,” Kastamonu Üniversitesi Kastamonu
Eğitim Derg., pp. 181–189, Jan. 2018, doi: 10.24106/kefdergi.375861.
participation of students and the use of active learning
[6] Ö. Özbay and S. S. Seferoğlu, “Artırılmış Gerçeklikle Beraber
methods will help increase academic achievement. Besides, Özetleme Stratejisi Kullanmanın Öğrencilerin Bilişsel Yük ve
another study [14] found that augmented reality applications Başarısına Etkisi,” TRT Akad., vol. 8, no. 17, pp. 144–173, Jan. 2023,
made the lesson more understandable and helped to doi: 10.37679/trta.1208221.
understand the subject. Therefore, the fact that the academic [7] M. Özdemir, “Artırılmış Gerçeklik Teknolojisi ile Öğrenmeye Yönelik
Deneysel Çalışmalar: Sistematik Bir İnceleme,” Mersin Üniversitesi
achievement of the experimental group in this study was Eğitim Fakültesi Derg., pp. 609–632, Sep. 2017, doi:
higher than the control group may be due to the positive 10.17860/mersinefd.336746.
effect of augmented reality on learning. [8] J. W. Creswell, 2003_Creswell_A_Framework_for_Design, Second
Edi. London: SAGE PUBLICATIONS LTD, 2013. [Online].
A. Limitations Available: file:///E:/Documents/dosen/buku
The sample of the study is limited to 98 students from Metodologi/[John_W._Creswell]_Research_Design_Qualitative,_Q(B
ookos.org).pdf
Prof. Dr. Fahrettin Kırzıoğlu Science and Art Center
[9] V. Alkan, S. Ş. Selçuk Şimşek, and B. Armağan Erbil, “Karma
(Kars/Turkey) who volunteered to participate in the study Yöntem Deseni: Öyküleyici Alanyazın İncelemesi,” J. Qual. Res.
during the 2022-2023 academic year. Since the developed Educ., vol. 7, no. 2, pp. 1–24, Mar. 2019, doi: 10.14689/issn.2148-
mobile augmented reality application was trained to 2624.1.7c.2s.5m.
recognize three robot kits (Arduino, Mbot and LegoEV3), [10] M. Clement, L. Vandeput, and T. Osaer, “Blended Learning Design: A
Shared Experience,” Procedia - Soc. Behav. Sci., vol. 228, pp. 582–
the trigger images in the mobile application are limited to 586, Jul. 2016, doi: 10.1016/j.sbspro.2016.07.089.
the modules of these robots. [11] B. G. Tabachnick and L. S. Fidell, Using Multivariate Statistics.
Pearson, 2018.
V. CONCLUSION
[12] Y. B. Kurtoğlu, “Artırılmış Gerçeklı̇ k Uygulamaların Bı̇ lı̇ şı̇ m
In conclusion, it was found that the academic Teknolojı̇ lerı̇ ve Yazilim Derslerı̇ nde Öğrenme Süreçlerı̇ ne Etkı̇ sı̇ ,”
achievement of the experimental group students who Trabzon Üniversitesi, Trabzon, 2019.
learned a subject related to robotics education using the [13] E. Türksoy and E. Taşlıdere, “Aktif Öğrenme Teknikleri ile
Zenginleştirilmiş Öğretim Yönteminin 5. Sınıf Öğrencilerinin Fen ve
application developed within the scope of the study differed Teknoloji Dersi Akademik Başarı ve Tutumları Üzerine Etkisi,” Ahi
statistically significantly in favor of the experimental group Evran Üniversitesi Kırşehir Eğitim Fakültesi Derg., vol. 17, no. 1, pp.
from the academic achievement of the control group 57–77, 2016, [Online]. Available:
https://dergipark.org.tr/en/pub/kefad/issue/59448/854032
students who learned the same subject in the traditional way.
[14] F.-K. Chiang, X. Shang, and L. Qiao, “Augmented reality in vocational
In other words, the findings of the study show that the training: A systematic review of research and applications,” Comput.
developed mobile augmented reality application increased Human Behav., vol. 129, p. 107125, Apr. 2022, doi:
students' academic achievement in robotics teaching. When 10.1016/j.chb.2021.107125.
the students' opinions were analyzed, it was stated that the

127
 Fen Bilimleri Eğitiminde Göz İzleme Tekniğinin
Kullanıldığı Çalışmaların İncelenmesi
Serhat Çoban Mustafa Ergun
Kavak Fen Lisesi Fen Bilgisi Eğitimi
Milli Eğitim Bakanlığı Ondokuz Mayıs Üniversitesi
Samsun, Türkiye Samsun, Türkiye
[email protected] [email protected]
ORCID:0009-0006-6231-8681 ORCID: 0000-0003-4471-6601

Özet— Giderek artan şekilde, eğitimciler ve araştırmacılar, artan şekilde, eğitimciler ve araştırmacılar, öğrenme
öğrenme süreçlerini daha etkili, etkin ve bireye özgü hale süreçlerini daha etkili, etkin ve bireye özgü hale getirebilmek
getirebilmek için teknolojiden yararlanmaktadır. Günümüzde için teknolojiden yararlanmaktadır. Günümüzde
kullanılmaya başlayan teknolojilerden biri de göz izleme kullanılmaya başlayan teknolojilerden biri de göz izleme
cihazlarıdır. Göz izleme, bireylerin göz hareketlerini ve odak cihazlarıdır. Göz izleme tekniği, ekrandaki hangi yerlerin
noktalarını hassas bir şekilde ölçen bir teknoloji olup, özellikle hatalı olduğunu ve hangi yerlerin yanlış yönlendirmeler
okuma, görsel algı, dikkat dağılımı ve kullanıcı deneyimi gibi yaptığını tespit edip, kullanıcıların odaklandıkları yerler, en
alanlarda yararlı bilgiler sağlamaktadır. Göz izleme çok dikkatlerini çeken yerler ve bilgiye erişirken izledikleri
teknolojileri kullanılarak yapılan çalışmalar kullanılabilirlik yollar hakkında bilgiler veren tekniktir [1]. Göz izleme,
kavramı üzerinden gün geçtikçe artmaktadır. Göz izleme
bireylerin göz hareketlerini ve odak noktalarını hassas bir
cihazlarının eğitimde nasıl bir rol oynayabileceğini ve bu tür
cihazların öğretmenler, eğitimciler ve öğrenciler için ne tür
şekilde ölçen bir teknoloji olup, özellikle okuma, görsel algı,
avantajlar sunabileceği ve hangi sınırlamalara sahip olduğu bu dikkat dağılımı ve kullanıcı deneyimi gibi alanlarda yararlı
alanda yapılan çalışmalarla ortaya çıkmaktadır. Bu bilgiler sağlamaktadır. Göz izleme cihazları, ilk olarak
araştırmada amaç fen bilimleri eğitimi alanında göz izleme psikoloji, reklamcılık ve insan-bilgisayar etkileşimi gibi
tekniklerinin kullanıldığı çalışmaların incelenmesidir. Bu farklı disiplinlerde kullanılmıştır. Bu cihazlar, görsel
inceleme göz izleme yönteminin kullanımına yönelik geniş bir materyalin nasıl işlendiğini, hangi öğelerin daha fazla dikkat
bakış açıcı sunarak araştırmalara katkı sağlamak için çektiğini ve kullanıcıların bir görevi nasıl tamamladıklarını
tasarlanmıştır. Doküman analiziyle gerçekleştirilen çalışmada anlamak için kullanılabilmektedir. Ancak, eğitimde göz
fen bilimleri eğitimi ve göz izleme tekniği anahtar kelimeleri izleme teknolojisinin kullanımı son yıllarda başlamış yeni ve
kullanılarak veri tabanları taranmıştır. Fen eğitimi alanında yeterince keşfedilmemiş bir alandır.
göz izleme tekniği kullanılan çalışmaların farklı örneklerle
farklı seviyelerde farklı içeriklere yönelik olduğu anlaşılmıştır. Göz izleme teknolojileri kullanılarak yapılan çalışmalar
Fen kavramının ele alındığı öğrenme-öğretme sürecindeki kullanılabilirlik kavramı üzerinden gün geçtikçe artmaktadır.
araştırma sayısının az olması, göz izleme tekniği için gerekli Bu araştırmalar genellikle kamu internet siteleri [2] [3], e-
teknolojik araçların ve bu araçlardaki yazılımlarının ticaret web sayfaları [4], üniversitelerin kütüphane sayfaları
erişilebilirliği oldukça zor olduğu sonucunda varılmıştır. [5] [6], üniversitelerin kayıt sayfaları [7], eğitsel web
Yapılan incelemeler sonucunda göz izleme tekniği ile sayfaları ve portalları [8], mobil uygulamalar [9] ve
öğrencinin sunumda seçilen materyale odaklanma süresi, akademik kaynak [10] gibi farklı alanlarda yapılmaktadır.
odaklanma sayısı, gözlem süresi ve sayısı, fare hareketi verileri Göz izleme teknolojileri ile ilgili yapılan çalışmalara
sonucu yapılan nicel değerlendirme materyalin kullanışlılığının bakıldığında kullanıcı deneyimi, kullanıcının ilgi alanı,
ölçülebileceğini göstermektedir. Göz izleme çalışmalarına geniş
kullanıcının ısı haritaları ve kullanıcının göz hareket
perspektiften bakıldığında öğrenme öğretme süreçlerinin takip
edildiği ve zihinsel temsillerin ortaya çıkmasına faydalı birer görsellerinin bir incelendiği belirtilebilir.
metodolojik unsur olarak tercih edildiğini göstermektedir. Göz Göz izleme cihazlarının eğitimde nasıl bir rol
takip cihazlarından elde edilen bulgular ışığında materyalin oynayabileceğini ve bu tür cihazların öğretmenler,
kullanışlılığının arttırılması için gerekli düzenlemelerin nasıl eğitimciler ve öğrenciler için ne tür avantajlar sunabileceği
ve nerelerde yapılması gerektiği anlaşılmaktadır. Bu gibi ders ve hangi sınırlamalara sahip olduğu bu alanda yapılan
materyalleri ve görevleri ile bilişsel yük yoğunluğunu azaltacak
çalışmalarla ortaya çıkmaktadır. Göz izleme verileri,
önerilerde bulunulmuştur. Öğrenme sürecini etkileyen
dinamik değişkenlerin etkisinin önceden öğretmen tarafından
öğrencilerin anlama sürecini daha iyi kavramak,
tespit edilmesi öğretmenin öğrenme sürecindeki yükünü de öğretmenlerin pedagojik yaklaşımlarını özelleştirmek ve
hafifletmektedir. Bu bakımdan Fen bilimleri öğretmenlerine eğitim materyallerini geliştirmek için nasıl
idealleştirilmiş bir öğrenme ortamının oluşması amacıyla her kullanılabileceğine gibi temel alanlara yardımcı olmaktadır.
konu için kullanışlılığı yüksek olan ders materyallerinin Görsel uyanların insanları ve verdikleri kararları etkilediği
seçiminin önemli olduğu farkındalığı kazandırılabilir. belirtilmektedir [11]. Göz hareketleri izlenebilirse öğrenenin
nasıl öğrendiği hakkında fikir sahibi olunabileceği
Anahtar Kelimeler—fen bilimleri eğitimi, göz izleme, ders düşünülmektedir [12].
materyali
II. FEN BILIMLERI EĞITIMINDE DERS MATERYALLERI
I. GIRIŞ
Öğrenme-öğretme sürecinde Fen Bilimleri dersi
Eğitim, bireylerin ve toplumların sosyal ve ekonomik öğretmenleri tarafından derslerde geleneksel olarak
gelişimi için temel bir unsur olarak kabul edilir. Giderek kullanılan ders kitapları ile birlikte deney yapımındaki

128
laboratuvar araç ve gereçleri, video içerikleri ve resim araştırma yöntemlerinden biri olan doküman analizi yöntemi
görselleri, fen bilimleri deney kitleri, simülasyon ve ile incelemesi uygun görülmüştür.
bilgisayar programları gibi farklı materyallerde
kullanılmaktadır. Fen bilimleri öğretiminde görsel IV. BULGULAR
materyallerin seçilmesi ve bunların amacına uygun
kullanılması önemlidir. Fen bilimleri öğretiminde görsel
anlatımın gücünü arttırdığı, öğrenmeyi desteklediği, farklı Fen eğitimi sürecindeki kavramlarla ilgili soruların
öğrenme tarzına sahip öğrencilere çeşitlilik sağladığı, çözülmesinin incelendiği araştırmada göz takip sistemi
motivasyon ve ilgiyi artırdığı, karmaşık kavramlarının kullanılmıştır [16]. Göz izleme tekniği bu araştırmada
anlaşıldığını kolaylaştırdığı, uzun hafızada anımsamayı öğrencilerin zihinsel çabalarını ölçmede kullanılan çeşitli
arttırdığı ve en önemlisi de öğrenmeyi somutlaştırdığı için yaklaşımlardan biridir. Bu yaklaşımlar arasında likert tipi
görsel ders materyalleri bu süreçte tercih edilmektedir. Ders ölçekler ve göz izleme ile ölçülen görevde geçen sürelerdir.
sırasında kullanılmak üzere görsel materyal seçerken Ayrıca öğrencilerin verimli hakkında geçerli bilgiler
öğrenme hedeflerine uygunluk, materyalin bilimsel sağlamak için performans ölçümleri ile birleştirmektir.
doğruluğu, öğrencinin düzeyine uygunluğu, ele alınan Araştırmanın farklı aşamaları farklı araştırma örneklemlerini
kavramın anlaşılmasını desteklemesi, öğrencilerin materyale içermektedir. Araştırmanın ilk aşamasında yaşları 15 ile 16
kolaylıkla erişebilmesi ve öğrencinin materyalleri etkileşmesi arasında değişen 62 ortaokul öğrencisi ile çalışılmıştır. İkinci
önemlidir. ve üçüncü aşamada Novi Sad Üniversitesi Fen Fakültesi'nde
Göz izleme cihazlarının farklı eğitim seviyeleri ve çeşitli kimya öğretmenliği okuyan ve lisans eğitimlerinin son
öğrenme modellerinde nasıl uygulandığını incelemek fen yılında olan 17 öğrenci yer almıştır. Son aşamada ise 189
alan eğitiminde önemlidir. Bu kapsamda temel eğitim ortaokul öğrencisi yer almıştır. Araştırma sonucunda göz
seviyesinden üniversite seviyesine, formal öğrenmeden izleme tekniğinin kimya sorusunun çözümünde
informal öğrenmeye ve bireysel öğrenmeden grup içi uygulanmasının faydalarından söz edilmektedir. Faydaların
etkileşimlere kadar farklı eğitim ortamlarında kullanımı bu başında farklı seviyelerdeki öğrencilerim kavram yanılgısı
süreçler hakkında bilgi vermektedir. Göz izleme cihazları, hakkında bilgiler verdiği belirtilmiştir. Bir çözünürlük sorusu
öğrencilerin dikkat dağılımını ve odaklanma seviyelerini ile ilgili verilen görevi çözmek için gereken sürenin
ölçmek için kullanılmakta olup etkililiğinin araştırıldığı ölçülmesi ve göz izleme tekniği analizlerinin sonuçlarının
çalışmalar mevcuttur. Bu cihazların öğretmenlerin öğretim problem çözme sürecinin bireysel adımlarda nasıl
stratejilerini nasıl etkilediği, göz izleme verilerinden yola ilerlediğini, öğrencinin alt görevlerde nerelere ne kadar
çıkarak eğitim materyallerinin tasarımının nasıl yapılması zaman harcadığını ve öğrencinin takip edilmesini sağlamıştır.
gerektiğine dair bilgiler vermektedir. Göz izleme Jian Bilim çizgi romanlarında okuma davranışı ve bunun
teknolojisinin eğitimdeki kullanımı farklı öğrenme stillerine anlama performansı ve okuma tutumları ile ilişkisinin göz
ve ihtiyaçlarına sahip öğrenciler için ders materyallerinin izleme ile ölçülmesi çalışması gerçekleştirmiştir [17].
özelleştirilebilirliği ile ilgili fikir verdiği araştırma sonuçları Üniversite öğrencilerinin çizgi romanları aracılığıyla bilim
gözlenmektedir. öğrenmelerinin araştırıldığı bu çalışmada çizgi roman okuma
Alanyazın incelendiğinde göz hareketleri ile bilişsel tutum ve alışkanlıkları incelenmiştir. Okuma süreçlerinin bir
süreçler arasındaki ilişkinin Fen Bilimleri öğretim sürecinde göz takip cihazı ile kaydedildiği bilimsel çizgi romanlar
aktif olarak incelenmesi gereken bir araştırma sahası olduğu anlama testi ile tamamlanmıştır. Bu çalışmada göz izleme
görülmektedir. Ancak Fen Bilimleri eğitimi alanında göz tekniği bilimsel çizgi romanların daha iyi kavrayanlar ile
izleme tekniği ile yapılan araştırmaların ulusal ve uluslararası buna karşı tutumları arasında bir ilişki olup olmadığının
alanyazın taramasında yeterince olmadığı görülmektedir anlaşılması ile tamamlanmıştır.
[14]. Matematik eğitiminde göz izleme çalışmalarının alan Bir başka araştırmada öğrencilerin fizik sorularını
ve konu bazlı olarak sınıflandırılmaya başladığı çözerken kullandıkları stratejileri araştırılmış ve
gözlenmektedir [15]. Aynı şekilde mühendislik eğitiminde karşılaştırmıştır [18]. Öğrencilere verilen fizik görevleri bir
tasarım aşamalarında göz izleme tekniğinin kullanıldığı projenin parçası olarak hazırlanmıştır. Öğrencilerin yazma
araştırmalar mevcuttur [16]. Bu alanda yapılacak çalışmalara testleri sırasında nasıl düşündüklerini anlamak için göz
ilham olması ve yeni araştırma fikirleri doğurması ümidiyle izleme tekniği ve kalem tabletler kullanılmıştır. Bu araştırma
farklı öğretim materyallerinin kullanışlılığının göz izleme kapsamında öğrenciler görev süresi olan 45 dakika boyunca
cihazı verileriyle nasıl araştırıldığının incelenmesi önemlidir. ne yaptığı, görevleri nasıl tamamladıkları ve alt görevleri
Bu araştırmada amaç fen bilimleri eğitimi alanında göz nasıl tanımladıkları takip edilmiştir. Çek Cumhuriyeti’nde bir
izleme tekniklerinin kullanıldığı çalışmaların incelenmesidir. devlet ortaokulunda gerçekleştirilen çalışmaya üç dokuzuncu
Bu inceleme göz izleme yönteminin kullanımına yönelik sınıf öğrencisi katılmıştır. Etkinliklerin video kayıtları ve
geniş bir bakış açıcı sunarak araştırmalara katkı sağlamak öğrencilerin stratejileri analiz edilmiştir. Sonuçlar,
için tasarlanmıştır. öğrencilerin testler sırasında nasıl çalıştıklarını, fizik
görevlerini çözerken her saniye ne yaptıklarını göstermiştir.
Bu sayede öğretmenlerin öğrencilerinin nasıl düşündüklerini
III. YÖNTEM ve problemleri nasıl çözdüklerini anlamasına yardımcı
Bu araştırmada nitel araştırma yöntemlerinden doküman sonuçlar ortaya çıkmıştır.
analizi tercih edilmiştir. Web of Science ve ERIC üzerinden
göz izleme tekniği, fen bilimleri eğitimi iki temel anahtar Güney Kore’de yapılan bir çalışmanın amacı, yer
kelime ve bu kelimelerin İngilizce karşılıkları ile tarama bilimleri öğretmen adaylarının jeolojik haritalar üzerinde
yapılmıştır. Deneysel uygulamalı çalışmaların yer aldığı fayları ayırt ederken kullandıkları alan bilgisini ve problem
belirlenen makalelerin ilgili veri tabanları üzerinden nitel çözme sürecini değerlendirmektir [19]. Bu değerlendirme
kapsamında yer bilimleri öğretmen adayları bir göz takip

129
cihazı kullanarak araştırma gerçekleştirilmiştir. Öğretmen üniversitede okuyan 18 kimya lisans öğrencisinin ortak
adayları verilen görevler kapsamında fay yorumlama görevi olan IR ve 1H NMR spektrumu yorumlama yoluyla
problemini çözerken, sabitleme süresi ve bakış grafiği ile kimyasal sentezlerin başarısını değerlendirirken kullandıkları
ilgili veriler toplanmıştır. Sonuçlar öğretmen adaylarının akıl yürütme yöntemlerini araştırılmıştır. Öğrenciler, göz
çoğunun normal ve ters fay kavramlarını bilmekte ancak hareketleri takip edilirken bir dizi yorumlama görevini nasıl
jeolojik haritalar üzerinde fay yorumlaması için gerekli olan tamamladıkları ve ardından spektrum yorumlama sırasındaki
işlemsel bilgiyi sahip olmadığını göstermiştir. Ayrıca akıl yürütmeleri hakkında yarı yapılandırılmış retrospektif
öğretmen adayları jeolojik harita üzerinde fayı yorumlamak sesli düşünme görüşmeleriyle veriler toplanmıştır. Göz
için jeolojik kesit haritası çizmemiş ve fayı üç boyutlu bilgi izleme tekniğiyle elde edilen bulgular ışığında katılımcılar
yerine jeolojik haritadan toplanan iki boyutlu bilgiye tarafından kullanılan geçersiz kimyasal varsayımları ve
dayanarak yorumlamışlardır. Sonuçlar ışığıda yer bilimleri sezgisel akıl yürütme stratejilerinin kullandığı anlaşılmıştır.
öğretmeni olacak öğretmen adaylarının doğal olayları Bulgulara göre spektrum yorumlama sırasında öğrencilerin
anlamak için gerekli olan işlemsel bilgileri öğrenebilmeleri akıl yürütmeleri üzerindeki en sorunlu kısımların belirli
için öğretme ve öğrenme ortamının iyileştirilmesi geçersiz kimyasal varsayımlar ve sezgisel akıl yürütme
önerilmiştir. stratejilerinin bir kombinasyonu haline gelmesinden dolayı
başarısız olmasıdır. Ayrıca sezgisel yöntemleri kullananların
Fen bilimleri eğitim alanında yapılan bir başka çalışmada
başarısız katılımcılar olduğu sonucuna varılmıştır.
ise öğretmenlerin dersteki kör nokta bakışları incelenmiştir
[20]. Öğretmenin bakışlarının öğrenci ile etkileşimi analiz
edilmiştir. Bu çalışmanın amacı fen bilimleri derslerinde V. SONUÇLAR
öğretmenin bakış örüntüsünü ve dış etken olarak öğrencinin Fen eğitimi alanında göz izleme tekniği kullanılan
oturduğu yer değiştiğinde bakışların değişip değişmediğini çalışmaların farklı örneklerle farklı seviyelerde farklı
belirlemektir. Ders sırasında altı öğretmen üzerinde göz içeriklere yönelik olduğu anlaşılmıştır. Fen kavramının ele
takibi yapılmış ve öğrenci yeri değiştikten sonra öğretmenin alındığı öğrenme-öğretme sürecindeki araştırma sayısının az
bakış sabitlemesi ve hareketi de analiz edilmiştir. Sonuçlara olması, göz izleme tekniği için gerekli teknolojik araçların ve
göre, öğretmenler çoğunlukla öğrenci koltuklarının bu araçlardaki yazılımlarının erişilebilirliği oldukça zor
merkezine odaklanmış ve bakış kör noktası çoğunlukla öne olduğu sonucunda varılmıştır.
doğru eğimli olmuştur. Öğrenci koltuğu değiştirilse bile
bakışlar sınıfın merkezine odaklandığı ve bakış kör noktası Yapılan incelemeler sonucunda göz izleme tekniği ile
bireyden bireye farklılık gösterdiği ve öğretmenin de bunun öğrencinin sunumda seçilen materyale odaklanma süresi,
farkında olmadığı çalışmada gözlenmiştir. Sonuç olarak, odaklanma sayısı, gözlem süresi ve sayısı, fare hareketi
öğretmenin bakış konsantrasyon modeli genellikle benzer verileri sonucu yapılan nicel değerlendirme materyalin
olduğu, ancak bakış kör noktası öğretmene bağlı olarak kullanışlılığının ölçülebileceğini göstermektedir.
değiştiği ve dış faktörlerden etkilenebildiği belirlenmiştir. Göz izleme çalışmalarına geniş perspektiften
Fen eğitim araştırmalarında göz takibinin işbirliğine bakıldığında öğrenme öğretme süreçlerinin takip edildiği ve
dayalı bilginin oluşturulmasının incelendiği çalışmaların zihinsel temsillerin ortaya çıkmasına faydalı birer
sayısı azdır [21]. Lamsa ve diğerleri yaptıkları araştırmada metodolojik unsur olarak tercih edildiğini göstermektedir.
göz izleme verilerinin hem uzamsal hem de zamansal Göz takip cihazlarından elde edilen bulgular ışığında
boyutlarını video verileriyle birleştirerek simülasyon tabanlı materyalin kullanışlılığının arttırılması için gerekli
bir ortamda işbirlikçi bilgi inşasını incelemek için yeni bir düzenlemelerin nasıl ve nerelerde yapılması gerektiği
yaklaşım tasarlamıştır. İki lisans öğrencisinin bir anlaşılmaktadır. Bu gibi ders materyalleri ve görevleri ile
simülasyonda elektrostatik problemi çözümü sırasındaki bilişsel yük yoğunluğunu azaltacak önerilerde
konuşmalarının video verilerinin incelenmiştir. İşbirlikli bilgi bulunulmuştur. Öğrenme sürecini etkileyen dinamik
oluşturma süreçlerinde (yeni fikir, açıklama, değerlendirme değişkenlerin etkisinin önceden öğretmen tarafından tespit
ve içerikle ilgili olmayan konuşma ve sessiz anlar) analiz edilmesi öğretmenin öğrenme sürecindeki yükünü de
edilmiştir. Öğrencilerin göz izleme verileri epistemik ağ hafifletmektedir. Bu bakımdan Fen bilimleri öğretmenlerine
analizi ile analiz edilen bakışlar, çiftlerin uzamsal ve idealleştirilmiş bir öğrenme ortamının oluşması amacıyla her
zamansal bakış davranışlarıyla incelenmiştir. İşbirliğine konu için kullanışlılığı yüksek olan ders materyallerinin
dayalı bilginin inşası sırasında bakış davranışları, seçiminin önemli olduğu farkındalığı kazandırılabilir.
konuşmanın niteliği ve fiziksel olguların arasındaki ilişkiye
bakılmıştır. Bulgulara göre odaklanma süresi, odaklanma
sayısı, gözlem süresi, gözlem sayısı, konuşmanın miktarı, REFERENCES
konuşmadan sessiz geçen zaman ve içerikle
ilişkilendirilemeyecek konuşma zamanı, fizik konusu içeriği [1] K. Pernice, & J. Nielsen, J. (2009). How to conduct eyetracking
ile ilgili konuşmanın belirlenen parametreler ışığında studies. Nielsen Norman Group, 945397498.
incelenip değerlendirilmesiyle işbirlikçi öğrenmenin [2] İ. Yavuz, N.Ö. Çınar, & K. Çağıltay (2016). Kamu internet sitelerinde
yer alan arama alanlarının kullanılabilirliği ve buna yönelik kullanıcı
gerçekleştirilebileceğini göstermiştir. Bu tür çalışmalardan davranışlarının belirlenmesi. Bilişim Teknolojileri Dergisi, 9(1), 41.
elde edilen sonuçlar öğrenme süreçlerindeki önemli anların [3] S. Durmuş, K. Çağıltay (2012). Kamu Kurumu Web Siteleri ve
fark edilmesine ve simülasyon ortamında gereksiz görsellerin Kullanılabilirlik. Kitapta bolum: E-devlet Kamu yönetimi Ve
öğrenmeyi zorlaştıracağından işbirlikçi bilginin inşa Teknoloji İlişkisinde Güncel Gelişmeler. Editörler: Mehmet Zahid
süreçlerini anlamaya yardımcı olacaktır. Sobacı, Mete Yıldız 293-322, Nobel Yayınevi.
[4] E. Özmen & E. Karaman (2020). E-ticaret sitelerindeki gizlilik
Diğer bir araştırmada öğrencilerin spektrum yorumlama sözleşmelerinin göz hareketlerini izleme yöntemiyle incelenmesi .
becerileri göz hareketleri takip edilerek incelenmiştir [22]. Journal of Business in The Digital Age , 3(2) , 108-116.
Bu çalışmada, Amerika Birleşik Devletleri’ndeki bir

130
[5] S.G. Mazman, H. Tüzün, S. Akbal, & M. Yeniad (2010) Usability [15] A. R., Strohmaier, K. J.,, MacKay, A. Obersteiner, & K.M. Reiss,
testing of departmental web sites: a case study with authentic users (2020). Eye-tracking methodology in mathematics education research:
and authentic tasks, ICERI2010 Proceedings, pp. 345-353. A systematic literature review. Educational Studies in Mathematics,
[6] F. K. Pala, T. Altan, H. Ilgaz, M. Çınar, H. Tüzün (2010). Hacettepe 104, 147-200.
Üniversitesinin Kütüphane Web Sitesi kullanılabilirlik çalışması, 10th [16] H. W., Hsing, D. Bairaktarova, & N. Lau, (2023). Using eye gaze to
International Educational Technology Conference, 640-644. reveal cognitive processes and strategies of engineering students
[7] H. Tüzün, A Akıncı, M. Kurtoğlu, D. Atal, & F.K. Pala, (2013) A when solving spatial rotation and mental cutting tasks. Journal of
study on the usability of a university registrar’s office website through Engineering Education, 112(1), 125-146.
the methods of authentic tasks and eye-tracking, Turkish online [17] Y. C. Jian, (2023). Reading Behavior in Science Comics and Its
journal of educational technology , vol.12, no.2, pp.26-38. Relations with Comprehension Performance and Reading Attitudes:
[8] F. K. Pala, H. Arslan & F. Özdinç (2017). Eğitim bilişim ağı web an Eye-tracker Study. Research in Science Education, 53(4), 689-706.
sitesinin otantik görevler ve göz izleme ile kullanılabilirliğinin [18] P. Kočí, , J. Škrabánková, V. Vaněk, & D. Nocar, (2019). Students´
incelenmesi. Ihlara Eğitim Araştırmaları Dergisi , 2 (1) , 24-38 . Strategies During Solving Physics Tasks Described Thank To The
[9] O. Dönmez, F. Yaman, Y.L. Şahin, & I. Kabakçı Yurdakul (2016). Combination Of An Eye-Tracker And A Pen-Tablet. In ICERI2019
İşitme Engelliler İçin Mobil Uygulama Geliştirme Süreci: Çarkıfelek Proceedings (pp. 6293-6300). IATED.
Örneği . Eğitim Teknolojisi Kuram ve Uygulama , 6 (1) , 22-41 . [19] Woong Hyeon Jeon, Duk Ho Chung, Chul Min Lee (2023). Case
[10] İ. Çetin, & E. Şendurur, E. (2016). Çevrimiçi Akademik Kaynakların Study on the Pre-Service Earth Science Teachers’ Faults
Kullanılabilirlik Değerlendirmesi The Usability Evaluation of Online Discrimination on Geological Map using Eye Tracker, Journal Of The
Academic Resources. Mehmet Akif Ersoy Üniversitesi Eğitim Korean Earth Science Society, 44(3), 210-221.
Fakültesi Dergisi , 1 (40) , 273-299. [20] J. H. Byeon, & Y.J. Kwon, (2023). Teacher's Gaze Blind Spot in
[11] Jacob, R. J., & Karn, K. S. (2003). Eye tracking in human-computer Science Lecture Class. Journal of Baltic Science Education, 22(3),
interaction and usability research: Ready to deliver the promises. In 413-426.
The mind's eye (pp. 573-605). North-Holland. [21] J. Lämsä, J. Kotkajuuri, A. Lehtinen, P. Koskinen, T. Mäntylä, J.
[12] Mayer, R. E. (2010). Unique contributions of eye-tracking research to Kilpeläinen, & Hämäläinen, R. (2022). The focus and timing of gaze
the study of learning with graphics. Learning and instruction, 20(2), matters: Investigating collaborative knowledge construction in a
167-171. simulation-based environment by combined video and eye tracking.
In Frontiers in Education (Vol. 7, p. 942224). Frontiers.
[13] D. D. Rodic, (2019). Combined Measures of Students' Success:
Recent Trends and Developments in Science Education Research. In [22] Connor, M. C., Finkenstaedt-Quinn, S. A., & Shultz, G. V. (2019).
International Baltic Symposium on Science and Technology Constraints on organic chemistry students’ reasoning during IR and 1
Education. Scientia Socialis Ltd. 29 K. Donelaicio Street, LT-78115 H NMR spectral interpretation. Chemistry Education Research and
Siauliai, Republic of Lithuania. Practice, 20(3), 522-541..
[14] A. Langner, N. Graulich, & M. Nied (2022). Eye-tracking as a
promising tool in pre-service teacher Education─ A new approach to
promote skills for digital multimedia design. Journal of Chemical
Education, 99(4), 1651-1659.

131
 Hareket Temelli İşlemler Konusunda Yayınlanan
Makalelerin Bibliyometrik Analizi
Aydın, A1, Göktaş, Y2
#
Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü, Eğitim Fakültesi, Atatürk Üniversitesi, Erzurum
[email protected], [email protected]

*
Yazılım Mühendisliği Bölümü, Mühendislik Fakültesi, Atatürk Üniversitesi, Erzurum

Özet— Bu çalışma, hareket temelli işlemler alanındaki kullanılan anahtar kelimeleri, çalışma yapılan alanları, yayın
makalelerin bibliyometrik analizini sunmaktadır. Bu analiz, yapan araştırmacıları, ilişkili sürdürülebilir kalkınma
alandaki anahtar kelimeleri, araştırma konularını, yayın yapan amaçlarını ortaya koymaktadır. Çalışmanın devamında yöntem,
araştırmacıları ve sürdürülebilir kalkınma ilkelerini ortaya bulgular ve öneriler bölümleri sunulmuştur.
koymak amacıyla gerçekleştirilmiştir. Bibliyometrik haritalama
analizi kullanılarak hareket temelli işlemler konusunda en fazla II. YÖNTEM
ilgi çeken anahtar kelimeler belirlenmiştir. Özellikle "gesture
recognition," "feature extraction," "gesture," "motion Hareket temelli işlemler konusunda yayınlanan makalelerin
detection," ve "augmented reality" anahtar kelimeleriyle yapılan geçmişten bugüne eğilimini incelemeyi amaçlayan bu
yayınların sayısının daha yüksek olduğu tespit edilmiştir. Bu araştırmada bibliyometrik haritalama analizinden
analiz, alandaki mevcut araştırmaların odak noktalarının ve yararlanılmıştır. Araştırmada kullanılan bibliyometrik
eğiliminin anlaşılmasına yardımcı olmuştur. haritalama analizi, belirli bir konu alanında ortaya konulan
bilimsel üretimin değerlendirilmesine dayanmaktadır [5].
I. GİRİŞ
Bibliyometrik analizde VOSViewer benzeri bilgisayar
Günümüzde bilim ve teknoloji, hızla değişen ve gelişen bir programlarından yararlanılmaktadır. Öncelikle Web of Science
dünya ile bütünleşmiştir. Bu hızlı değişim, akademik gibi veri tabanları üzerinden ilgili konu başlığında yapılan
araştırmalara ve bilimsel yayınlara büyük bir önem yayınlara ulaşılarak bu yayınlar dışa aktarılır. Daha sonra bu
kazandırmıştır. Bilim insanları ve araştırmacılar, farklı yayınlar bilgisayar programlarında belirli kriterlere dayalı
disiplinlerdeki bilgiyi anlamak ve bu bilgiyi ilerletmek olarak analiz edilerek görselleştirilir. Hareket temelli işlemler
amacıyla büyük bir çaba göstermektedirler. Bu bağlamda, konusunda yayınlanan makaleler bibliyometrik haritalama
hareket temelli işlemler gibi belirli bir konu alanında yapılan analizi ile incelenmiş; hareket temelli işlemler alanındaki en sık
araştırmaların bibliyometrik analizi, bilimsel alanyazının kullanılan anahtar kelimeler, en fazla çalışma yapılan alanlar,
eğilimini ve o alandaki gelişmeleri açıklamak için önemli bir en fazla yayın yapan araştırmacılar, ilişkili sürdürülebilir
araçtır. Hareket temelli işlemler, hareket verilerinin analizi ve kalkınma amaçları belirlenmiştir.
işlenmesiyle ilgili disiplinler arası bir araştırma alanını ifade Alanyazında hareket temelli işlemler konusu “motion based”
etmektedir [1]. Bu alandaki çalışmalar; coğrafya, mühendislik, ya da “gesture based” anahtar kelimeleriyle ifade edilmektedir.
bilgisayar bilimi, sağlık bilimleri ve daha birçok disiplini içine Bu araştırmada makale seçim sürecine her iki anahtar kelime de
alır [2]. Hareket verileri, yerel konum bilgilerini içeren GPS dâhil edilmiştir. Doküman türü olarak makale seçilmiş ve 30
(Global Positioning System) verilerinden sosyal medya Eylül 2023 tarihi itibariyle Web of Science veri tabanında
etkileşimlerine kadar çeşitli kaynaklardan elde edilebilir [3]. Bu yapılan tarama sonucunda 817 çalışma analiz edilmiştir.
verilerin analizi; kullanıcı hareketleri, trafik yönetimi, sağlık Kullanılan arama formülü şu şekildedir:
izleme, güvenlik, çevresel analiz ve daha birçok uygulama TITLE: ("Gesture Based " or "motion based")
alanında değerli bilgiler sunabilir [4]. Refined by: DOCUMENT TYPES: (ARTICLE)
Bu çalışma kapsamında hareket temelli işlemler konusunda Timespan: All years.
yapılan makalelerin bibliyometrik analizi ele alınmıştır. Bu
analiz, araştırmaların temel eğilimlerinin ve gelişimlerinin III. BULGULAR
anlaşılmasına yardımcı olmakta, potansiyel boşlukların ve
gelecekteki araştırma eğilimlerinin belirlenmesine katkı A. Yıllara Göre Dağılım
sağlamaktadır. Ayrıca, hareket temelli işlemler konusundaki Hareket temelli işlemler konusunda yapılan makalelerin
araştırmaların öneminin ve etkisinin değerlendirilmesine yıllara göre dağılımı incelendiğinde ilk çalışmaların 2002
yardımcı olmakta ve bu alandaki bilimsel katkıların toplumsal yılında yayınlandığı görülmektedir. Ayrıca ilgili alanda her
ve endüstriyel bağlamda nasıl bir öneme sahip olduğunu sene daha fazla çalışma yapıldığı dikkat çekmektedir. Hareket
göstermektedir. Bu çalışma; hareket temelli işlemler alanındaki

132
temelli işlemler konusunda yapılan makalelerin yıllara göre sensors, task analysis anahtar kelimeleri son üç yıldaki
dağılımı Şekil 1’deki gibidir. çalışmalarda kullanılmıştır. Buradan hareketle robots, sensors,
task analysis anahtar kelimelerinin son üç yılda ve daha az
kullanıldığı söylenebilir.
C. En Fazla Çalışma Yapılan Alanlar
Hareket temelli işlemler konusunda yapılan makaleler çeşitli
alanlarda yayınlanma imkanı bulmaktadır. Bu alanlar Şekil
3’deki gibidir. Şekil 3 incelendiğinde hareket temelli işlemler
konusundaki çalışmaların engineering (316), computer science
(294), physics (52), telecommunications (52), chemistry (50)
alanlarında yapıldığı görülmektedir.

Şekil. 1 Yıllara Göre Dağılım

B. Anahtar Kelimeler
Hareket temelli işlemler konusunda yapılan makalelerde
kullanılan anahtar kelimeler Şekil 2’de sunulmuştur. Şekil 2
incelendiğinde gesture recognition (hareket tanıma), human
computer interaction (insan bilgisayar etkileşimi), virtual
reality (sanal gerçeklik) ve deep learning (derin öğrenme) gibi
çeşitli anahtar kelimelere yer verildiği görülmektedir.

Şekil. 3 Çalışma Alanları

D. En Fazla Çalışma Yapan Yazarlar

Pek çok yazar hareket temelli işlemler konusunda makale
yazmaktadır. Bu yazarların bir kısmı Şekil 4’te sunulmuştur.
Şekil 4 incelendiğinde Zou ZJ (11), Zhang Y (10), Wang Y (8),
Wang ZH (6), Bouthemy P (5) isimli yazarların bu konuda daha
fazla makale ürettiği görülmektedir.

Şekil. 2 Anahtar Kelimeler

Şekil 2’de bazı renkler ve dağılımlar sunulmaktadır. Bu

sunum detaylı bir şekilde incelendiğinde bazı anahtar
kelimelerin daha sık ya da az kullanıldığı veya son üç yılda
kullanılmaya başlandığı görülmektedir. Buna yönelik
hazırlanan Tablo 1’de en fazla kullanılan anahtar kelimeler, en
az kullanılan anahtar kelimeler ve son üç yılda kullanılan
anahtar kelimeler sunulmuştur. Şekil. 4 Yazarlar

TABLO I E. Sürdürülebilir Kalkınma İlkeleri

ANAHTAR KELİMELER
Ele alınan bilimsel çalışmaların önemli yaygın etkilerinden
En fazla En az kullanılanlar Son üç yılda biri de sürdürülebilir kalkınma ilkelerine olan katkısıdır.
Kullanılanlar kullanılanlar Hareket temelli işlemler konusunda yapılan makalelerin
Gesture Recognition Task Analysis Ship Maneuvering sürdürülebilir kalkınma ilkelerine çeşitli katkılarının olduğu
Feature Extraction Sensors Deep Learning
söylenebilir. Bu ilkelere sunulan katkının dağılım oranı Şekil
Gesture Robotics Robots
5’te sunulmuştur. Şekil 5 incelendiğinde Good Health And
Motion Detection Leap Motion Sensors
Augmented Reality Dynamics Task Analysis
Well Being (275), Sustainable Cities And Communities (177),
Quality Education (48), Affordable And Clean Energy (21),
Climate Action (11) ilkelerine daha fazla odaklanıldığı
Tablo 1 incelendiğinde gesture recognition, feature
görülmektedir. Buradan hareketle özellikle sağlık ve
extraction, gesture, motion detection, augmented reality anahtar
sürdürülebilir topluluklara yönelik daha fazla çalışma yapıldığı
kelimelerinin daha fazla; task analysis, sensors, robotics, leap
söylenebilir.
motion, dynamics anahtar kelimelerinin daha az kullanıldığı
görülmektedir. Ayrıca ship maneuvering, deep learning, robots,

133
 ✓ En fazla yayın yapan araştırmacılar ve bu
araştırmacıların çalışmaları okunup takip edilebilir.
✓ Sosyal bilimlere yönelik hareket temelli işlemler
makaleleri tasarlanabilir.
✓ Ekonomik ve çevresel sürdürülebilirliğe yönelik
çalışmalar geliştirilebilir.

KAYNAKLAR
[1] Huang, Z., Niu, Q., & Xiao, S. (2020). Human behavior recognition based
on motion data analysis. International Journal of Pattern Recognition and
Artificial Intelligence, 34(09), 2056005.
https://doi.org/10.1142/S0218001420560054
Şekil. 4 Sürdürülebilir Kalkınma İlkeleri
[2] Wong, C. C. L. (2015). Fusion of wearable and visual sensors for human
IV. ÖNERİLER motion analysis (Doctoral dissertation, Imperial College London).
[3] Dong, R., Cai, D., & Ikuno, S. (2020). Motion capture data analysis in the
Çalışma kapsamında hareket temelli işlemler konusunda instantaneous frequency-domain using hilbert-huang
yapılan makalelerin bibliyometrik analizi yapılmıştır. Bu analiz transform. Sensors, 20(22), 6534. https://doi.org/10.3390/s20226534
kapsamında hareket temelli işlemler alanındaki en sık [4] Park, C., Do Noh, S., & Srivastava, A. (2022). Data science for motion
kullanılan anahtar kelimeler, en fazla çalışma yapılan alanlar, and time analysis with modern motion sensor data. Operations Research,
70(6), 3217-3233. https://doi.org/10.1287/opre.2021.2216
en fazla yayın yapan araştırmacılar, ilişkili sürdürülebilir
[5] Ellegaard, O., & Wallin, J. A. (2015). The bibliometric analysis of
kalkınma amaçları belirlenmiştir. Buradan hareketle çalışma scholarly production: How great is the impact?. Scientometrics, 105,
kapsamında şu önerilerde bulunulabilir: 1809-1831. https://doi.org/10.1007/s11192-015-1645-z
✓ Son üç yılda ve daha az kullanıldığı belirlenen robots,
sensors, task analysis anahtar kelimelerine ilişkin yeni
çalışmalar tasarlanabilir.

134
 İnsan-kompüter Qarşiliqli Əlaqəsinin Psixoloji
Xüsusiyyətləri
Svetlana Əhmədova
İnformasiya texnologiyaları və proqramlaşdırma kafedrası
Sumqayıt Dövlət Universiteti
Sumqayıt,Azərbaycan
[email protected]

Abstract— Məruzə tezisində insan-kompüter qarşılıqlı əlaqəsinin Eyni zamanda, intellektin və ətraf aləmin modelinin
psixoloji xüsusiyyətləri araşdırılır. Müasir cəmiyyətin və insanın kompüterə daxil edilməsindən, yəni kompüterdə "virtual
inkişafını müəyyən edən qlobal üstünlüklər barədə məlumat
verilir. İnsan-kompüter qarşılıqlı əlaqəsinin əsas problemləri reallığın" formalaşmasından insanlar ətrafdakı virtuallığın
araşdırılır. Kompüter istifadəçilərinin orqanizminə mənfi təcəssümünə — avtomobillərdə, televizorlarda, kredit
təsirini aradan qaldırmaq üçün kompüterdə işləyərkən hansı kartlarında, hətta diyircəkli qələmlərdə və s.
qaydalara əməl etmələri haqqında məlumat verilir və qeyd
mikroprosessorlara keçirlər.
olunur ki, bütün çətinliklərə baxmayaraq müasir dünyada
kompüter vazkeçilməzdir.
II. MÜASİR CƏMİYYƏTIİN VƏ İNSANİN
Açar sözlər-insan, kompüter, istifadəçi , psixoloji xüsusiyyət, İNKİŞAFINI MÜƏYYƏN EDƏN QLOBAL
qarşılıqlı əlaqə ÜSTÜNLÜKLƏR

I. GİRİŞ Yeni informasiya dövrü müasir cəmiyyətin və insanın

inkişafını müəyyən edən qlobal üstünlükləri nümayiş etdirir:
Bəşəriyyət yeni inkişaf mərhələsinə, yeni informasiya Birincisi, bu, kompüterlər və insanlar arasında yüksək
cəmiyyətini, yeni informasiya etikasını və mədəniyyətini səviyyədə qarşılıqlı əlaqədir. Kompüter, demək olar ki,
təqdim edən mərhələyə qədəm qoymuşdur. Bu gün qlobal bir insanın bütün insani hisslərinə cavab verən şəxsi köməkçisi
şəbəkə ilə birləşən kompüterlər həm dünya informasiya kimi çıxış edir. Kompüterin müxtəlif texniki vasitələrlə
bankının, həm də mobil rabitə vasitəsinin funksiyalarını öz (telefon, radio, video və fotoqrafik vasitələr, diaqnostika
üzərinə götürürlər. İnformasiya inkişaf meyarları arasında , avadanlığı və s.) nisbətən problemsiz birləşdirilməsi
eləcə də onu əldə etmək, emal etmək və istifadə etmək kompüterdə eşitmə, görmə, toxunma, nitqin imkanlarını təmin
vasitələri olan kompüter və kompüter texnologiyaları arasında edir.
prioritet yer tutmuşdur, onun köməyi ilə insanın intellektual İkinci üstünlük kompüterlərin kitab və musiqi alətləri
imkanları və qabiliyyətləri gücləndirilir. Bu texnoloji də daxil olmaqla, bütün mövcud medianın funksiyalarını bir
dəyişikliklər təkcə insanın yaşama mühitini əhəmiyyətli anda öz üzərinə götürməsi ilə müəyyən edilir. Bu o deməkdir
dərəcədə dəyişdirmir, həm də insanın özünə, onun ki, insan ideyaları qəbul etmək və ötürmək istədiyi media
fəaliyyətinin bütün növlərinin təşkilinə, xammal, əmtəə və növlərini seçmək imkanı əldə edir. Ənənəvi mediada demək
xidmətlər bazarında insan cəmiyyətləri arasındakı olar ki, əlçatmaz olan mətnlər, şəkillər, səslər və filmlər kimi
münasibətlərə, təhsil sisteminə və nəhayət, qanunvericilik, konstruksiyalar və hadisələr insanın özü tərəfindən asanlıqla
məhkəmə və icra hakimiyyəti orqanları tərəfindən müəyyən idarə olunur.
edilmiş və inkişaf etdirilən norma və qanunlara təsir göstərir. Üçüncüsü, informasiya müxtəlif yollarla təqdim
Beləliklə, insan-kompüter qarşılıqlı əlaqəsinin xüsusiyyətləri oluna bildiyi üçün insana ideyalara və ya problemlərə müxtəlif
müasir cəmiyyətin ən aktual problemlərindən birinə çevrilir, yollarla baxmaq və müxtəlif mənbələrdən alınmış
insan-kompüter qarşılıqlı əlaqəsi problemi nisbətən yaxınlarda informasiyaları bir araya gətirmək imkanı verilir
meydana çıxıb və hələ də öyrənilməyə ehtiyac duyulur. Dördüncüsü, kompüter hesablamalarının mahiyyəti
şərtləri imitasiya etməklə ideyanın dinamik modelini

135
qurmaqdır. Kompüterin köməyi ilə sadəcə statistik sistemlərinin tərtibatçıları istifadəçilərin orqanizminin
hesablamalar deyil, ziddiyyətli nəzəriyyələri təsvir edən və qorunması vasitələrini daim təkmilləşdirirlər.
sınaqdan keçirən vizual modellər əldə etmək mümkündür. 2. Kompüterlərin istismarı zamanı nasazlıqların və
Beşinci üstünlük ondan ibarətdir ki, kompüterlər xətaların olması. Bu problem, "haker"lərin təşkilatların
düşünmə qabiliyyətinə malikdir. Kompüterin model qurma kompüter sistemlərini (o cümlədən müdafiə sistemlərini)
qabiliyyəti ona insan ağlı ilə rəqabət aparmağa imkan verir. sıradan çıxara bilən getdikcə daha çox "kompüter virusları"
Bu beş üstünlük güclü informasiya mühitini təşkil hazırlamalarıı ilə daha da şiddətlənir.
edir ki, onun mərkəzi aləti kompüter, mərkəzi fəaliyyət 3. Kompüter nəsillərinin sürətli dəyişməsi, daha da
subyekti isə insandır. Bu sistem çərçivəsində mahiyyətcə, təkmilləşmiş kompüter və proqramların daimi axtarışına
mövcudluq yolunda və məqsədlərinə görə əks olan iki ehtiyac yaradır.
instansiyanın - insan və kompüterin qarşılıqlı əlaqəsi həyata 4. Kompüterlərin insanın şəxsi həyatına tam nüfuz etməsi.
keçirilir. Lakin son bir neçə onilliyin təcrübəsinin göstərdiyi Istənilən “istifadəçi” gec-tez qlobal kompüter şəbəkələrinə
kimi, bu qarşılıqlı əlaqə təbii, qarşılıqlı zənginləşən və inkişaf qoşulur. Bu problemə daha sakit və hətta optimist baxmağa
edən xarakter almışdır . imkan verən odur ki, “istifadəçilər”in çoxu sadəcə olaraq heç
İnsan potensial olaraq keyfiyyətcə yeni bir informasiya kəsi maraqlandırmır (hər bir “istifadəçi” üçün təhlükəsizlik
mühitində yaşamağa və işləməyə, onun reallıqlarını adekvat orqanlarının işçisi təhkim etmək mümkün deyil). Ancaq bir
qəbul etməyə və üstəlik uğurla inkişaf etdirməyə hazırdır. insan cəmiyyətdə görkəmli yer tutmağa başlayan kimi, onun
Beləliklə, bu, yalnız bir insanın həyat şəraitini deyil, həm də haqqında kifayət qədər məlumatlı olan bir dosye toplamaq
özünü dəyişdirir. İlk növbədə nəzərə alınmalı olan ən ciddi asandır.
məqamlardan biri də ən son informasiya vasitələri və 5. İnsan təfəkkürünün kompüterləşdirilməsi, kompüterin
texnologiyalarının insanların, xüsusən də uşaq və məhdudiyyətləri insan-istifadəçinin məhdudiyyətlərinə gətirib
yeniyetmələrin sağlamlığına mümkün mənfi təsirləridir [1]. çıxarır [3].
İnsan-kompüter qarşılıqlı əlaqəsi çoxistiqamətli elmi İnsan və kompüterin qarşılıqlı əlaqəsi sosial bir hadisəyə
istiqamətlər (kompüter qrafikası, mühəndis psixologiyası, çevrilir və bir insanın texnika ilə sadə ünsiyyəti deyil, əsrlər
erqonomika, , informatika və s.) kontekstində inkişaf etmişdir. boyu toplanmış insan təcrübəsinin informasiya zənginliyi ilə
Kompüterlər dövrünün əvvəlində hesablama sistemləri ilə qarşılıqlı əlaqəsinin aktiv bir prosesidir. Kompüter yalnız
yalnız mütəxəssislər işləyirdi. "İstifadəçi" anlayışı nisbətən dünyaya açılan pəncərə və ya dünya kitabxanası deyil, həm də
gəncdir, o, fərdi kompüterlərin meydana gəlməsi ilə eyni aktiv tərəfdaş, rəqib, köməkçi, müəllim, hakim və vəkildir.
vaxtda ingilis dilindən gəldi. Tərcümədə “istifadəçi” kompüter İnsan fəaliyyətinin bütün sahələrində kompüter təkcə güclü
sistemi və ya proqram alətindən istifadə edən şəxs və ya texnoloji vasitə kimi deyil, həm də insanın özünü dərk etməsi
hüquqi şəxsdir [2]. Yəni istifadəçi öz məqsədlərinə çatmaq vasitəsi kimi də çıxış edir, insanı özünü daha yaxşı tanımağa,
üçün kompüterdən istifadə edən istənilən şəxsdir . qabiliyyətlərini daha dolğun kəşf etməyə və fərdiliyini
Bu günə qədər istifadəçilərin çevrəsi əhəmiyyətli dərəcədə göstərməyə stimullaşdıran yaradıcılıq vasitəsi kimi çıxış edir.
genişlənmişdir. İstifadəçi bilavasitə kompüterə məlumatları İş mühitində insanın kompüterlə qarşılıqlı əlaqəsinin
daxil edə, onların qiymətini dəyişə, kompüterə müəyyən psixoloji xüsusiyyətlərini müəyyənləşdirmək üçün
hesablamaların aparılmasını tapşıra bilər. Eyni zamanda o, istifadəçilərin yaşını müəyyən etmək lazımdır.
həqiqətən də kompüterlə dialoq aparır, onunla ünsiyyət qurur, Bir çox insanın yaşına görə kompüteri tam mənimsəməsi
çünki o, nəinki kompüterdən bu və ya digər məlumatı soruşur, çətindir, kimsə sadəcə ondan az istifadə edir və uzun müddət
həm də ona əks suallar verir. Bundan əlavə, müasir əməliyyat kompüterdə işləyərkən sağlamlığında müxtəlif vəziyyətlər
sistemləri müxtəlif terminallardan işləyən bir neçə istifadəçiyə (göz yaşarması, baş ağrısı və s.) yaranır ki, bu da onların
eyni vaxtda xidmət göstərə bilər. kompüterə daha çox vaxt sərf etməsinə mane olur, bir çox
istifadəçidə isə kompüter həyəcanı inkişaf edir. Kompüter
III. İNSAN-KOMPÜTER QARŞILIQLI ƏLAQƏSİNİN həyəcanı birbaşa istifadə zamanı və ya kompüterdən istifadə
ƏSAS PROBLEMLƏRİ VƏ HƏLL YOLLARI imkanını nəzərdən keçirərkən baş verən daha təsirli situasiya
həyəcanıdır. Kompüter həyəcanı əsasən kompüterdə işləmə
İnsanın kompüter sistemləri ilə qarşılıqlı əlaqəsinin təcrübəsi az olan 40 yaşdan yuxarı istifadəçilərdə baş verir. Bu
aşağıdakı əsas problemlərini ayırmaq olar: səhv bir şey etmək və kompüteri sıradan çıxartmaq
1. Kompüterin insan orqanizminə və sinir sisteminə zərərli qorxusundan ibarətdir. Bu da onun kompüteri bilməməsindən
təsiri ilə bağlı gigiyenik, tibbi problemlər. Bir tərəfdən, ya zəif öyrəndiyindən və ya kompüterdə işləmək üçün heç bir
kompüterlə uzun müddət işləməyin yolverilməzliyi haqqında təlimdə olmaması nəticəsində yaranır.
daima xəbərdarlıqlar eşidilir və s. Digər tərəfdən, kompüter Əsəb gərginliyi kompüterin istifadəçiyə mənfi təsirinin
başqa bir təzahürüdür. Çox vaxt hazırlıqsız istifadəçilər

136
kompüterdə işləyərkən müəyyən proqramlardan necə istifadə əyləncə məlumatlarının pulsuz qəbulu və yayılması üçün ən
edəcəyini bilmədikləri üçün əsəb gərginliyi yaşayırlar, geniş imkanları təmin edən ümumdünya kompüter şəbəkəsi
menyularda seçim edərkən çaşırlar, məlumatsızlıqlarından olan İnternet vasitəsilə həyata keçirilir ;
narahat olurlar və buna görə işini itirmək qorxusu yaşayırlar. 9) Kompüter hər kəs üçün çox faydalıdır,
Həmçinin istifadəçinin idrak qabiliyyətlərini çoxfunksiyalılığı və inkişaf etmiş proqramları sayəsində bir
qiymətləndirərkən onun təhsilini də nəzərə almaq lazımdır. çox ixtisasların, o cümlədən sosial mütəxəssislərin işini
İntellektual sahədə çalışan, yeni şeylər öyrənə bilən erudit asanlaşdırır;
insanlar üçün hər yaşda innovasiyalara yiyələnmək daha 10) Kompüter asudə vaxtınızı əyləncələrlə keçirməyə
asandır, ona görə də təhsil səviyyəsi kompüter sistemlərinin kömək edir, İnternetə çıxış açır-böyük bir məlumat bazası,
inkişafına böyük təsir göstərə bilər. məktəblilərə və tələbələrə dərslərdə kömək edir;
Kompüterdə işləyərkən kompüter savadlılığı və psixoloji 11) Buna baxmayaraq, kompüter təkcə faydalı deyil, bəzi
gərginlik problemindən əlavə, yaşından və kompüter ehtiyat tədbirlərinə əməl edilmədikdə istifadəçinin sağlamlığı
texnologiyası bilik səviyyəsindən asılı olmayaraq hər kəsin bundan əziyyət çəkə bilər.
qarşılaşdığı başqa bir çətinlik var – bu da sağlamlıq
problemləridir. IV. NƏTICƏ
Kompüter istifadəçilərinin orqanizminə mənfi təsiri
kompüterdə işləyərkən aşağıdakı bir sıra qaydalara əməl İndiki dövrdə kompüter insan fəaliyyətinin demək olar ki,
etməyənlərdə müşahidə olunur: bütün sahələrində iştirak edir. Yalnız riyazi hesablamalar
1) Bir kompüter istifadəçisinin ən azı 6 kv.m ofis sahəsi üçün icad edilmiş kompüter, indi hesablamalara aid olmayan
olmalıdır; bir çox işi yerinə yetirir. Kompüter bir çox ixtisasın
2) Kompüterlərin yerləşdiyi otaqda gündəlik nəm nümayəndələri tərəfindən istifadə olunur, onsuz bir çox
təmizləmə işləri aparılmalıdır; qurumu təsəvvür etmək mümkün deyil.
3) Kompüterlərin yerləşdiyi otaq hər iş saatından sonra İstənilən yaşda olan insanlar tərəfindən mənimsənilə bilər
havalandırılmalıdır; və universal kompüterləşdirmə ilə əlaqədar olaraq, uğurlu
4) Böyüklər üçün kompüterdə fasiləsiz işin müddəti iki təhsil almaq və işləmək üçün lazımdır.
saatdan çox olmamalıdır; İstifadəçilərin kompüterdə işləyərkən qarşılaşdıqları
5) Kompüterdə işləyərkən vaxtaşırı göz qırpmaq çətinliklərə baxmayaraq, ondan istifadə etməyə davam edirlər,
lazımdır. Diqqətimizi cəmlədiyimiz zaman göz qırpma tezliyi evdə istifadə üçün alırlar, uşaqlar üçün alırlar, çünki müasir
azalır, bu da gözlərdə quruluğa səbəb olur. dünyada kompüter vazkeçilməzdir.
6) "20/20" Qaydası. Hər 20 dəqiqədən bir 20 saniyə
ərzində monitordan uzaqlaşın, bu gözlərin qıcıqlanması
riskini azaldır;
7) Müasir dünyada daha sürətli və dəqiq işləmək üçün
ƏDƏBIYYAT
kompüter proqramlarını mənimsəmək lazımdır, müxtəlif
[1] Венда В.Ф. О законе взаимной адаптации человека и машины
firmalardakı kompüterləşdirmə bir çox ixtisas işçilərini bu və // Вестник АН СССР. 1985. № 1.
ya digər şəkildə kompüterdən öz peşəkar sahələrində istifadə [2] Пучкова И.М. Психологические аспекты подготовки
etməyə məcbur edir; пользователей компьютера // Ежегодник РПО. Материалы III съезда
психологов 25-28 июня 2003 г. Т.6 - Спб, 2003. - С. 478 - 482.
8) Kompüterdən istifadə etməklə məlumatların axtarışı [3] Моргунов Е.Б. Человеческие факторы в компьютерных
minlərlə digər kompüterlər arasında elmi, işgüzar, təhsil və системах. М.: Тривола, 1994. 272с.

137
 User Experience Evaluation in Metaverse for
People with Visual Impairment: Data Gathering
Muhammad Hariz Bin Hasnan Fariza Hanis Abdul Razak
College of Computing Informatics, And College of Computing Informatics, And
Mathematics Mathematics
Universiti Teknologi MARA (UiTM) Universiti Teknologi MARA (UiTM)
Shah Alam, Malaysia Shah Alam, Malaysia
[email protected] [email protected]

Abstract—To maintain research integrity, assure quality User Experience (UX) refers to the overall experience
assurance, and make well-informed decisions making, accurate that a person has when interacting with a product, service, or
data gathering is essential in this study. An evaluation of the system. It encompasses all aspects of the interaction,
user experience entails looking at how a user feels or responds including the user's emotions, attitudes, and perceptions of
to a system, product, service, or other piece of media. Global the product, as well as its usability, accessibility, and
users interest in the Metaverse product has lately surged, functionality.
making it a hot issue among tech companies right now. The
conditions for it is arguable whether or not a Metaverse that is Don Norman, a well-known author and researcher in the
usable by those with visual impairments should be developed. field of human-computer interaction and design, defines User
The method of this study employed to assess visually impaired Experience (UX) as "all aspects of a person's interaction with
user’s experiences interacting with the Qatar Airways a company, its services, and its products [2]." This term
Metaverse product QVerse was user experience evaluation. emphasizes the significance of considering not only how a
Avatar cabin workers will assist customers while they are on product is used, but also the bigger picture of its usage,
board the QVerse, which offers replicated in-flight amenities in which includes the company and its services. Overall,
a virtual setting. Therefore, the study's sample consists of five Norman's explanations of user experience (UX) place an
Malaysian Association for the Blind (MAB) members who fit emphasis on the holistic and multifaceted character of the
into blindness categories B1 and B2. In this investigation, data
user experience as well as the significance of taking both the
was obtained through interviews and observational research.
technical and emotional components of the interaction into
Through the identification of recurrent meaning patterns
throughout the data collection, thematic analysis is utilised to account.
develop themes in the data of this qualitative study. People who Recently, the Metaverse product has attracted various
are blind or visually impaired will find it easier to navigate the attention from people around the world. The term
Metaverse because to this study. This study is noteworthy in "Metaverse" is a combination of "meta," which means
light of SDG 10—which calls for reducing inequality between beyond, and "verse," referring to the universe. It is the next
those who are blind and those who are in the Metaverse. generation of the internet that allows users to create their
Improved user experiences (UX), accessibility features like
own avatar to interact with others in a 3D virtual world [3].
audio descriptions, and the need for blind user experiences in
the Metaverse, audible acoustic design, and intuitive navigation The Qatar Airways metaverse product QVerse was used
are all beneficial to people with visual impairments. This leads as a method to evaluate the user experience of visually
to the introduction of the two data collection techniques to the impaired people as they interacted with that metaverse
Blind User Experience Affinity Diagram. Designers can utilise product. The QVerse provides simulated inflight services in a
the findings as a reliable resource to construct effective apps virtual environment, and passengers will receive help from
that are accessible to the Metaverse. avatar cabin crew while onboard [4].
Keywords—Accessibility, Metaverse, User Experience, UX, However, there is limited study on people with visual
Visual Impaired. impairment experience in the Metaverse. This next
generation of internet needs to consider adding accessibility
I. INTRODUCTION features as an afterthought will be almost impossible.
Maintaining research integrity, ensuring quality
The purpose of this study was to evaluate the User
assurance, and making well-informed decisions making all
Experience (UX) in the QVerse Metaverse web, therefore
depend on accurate data gathering. Researchers need to
researchers gathered research sample participants from the
identify the sorts of data being collected, their sources, and
Malaysian Association for the Blind (MAB). Then, Methods
the techniques they are using. According to UX Matters, the
for data gathering include observations and interviews.
core of data gathering in user research consists two methods
which are interviewing and observing [1]. In order to obtain To sum up, this study's data gathering enables the
participant input, interviews are essential in any research researcher to comprehend how people with visual
projects. Nevertheless, people's answers during interviews impairments interact with the Metaverse. Furthermore, this
aren't always truthful or trustworthy. Because of this, study is important for achieving SDG 10, which is to lessen
observation is crucial for obtaining information since it the gaps between the Metaverse and people with visual
teaches researchers how to look and listen, it goes beyond impairments. Next, section will be discuss about
simply directing eyes in a specific direction, paying attention, methodology which the research strategy, data gathering
and taking notes. Therefore, this study are using interview processes, and the instruments used to gather the data in this
and observation methods to gather the information regarding study.
user experience in Metaverse for people with visual
impairment.

138
 II. METHODOLOGY interview questions relevant to the study; but, on occasion,
This section will discuss the research strategy, the data the researcher is free to ask questions impulsively to deepen
collection process, and the instruments used to collect the understanding of the research [5].
data. As there is currently no study on the experience of Another technique for gathering data is observation, in
Metaverse with visually impaired users, this study begins which a person who has received training observes the
with a preliminary study for data gathering. This approach participants of a phenomenon and collects details about its
will used as a sample to prevent a biased portrayal of the characteristics [6]. This type of data gatheirng, which
target participants, which is people with visual impairments. involves the researcher observing the participants' behaviour
Additionally, as already mentioned, QVerse was used as a while they engage with the Qverse, has been used in this
platform for user testing. On the other hands, interviews and study. The researcher separated the observation session into
observations are the main methods used in this study's data two separate days and conducted each observation one at a
gathering to find out about prospective user experiences and time. Three participants were observed by the researcher on
to give researchers a basic grasp of how visually impaired day one in a separate session, and two additional individuals
users engage with the Metaverse. joined the session the following day in separate sessions.
A. Qverse III. FINDINGS AND RESULTS
Fig 1 shows the QVerse interface, it is the first Qatar The Metaverse is a virtual environment that is becoming
Airways Metaverse product. In addition, it is a first increasingly popular and accessible to people worldwide.
MetaHuman cabin crew welcoming internet users to However, for individuals with visual impairments, this
experience a journey with Qatar Airways virtually. digital world can often be difficult to navigate, creating
According to the Qatar Airways Group Chief Executive, His barriers to full immersion and enjoyment. To understand the
Excellency Mr. Akbar Al Baker [4], “With physical challenges and opportunities for enhancing the user
boundaries beginning to be challenged by the Metaverse on experience for visually impaired individuals in the Metaverse.
an increasingly larger scale, it is exciting to embrace a The interview answers were analyzed thematically, and
technology that enables all travel enthusiasts to enjoy a themes were then produced based on the keywords.
unique immersive experience of our award-winning products
and services.” .

Fig. 1 The QVerse. (Source: QVerse Official Website: Fig. 2 Affinity Diagram of Blind User Experience (Source: The Author).
https://www.qatarairways.com/html/redirect/QR/qverse/B777).

B. Data Gathering Fig. 2 above shows the Affinity Diagram of Blind User
Every field of study, including IT, the humanities, Experience. The primary focus of each keyword and the key
business, and others, uses data gathering as a component of data elements that each theme acquired are intended to be
research. The emphasis on ensuring accurate and true captured during this phase. The Researcher developed a
gathering does not change regardless of how approaches vary broad narrative using all the information at hand. In order to
by discipline. Every effort should be made to collect high- ascertain whether any themes and sub-themes, each keyword
quality data so that extensive data analysis may be done on it and the narratives that corresponded to it were carefully
and conclusions can be drawn about the issues that have been examined.
raised. After many reorganizations of the keywords and themes,
Five people from Malaysian Associations of the Blind the themes were reviewed again by selecting the theme that
(MAB) were chosen as the sample size for this study; four of was most closely related to the problem. The new themes
them are completely blind and one has a medium level of "Simulation Experience," "User Friendly," "Immersive Feel,"
vision impairment. "Independent User Controller," "Types of Accessibility
Issues," and "Accessibility Improvement" are defined, and
The interview questions for this study are divided into one of the themes was changed as a result.
two sections to start the data collection process. Section A
contains demographic data, and Section B contains open-
ended inquiries on the user experience. The interview session
is not fully dependent on the structure of the questions
because the researchers have outlined a number of important

139
 IV. CONCLUSIONS Razak, for her invaluable guidance during my entire research
Overall, this study gave a summary of information about journey. Afterwards, I would want to express my gratitude to
the blind user experience in the Metaverse through two the International Eastern Conference on Human Computer
methods of data gathering which is interview and Interaction committee for providing this platform for the
observation. In addition, this study illuminates the Metaverse publication of my research articles. I hope this study paper's
as it is experienced by those who are visually impaired. Due readers will gain fresh insights and find it helpful for their
to the diversity of internet users, including those with visual own research. I appreciate your support.
impairment, the existing Metaverse web still needs to be REFERENCES
made more accessible.
[1] Ross, J. (2018) The Role of Observation in User Research, UX Matter.
In conclusion, the researcher gaining an understanding of Available at: https://www.uxmatters.com/mt/archives/2018/09/the-
how people with visual impairment interact with the role-of-observation-in-user-research.php.
Metaverse through the use of both data gathering methods. [2] Norman, D. A. (2022). The Definition of User Experience (UX).
Retrieved from https://www.nngroup.com/articles/definition-
This study offers the Affinity Diagram of Blind User user experience/
Experience for Metaverse designer to follow the visually [3] Haihan, D. & Li, Jiaye & Fan, Sizheng & Lin, Zhonghao & Wu, Xiao
impaired user needs for future Metaverse development. Then, & Cai, Wei. (2021). Metaverse for Social Good: A University
the study's findings could guide the design and development Campus Prototype. 153-161. 10.1145/3474085.3479238.
of next Metaverse websites, making the online environment [4] How Qatar Airways is transforming air travel with the QVerse. (2023,
more open and welcoming for all users. June 6). Fast Company.
https://www.fastcompany.com/90905905/how qatar-airways-is-
ACKNOWLEDGMENT transforming-air-travel-with-the-qverse.
[5] Nahdatul, A. B. A (2017). Islamic Spiritual User Experience (iSUX)
A special thank you to all of the research participants, Model: A Case Study of Muslim Older Adults Using Al-Quran
especially the staff members of the Malaysian Associations Mobile Application. (Doctoral Dissertation). Universiti Teknologi
of the Blind (MAB), who made it possible for the researcher MARA (UiTM).
to conduct observations and interviews in order to obtain [6] Atkinson, P., Delamont, S. & Hammersley, M. (1988). Qualitative
data. I am incredibly grateful to my Master's Degree research traditions: A British response to Jacob.Review of
Supervisor, Associate Professor Dr. Fariza Hanis Abdul Educational Research 58(2); 231–250.

140
Etkili Arayüz Tasarımında Zamanın İzinde: 1986'dan
Günümüze Kullanılabilirlik Testleri
Asiye Bilgili1, Sevinç Gülseçen2
#
Yönetim Bilişim Sistemleri Bölümü, Haliç Üniversitesi, Istanbul, Türkiye
[email protected]

*
Enformatik Anabilim Dalı, Istanbul Üniversitesi, Istanbul, Türkiye
[email protected]

arayüzlerinden uçak kokpitlerine kadar çok çeşitli alanda

Özet— Bu çalışmanın amacı, Web of Science veritabanında yer kullanılabilirlik testlerinden faydalanılmaktadır [6].
alan kullanılabilirlik testleri alanında yapılan çalışmaları Yapısı itibariyle güncelliğini hala koruyan kullanılabilirlik
inceleyerek mevcut durumun saptanmasıdır. Bu doğrultuda 1986- testleri alanında mevcut durumun özetinin bilinmesi, alandaki
2023 yılları arasında Web of Science veri tabanında özet, anahtar
kelime ve başlık alanında “kullanılabilirlik testleri” ifadeleri geçen
eğilimlerin tespit edilmesi önemlidir. Bu amaçla mevcut
çalışmalar bibliyometrik analiz yöntemiyle incelenmiştir. Yayın durumun saptanması, yayın eğilimlerinin ve yazar ilişkilerinin
dağılımı, yayın trendi, ülkelerin yayın sayısı, kavram birlikteliği ortaya konulması amacıyla bibliyometrik analiz yapılacaktır.
ve ortak atıf ağı başlıkları üzerinden analiz yapılmıştır.
II. YÖNTEM
I. GİRİŞ Bibliyometrik analiz, büyük hacimli bilimsel verileri
İnsan Bilgisayar Etkileşimi (İBE), etkileşimli teknolojilerin araştırmak ve analiz etmek için öne çıkan bir yöntemdir. Bu
tasarımı, geliştirilmesi, değerlendirilmesi ve uygulanmasını yöntem sayesinde yazarlar, ülkeler, konular ve kurumlar gibi
konu edinen disiplinlerarası bir çalışma alanıdır [1]. İBE çeşitli bileşenler arasındaki sosyal ve yapısal ilişkiler analiz
alanında yapılan çalışmaların temeldeki amacı, kullanıcıya edilebilmektedir ve böylece geçmişten günümüze alanda
daha kolay kullanım imkanı sunan bilişim sistemleri yaşanan değişimler ve ilişki ağları ortaya konulmaktadır [7].
sağlamaktır. İBE için kullanılabilirlik konusu oldukça Çalışma kapsamında öncelikle Web of Science veri tabanı
önemlidir. Uluslararası Standartlar Enstitüsü (International üzerinde “usability testing” filtrelemesi yapılmıştır. Bu ilk
Standards Organization - ISO), kullanılabilirlik kavramını filtreleme sonucunda 3440 çalışmaya ulaşılmıştır. Çalışmaların
“…belirli bir kullanıcı grubunun, belirli görevleri, belirli bir alanları incelenmiştir ve yalnızca Bilgisayar Bilimleri,
bağlamda etkili, verimli ve memnuniyet ile yerine getirmesi” Mühendislik ve teknolojiyle ilişkili olan alanlar
şeklinde tanımlamıştır [2]. Tanım, kullanıcıların hedeflerine sınırlandırılmıştır. Bu sınırlandırma neticesinde 1986-2023
(etkililik), hedeflere ulaşma hızına (verimlilik) ve belirli yılları arasında yapılan yayınları kapsayan 2085 çalışma
bağlamda kullanıcıların memnuniyetine odaklanmaktadır. VOSviewer kullanılarak analiz edilmiştir.
Tanıma göre, bir bağlamda kullanılabilir olarak kabul edilen bir
sistemin başka bir bağlamda kullanılabilir olmaması III. BULGULAR
mümkündür [3]. Kullanıcının ilgili sistemi etkin, verimli ve A. Yayın Dağılımı
memnun kalarak kullanıp kullanmadığını ortaya koyan
araştırma yöntemlerine “kullanılabilirlik testleri” denmektedir. Kullanılabilirlik testleri literatüründe yapılan çalışmalar
1980’li yıllarda kullanılabilirlik mühendisliğinin (usability incelendiğinde alanla ilgili yayınların ağırlıklı olarak bildiri
engineering) ortaya çıkmasıyla birlikte kullanılabilirlik testi, (%55) türünde yapıldığı görülmüştür ve sırasıyla makale (%43)
ürünleri ve sistemleri değerlendirmek için temel bir yöntem ve kitap bölümü (%2) takip etmektedir.
olarak kabul görmeye başlamıştır. Kullanılabilirlik testi, B. Yayın Trendi
kullanıcıların bir ürünle ya da sistemle kontrollü koşullar
altında sistematik olarak etkileşime girdiği, uygulanan bir Alandaki yayın trendine bakıldığında ilk yayının 1986
senaryoda hedefe yönelik görevi yerine getirdiği ve bazı yılında yapıldığı görülmektedir. Alanın yayın trendi
davranışsal verilerin toplandığı tekniklerden biri olarak başlangıcından itibaren dalgalanma gösterse de son yıllarda
tanımlanmaktadır [4]. Kullanılabilirlik testleri sayesinde yayın sayısında ciddi düşüş yaşandığı gözlemlenmiştir.
sistemi kullanacak olan kişilerin karşılaşabileceği potansiyel Kullanılabilirlik testleri alanında yapılan maksimum yayın
problemlerin önüne geçilebilmektedir. Böylelikle kullanıcı sayısı 2019 yılında 178 olarak gerçekleşmiştir. Yıllara göre
memnuniyetinin artması, daha iyi ürünler geliştirilmesi ve ilgili yayın trendi Şekil 1’de gösterilmiştir.
sistemin kullanıcı merkezli olması sağlanmaktadır [5]. Tıbbi
cihazların kullanımından oyun tasarımına, web sitelerinin

141
Şekil 1 Yıllara Göre Yayın Sayısı

Yayın sayısında düşüş yaşanmasında bu alandaki

çalışmaların uygulama gerektirmesi sebebiyle COVID-
19’un etkisinin olduğu ve çalışmada kullanılan arama
kriterinde yalnızca “usability testing” belirtilmesinin Şekil 3 Kavram Birlikteliği Ağı
alanda öne çıkan yeni kavramların gözden kaçırılmasına
neden olduğu düşünülmektedir. Kavram birlikteliği analizine göre en sık kullanılan 5
anahtar kelime usability testing (637), usability (300), user
C. Ülkelerin Yayın Sayısı experience (99), user centered design (78) ve human computer
Ülkelere göre yapılan yayın sayıları 10’dan fazla yayını olan interaction (47) olmuştur.
ülkeler seçilerek incelenmiştir ve Şekil 2’de gösterilmiştir.
E. Ortak Atıf Analizi
Alandaki temel kaynakların tespit edilmesi için kullanılan
ortak atıf analizinde bir yazarın aldığı minimum atıf sayısı 50
olarak seçilmiştir. Oluşan ağ analizi Şekil 4’te verilmiştir.

Şekil 2 Ülkelerin Yayın Sayısı

En çok yayın yapan ülkeler sırasıyla ABD (677), Endonezya

(129), Kanada (106) ve İngiltere (105) olmuştur. Türkiye ise 18
yayınla 30. sırada yer almıştır.
D. Kavram Birlikteliği Ağı Analizi
Alanın genel yapısını tanımlamak için araştırmacılara,
çalışmaların içeriği hakkında bilgi veren bu analizde, toplam
4604 anahtar sözcük içerisinden anlamlı sonuç elde etmek
amacıyla en az 20 kere birlikte görülme koşulu seçilmiştir. Bu
koşulu sağlayan 24 terim içerisinden en sık görülen kavramlar Şekil 4 Ortak Atıf Ağı
Şekil 3’te gösterilmiştir.
Analiz sonucunda 23 yazardan 4 küme oluşmuştur, en fazla
ortak atıf alan yazarlar sırasıyla Nielsen, J., Unesco, Lewis, Jr.
ve Hertzum, M. olmuştur.
F. Ülkelerin Ortak Yazarlığı
Ülkeler arasındaki ağı temsil eden uluslararası ortak
yazarlıkta ülkeler bir daire ile gösterilmektedir. Ülkeler
arasındaki her bağlantı gösterilen ülkeler arasında ortak
yazarlık olduğunu ifade etmektedir. Ülkeler arası ortak yazarlık

142
ağ haritası oluşturmak için bir ülke tarafından en az 25 eser KAYNAKÇA
yayınlanması ve en az 50 atıf alması kriteri kapsamında [1] B. Shneiderman, "Human Factors of Interactive Software," in
üzerinden analiz yapılmıştır. Yapılan analiz neticesinde elde Designing the User Interface: Strategies for Effective Human
edilen ülkelerin ortak yazarlık ağ haritası Şekil 5’te Computer Interaction, Addison-Wesley, 1998.
gösterilmiştir. [2] International Organization for Standardization, ISO 9241-11: 1998:
Ergonomic Requirements for Office Work with Visual Display
Terminals(VDTs)-Part-11: Guidance on Usability, 1998.
[3] R. Kainda, I. Flêchais and A. Roscoe, “Security and Usability: Analysis
and Evaluation,” in 2010 International Conference on Availability,
Reliability and Security, Krakow, 2010.
[4] A. M. Wichansky, “Usability testing in 2000 and beyond,”
Ergonomics, pp. 998-1006, 2000.
[5] A. Afriansyah , W. Walhidayat , R. Novendra, L. Harefa and S. Sutejo
, “Usability Testing on Tracer Study System Using The Heuristic
Evaluation Method,” Journal of Applied Engineering and
Technological Science, no. 3, pp. 178-184, 2022.
[6] K. Boyd, R. Bond, A. Ryan, D. Goode and M. Mulvenna, “Digital
reminiscence app co-created by people living with dementia and carers:
Usability and eye gaze analysis,” Health Expectations, 2021.
[7] N. Donthu, S. Kumar, N. Pandey and W. M. Lim, “Research
Constituents, Intellectual Structure, and Collaboration Patterns in
Journal of International Marketing: An Analytical Retrospective,”
Journal of International Marketing, pp. 1-25, 2021.
Şekil 5 Ülkelerin Ortak Yazarlığı

Ülkelerin ortak yazarlık ilişkisine bakıldığında sırasıyla

ABD, Kanada, İngiltere, Endonezya ve Çin en çok ortak yayın
yapan ülkeler olarak karşımıza çıkmaktadır.

IV. SONUÇ
Literatürdeki ilk yayının 1986 yılında olduğu tespit
edilmiştir. Ancak bu tarihten itibaren yıllara göre doğrusal bir
artış yaşanmamış olup, 2019 yılından sonra düşüş yaşandığı
görülmektedir. Buradaki düşüşün çalışma kapsamında
“usability testing” anahtar kelimesi üzerinden tarama
yapılmasından kaynaklı olduğu düşünülmektedir. Daha
kapsamlı bir analiz yapmak için “usability testing” dışında
alanda son zamanlarda öne çıkan farklı kavramların da dahil
edilmesiyle alanın özetinin daha net çıkarılacağı
düşünülmektedir.

Ülkelerin yayın yapma eğilimi bakıldığında ABD’nin ciddi

bir farkla birinci olduğu görülmüştür. Türkiye adresli olarak
yapılan yayın sayısı 18’dir. Hem globalde hem de Türkiye
özelinde bakıldığında günlük yaşamda etkileşimde olduğumuz
sistemlerle doğrudan ilişkili olan bu alan hala gelişmeye açıktır.
Bu doğrultuda literatürde öncü olan ülkeler ve yazarlar
tarafından kurulacak topluluklar sayesinde alandaki ağın
genişletilmesi ve yayın faaliyetlerini teşvik etmek için
çalışmalar yapılması gerekmektedir.

143
 Review of Social Collaborative Tool used in The
Open Society University Network
Assoc.Prof.Dr. Eylem Kılıç1,
#Department of Computer Education and Instructional Technology, Van Yuzuncu Yil University, Zeve Campus, Turkey
[email protected],

*Bard College Berlin, Germany

2
[email protected]

Abstract— Perusall is an interactive digital platform that turns what

The purpose of this paper is to conduct a review of social traditionally is an individual task, reading into a collective
collaborative tools employed within the Open Society University task.Perusall allows teachers and students to move the transfer
Network (OSUN). OSUN utilizes Brightspace as its Learning of information out of classroom. As a part of classroom,
Management System (LMS), incorporating various integrated students can access readings, make comments, pose questions
tools. Among these tools is Perusall, an interactive digital
platformdesigned to transform the typically individual activity of
and interacted with each other. The students engage with the
reading into a collaborative endeavor. In this context, the content provided by the teachers. This feature enhances
researcher develops learning materials intended for the OSUN analytical skills of students. The students study on digital text
LMS. This study aims to review the utilization of the learning together and they interacting with each other synchronously or
materials provided by this tool, catering to both students and a synchronously. Perusall is more effective way of reading than
instructors within the Open Society University Network. the traditional set up. It allows also examining the specific
challenges the students face with while reading. It is fun and
I. INTRODUCTION interactive way of reading.

The Open Society University Network (OSUN) is “a global III. LEARNING MATERIAL FOR INSTRUCTORS
partnership of educational institutions that integrates learning A main screen allowing entering instructional materials
and the advancement of knowledge--in the social sciences, the was prepared (Fig.1)
humanities, the sciences and the arts, on undergraduate and
graduate levels--across geographic and demographic
boundaries, promotes civic engagement on behalf of open
societies, and expands access to higher education for
underserved communities.” The OSUN uses Bright space as a
learning management system (LMS) with integrated different
tools. One of the tools of the LMS is Perusall. Perusall is an
interactive digital platform that turns what traditionally is an
individual task, reading into a collective task. Perusall allows
teachers and students to move the transfer of information out Fig. 1 Main screen for perusall
of classroom. As a part of classroom, students can access
readings, make comments, pose questions and interacted with There is an overview of perusall screen at first and
each other. The students engage with the content provided by themsome sub category
the teachers. This feature enhances analytical skills of students.
The students study on digital text together and they interacting
with each other synchronously or a synchronously. Perusall is
more effective way of reading than the traditional set up. This
study review use of this tool both for students and instructors
in opensociety university network

II. REVIEW OF PERUSALL FOR INSTRUCTORS AND STUDENTS

Fig. 2. Overview of Perusall

Sub category has been determined so that instructors can

easily used the program. In addition, they can easily find

144
information they need and do not need to revive the Fig. 7 Overview of Perusall
entirelearning materials (Fig. 3) Sub category has been determined so that instructors
caneasily used the program. In addition, they can easily find
information they need and do not need to revive the entire
learning materials (Fig. 8)

Fig 3. Sub category for perusall

Each Sub-section starts with a video showing related Fig. 8 Sub category for perusall
part(Fig. 4)
Each Sub-section starts with a video showing related
part(Fig. 9)

Fig. 4 A video explaining the interface of perusal

Fig. 9 A video explaining LMS account settings
After each video some question were asked and feedback
isgiven immediately( Fig. 5) After each video some question were asked and feedback
isgiven immediately( Fig. 10)

Fig. 5 Question screen

IV. LEARNING MATERIAL FOR STUDENTS Fig. 10 Question screen

A main screen allowing entering instructional materials
wasprepared (Fig.6)
V. CONCLUSION

The OSUN Learning Management System (LMS) is

utilized by numerous universities worldwide. Notably, several
well- known universities are part of this network. However,
the primary focus is on delivering courses to underserved
communities in order to enhance their access to higher
education. In this context, it is crucial to provide these
communities with appropriate learning materials, enabling
them to seamlessly engage with the LMS and effectively
Fig. 6 Main screen for perusall
accomplish their tasks for the enrolled courses.
There is an overview of perusall screen at first and
themsome sub category To accomplish this objective, the researcher has developed
two types of learning materials: one for instructors and
another for students. The content within these materials is
organized into subcategories, facilitating easy access to the
required information for both user groups. Furthermore, each
section is elucidated through a video presentation,
accompanied by follow-up questions. Immediate feedback is
provided right after the completion of these questions,
enhancing the learning experience.

145
 Yeni Nesil Sorulara Yönelik Etkileşimli 3D Fen
Modelleme Materyalin Kullanılabilirliği
Zeynel YILDOĞAN, Doç.Dr. Özlem BAYDAŞ ÖNLÜ& Dr. Mehmet HASANÇEBI
Giresun Üniversitesi / TÜRKİYE

[email protected], [email protected], [email protected]

Özet — Bu çalışma, fen öğretiminde yeni nesil soru türlerine Fen öğretiminde yeni nesil soruların tasarlanması,
yönelik CosSpaces destekli materyallerin geliştirilmesini ve öğrencilerin öğrenme deneyimlerini zenginleştirmek ve çeşitli
kullanılabilirliğini belirlemeyi amaçlamaktadır. Katılımcılar, beceriler geliştirmelerine destek olma amacı taşımaktadır. Bu
materyalleri etkileşimli bir şekilde kullanarak farklı bölümlerde tür soruların sanal ortamlarda kullanılması, öğrencilere deney
zaman geçirmiş ve materyallerin etkili olduğunu göstermiştir.
yapma, hatalarından öğrenme ve tekrar deneyerek ilerleme gibi
Çalışmada betimsel analiz yöntemi tercih edilmiştir. Öğrencilerin
materyallerle etkileşimi, yönlendirmelerin ve görsel öğelerin fırsatlar sunmaktadır. Bu yolla öğrenme deneyimleri daha
kullanımıyla sağlanmış, bu da öğrenme deneyimlerini eğlenceli, etkileşimli ve ilgi çekici hale getirilirken, aynı
zenginleştirmiştir. Özellikle, kamyon bölümünde lastik izlerini zamanda öğrencilerin farklı yeteneklerini geliştirmelerine
ölçme gibi etkinliklerin öğrencilerin ilgisini çektiği ve katkısağlanmaktadır. Problem çözme, mantıksal düşünme ve
derinlemesine öğrenmeyi teşvik ettiği görülmüştür. Sonuçlar, analitik beceriler gibi kritik yeteneklerin gelişimini teşvik
CoSpaces destekli fen materyallerinin öğrenci odaklı öğrenme etmaktadir. Görsel soruların sanal gerçeklik ortamlarında
deneyimlerini artırma ve farklı beceriler geliştirmeye yardımcı tasarlanması ise öğrencilerin görsel algı becerilerinin
olabileceğini vurgulamaktadır. Bu çalışma, eğitimde sanal güçlenmesine katkı sağlamaktadır (Kayabaşı, 2002). Bu
ortamların etkileşimli kullanımının önemini ve potansiyelini
bağlamda, yeni nesil soruların sanal ortamlarda kullanımı,
göstermektedir.
I. GIRIŞ öğrencilere çok yönlü ve etkileyici bir öğrenme deneyimi
sunmanın yanı sıra becerilerini geliştirme ve daha
Eğitimde teknoloji kullanımı her geçen gün daha da önem derinlemesine öğrenme fırsatları sağlama potansiyelini
kazanmakta ve öğretim materyallerinin etkili bir şekilde barındırmaktadır
kullanılması, öğrencilerin öğrenme deneyimini geliştirme III. YÖNTEM
açısından kritik bir rol oynamaktadır. Fen öğretiminde
özellikle, öğrencilerin konuları anlamalarını ve etkili bir şekilde CosSpaces ortamında hazırlanmış fen materyallerinin
katılım sağlamalarını destekleyen yenilikçi materyallerin kulanılabilirliği ve öğrenme deneyimlerini incelemek amacıyla
geliştirilmesi büyük önem taşımaktadır. Bu ihtiyaca cevap betimsel desen seçilmiştir.
olarak, etkileşimli ve sanal gerçeklik teknolojileri gibi araçlar, IV. ÖRNEKLEM
öğrencilerin fen konularını daha etkili bir şekilde öğrenmelerine Ulaşılabilir örnekleme yöntemiyle Giresun ilinde bir
olanak tanıyabilecek potansiyele sahiptir. ortaokulda sekiz kişiden oluşan 8. sınıf fen bilimleri dersi alan
Eğitimde sanal ortamlarda etkileşimin önemi giderek öğrenciler araştırmanın örneklemini oluşturmaktadır.
artmaktadır. CoSpaces gibi etkileşimli ve sanal gerçeklik Örneklem grubu seçimi uzman kişilerin görüşlerine
platformları, öğrencilerin kendi sanal gerçeklik dünyalarını başvurularak yapılmıştır. Ortaokul 8. sınıf öğrencileri, yeni
oluşturmalarına ve paylaşmalarına olanak tanımaktadır. nesil soruların çeşitliliğine maruz kalmış olmaları nedeniyle
Öğrenciler aynı zamanda CoSpaces'i kullanarak kendi yaratıcı materyalleri daha etkili bir şekilde kullanabilecekleri
fikirlerini hayata geçirebilmekte ve özgün deneyler düşünülmüştür.
yapabilmektedirler. Eğitimciler, CoSpaces'i sınıf içinde V. VERI TOPLAMA SÜRECI VE VERI ANALIZI
kullanarak etkileşimi artırabilmekte ve öğrenciler arasındaki Uzman görüşleri doğrultusunda, Fen öğretiminde yeni nesil
işbirliğini teşvik edebilmektedir. Öğrencilerin öğretmenleriyle sorulara odaklanan materyal geliştirilirken, katı basınç konusu
etkileşim halinde olmalarını ve geri bildirim almalarını seçilmiş ve MEB tarafından yayımlanan sorular kullanılarak
kolaylaştırabilmektedir. Sanal gerçeklik teknolojisi, eğitimde materyal özenle hazırlanmıştır. Bu süreçte, öğrencilerden
etkileşimi artırarak öğrencilerin öğrenme deneyimlerini daha uygulama sırasında ekran kayıtları alınmıştır ve materyalin
etkili ve eğlenceli hale getiren önemli bir araç olarak ön plana etkinliği değerlendirilmiştir. Ekran kayıtları ortalama 18 dakika
çıkmaktadır. Bu doğrultuda, teknoloji destekli sanal ortamların ile 24 dakika arasında sürmüştür.
kullanımıyla eğitimde daha etkili, motive edici ve öğrenci
odaklı bir öğrenme deneyimi sağlamayı hedeflemektedir. Cosspaces destekli Fen öğretiminde yeni nesil sorulara
II. GEREKÇE VE ÖNEM yönelik geliştirilen materyali değerlendirmek amacıyla bir

146
rubrik geliştirilmiştir. Bu rubrik, uzman görüşlerine dayanarak Dördüncü Kırmızı Buton yönlendirmesi ile ne
3,25 Sn
-
materyalin özelliklerini ve kalitesini sistematik bir şekilde kadar zaman harcadı?
Dördüncü Kırmızı Buton sorusuna kaçıncı -
değerlendirmek için kullanılan bir araçtır. Rubrik, materyalin deneme de doğru cevap verdi?
2.1
içeriği, kullanılabilirliği, etkileşimi, öğrenci katılımını teşvik Beşinci yönlenlendirme de ne kadar zaman
2,25 Sn
etme ve öğrenme hedeflerine uygunluğu gibi kriterleri harcadı?
içermektedir. Rubric üç bölüm ve 48 maddeden oluşmaktadır.
Elde verilen veriler betimsel analiz yöntemiyle Katılımcıların Kamyon Bölümünde geçirdikleri
yorumlanmıştır. ortalama zaman 4 Dakika 7 Saniye’dir. Katılımcılar için
VI. BULGULAR kamyonların kumda bıraktığı lastik izleri verilere göre ilgi
çekici görünmektedir. Kamyon bölümünde, öğrencilere lastik
Katılımcıların Çiftlik Kafe Bölümünde geçirdikleri ortalama izlerinin derinliğini ve genişliğini ölçmelerini sağlayarak,
zaman 4 dakika 48 saniyedir. Katılımcıların yaşamlarına yakın topraktaki izlerin farklı özelliklerini değerlendirmelerini
yiyecekler olduğu için, pizza, pasta ve tost butonları arasında en
sağlayan bir aktivite sunulabilir (Bknz Tablo 3).
çok pizza butonunun tercih edildiği görülmektedir. Bu durum,
TABLO III
gelecekteki çalışmalarda katılımcıların yaşamlarına daha yakın Kamyon Bölümü
yiyeceklerin seçilerek etkileşimin artırılabileceğini
düşündürebilir (Bknz Tablo 1). Kod Frekans Tekrar
TABLO I Altıncı yönlendirme kitabı kullanıldı mı? 8 -
Çiftlik Kafe Bölümü Altıncı yönlenlendirme de ne kadar zaman -
3,63 Sn
harcadı?
Kod Frekans Tekrar
Yedinci yönlendirme kitabı kullanıldı mı? 8 -
Birinci yönlendirme kitabı kullanıldı mı? 8 1
Yedinci yönlenlendirme de ne kadar zaman -
Birinci yönlenlendirme de ne kadar zaman 2 Sn 4,38 Sn
3,8 Sn harcadı?
harcandı?
Sekizinci yönlendirme kitabı kullanıldı mı? 10 2
İkinci yönlendirme kitabı kullanıldı mı? 12 4
İkinci yönlenlendirmede ne kadar zaman 2,1 Sn Sekizinci yönlenlendirme de ne kadar zaman 2,2 Sn
5,1 Sn
harcandı?
5,25 Sn harcadı?
Pizza butonu kaç kez kullanıldı? 34 - Tuğla Kamyonu butonu kullanıldı mı? 8 -
Pasta butonu kaç kez kullanıldı? 27 - Tuğla Kamyonu lastik izini yakından gördü mü? 8 -
Tost butonu kaç kez kullanıldı? 25 - Tuğla Kamyonu Yönlenlendirmesinde ne kadar -
4,88 Sn
"Tabağı Gör" butonu kaç kez kullanıldı? 36 - zaman harcadı?
"Reset" butonu kaç kez kullanıldı? 26 - Saman Kamyonu butonu kullanıldı mı? 8 -
Depo bölümünde kutular kaç kez kullanıldı? 48 - Saman Kamyonu lastik izini yakından gördü mü? 6 -
Kaç adet doğru cevap verildi? 32 - Saman Kamyonu Yönlenlendirmesinde ne kadar -
Kaç adet yanlış cevap verildi? 4,5 Sn
18 - zaman harcadı?
Boş Kamyon butonu kullanıldı mı ? 8 -
Katılımcıların Ayak İzi Evi Bölümünde geçirdikleri Boş Kamyon lastik izini yakından gördü mü? 5 -
ortalama zaman 5 Dakika 23 Saniye’dir. Bu bölümde Boş Kamyon Yönlenlendirmesinde ne kadar -
5,63 Sn
yönlendirmelerin yeterli olduğu görülmektedir, ancak sonraki zaman harcadı?
çalışmalarda yönlendirmelerin daha kısa ve öz bir şekilde Üç kamyona ait lastik izlerini kumda bıraktıgı
7
2
yapılması düşünülebilir (Bknz Tablo 2). izlerle yakından gördü mü?
TABLO II VII. TARTIŞMA SONUÇ
Ayak İzi Evi Bölümü
Veri analizi sonuçlarına göre, CoSpaces destekli fen
Kod Frekans Tekrar materyallerinin kullanılabilirliği ve öğrenme deneyimleri
Üçüncü yönlendirme kitabı kullanıldı mı? 9 1 üzerindeki etkisi değerlendirilmiştir. Öğrencilerin materyallerle
Üçüncü yönlendirme de ne kadar zaman 2 Sn
harcadı?
5,5 Sn etkileşimi, yönlendirmelerin ve görsel öğelerin kullanımıyla
Ayak izi evi kapısını açtı mı? 8 - sağlanmış ve bu durum öğrencilerin öğrenme deneyimlerini
Dördüncü yönlenlendirme de ne kadar zaman - zenginleştirmiştir. Ayrıca, katılımcıların farklı bölümlerde
2,75 Sn
harcadı? materyallerle nasıl etkileşimde bulundukları ve ne kadar süre
Birinci Kırmızı Buton kaç kez kullanıldı? 9 1 harcadıkları da analiz edilmiştir. Bu çalışma, eğitimde sanal
Birinci Kırmızı Buton yönlendirmesi ile ne 3Sn
4 Sn ortamların etkileşimli kullanımının önemini ve öğrenci odaklı
kadar zaman harcadı?
Birinci Kırmızı Buton sorusuna kaçıncı deneme - öğrenme deneyimlerini kısa sürede nasıl zenginleştirebileceğini
2 göstermektedir.
de doğru cevap verdi?
İkinci Kırmızı Buton kaç kez kullanıldı? 8 - KAYNAKÇA
İkinci Kırmızı Buton yönlendirmesi ile ne kadar -
zaman harcadı?
4,63 Sn [1] Bakırcı & Gök (2019). Augmented reality in science education: a review
of research. Journal of Education and Practice, 10(27), 1-9.
İkinci Kırmızı Buton sorusuna kaçıncı deneme -
1.5 [2] Özkan, Korkmazgil, & Gürkan, (2021). The Effectiveness of Virtual
de doğru cevap verdi?
Üçüncü Kırmızı Buton kaç kez kullanıldı? 6 - Reality Simulations in Science Education: A Meta-Analysis Study.
Journal of Educational Sciences Research, 11(1), 150-168.
Üçüncü Kırmızı Buton yönlendirmesi ile ne -
26 Sn [3] KAYABAŞI, Y. (2002). Sanal gerçeklik ve eğitim amaçli
kadar zaman harcadı?
Üçüncü Kırmızı Buton sorusuna kaçıncı deneme - kullanilmasi. Turkish Online, 151.
1.8
de doğru cevap verdi?
Dördüncü Kırmızı Buton kaç kez kullanıldı? 7 -

147
 CoSpaces ile Programlama Öğretiminde Kodlama
Becerilerini Yordayan Değişkenlerin İncelenmesi
Samet TEKNECİ, Doç.Dr. Özlem BAYDAŞ ÖNLÜ
Giresun Ünivesitesi/TÜRKİYE
[email protected], [email protected]

Özet— Bu çalışma, 6. sınıf öğrencilerinin uzamsal

görselleştirme, matematiksel muhakeme ve hesaplamalı III. ARAŞTIRMANIN AMACI VE ARAŞTIRMA SORUSU
düşünme becerilerinin CoSpaces uygulaması ile programlama
öğretiminde kodlama becerilerini yordama düzeyini ortaya Bu çalışma, 6. sınıf öğrencilerinin uzamsal görselleştirme,
çıkarmayı amaçlamaktadır. Çalışmada nicel yöntemlerden matematiksel muhakeme ve hesaplamalı düşünme
ilişkisel desen (yordayıcı korelasyon araştırması) kullanılmıştır. becerilerinin CoSpaces uygulaması ile programlama
Uzamsal Görselleştirme Testi, Matematiksel Muhakeme öğretiminde kodlama becerilerini yordama düzeyini ortaya
Değerlendirme Ölçeği, Hesaplamalı Düşünme Ölçeği ve çıkarmayı amaçlamaktadır.
Kodlama Becerileri Rubriği veri toplama aracı olarak
kullanılmıştır. Uzamsal görselleştirme, matematiksel “CoSpaces uygulaması ile yapılan programlama
muhakeme ve hesaplamalı düşünme becerileri değişkenlerinin öğretiminde uzamsal görselleştirme, matematiksel
kodlama becerilerine etkisini belirlemek amacıyla çoklu muhakeme ve hesaplamalı düşünme becerileri 6. Sınıf
regresyon analizi yapılmıştır. CoSpaces ile programlama öğrencilerinin kodlama becerilerini yordamakta mıdır?”
öğretiminde, uzamsal görselleştirme becerilerinin kodlama sorusu araştırmada ele alınmıştır.
becerilerini yordadığı görülmüştür. CoSpaces uygulamasının
özellikle 3 boyutlu ortam sunması uzamsal görselleştirme IV. YÖNTEM
becerisinin kodlama becerisini yordaması araştırma durumunu Bu çalışmada nicel yöntemlerden ilişkisel desen
destekler niteliktedir.
(yordayıcı korelasyon araştırması) kullanılmıştır.
I. GİRİŞ
V. ÇALIŞMA GRUBU
Eğitimde 3 boyutlu (3B) sanal ortamların etkin bir şekilde
Çalışma grubunda, Türkiye’nin kuzeyinde bir ilçe
kullanıldığı görülmektedir. 3B sanal ortamlarda kodlama
merkezinde bulunan devlet okulundaki 6. sınıfta öğrenim
yapmak, eğitim içerikleri oluşturmak ve öğretime destek
gören 23 öğrenci yer almaktadır. Çalışmada kolay
vermek amacıyla kullanılan uygulamalardan biri de
ulaşılabilir örnekleme yöntemi tercih edilmiştir.
CoSpaces uygulamasıdır (Minocha ve Reeves, 2010).
CoSpaces uygulaması, öğrencilerin 3 boyutlu ortam ile blok VI. UYGULAMA SÜRECİ
tabanlı kodlama yapmasına fırsat tanımaktadır (Andone ve
ark., 2018). Artırılmış gerçeklik ve sanal gerçeklik yapılarını Uygulama, Bilişim Teknolojileri ve Yazılım dersi
bir arada sunmaktadır. “Problem Çözme ve Programlama” ünitesi kazanımlarından
hareketle çalışma grubuyla altı hafta uygulamalar
II. GEREKÇE VE ÖNEM gerçekleştirilmiştir (Bknz. Tablo 1).
CoSpaces ile programlama öğretimi, öğrencilerin TABLO I
kodlama becerilerinin yanında farklı becerilerinin de Haftalık Uygulama Süreci
gelişmesine katkı sağlamaktadır. 3B ortamların kullanılması,
öğrencilerin mantıksal düşünme ve olaylar arasında Haftalar Çalışma Grubu(CoSpaces ile öğretim grubu)
benzerlik-farklılık durumları ile problem çözmede algoritma 1.Hafta Cospaces Uygulamasının Arayüzü ve Özellikleri
ifadelerini ortaya koyması açısından önemli görülmektedir. 2.Hafta Doğrusal Mantık Yapısını İçeren Programlar Oluşturma
Bu bağlamda, CoSpaces’in yapısal özelliği de dikkate
3.Hafta Karar Yapısını İçeren Programlar Oluşturma
alınarak uzamsal görselleştirme, matematiksel muhakeme ve
hesaplamalı düşünme becerilerinin kodlama becerilerini 4.Hafta Çoklu Karar Yapıları İçeren Programlar Oluşturma
açıklaması ve yordaması gerektiği düşünülmektedir. 5.Hafta Döngü Yapısını İçeren Programlar Oluşturma
6.Hafta Testlerin Uygulanması

148
 VII. VERİ TOPLAMA ARAÇLARI TABLO III
Uzamsal Görselleştirme, Matematiksel Muhakeme ve Hesaplamalı
Uzamsal Görselleştirme Testi: Dokumacı Sütçü ve Oral Düşünme Becerilerinin Kodlama Becerilerini Yordamasına İlişkin Çoklu
(2018) tarafından çoktan seçmeli olarak hazırlanmıştır. Test Regresyon Analizi Sonuçları
29 maddeden oluşmaktadır. Güvenirlik katsayısı 0.84 olarak
Unstandardized Standardized
hesaplanmıştır. Coefficients Coefficients t Sig. F Sig. R2
Matematiksel Muhakeme Değerlendirme Ölçeği: Çoban B SE Beta
ve Tezci (2020) tarafından oluşturulmuştur. Ölçek 11’i (Constant) 49.967 7.747 6.450 .000
çoktan seçmeli, 12’si kısa cevaplı sorudan oluşmaktadır. Hesaplamalı
.380 1.399 .032 .272 .789
Ölçeğin güvenirlik katsayısı 0.81 olarak hesaplanmıştır. Düşünme
Hesaplamalı Düşünme Ölçeği: Korkmaz, Çakır ve Özden Matematiksel 19.070 .000b .711
.046 .117 .049 .390 .701
Muhakeme
(2015) tarafından geliştirilmiştir. 22 maddeden
Uzamsal
oluşmaktadır. Güvenirlik katsayısı 0.809 olarak Görselleştirme
1.516 .224 .850 6.759 .000
belirlenmiştir.
Kodlama Becerileri Rubriği: CoSpaces’e ait özellikleri de X. TARTIŞMA VE SONUÇ
içeren 30 alt maddeden oluşmaktadır. Çalışmada CoSpaces ile programlama öğretiminde
VIII. VERİLERİN ANALİZİ kodlama becerilerini yordayan değişkenler incelenmiştir.
Kodlama becerileri ile uzamsal görselleştirme becerileri
Bağımlı ve bağımsız değişkenler üzerinde normallik arasında güçlü düzey ilişki belirlenmiş, uzamsal
varsayımları sağlanmıştır. Basıklık-çarpıklık değerleri uygun görselleştirme becerilerinin kodlama becerilerini yordadığı
aralıkta belirlenmiştir. Bağımlı ve bağımsız değişkenler görülmüştür. Bu durumu, CoSpaces uygulamasının 3B
sürekli veri haline getirilmiştir. Tolerance değeri>.1 ve VIF ortam sunması ve blok tabanlı kodlama yapılmasına imkan
değeri<10 olduğundan bağımsız değişkenler arasında çoklu tanıması açıklamaktadır. Kodlama becerileri ile
bağlantılılık belirlenmemiştir. matematiksel muhakeme ve hesaplamalı düşünme arasında
Çalışma grubunun testleri betimsel olarak analiz edilmiş, ilişki belirlenmemiştir. Yapılan değerlendirmeler sonucunda
ortalamaları ve standart sapmaları değerlendirilmiştir. da bu değişkenlerin kodlama becerilerini yordamadığı
Kodlama becerileri ile uzamsal görselleştirme becerileri görülmüştür. Çalışma grubunun önceki deneyimleri de göz
arasında güçlü düzey ilişki (r=-.864, p<.05) belirlenmiştir. önünde bulundurulduğunda, CoSpaces’in diğer
Kodlama becerileri ile matematiksel muhakeme becerileri programlama araçlarından farklı olarak özellikle 3B ortam
arasında (r=-.372, p>.05) ve kodlama becerileri ile sunması ortaya çıkan ürünlerden görülmektedir. CoSpaces
hesaplamalı düşünme becerileri arasında ilişki (r=-.059, ile programlama öğretimi; öğrencilerin kodlama
p>.05) belirlenmemiştir. Uzamsal görselleştirme, becerilerinin gelişmesine katkıda sağladığı gibi, uzamsal
matematiksel muhakeme ve hesaplamalı düşünme becerileri görselleştirme becerilerinin de kodlama becerilerini
değişkenlerinin kodlama becerilerine etkisini belirlemek açıkladığını göstermektedir.
amacıyla çoklu regresyon analizi yapılmıştır.
XI. ÖNERİLER
IX. BULGULAR
Araştırma sınırlı bir çalışma grubu ile 6 hafta boyunca
Kodlama becerileri rubriği 100 puan, hesaplamalı yürütülmüştür. Bu doğrultuda katılımcı sayısı ve uygulama
düşünme ölçeği 5 madde, matematiksel muhakeme süresi artırılabilir. CoSpaces ile farklı etkinliklerin yapılması
değerlendirme ölçeği 59 puan ve uzamsal görselleştirme sağlanabilir. Öğrencilerin 3B ortamlarda kodlama
testi 29 puan üzerinden değerlendirilmiş olup betimsel becerilerini geliştirmesi adına CoSpaces’in başka derslerde
istatistik sonuçları Tablo 2’de verilmiştir. de kullanımı yaygınlaştırılabilir. 3B sanal ortamda kodlama
etkinlikleri yapılırken farklı değişkenler ile çalışmalar
TABLO II
Değişkenlere Ait Betimsel Sonuçlar yürütülmesi önerilir. Ayrıca farklı kodlama araçlarının da
çeşitli değişkenlerle incelenmesinin alana katkı sağlayacağı
N Ort SS düşünülmektedir.
Kodlama Becerileri 23 88.695 7.264
Hesaplamalı Düşünme 23 3.952 .610 KAYNAKÇA
Matematiksel Muhakeme 23 27.043 7.836 [1] D. Andone, S. Vert, M. Frydenberg and R. Vasiu, "Open Virtual
Reality Project to Improve Students' Skills," 2018 IEEE 18th
Uzamsal Görselleştirme 23 23.739 4.070 International Conference on Advanced Learning Technologies
(ICALT), Mumbai, India, 2018, pp. 6-10, doi:
10.1109/ICALT.2018.00008.
Tablo 3’e göre CoSpaces ile programlama öğretiminde,
[2] Minocha, S., & Reeves, A. J. (2010). Design of learning spaces in 3D
uzamsal görselleştirme becerilerinin kodlama becerilerini virtual worlds: an empirical investigation of Second Life. Learning,
yordadığı görülmüştür (F= 19.070, p<.05, R2=.711). Media and Technology, 35(2), 111-137.

149
 Development of Novel Energy Production System
in Sports

Seda Sahin1, Mehmet Emin Aslan2

1
Assist. Prof. Dr., Department of Computer Engineering, Çankırı Karatekin University, Çankırı, Türkiye
2
B.S. Graduate student, Deparment of Electrical and Electronics Engineering, Çankırı Karatekin University,
Çankırı, Türkiye

*[email protected], *[email protected]

Abstract—In this study, a novel Energy Production System on the basketball court. Parquet will be laid on these blocks
in Sports is produced which is called as REOS (Renewable
Energy Of Sports). This system is basically produced from the
so that many pieozoelectric plates will operate in one step.
pieozoelectric plates. Piezoelectric technology is a technology The AC power produced will be converted to DC power
that has not been fully understood and benefited by humanity through bridge diodes, thus it will be connected to the
and it is open to development. Although piezoelectric voltage stabilizer via the line system and to the line system
technology can be used in many different countries within the in case of any malfunction, it will be possible to find out
region, as we know when to search from current literature,
there isn’t any Energy Production System which is integrated
which block is the problem. Regular voltage from the
into the sports field. Another face of our study is the change in voltage stabilizer will be connected to the battery via a
the competitive environment between teams as shown by the cable. Thus, the battery will be charged. The power
total energy produced in the team. A new perspective is added produced by the system we will install on the cable between
to the programming based application in team sports. the voltage stabilizer and the battery will be calculated and
Evaluating players and teams on something other than match
scores is a practice that has not been implemented before in the
reflected on the screen as data. The electricity in the battery
field of sports. The coaches of teams will both attract the can be converted to AC power with an inverter circuit and
attention of athletes and produce electrical energy that will used at any time. If the field ground is too flexible, the
provide an advantage. Currently, energy requirements are distance between the blocks will be shortened.
increasing day by day all over the world and the Sports-based
Renewable Energy has an importance to produce energy from
different sources and different fields. This energy production II. MATERIAL AND METHOD
offers an advantage for more economical and high quality
production of energy all over the world. In this case, REOS is
The REOS system transfers the pressure which is applied
an advantegeous system as energy savings and efficiency. Also,
by the athletes on the field to piezoelectric discs with a
this study can be used as a guide for other studies which are
related with the efficient energy production from different special flooring system and these discs generate AC power
research fields. At the same time, this study can be applied to from the applied pressure. The AC power produced is
the different organisations and the sport types which is converted into DC power with the help of a bridge diode, the
supported by athletic movements for different countries. Also, resulting DC power is collected at one point with the help of
this system presents an multidisciplinary approach to integrate numbered cables, measured and then stored. If necessary, it
different engineering fields with economical perspective. In can provide most of the energy needed to the field.
future, this study can be an alternative solution for designing
Hybrid Energy Management Systems.

Keywords-Renewable Energy Production, Human-Computer

Interaction, Pieozoelectric Plates, Sports and Energy
Management

(a)
I. INTRODUCTION
REOS is a system that generates power by taking
advantage of the kinetic energy of the athletes with a
mechanism integrated into the basketball court. The
electrical energy obtained can be measured and used as a
new training system.

A pieozoelectric plate [1] will be placed between floor (b)

blocks with a diameter of 1 meter under the parquet floors Fig. 1 (a) Prototype Design, (b) Prototype Image

150
 III. RESULTS

The AC power with pressures from piezodiscs is

obtained and then this is converted to AC power into DC
power to bridge modules. In this way, we can store the
electricity which is produced. With these piezodiscs that we
have laid all over the floor of a basketball court, we
demonstrate that the energy obtained not only in energy
distribution is healthy, but also with an interface design that
constantly records. At the same time, the energy produced
by the teams on the field will be clearly displayed to the data
changing in percentage. Also, a user interface for the system
is designed with using html, css and javascript languages. (a)

As a result of some experiments we made in our

prototype, we observed how the DC power produced was
monitored according to step differences. The results are as
follows.

- When 1 step is taken on the piezodisc, an average of 8-12

DC V
- When springing on the piezodisc, an average of 8-19 DC V

- The average age of propagation on the piezodisc is 13-32

DC V

(b)
THE PRESSURE THAT IS CONSIDERED AS
AVERAGE FOR ONE BASKETBALL MATCH: Fig. 2 (a)User Interface1 of REOS, (b) User Interface2 of
REOS

IV. CONCLUSION
(Maximum pressure + Minimum pressure) / 2
=275,555,555.5Pa
In conclusion, REOS is one of the first systems which is
(480,000,000Pa+71,111,111Pa) /2 =275,555,555.5Pa integrated into sports. It isn’t only produces electricity but
also encourages sports. The REOS which covers issues such
This data is calculated using the formula: as sports, entertainment and renewable energy and it
provides advantages in issues such as low cost and
sustainability. In the world where energy requirements are
Gathlete= mathlete×g and Pathlete=Gathlete/A [2]
increasing day by day and the renewable energy is being
emphasized more and more every day. The Sports-based
renewable energy is supported all over the world and special
The fact that the piezo, which basically works with budgets are arranged. REOS covers its costs in the medium
pressure which is spread over an area of 28m x 15m in our term as energy savings and also the advertising revenue can
study, the size of an average basketball hall is one of the be generated through its interface.
first large-scale applications of this technology which has
not yet become widespread. REFERENCES
[1] A High-Efficiency Full Active Rectifierfor Piezo EnergyHarvesting.
(2021). Retrieved 6 June 2021,
fromhttps://ieeexplore.ieee.org/abstract/document/9160637LianaWass
oufICubelaboratory, University of strasbourg / CNRS, Strasbourg,
France EhsanJamshidpourICubelaboratory, ECAM, Strasbourg,
France Vincent FrickICubelaboratory, University of strasbourg /
CNRS, Strasbourg, France
[2] Bartu, T., Dersi, F., koç, v., owl, b., & Dersi, F. (2017). Basınç ve
basınç kuvveti nedir? Katı basıncı nelere bağlıdır? - Fizik Dersi.
Retrieved 6 June 2021, from https://fizikdersi.gen.tr/basinc-basinc-
kuvveti-nedir-kati-basinci-nelere-baglidir/

151
 EEG Tabanlı Duygu Tanıma için DREAMER
Veri Kümesinin Analizi
Elif Bilge ŞAHİN1, Pınar Onay Durdu2,
1Bilgisayar Mühendisliği Bölümü, Fen Bilimleri Enstitüsü, Kocaeli Üniversitesi, Kocaeli, Türkiye
2Bilgisayar Mühendisliği Bölümü, Mühendislik Fakültesi, Kocaeli Üniversitesi, Kocaeli, Türkiye
[email protected], [email protected]

Özet— Duygu tanıma üzerine yapılan çalışmalar, DREAMER diğerleri [3], 32 katılımcının EEG ve fizyolojik verilerini,
kümesi üzerinde gerçekleştirilen bir model geliştirme süreciyle müzik videoları izlerken kaydetmiş ve bu verileri duygu
değerlendirilmiş ve bu değerlendirme, farklı sınıflandırma değerlendirmeleri ile ilişkilendirmiştir. Zheng ve Lu [4], 15
yöntemlerinin performansını karşılaştırmayı amaçlamıştır. Bu denekten elde edilen EEG verilerini kullanarak farklı
karşılaştırmaların sonucunda, uyarılma ve değerlik değerleri için
sınıflandırma yöntemleriyle duygu sınıflandırması yapmıştır.
Rastgele orman yönteminin %91 doğruluk oranı ile en yüksek
başarıya ulaştığı belirlenmiştir. Rastgele orman yöntemi, yüksek Katsigiannis ve diğerleri [5], EEG ve EKG verilerini
kesinlik, duyarlılık, F1 skoru ve düşük hata oranı gibi birleştirerek duygu analizi yapmış ve destek vektör
özellikleriyle öne çıkmaktadır. Bu çalışma sonuçları, duygu makinelerini kullanmıştır. Hwang ve diğerleri [6], SEED veri
tanıma alanında daha yüksek performans sergileyen modellerin setini kullanarak evrişimli sinir ağları ile yüksek doğruluk elde
geliştirilebileceğini ve bu alandaki ilerlemelerin büyük bir etmiştir. Liu ve diğerleri [7], DEAP ve SEED veri kümeleri
potansiyele sahip olduğunu vurgulamaktadır. üzerinde yeni bir derin sinir ağı önermiş ve geleneksel
yöntemlere göre daha etkili sonuçlar elde etmiştir. Reaj ve
I. GIRIŞ diğerleri [8], SEED veri setini kullanarak Ayrık dalgacık
Duygular, insanların duygusal ihtiyaçlarını anlamalarına dönüşümü ve Destek vektör makinesi ile duygu sınıflandırması
yardımcı olur ve sosyal etkileşimlerde duygusal bağ yapmıştır. Son olarak, Benesch ve Kabbabi [9], DREAMER
kurmalarına olanak tanır. Duygu tanıma, duygusal ifadeleri veri seti üzerinde EEG verilerini kullanarak duygu
tanıma ve anlama sürecidir. İnsanlar için duygu, iletişim, sınıflandırması yapmıştır. Bu çalışmalar, EEG verilerini duygu
empati, ve kişilerarası ilişkilerde kritik bir rol oynamaktadır [1]. tanıma amacıyla başarılı bir şekilde kullanmış ve çeşitli
Duygunun, İnsan Bilgisayar Etkileşimi (İBE) alanı ile sınıflandırma yöntemleriyle duygu analizi yapmışlardır.
ilişkisi, kullanıcıların duygusal durumlarını anlamak ve bu Çalışmalarda birçok hazır veri kümesinin kullanıldığı
bilgileri teknoloji tasarımında kullanmak amacıyla önemlidir. belirlenmiştir.
Ayrıca, duygu tanıma teknolojisi, kullanıcı deneyimini Hazır veri kümeleri veya kaynaklar arasında DEAP,
iyileştirmek ve daha duyarlı sistemler geliştirmek için DREAMER ve SEED gibi EEG verilerini içeren seçenekler
kullanılabilir. Duygu ve duygu tanıma insanların günlük bulunmaktadır. Bu veri kümeleri, EEG tabanlı duygu tanıma
yaşamında önemli bir rol oynar ve bu alan, İBE ile entegre algoritmalarının geliştirilmesi için kullanılabilir.
edilerek daha duyarlı ve etkileşimli teknolojilerin Araştırmacılara bu alandaki çalışmalarında başlangıç noktası
geliştirilmesine katkı sağlar. sağlamaktadır.
Otomatik duygu tanıma, bilgisayarların ses, görüntü veya Bu çalışma, DREAMER veri kümesi üzerinden duygu
metin verileri üzerinden insan duygusal durumlarını tespit tanıma gerçekleştirmeyi hedeflemektedir ve bu bağlamda
etmesini sağlamaktadır. İnsanların duygusal durumlarını sınıflandırma algoritmalarının performansını
belirlemek için farklı veri kaynaklarını kullanır. EEG değerlendirmektedir.
(Elektroensefalografi) tabanlı otomatik duygu tanıma, bu
alandaki birçok çalışmanın temelini oluşturur ve veri kümeleri II. YÖNTEM
aracılığıyla bu çalışmaların yapılmasına olanak tanır [2]. EEG, Bu çalışma, DREAMER veri kümesi üzerinden duygu
beyin aktivitesini ölçmek için kullanılır ve insanların duygusal tanıma gerçekleştirmek ve bu bağlamda da sınıflandırma
tepkilerini izlemek için kullanılır. EEG, duygu tanıma alanında algoritmalarının performansını değerlendirmeyi
daha fazla tercih edilir ve doğru sonuçlar sağlayabilir. hedeflemektedir. Çalışma kapsamında oluşturulan model, dört
EEG tabanlı otomatik duygu tanıma için makine öğrenme ve temel aşamadan oluşmaktadır (Şek.1). Her bir aşama,
derin öğrenme yöntemleri sıklıkla çalışmalarda çalışmanın başarısını artırmak için dikkatlice tasarlanmıştır.
kullanılmaktadır. Bu çalışmalarda, EEG sinyalleri ve duygu Birinci aşama, çalışmanın temelini oluşturmaktadır. Veri
değerlendirmeleri arasındaki ilişki incelenmiştir. Koelstra ve kümesi seçimi, duygu sınıflandırma modelinin eğitimi ve

152
değerlendirmesi için kritik bir adımdır. Çalışmada, DREAMER kümesinde yüksek kesinlik, duyarlılık, F1 skoru ve düşük hata
veri kümesi, duygu sınıflandırma modelinin eğitimi için temel oranı ile öne çıkmaktadır. Naive bayes yöntemi %62 doğruluk
veri kaynağı olarak belirlenmiştir. DREAMER [5] veri kümesi, oranıyla en düşük başarıyı elde etmiştir, bu da bu yöntemin
çeşitli duygusal durumları içeren çok sayıda veriyi içerdiği için uyarılma ve değerlik tahminleri için daha az etkili olduğunu
tercih edilmiştir. Görsel-işitsel uyaranlarla duyguları ortaya göstermektedir.
çıkarma sırasında kullanılan çok modlu bir veri kümesi olan
DREAMER katılımcıların her uyaran sonrasında değerlik, IV. SONUÇLAR
uyarılma açısından duygusal durumlarına ilişkin öz Çalışma kapsamında elde edilen bulgular, önerilen modelin
değerlendirmeleriyle birlikte kaydedilmiştir. sınıflandırma görevindeki etkinliğini göstermektedir. Ayrıca
İkinci aşama, veri kümesinden anlamlı özelliklerin çeşitli sınıflandırma yöntemlerinin bir önerilen model üzerinde
çıkarılmasına odaklanmaktadır. Bu özellikler, duygu elde ettiği doğruluk oranlarını Benesch ve Kabbabi'nin [9]
sınıflandırma modelinin verileri daha iyi anlamasına ve çalışmasındaki sonuçlarla da karşılaştırılmıştır. Bu çalışmanın
öğrenmesine yardımcı olur. Bu çalışmada, özellik çıkarma sonuçlarına göre önerilen model, diğer çalışmadaki yöntemlere
yöntemi dikkatlice seçilmiş ve veri kümesinde duygusal kıyasla daha yüksek doğruluk oranlarına sahiptir. Bu
durumları daha iyi temsil eden özelliklerin çıkarılması için çalışmanın sonuçları, sınıflandırma problemleri için daha iyi
kullanılmıştır. performans gösteren bir modelin geliştirilmesinin mümkün
Üçüncü aşama, duygu sınıflandırma için kullanılacak olduğunu ve bu alandaki ilerlemelerin potansiyelini
sınıflandırma yöntemlerinin belirlenmesi ve sınıflandırma vurgulamaktadır.
işlemini içermektedir. K-Nearest Neighbors (KNN), Destek Farklı veri kümeleriyle karşılaştırmalı analizler içeren ve
vektör makinesi, Karar ağacı, Rastgele orman, Yapay sinir ağı çalışmada uygulanan modelin daha fazla iyileştirilmesini
ve Naive bayes gibi yöntemler her birinin avantajları ve sağlayan farklı senaryoları test eden çalışmaların
dezavantajları göz önüne alınarak, belirlenmiştir. gerçekleştirilmesi de faydalı olacaktır. Bu çalışma, gelecekteki
Son aşama, model için belirlenen sınıflandırma araştırmalara yol göstermek için bir temel oluşturmaktadır.
yöntemlerinin performans analizini içermektedir. Modelin
başarımı, belirli başarım değerlendirme ölçütleri kullanılarak KAYNAKÇA
değerlendirilmiştir. Metrikler kullanılarak farklı yöntemler [1] Z. He, Z. Li, F. Yang, L. Wang, J. Li, C. Zhou, ve J. Pan, "Advances in
karşılaştırılarak modelin başarımı değerlendirilmiştir. Multimodal Emotion Recognition Based on Brain–Computer Interfaces,"
Brain Sciences, cilt 10, sayı 10, 2020. [Çevrimiçi]. DOI:
10.3390/brainsci10100687.
[2] M. Spezialetti, G. Placidi ve S. Rossi, "Emotion Recognition for Human-
Robot Interaction: Recent Advances and Future Perspectives," Frontiers
in Robotics and AI, cilt 7, sayı 532279, 2020. [Çevrimiçi]. DOI:
10.3389/frobt.2020.532279.
[3] S. Koelstra, C. Muhl, M. Soleymani, J.-S. Lee, A. Yazdani, T. Ebrahimi,
T. Pun, A. Nijholt ve I. Patras, "DEAP: A database for emotion analysis;
using physiological signals," IEEE Trans. Affect. Comput., cilt 3, sayı 1,
2012, ss. 229-237.
[4] W.L. Zheng ve B.L. Lu, "Investigating critical frequency bands and
channels for EEG-based emotion recognition with deep neural networks,"
IEEE Trans. Auton. Ment. Dev., cilt 7, 2015, ss. 162–175.
[5] S. Katsigiannis ve N. Ramzan, "DREAMER: A database for emotion
recognition through EEG and ECG signals from wireless low-cost off-
the-shelf devices," IEEE J. Biomed. Health Informat., cilt 22, sayı 1, 2018,
ss. 98–107.
[6] S. Hwang, K. Hong, G. Son ve H. Byun, "Learning CNN features from
DE features for EEG-based emotion recognition," Pattern Anal. Appl., cilt
23, sayı 3, 2019, ss. 1323–1335.
[7] J. Liu, G. Wu, Y. Luo, S. Qiu, S. Yang, W. Li ve Y. Bi, "EEG-based
emotion classification using a deep neural network and sparse
Sek. 1 Önerilen sistemin akış diyagramı autoencoder," Front. Syst. Neurosci., cilt 14, sayı 43, 2020.
[8] A.S. Reaj, M. Maniruzzaman ve A.A.J. Jim, "Emotion Recognition Using
III. BULGULAR EEG-Based Brain Computer Interface," 2021 International Conference on
Electronics, Communications and Information Technology (ICECIT),
Çalışma, EEG verilerini analiz ederek duygu sınıflandırma IEEE, 2021.
için çeşitli sınıflandırma yöntemlerini değerlendirmiştir. [9] D. Benesch ve A. Kabbabi, "Biosignal processing for automatic emotion
Rastgele orman yöntemi, %91 doğruluk oranıyla en iyi sonucu recognition," [Çevrimiçi]. Available:
vermiş ve uyarılma ve değerlik tahminlerinde üstün performans https://school.brainhackmtl.org/project/biosignalemotions/.
sergilemiştir. Ayrıca, Rastgele orman yöntemi bu veri

153
 Examining Patterns in Puzzle and Trivia Type of
Hyper-Casual Games: An Eye Tracking Study
Görkem Muyan1, Alpay Karagöz2, Prof. Dr. Kürşat Çağıltay3
1
Computer Education and Instructional Technologies, Middle East Technical University, Ankara, TURKEY
2
Human Computer Interaction Research and Application Laboratory, Middle East Technical University, Ankara, TURKEY
3
Computer Engineering, Sabancı University, Istanbul, TURKEY

[email protected], [email protected], [email protected]

Human-Computer Interaction Research and Application Laboratory, Middle East Technical University

Hyper casual games are entertainment with unique participants fill out the demographic survey. The researcher
characteristics, including short play sessions and minimalistic starts the screen recorder on Tobi Studio 3.4.5 software.
design. However, users stop playing due to short sessions because Participants watch introductory game videos that present the
they reach a certain level or do not improve their skills to pass rules and features of the games before playing each game.
levels. Therefore, game usability plays a crucial role in defining the
needs and behaviors of expert and novice gamers. Enhanced game
After the introduction video, they play the games. During the
usability leads to extending the time of hyper casual. games, the researcher takes notes of their thoughts. After
finishing the game, they complete the post-questionnaire. The
average length of recording duration is 10 minutes.
I. INTRODUCTION Participants fill out a demographic survey and post-
Isbister and Hodent (2022) state that game usability affects questionnaire. All participants accepted video recording
user thoughts about games directly. This project will contribute during a test.
to understanding gamer behaviors and demands on puzzle and
trivia types of hyper casual games. This research compares B. Evaluation Tasks/Scenarios
expert and novice gamer behaviors:
1. Complete the demographic survey (determining that
• Frustration and feeling bored during hyper casual games participant is a novice or expert gamer.)
cause them to stop playing. 2. Calibration process on Tobii T120 desktop eye tracker and
Tobii Studio 3.4.5 before starting gaze data record
• Analyzing different types of sounds, animations, and
3. Participants watch the first introduction video of one of
visual effects.
Candy Crush Saga or Farm Heroes Saga.
• Examining that remaining moves should be turned into
4. Participants play the first game. Participants do a think-
pointful moves or finishing sessions with higher scores.
aloud process while playing.
• Creating new objects with 4-5-6 matches 5. Participants watch the second introduction video.
• Showing tips in puzzle and trivia types of hyper casual 6. Participants play the second game. Participants do a think-
games. aloud process while playing.
II. METHODOLOGY 7. Participants complete the post-questionnaire.

A. Sessions III. PRE-RESULTS

This project requires face-to-face participation in Middle There is no eye-tracking analyzed data in this abstract. The
East Technical University Human-Computer Interaction following graphs and charts are involved in post-questionnaire
Laboratory. The researcher arranged meeting times for each test records.
test. 22 participants (13 male, 9 female, average age=22.4, std A. Satisfaction with Sounds:
age = 2.4) participated in playing Candy Crush Saga and Farm
Heroes Saga in Tobii desktop eye tracker T120. Human- Background Music:
Computer Interaction Laboratory has a T120 Eye Tracker
device (desktop eye tracker) that records gaze data. All

154
 Gamer Rates (1-5) for Candy Crush Gamer Rates (1-5) Candy Crush Saga
Background Music Matching Sounds
5.00
Novice Gamers
4.00
Expert Gamers 3.00

Overall 2.00

1.00
1.00 2.00 3.00 4.00 5.00
Overall Expert Gamers Novice Gamers
Fig. 1 The graph gives information on how much gamers give
Fig. 3 The chart provides the satisfaction rates (1-5) with sounds
points to Candy Crush Saga’s background music between 1
after matching materials in Candy Crush Saga.
(strongly disagree) and 5 (strongly agree).

Gamer Rates (1-5) for Farm Heroes Saga Gamer Rates (1-5) Farm Heroes Saga
Background Music Matching Sounds
5.00
Novice Gamers
Background

4.00
Music
Farm

Expert Gamers 3.00

Overall 2.00
1.00
1.00 2.00 3.00 4.00 5.00 Overall Expert Gamers Novice Gamers
Fig. 2 The graph gives details on how much gamers give points Fig. 4 The chart provides the satisfaction rates (1-5) with sounds
to Farm Heroes Saga’s background music between 1 (strongly after matching materials in Candy Crush Saga.
disagree) and 5 (strongly agree).
Farm Heroes Saga includes cheerful sounds after matching the
Candy Crush Saga’s background is an energetic sound while same objects. Candy Crush Saga matching sounds considerably
Farm Heroes Saga’s background is a slow beat. According to include candy explosion or break sounds. Fig. 3 and Fig. 4 show
Fig. 1 and Fig.2, most participants prefer a piece of soft music that most novice and expert gamers note that happy sounds are
in background. Novice gamers say upbeat music might be cuter than the other ones. Although novice gamers tend to hear
distractive and complex. Also, novice gamers feel anxious to more soft and cheerful sounds, explosion voices scores are
struggle with comprehending game functions. Hence, Farm considerably high. As a result, hyper casual games might
Heroes Saga’s soft background music might be preferable for consist of cheerful and explosion voices for different features at
novice gamers. On the other hand, expert gamers tend to have each level.
energetic beats motivating them to compete with the game.
Since Candy Crush Saga’s background music is energetic, the IV. CONCLUSIONS
experts tend to look for these action sounds. Although Farm This project aims to compare expert and novice gamer
Heroes Saga’s background sound score takes the other game’s behaviors to involve their interest and demand in hyper casual
background sound behind, the difference might be negligible in games. Eye tracking technology offers to see where users look
the overall score. As a result, hyper casual game developers at the screen and how much time they spend. User experience
might choose sounds by looking at the game level and researchers analyze usability in games to increase satisfaction,
effectiveness, and efficiency. Gaze data and questionnaires help
Matching Sounds: comprehend what needs to be changed.

REFERENCES
[1] Isbister, K., & Hodent, C. (2022). Game usability: Advice from the
experts for advancing UX strategy and practice in videogames. CRC
Press.

155
 MagniVR: Design & Analysis of Low
Vision Accessibility Tool For Virtual Reality
Cem Kaya, Baha M. Ersoy, Murat Karaca
Computer Science and Engineering Department, Faculty of Engineering and Natural Sciences, Sabancı University
Orhanli - Tuzla, 34956 Istanbul, Turkey
[email protected], [email protected], [email protected]

Abstract— The rapid progress of Virtual Reality has challenges, and every participant completed a questionnaire
introduced new user experiences. However, the platform while their feedback and experiences were documented. The
remains largely inaccessible to a significant portion of the study yielded promising results, with MagniVR proving to be
global population, especially those with visual impairments. highly beneficial for individuals with low vision. Out of the 12
The paper introduces MagniVR, a novel VR tool designed to participants in Phase 2, 10 expressed clear satisfaction with the
enhance accessibility for individuals with low vision. The tool tool’s advantages. Notably, 9 of them reported being extremely
aims to assist users in navigating 3D virtual spaces by offering satisfied with its functionality.
a customizable digital magnification tool, with a focus on
user-friendliness, and ease of integration into VR projects. The The study focuses on determining the impact of VR
paper presents the results of a two-phase user study involving accessibility magnifiers on the user experience of individuals
18 participants (6 in Phase 1 and 12 in Phase 2) to evaluate the with low vision in virtual reality environments. Additionally,
effectiveness and usability of MagniVR. The initial phase of the effectiveness of MagniVR, particularly in comparison to
the project involved creating and testing a basic prototype of previously proposed accessibility magnifiers such as
MagniVR. SeeingVR’s magnification lens tool, is tested in this study [1].
From an implementation perspective, the project aims to
In Phase 1, the tests were structured into three task groups, ensure that the tool’s implementation is highly accessible for
each comprising three challenges. Participants were tasked developers utilizing Unity’s OpenXR toolkit. Aim of this is to
with completing these challenges using three different identify methods to enhance accessibility in Virtual Reality
configurations of MagniVR: one with the magnifier display environments. In Phase 2, the design of the MagniVR menu
and camera on the right hand, another with the magnifier was refined based on user feedback from Phase 1.
display on the right hand and the camera on the left hand, and
the third with both the camera and display positioned in front The study reveals that the tool holds significant potential in
of the user’s head. The configuration featuring both the making VR experiences more inclusive. As VR continues to
camera and display positioned in front of the head is a shape digital interactions, tools like MagniVR will play a
superset of the SeeingVR’s magnification lens tool [1]. pivotal role in ensuring that these experiences are accessible to
Participants evaluated the tool using all three of these all.
configurations. The tests were timed and a questionnaire
interview was conducted. Out of the six participants, only Keywords— Metaverse, Virtual Reality, Unity, 3D, HCI, UX,
three had low vision within the test sample. The remaining DX, Accessibility, Low Vision, Assistive Technology
three participants had heavy prescriptions, and they were
included as a baseline group. However, the limited number of I. INTRODUCTION
low vision participants posed a challenge in drawing Virtual Reality is a revolutionary technology in user
statistically significant conclusions. Furthermore, during
interactions and experiences. Yet, due to its novelty as a
Phase 1, the tool lacked a control menu, limiting users to
control it solely through shortcuts. Additionally, it was not platform it lacks essential accessibility standards and tools,
designed in a way that allowed developers to easily integrate it thus hindering a significant group of people from
into their projects. effectively interacting with virtual reality. According to
WHO approximately 3.5% of world’s population (284
In phase 2, there were a total of 12 participants divided into million) consists of people who are visually impaired and
three main task groups. Each task group consisted of two 0.5% (39 million) are legally blind with varying levels of

156
residual/remaining visual acuity (VA) [2]. Similar to more
established computing platforms web, desktop, mobile …
etc. there is a need for accessibility tools for VR platforms
as well. However due to the 3D nature of this platform
pre-established tools do not directly translate over. There
might be more efficient ways of making these platforms
more accessible while leveraging the 3D modality of the
platform. The lack of accessibility features in VR has been
the subject of various research projects, with one of the
more influential studies being conducted by SeeingVR. The
study highlighted the effects of numerous accessibility tools
on individuals with low vision [1]. One such tool was a
head tracked magnification lens, which revealed that users Figure 2. Test session example
could navigate menus and read text more easily. Building
upon this, this project aims to contribute to this field by
developing a more customizable and user-friendly II. CONCLUSION
magnification tool. This project had two main goals: first, to MagniVR demonstrates significant potential as an
investigate the effectiveness of the developed magnification accessibility tool for individuals with low vision. The study
tool within a virtual environment, and second, to provide involved 12 participants, of whom 10 provided positive
other developers with an accessibility tool that is simple to feedback. Participants were requested to assess the tool’s
integrate into their projects. The project was conducted as a effectiveness on a scale from 0 to 5, which yielded an
two-phase user study with 18 (6+12) participants. average rating of 3.59. With its varied configurations and
control options, it offers a more tailored magnification
experience than existing solutions. Additionally, the study
offered valuable insights into the development of VR tools
tailored for individuals with low vision. However, there’s
room for improvement, particularly in the areas of color
processing and control simplification. As the demand for
VR grows, tools like MagniVR are essential in ensuring
that VR experiences are inclusive and accessible to all.

III. ACKNOWLEDGMENT
As the MagniVR team, we want to thank Professor
Kürşat Çağıltay for his guidance. Thanks to Mustafa
Yardımcı for testing assistance, to our participants for their
involvement, and to Sabancı University and the PURE
program for their support.

REFERENCES
[1] Y. Zhao, E. Cutrell, C. Holz, M. R. Morris, E. Ofek, and A. D.
Wilson, "SeeingVR," in Proceedings of the 2019 CHI Conference on
Human Factors in Computing Systems, CHI '19: CHI Conference on
Human Factors in Computing Systems, ACM, 2019, doi:
10.1145/3290605.3300341.
[2] B. Koyuncular, "The Population of Blind People in the World!"
Figure 1. MagniVR usage examples Retrieved January 19, 2023, from
https://www.blindlook.com/blog/detail/the-population-of-blind-peopl
e-in-the-world, October 25, 2021.
[3] S. Masnadi, B. Williamson, A. N. V. González and J. J. LaViola,
"VRiAssist: An Eye-Tracked Virtual Reality Low Vision Assistance
Tool," 2020 IEEE Conference on Virtual Reality and 3D User
Interfaces Abstracts and Workshops (VRW), Atlanta, GA, USA,
2020, pp. 808-809, doi: 10.1109/VRW50115.2020.00255.
[4] H.-Y. Wu, A. Calabrèse, and P. Kornprobst, “Towards accessible
news reading design in virtual reality for low vision,” Multimedia
Tools and Applications, vol. 80, no. 18, pp. 27259–27278, 2021.
doi:10.1007/s11042-021-10899-9
[5] A. H. Hoppe, J. K. Anken, T. Schwarz, R. Stiefelhagen, and F. van de
Camp, “CLEVR: A customizable interactive learning environment
for users with low vision in virtual reality,” The 22nd International
ACM SIGACCESS Conference on Computers and Accessibility,
2020. doi:10.1145/3373625.3418009

157
 Mentor or Boss: The Al Effect on Decision-Making
Merzifonluoglu, A.
ELT Department, Erzincan Binali Yildirim University, Türkiye
[email protected]

Abstract— Artificial intelligence (AI) is predominantly definitions also highlight that AI represents the culmination of
incorporated into all domains of life and the world we live in is innovations and advancements in computers, computer-related
increasingly shaped by Al. As a result of this widespread technologies, machines, and information communication
integration, a growing body of research has focused on the technology, granting computers capabilities closely resembling
profound implications and consequences of Al’s integration in
different domains. Among these domains, education stands out as
human intelligence.
an area with immense potential to influence both learners’ and
academics’ preferences, particularly as they seek assistance and In recent years, AI has been embraced and integrated into
guidance in their professional and academic lives. Regarding this various facets of the education domain, spanning across
influence, this ongoing study aims to investigate the extent to different departments within educational institutions. The
which users are influenced in the decision-making process when incorporation of AI in education has resulted in notable
making choices with the help of Al tools. The participants selected outcomes, including increased efficiency, globalized learning
for this study are a diverse group, encompassing students and opportunities, personalized learning experiences, more
academics who share a common interest in the field of education, intelligent educational content, and improved effectiveness and
where AI is actively used. The study employs a 3-point Likert
questionnaire and a question with multiple choices on their
efficiency in educational administration, among other benefits
experiences to explore why AI-driven recommendations influence [3], [4]. As AI continues its evolution, novel applications in
their decision-making process. 12 education-related decision education continue to surface.
scenarios have been presented to the participants. Task
complexity, users’ decision-making process and their trust in AI The integration of Al tools in education raises a fundamental
recommendations are the key considerations of the study. question: How does the incorporation of AI tools influence
Preliminary findings suggest that users tend to exhibit a positive decision-making processes in the educational context? To
attitude toward accepting Al’s recommendations, especially when address this inquiry, the study seeks to explore the extent to
AI systems provide transparent explanations for their which users rely on AI recommendations in educational
recommendations and offer insights into the decision-making
process. Perceived AI competence and trustworthiness are also
decision-making. To achieve this, the study will be guided by
predicted to strongly influence the decision-making process. These several key research questions:
predicted results will underline the importance of user trust in AI
tools and confirm that they are effective tools in the lives of 1. To what extent do users depend on AI recommendations in
individuals. To sum up, as AI's influence continues to shape their educational decision-making processes?
decision-making environments, it is needed to unravel the 2. What factors influence the level of trust users place in AI
potential deficiencies in the decision-making processes, enhance recommendations within the educational context?
the quality of user experiences and foster their confidence. In this 3. How does task complexity impact users' preference for AI
sense, this study contributes significantly to our understanding of recommendations in educational decision-making?
human-AI interaction and suggests practical implications for the
design and implementation of AI systems. II. METHODOLOGY
I. INTRODUCTION A. Research Design
This study adopts a quantitative research design, specifically
The advancements in computer and information technologies employing a cross-sectional survey research approach to
have led to the emergence of artificial intelligence (AI), a investigate the impact of AI on decision-making processes
concept broadly defined as the ability of machines to adapt to within the field of education. Utilizing this quantitative method
new situations, address emerging challenges, solve problems, will allow us to collect numerical data and derive statistical
respond to inquiries, formulate plans, and perform tasks that insights into the role of AI in educational decision-making. The
typically require a level of intelligence comparable to that found findings from this approach will offer valuable implications for
in humans [1]. Another perspective defines AI as the the design and implementation of AI systems in the educational
exploration of intelligent behaviour in humans, animals, and context.
machines, with the goal of incorporating such behaviour into
artifacts like computers and related technologies [2]. These B. Participants and Setting

158
 The ongoing research encompasses 189 participants, of In our preliminary data analysis, several key insights
whom 181 are students and 8 are academics, with a gender emerged regarding participants' perspectives on AI suggestions.
distribution of 121 females and 68 males. The participants have The majority, representing a substantial 76.2%, found that AI
been deliberately chosen through a purposive sampling suggestions significantly save time and effort in decision-
methodology. This approach ensures a comprehensive making processes. Additionally, a noteworthy 78.3%
representation including both students and academics acknowledged the value of AI in presenting a diverse array of
possessing experience in utilizing AI tools within educational options they might not have considered independently. A
contexts. considerable percentage of 27% appreciated the transparency
embedded in AI suggestions, emphasizing the importance of
Adopting a quantitative research design, this study refrains clear explanations for the recommendations. Furthermore,
from providing detailed demographics due to its ongoing 19.6% of participants highlighted the perceived unbiased nature
nature. The utilization of an online survey methodology has of AI suggestions, suggesting a potential advantage in decision-
been implemented to access participants in disparate locations, making. Moreover, 18% of respondents expressed confidence
thereby enhancing the study's validity by capturing a spectrum in the accuracy of AI suggestions, indicating a level of trust in
of perspectives within the expansive field of education. the technology's capabilities. 14.3% of participants recognized
the highly personalized nature of AI suggestions, aligning
C. Data Collection Instrument closely with their individual needs.
The primary data collection tool is a structured survey
questionnaire that utilizes a 3-point Likert scale to gauge These preliminary findings collectively suggest a positive
participants' responses across 12 education-related decision perception and multifaceted utility of AI suggestions in
scenarios. Additionally, the questionnaire includes a multiple- decision-making processes across various domains. Further
choice question to understand the reasons behind participants' analysis will delve deeper into these trends, offering a
preferences for AI suggestions. Table 1 presents the related comprehensive understanding of the impact and implications of
scenarios. AI integration in decision-making scenarios.
TABLE I
EDUCATION-RELATED DECISION SCENARIOS III. CONCLUSIONS
In conclusion, this study holds the potential to illuminate the
1 Course-selection
effectiveness of AI on the preferences of both students and
2 Study resources academics in various situations, unraveling the underlying
3 Career path reasons guiding their choices. Preliminary results show that
4 Educational software despite the variety in the scenarios, the participants prefer their
own choices in five critical domains: course selection, career
5 Professional development
path, professional development, parent-teacher conferences,
6 Adaptive learning and educational funding. are expected to demonstrate a positive
7 Language learning inclination toward AI suggestions, particularly when
8 Parent-teacher conferences accompanied by transparent explanations and insights into the
decision-making process. As the study progresses, these initial
9 Research topic selection
trends are anticipated to gain further substantiation,
10 E-learning platforms underscoring the pivotal role of user trust in AI tools.
11 Educational funding
12 Data analysis assistance
REFERENCES
[1] B. Coppin, Artificial Intelligence Illuminated. Boston, MA, USA: Jones
and Bartlett, 2004.
D. Data Collection Procedure [2] B. Whitby, Artificial Intelligence: A Beginner’s Guide. Oxford, U.K.:
An online survey for comprehensive exploration has been Oneworld, 2008.
employed to collect the data in this study. Participants have [3] M. J. Timms, “Letting artificial intelligence in education out of the box:
been presented with 12 education-related decision scenarios Educational cobots and smart classrooms”, International Journal of
Artificial Intelligence in Education, vol. 26, no.2, pp. 701-712, 2016.
and a multiple-choice question to understand the reasons behind
[4] M. Chassignol, A. Khoroshavin, A. Klimova, and A. Bilyatdinova,
their choices when opting for AI-driven recommendations. ‘‘Artificial intelligence trends in education: A narrative overview,’’
Procedia Computer Science, vol. 136, pp. 16–24, 2018.
E. Data Analysis

159
Prediction of University Students' Difficulty Level for
Learning Management System (LMS)
Using Machine Learning Techniques
Zeyneb UYLAŞ AKSU1, Sevinç GÜLSEÇEN2
1
Department of Computer Technology, Istanbul Bilgi University, Istanbul, Turkiye
1
[email protected]
2
Department of Informatics, İstanbul University, Istanbul, Turkiye
2
[email protected]

Abstract— Learning Management System (LMS) allow students power, and LMS are important elements that should be added
and instructors to manage online courses. LMS used actively in to the education process to implement knowledge management
distance education, has been expressed as difficult for some with fewer problems and increase quality [2]. It has been
students due to its technical infrastructure and usability. System
concluded that whether students interact while using LMS is
developers make updates every period to increase and improve
usability. The use of LMS can be understood as difficult or easy,
related to the student's satisfaction in the on-air education
depending on environmental influences such as student process [3]. The fact that the study aims to predict the difficulty
technological capacity and the technical infrastructure of the of education management systems necessitated determining the
system, as well as student individual characteristics and general boundaries of the study. While there are a variety of
technological device proficiencies. It is thought that the student's satisfaction scales that can be measured for LMS, this study
difficulty or ease of using the LMS is important in terms of the focused on the feeling of difficulty experienced by the student
student's demographic data, department, field, and technological rather than satisfaction and usability. It is thought that the
proficiency. This study aims to estimate the difficulty level of the feeling of difficulty of students who are satisfied with the
LMS used by university students in distance education. With education management system they use may change. Technical
classification algorithms, one of the machine learning methods,
predictions were made for new student groups based on student
glitches, lack of digital literacy, internet problems, or lack of
data collected through a survey. Within the scope of the results technological devices are important problems in distance
obtained, the necessity and possibility of artificial intelligence education [4]. The study addresses students' feelings of
supported customizable to LMS were discussed. difficulty with LMS during the distance education period. One
of the limitations of this study is that the number of students
I. INTRODUCTION taking online courses through distance education is less than the
Distance education systems, which have become part of our number of students taking only face-to-face courses. Usability
lives with the Internet, contain some important details. The research on LMS focuses on usability and satisfaction
main details of these are the internet, digital content, course predictors. The originality of the study is that it examines LMS
management and success evaluation platform, and live lesson and live classrooms, the department, technological proficiency,
platform. Tracking of online courses, success evaluation, and and characteristics that may affect the feeling of strain.
content-sharing processes is carried out through a single
software. Çoban defined the web software that manages this II. MATERIALS AND METHODS
process while learning via the internet as an education The study population was determined as university students
management system [1]. The LMS has gained many uses with studying in Istanbul. Data was collected through a survey
digital transformation. So much so that with distance education, administered to students during the 2022/2023 academic year.
the area of use for online course management has increased The students were asked to indicate their gender, age, how
even more. In this context, developers design user-friendly many people they live with at home, the device type they use
LMS. Although technical details are important, it is thought that when logging into the course, whether they need any materials
distinguishing characteristics of students, such as demographic during the course, the name of the learning management
data and the department they study, may be decisive for the system, name of the virtual classroom, and the level of difficulty
feeling of difficulty when using these systems. they experience in the learning management system. A
This study aims to predict the difficulty students will prediction study was carried out with classification, which is a
experience when using LMS based on their characteristics. It supervised learning method from machine learning methods.
has been stated that student perspective, instructor management Machine learning algorithms were studied with the R Studio

160
program. Various algorithms with machine learning well as the technical deficiencies of the LMS. In this context,
classification methods were tried with the obtained data. artificial intelligence supported LMS is needed. These
customizable systems will be able to reduce the disadvantages
III. RESULTS AND DISCUSSION of LMS to some extent. Within the scope of the research,
Data set classification was run with 5 different classification instead of digital competence, the student department's
algorithms. According to the results obtained from the relationship with technology was examined. The fact that It
algorithms, the algorithm with the highest success rate was cannot be evaluated with digital competence is one of its
decided. While comparing the algorithms among themselves, it limitations. On the other hand, another limitation is that it has
was discussed how the success rate varies. Algorithms produce no distribution with a large and homogeneous data group within
different results depending on the type of data. It was studied the scope of accessible students.
with K Nearest Neighbour, Naive Bayes, Support Vector In this study, it is demonstrated that students' views on
Machine, C5.0, and Random Forest algorithms. These learning management systems may vary depending on the
algorithms were frequently chosen for classification algorithms individual characteristics of the student as well as the technical
in the data collected by survey. In this context, it was deemed deficiencies of the learning management systems. In this
appropriate to use these algorithms in the study. As a result of context, artificial intelligence-supported learning management
model selection and evaluation, it was concluded that the systems are needed. Access to students has been challenging in
algorithm with the highest accuracy value was the C5.0 distance communication. One of the limitations of the study is
Algorithm with 0.86. High kappa and predictive values indicate that a very large data group cannot be accessed, and the
the balanced distribution and reliability of the algorithm. population was selected with existing access opportunities. The
study supports the need for customizable learning management
systems in the future. It is thought that possible disadvantages
IV. CONCLUSIONS that students may experience can be reduced with artificial
Machine learning studies should become more widespread in intelligence-supported customizable systems.
the field of education. Many artificial intelligence-based
research conducted in education plans to increase students' REFERENCES
learning experience and digital materials in both face-to-face [1] Çoban, S., 2016. “Üniversitelerde Öğretim Yönetim Sistemleri
Yazılımları Kullanımına Yönelik Bir İnceleme”. Journal of Batman
and distance education, organize the teaching process, and offer Üniversitesi Yaşam Bilimleri vol. 6.
suggestions to make it better [4]. The unexpected pandemic and [2] Markova, T., 2021. “Educators’ and students’ perceptions of online
the transfer of education to digital environments have led distance education before and amid COVID-19: Key concerns and
universities to quickly choose an education management challenges.” SHS Web of Conferences 99, 01018.
system. In this context, the selected education management https://doi.org/10.1051/shsconf/20219901018
systems may differ depending on whether they are paid or free. [3] Kuo, Y. C., Walker, A. E., Belland, B. R., & Schroder, K. E. (2013). A
predictive study of student satisfaction in online education programs.
It has been observed that some state and foundation universities International Review of Research in Open and Distributed Learning,
have developed their software infrastructures during the 14(1), 16-39. https://doi.org/10.19173/irrodl.v14i1.1338
education and training process. It has been observed that the [4] Mirkholikovna, D.K., 2020. “Advantages and disadvantages of distance
level of difficulty experienced by students when using any of learning. Science and Education Today”, 7, 70–72.
these education management systems varies depending on [5] Romero, C., Ventura, S., 2013. “Data mining in education”, Wiley
Interdiscip Rev Data Min Knowl Discov 3, 12–27.
individual characteristics. The importance of these attributes https://doi.org/10.1002/widm.1075
has been emphasized with machine learning algorithms. In this
study, it was seen that students' opinions about LMS may vary
depending on the individual characteristics of the student as

161
 Unlocking the Potential of Virtual Reality in
Education: Insights from Teachers and
Recommendations for Integration
Serhat Orhak Prof. Dr. Kürşat Çağıltay
Computer Education and Instructional Technology Computer Engineering
Middle East Technical University, Türkiye Sabancı University, Türkiye
[email protected] [email protected]

Abstract— The integration of Virtual Reality (VR) technologies exceed physical boundaries, visit distant places, and engage
into education holds immense promise. Virtual Reality has the students in fun and immersive learning experiences. VR opens
potential of providing an immersive and interactive learning doors to explore items that are otherwise inaccessible and
experience, thus allowing students to engage with educational cultivates a deeper awareness of the world around us.
content in a more meaningful way. Besides, VR can transport
students to places they might not otherwise afford or have the
chance to visit (Park & Kim, 2022). Addition to that, thanks to 2. HOW DID TEACHERS USE VR IN EDUCATION?
visiting such places, it has the potential of making lessons more
memorable and impactful. As it can be customized and developed Many of the research participants (n= 89) have integrated VR
for different purposes, VR can be integrated into almost all the technologies into their teaching practices at least for a few
school subjects. However, it is marked by its unique set of obstacles times. 13% of the participants even stated that they use VR
or challenges such as high prices of the devices, lack of software,
technologies in their classes on a regular basis. Moreover, 26%
limited usability, lack of competence of teachers etc. (1Alalwan et
al., 2020; 2Graeske & Sjöberg, 2021; 3Mantovani, 2003.) This of the participants worked collaboratively with their colleagues
study is mainly centered on the research interest of understanding to integrate VR in education. Teachers have harnessed the
how teachers apply VR technologies in their educational practices. power of VR for diverse educational activities, including
The study delves into the experiences of teachers who participated eTwinning projects, cultural visits, 3D city tours, museum
in a survey. The survey was administered to 104 teachers from exploration, and even watching experiments. VR has made
diverse educational backgrounds. It encompassed both learning enjoyable through games and fun activities, enabling
agree/disagree statements and open-ended questions to have students to grasp complex mathematical concepts in an
comprehensive data from the participants. The results were engaging manner.
analyzed by using SPSS and MAXQDA software. Almost all the
participants are of the opinion that integrating VR into education
increases the students' learning and motivation. Teachers cited 3. WHY DID NOT TEACHERS USE VR IN
reasons for barriers for the adoption of VR as limited content EDUCATION?
availability, difficulties in content creation, lack of parental and
managerial support and infrastructure constraints. The paid Despite its potential, the adoption of VR in education faces
subscriptions of the appropriate software to create VR content was barriers. Teachers cited reasons such as limited content
the most important factor of not using the VR in educational availability, difficulties in content creation, lack of parental and
practices. Through their responses, the key findings that shed light managerial support, infrastructure constraints, and challenges
on the integration, benefits, and challenges of VR technologies in arising from external factors such as lockdowns as a result of
education are provided in the current study.
natural disasters, and socio-economic disparities. The paid
subscriptions of the appropriate software to create VR content
1. WHY IS VR NECESSARY AT SCHOOLS? was the most important factor (n=82) of not using the VR in
educational practices. Additionally, the pandemic disrupted
All the research participants indicate that using VR in
plans for VR integration as well.
education is necessary without any doubt. Besides, 99% of all
the participants acknowledge that using VR in education
4. WHY DO SOME TEACHERS THINK VR CAN'T
positively effects students’ learning and motivation. They
BE USED IN CLASSROOMS?
recognize VR as a means to embody abstract concepts, catch
up with the requirements of the new era, and provide students
Some teachers perceive VR as challenging to implement in
with opportunities to apply their knowledge. It allows them to
overcrowded classrooms due to a lack of sufficient content and

162
the time-consuming nature of content production. Furthermore, necessary proficiency for effective VR utilization. The
most teachers disagree that they possess the necessary incorporation of diverse disciplines recognizes the versatility of
knowledge and skills to develop VR educational content and VR across a range of subjects, making it a valuable tool for
effectively integrate VR technologies into their educational educators. The provision of training materials in Turkish makes
practices. They express a desire for further training to enhance them accessible and inclusive for a wider audience.
their capabilities in creating and integrating VR into their Encouraging collaborative knowledge sharing among educators
classrooms. through peer learning opportunities highlights the value of
teamwork. Finally, training outcomes can inform education
policies to shape educational strategies based on real-world
5. CONCLUSION experiences. These recommendations aim to optimize the
integration of VR into teaching practices, giving educators the
In conclusion, the findings from this study illuminate the skills and knowledge needed to effectively use technology in
dynamics of integrating VR into teaching practices among education and ultimately enhance the learning experience for
teachers. The survey responses from 95 participants provide students.
valuable insights into the challenges and opportunities of VR
integration in education. Future research and collaborative
efforts can bridge these gaps, making VR an indispensable tool REFERENCES
for teachers as they navigate the ever-evolving landscape of [1] Alalwan, N., Cheng, L., Al-Samarraie, H., Yousef, R., Ibrahim Alzahrani,
education in the digital age. A., & Sarsam, S. M. (2020). Challenges and Prospects of Virtual Reality
and Augmented Reality Utilization among Primary School Teachers: A
Developing Country Perspective. Studies in Educational Evaluation, 66,
100876. https://doi.org/10.1016/j.stueduc.2020.100876
6. IMPLICATIONS [2] Graeske, C., & Sjöberg, S. A. (2021). VR-Technology in Teaching:
Opportunities and Challenges. International Education Studies, 14(8), 76–
83.
The suggestions obtained from teacher feedback are of great
[3] Mantovani, F. (2001). VR Learning: Potential and Challenges for the Use
importance when it comes to the successful integration of of 3D Environments in Education and Training. In G. Riva & C.
Virtual Reality (VR) into teaching practices. By providing Galimberti (Eds.), Towards CyberPsychology:Mind, Cognitions and
practical VR applications in the training content, the need for Society in the Internet Age (pp. 207–226). IOS Press.
immersive and hands-on experiences to improve
comprehension is acknowledged. Extending the training period [4] Park, S. M, & Kim, Y.G. (2022). A Metaverse: Taxonomy, Components,
emphasizes the significance of practical training to acquire the Applications, and Open Challenges. IEEE Access.

163
 User Interface Design For Fire Emergency Response
Leyla Muradkhanli
Process Automation Engineering Department, Baku Higher Oil School, Baku, Azerbaijan
[email protected]

Abstract— A fire emergency refers to a situation in which there is

an uncontrolled fire that poses a threat to people, property, or the II. USER INTERFACE DESIGN PRINCIPLES
environment. Fire emergencies can occur in various settings, such The following principles and considerations should be taken
as homes, businesses, industrial facilities, forests, and public into account for designing an efficient and user-friendly UI for
spaces. These emergencies require immediate and appropriate
action to ensure the safety of individuals and to minimize damage.
fire emergency response:
Designing a fire emergency response application requires • Clear and Intuitive Navigation
consideration of user experience, functionality, and reliability and • Responsive Design
includes user-friendly interface design, account setup, emergency • Emergency Alerts and Notifications:
alerts, evacuation plans, emergency contacts, fire safety • Map Integration
information, first aid information, integration with emergency • Geographic Information System Integration
services, etc. • Communication Tools
Keywords : Fire emergency response, human-computer • Resource Management
interaction, user interface
• Incident Tracking
I. INTRODUCTION • Situational Awareness
• User Training and Support
The goal of the user interface (UI) design for fire emergency • Accessibility
response is to support the effective and efficient coordination of • Testing and User Feedback
responders in high-stress situations. • Security and Redundancy
Designing the UI for fire emergency response systems is • Training and Onboarding
critical, as it plays a pivotal role in helping first responders react • Scalability
quickly and effectively during life-threatening situations.
User-friendly interface design should have the following Designing a comprehensive fire emergency response system
characteristics : involves integrating various components and technologies to
• Create an intuitive, user-friendly interface that is easy to ensure an efficient and coordinated response to fire incidents
navigate in high-stress situations. [2].
• Prioritize simplicity and clarity in design, with easily The key elements to consider when designing such a system
recognizable icons and buttons. are:
A heuristic evaluation is a usability inspection method for • User interface and experience :
computer software that helps to identify usability problems in  Create user-friendly interfaces for first responders
the UI design. It specifically involves evaluators examining the and the public to access information and tools.
interface and judging its compliance with recognized usability  Prioritize clear and intuitive design for critical
principles (the "heuristics"). decision-making processes.
Jakob Nielsen's heuristics are the most-used usability • User interface and training:
heuristics for user interface design. Nielsen developed ten  Create a user-friendly interface for first responders
general principles for user interface design that are still used and emergency personnel.
today [1] :  Provide comprehensive training and support to
1. Visibility of system status ensure efficient system use.
2. Match between system and the real world A well-designed fire emergency response system integrates
3. User control and freedom these components into a cohesive and efficient framework,
4. Consistency and standards enabling swift and coordinated responses to fire incidents while
5. Error prevention prioritizing safety and protection of life and property. Such
6. Recognition rather than recall systems are tailored to the specific needs and challenges of the
7. Flexibility and efficiency of use region they serve and may incorporate cutting-edge
8. Aesthetic and minimalist design technologies to enhance their effectiveness.
9. Help users recognize, diagnose, and recover from errors
10. Help and documentation

164
 Fire emergency response systems are critical in safeguarding
lives and property during fire incidents. They require careful
planning, integration of technologies, and collaboration among
various stakeholders to ensure their effectiveness in responding
to fire emergencies.

III. THE FIVE PHASES OF EMERGENCY MANAGEMENT

There are 5 phases of emergency management :
• Prevention
• Mitigation
• Preparedness
• Response
• Recovery

Prevention focuses on preventing hazards from occurring,

whether they are natural, technological or caused by humans.
Fig. 1. 5 phases of emergency management
Mitigation is the effort to reduce loss of life and property by
lessening the impact of disasters and emergencies. The first priority in emergency response is life safety. The
Preparedness measures include developing mutual aid second priority is the stabilization of the incident. There are
agreements and memorandums of understanding, training for many actions that can be taken to stabilize an incident and
both response personnel and concerned citizens, conducting minimize potential damage.
disaster exercises to reinforce training and test capabilities, and
presenting all-hazards education campaigns.
Response actions may include activating the emergency IV. CONCLUSIONS
operations center, evacuating threatened populations, opening Fire emergency response system design based on mobile
shelters and providing mass care, emergency rescue and application offer several advantages in providing timely and
medical care, fire fighting, and urban search and rescue. efficient emergency response services. The key benefits are
immediate access to emergency services, location tracking,
5 phases of emergency management [3] shown in Fig. 1. quick communication, real-time alerts and notifications,
disaster preparedness, community engagement, remote
assistance, etc.

REFERENCES
[1] Nielsen, J. (1994). 10 Usability Heuristics for User Interface Design.
Norman Group. https://www.nngroup.com/articles/ten-usability-
heuristics/
[2] J Prasanna, Raj & Yang, Lili & King, Mlcolm. (2009). Situation
awareness oriented user interface design for fire emergency response.
Journal of Emergency Management. 7. 65-74.
[3] L.G. Muradkhanli “Intelligent Emergency and Disaster Management
System”, Fundamental Problems of Mathematics and the Application of
Intelligent Technologies in Education, II Republic Scientific Conference,
Sumgait State University, 2022, pp.179-183.

165
 Exploring the Ethics of Emotion Computing in K-
12 Education: Understanding Adolescents’
Interaction with Generative AI
Mustafa Coşkun1, Ayşe Gül Kara Aydemir 2,
1
Political Science, University of Zurich, Department of Political Science University of Zurich Affolternstrasse 56 CH-8050 Zurich
[email protected], [email protected]
2
Educational Sciences, Akdeniz University, Akdeniz University Faculty of Education 514/3 Campus, Antalya, Turkey

2
[email protected]

Abstract- We are currently witnessing one of the most important technological developments with the advent of generative AI.
The increasing prevalence of high-resolution cameras, high-speed internet and machine learning capabilities, especially deep
learning, are enabling the emergence of emotion (affective) computing. Advancements in emotional computing has been
expected to have a significant impact on education. Many people presume digital technology less problematic element of
contemporary education. While they offer great opportunities, they can also lead to inherent problems. In the rapidly evolving
landscape of education, the incorporation of emotion computing has provided many affordances, especially in K-12 education, but also
raised ethical issues. In this study we attempt to explore interaction of adolescents with AI systems and draw attention to ethical issues
of emotion computing in K-12.
Young generation, often called “digital natives” effortlessly interacts with generative AI systems. They were born in a world where
technology becomes invisible, have grown up where AI technologies are ubiquitous, and becoming like an old friend with these
virtual companions. However, this familiarity does not exists without its complexities. Young generation seeks a deeper level of
interaction and connection with those technologies, expecting them to recognize and adapt themselves to their emotions, much like a
“trusted” old friend. Conducting an adapting modifying and empathizing affective responders is a more achievable goal than the
demanding task of maintaining consistent responses. Interestingly, despite their comfort with AI, this generation maintains a clear
distinction between AI and human beings. They perceive AI as a machine, not a natural entity, and are aware of the limitations and
boundaries in their interactions with AI. This awareness fosters a unique relationship between humans and computers, allowing
them to balance their desire for human-like emotional engagement. These insights can be applied to the design of new AI-
supported education systems. Understanding this behavior of young generation and meeting their expectations from generative AI
could transform the interplay between education and technology. In accordance with this argument, educational technology
researchers and practitioners, policymakers, and other stakeholders need to purse meaningful and responsible ways to integrate
emotion computing into K-12 education. This mutually beneficial relationship could lead to various useful implementations; such as
enhancing skill development of individuals with autism or embedding assessment. Considering the familiarity and ease of
communication with machines, teaching and learning environment design for this generation should be aligned with a strong
emphasis on ethical considerations. If the curriculum can harmoniously incorporate these aspects, generative AI has the potential
to enhance not only academic growth but also emotional intelligence in this generation. Ethics play a critical role in the
interaction between this generation and AI. Privacy, data security, emotional manipulation, autonomy, fairness, and bias are key
concerns.
The long-term psychological and societal effects, along with cultural issues, need to be addressed, since this generation desires AI to
adapt itself to their emotional state. To realize this issue, AI need to collect data and then decides the emotion of the user based on its
trained model. First, the data privacy and security are very crucial for this progress since the collected data is about emotional state of
users. This data can consist of gestures of users (image processing), voice levels (audio processing) and writings (text analysis), thus
there would be some private data of users which should be considered sensitive. Therefore, to ensure data privacy and security, the
collection and use of emotional data must be handled with the highest level of care. Second, the emotional manipulation desired from
the AI should be trained and served very carefully in order to avoid rudeness or emotional disruption, particularly for teenagers.
Lastly, generative AI technologies are criticized due to data accuracy and accountability. Generative AI technologies need to be held
accountable for data accuracy and the ethical behavior of AI responses to avoid bias in emotional responses. In other words, our AI
responses should not have bias in their drive emotional responses.

166
To conclude, integrating emotions to computing for generative AI systems in their relationships with new generation would be an
opportunity for new education system. To stand in opposition to this technological transformation is akin to resisting the
revolutionary impact of the printing press. Instead of prohibiting the generative AI completely in education as an old-fashioned way,
we should use it in an ethical and responsible way by teaching new generations how and why to use it. Also, we should add emotional
and affective abilities to AI in order to interact with users to avoid a toxic robot speech. Then this perspective of education design
progress would result in “A Powerful AI Supportive Education System”. To ensure responsible use of emotion computing in K-12
educational settings, school administrators and both pre-service and in-service teachers must receive relevant education and training.
It is essential for teachers to possess the necessary knowledge and literacy for the successful integration of emotion computing
practices and tools into their pedagogical approach. A coordinated effort is necessary at the national level to create detailed policies
that tackle the ethical, privacy, and educational consequences of emotion computing implementation in K-12 environments.

167
 Exploring Educational Technologists’
Usability Heuristics on a Mobile Assistive
Technology Hub
Dr. Sezin Eşfer Bahcesehir University
Dr. Paul Whittington Bournemouth University
Dr. Seda Gökçe Turan Bahcesehir University
Prof. Dr. Hüseyin Doğan Bournemouth University
Assoc. Prof. Dr. Seda Saraç Bahcesehir University
Prof. Dr. Kerem Rizvanoğlu Galatasaray University

Abstract- Assistive Technology (AT) covers mobility devices (e.g.: wheelchairs), communication devices (e.g.: speech
recognition), sensory aids (e.g.: vibrating alarm), computer access tools (screen readers, alternative keyboards, etc.), daily
living aids (e.g: doorbells with flashing light alerts) and specific educational tools (e.g: mobile apps). According to the World
Health Organization (2023), more than 2.5 billion people need AT which has been playing a crucial role in living healthy,
productively, and independently (Dawson et al., 2019; Aslan, 2018; Lansley et al., 2004) via promoting inclusion and
participation in education and work. Specifically, when AT-related educational tools are appropriately integrated into
training, they may have a positively significant impact on learners' academic achievements, motivation, study, and social
skills (Aslan, 2018; Bozkurt, 2017). So, like teachers who identify, implement, and evaluate the instructional effectiveness of
these tools (Ahmed, 2018), educational technologists (ET) can also apply usability principles and standards to design and
develop inclusive educational materials and designers can improve the quality of AT. Not only that, but the World Wide
Web Consortium also (2023) claims that practitioners and researchers can incorporate usability techniques to improve
‘usable accessibility’ to make their designs work better for more people in more situations. With respect to this matter, this
study aims to evaluate ET Usability Heuristics on the usability of Eduability, an AT Hub that stands for increasing
awareness of AT, promoting inclusivity in schools, and providing support to use appropriate AT. It is a mobile application
providing updated, valid, and comprehensive information under 3 main categories: 1. AT recommendations to learners with
reduced physical or cognitive abilities, 2. training for instructors, and 3. continuous support staff in mainstream and special
educational needs schools. That’s why we explore the contribution of 5 ET experts (who have at least 5 years' experience)
heuristics on this application and select explanatory case study to explain the presumed causal links in real-life interventions
which are too complex for experimental strategies, as Yin (2003) declared. The findings and suggestions will be discussed.

Keywords: Assistive Technology, Usability Heuristics, Educational Technologist, explanatory case study, Human Computer
Interaction

References

Ahmed, A. (2018). Perceptions of using assistive technology for students with disabilities in the classroom. International
Journal of Special Education, 33(1), 129-139.
Aslan, C. E. M. (2018). Özel Eğitim Öğretmenlerinin Yardimci Teknolojilere Yönelik Tutumlari. Eğitim Teknolojisi Kuram
ve Uygulama, 8(1), 102-120.
Bozkurt, S. S. (2017). Özel eğitimde dijital destek: Yardımcı teknolojiler. Açıköğretim Uygulamaları ve Araştırmaları
Dergisi, 3(2), 37-60.
Dawson, K., Antonenko, P., Lane, H., & Zhu, J. (2019). Assistive technologies to support students with dyslexia. Teaching
exceptional children, 51(3), 226-239.
Lansley, P., McCreadie, C., & Tinker, A. (2004). Can adapting the homes of older people and providing assistive technology
pay its way?. Age and ageing, 33(6), 571–576.
Yin, R. K. (2003). Designing case studies. Qualitative research methods, 5(14), 359-386.
World Health Organization (WHO). (2023, September 18). Assistive technology. Retrieved from https://www.who.int/news-
room/fact-sheets/detail/assistive-technology
World Wide Web Consortium (W3C). (2023, September 19). Accessibility, Usability, and Inclusion. W3C Web
Accessibility Initiative. Retrieved from https://www.w3.org/WAI/fundamentals/accessibility-usability-inclusion/

168
 Müze Sanal Turu Sürecinde Görev Tipinin
Bilişsel Yük ve Hatırlama Üzerindeki Etkisi
Türkan Karakuş Yılmaz*1, Zafer Yılmaz#2, Ömer Arpacık#3
1,3
Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü, Kazım Karabekir Eğitim Fakültesi Atatürk Üniversitesi,
Erzurum, Türkiye

*1
[email protected], [email protected]

2Felsefe Eğitimi Bölümü, Kazım Karabekir Eğitim Fakültesi Atatürk Üniversitesi, Erzurum, Türkiye

[email protected]

Özet- Görev zorluğu, zaman kısıtlılığı ve öğrenme materyaline özgü bazı unsurlar bilişsel yük ve hatırlama
düzeylerini etkilemektedir. Bu çalışmada bir müzenin sanal turu sırasında verilen görevlerin tipine göre görev
tamamlama sürecinin oluşturduğu bilişsel yük ve görevler tamamlandıktan sonra müze ile ilgili hatırlama düzeyleri
karşılaştırılmıştır. Çalışma iki farklı uygulamayı içeren yarı deneysel bir çalışmadır. İki uygulamada farklı müzelerin
sanal turları ele alınmıştır. İlk müze turunda bireysel ve rehberlikli görev tipi kullanılırken, ikinci müze turunda açık
uçlu ve kapalı uçlu görev tipleri kullanılmıştır. Öğrenciler sanal turu keşfederken, araştırmacıların geliştirdiği
oyunlaştırılmış, görev tabanlı bir mobil uygulamayı kullanmış, mobil uygulamada adım adım verilen görevleri yerine
getirmişlerdir. İlk çalışmaya toplam 96 eğitim fakültesi ilk yıl öğrencisi katılırken, ikinci uygulamaya 75 öğrenci
katılmıştır. İlk çalışmada bireysel gruptaki (n=50) öğrenciler mobil cihaz vasıtasıyla adım adım verilen, sınırlı süreli
görevleri tamamen bireysel biçimde, her görevin sonunda geribildirim alacak şekilde tamamlamışlardır. Rehberlikli
grupta (n=46) ise, görevler öğrencilere rehber tarafından adım adım gönderilmiştir. Görevi bitiren öğrencilerin,
rehberin yeni görevi göndermesini beklemeleri gerekmiştir. Rehber ise için grubun büyük kısmının görevi
tamamlamasından sonra bir sonraki yeni görevi göndermiştir. Burada bireysel olarak görevleri yapan öğrenciler
kendi hızlarında görevleri tamamlamış, ancak görevleri daha hızlı biçimde tamamlamak için ekranda verilen bilgileri
göz ardı etmişlerdir. Öte yandan rehberlikli grup görevleri ve ipuçlarını okumak için daha fazla zaman
kullanabilmişlerdir. İlk uygulamada bireysel olarak görevleri yapan öğrencilerin rehberlikli gruba göre daha yüksek
bilişsel yük ve hatırlama düzeyine sahip olduğu görülmüştür.

İkinci uygulamada açık uçlu görev grubunda (n=37) görevler resim, video çekme, metin yazma şeklinde ekrandan
geribildirim verilmeyen cevaplar gerektirirken, kapalı uçlu görev grubunda (n=38) öğrencilerin yaptıkları her görev
için anında geribildirim verilmiştir. İkinci uygulamada kapalı uçlu görevleri yapan öğrencilerin bilişsel yükleri açık
uçlu görevleri yapan öğrencilere göre anlamlı ölçüde yüksek iken hatırlama düzeyleri arasında fark görülmemiştir.
Sonuçlar görev tipinin bilişsel yüke etki edebileceğine işaret ederken, sanal ortamlar için görev tasarımı konusunda
da ipuçları vermektedir.

Anahtar kelimeler— sanal tur, sanal müze, öğrenme deneyimi, bilişsel yük, görev tipi, hatırlama

Bilgi notu: Bu çalışma 220K078 No.lu Tübitak projesi kapsamında gerçekleştirilmiştir.

169
 Yapay Zekanın Turizmi Kolaylaştırılması:
Kültür Turizmi
Nesrin M. Bahcelerlia,*, Fahriye Altınayb, Zehra Altınayc, Mehmet Altınayd, Gökmen Daglıe
a
Faculty of Tourism, Near East University, Nicosia 99010, Cyprus
b,c
Institute of Graduate Studies, Societal Research and Development Center, Faculty
of Education, Near East University, Nicosia 99010, Cyprus
d
Business Faculty, University of Kyrenia, Kyrenia, 99010, Cyprus
e
Education Faculty, University of Kyrenia, Kyrenia, 99010, Cyprus
Özet- Turizm işletmelerinin hem müşteri beklentilerini karşılamak hem de sektördeki yeniliklere uyum sağlamak ve
rekabet edebilmek için yapay zeka uygulamalarına yatırım yapması önem arz etmektedir. Yapay zeka teknolojisi
modern turizmin gelişmesi için önemli bir araç haline gelmiştir. Yapay zeka sayesinde turizm endüstrisi dünyanın
her yerinden insanlara ulaşma fırsatını sunmaktadır. Bir çok turizm işletmeleri hizmet verdikleri alanlarda yapay
zeka uygulamalarını işletmelerine entegre etmişlerdir. Yapılan çalışmalar turizm işletmelerinin gelecek zamanda
yapay zeka uygulamalrını daha fazla kullanılacığını ortaya koymaktadır. Teknolojinin yaygınlaşmasıyla birlikte
konaklama işletmelerinde, yiyecek ve içecek, ulaşım ve tüm turizm işletmelerinde hatta müzelerde yapay zeka
uygulamalrı kullanılmaktadır. Yakın gelecekte yapay zekanın turizm sektörünün tüm alanlarına entegre edileceği
öngörülmektedir. Araştırmalar yapay zekanın hem işletmelere hem de turistlere fayda sağladığını otaya
koymaktadır. Turizm işletmelerinde yapay zekanın kullanılmasının pek çok nedeni olabilmektedir. Bunlardan biri
yapay zeka sistemleri işletmeler için rekabet avantajı elde etmeyi sağlamsı ve müşteri memnuniyetini artırırken kar
etmeyi de sağlamasıdır. Turistler açısından da işletmeler tarafından yapay zeka uygulamalarının kullanılması bir
çok avantaj ortaya koymaktadır. Seyahat öncesinde yapılan araştırma ve ardından yapılan rezervasyon işlmelerini
kolaylıkla çevrimiçi platformlar üzerinden 7/24 ve mekan sınırlaması olmadan yapabilmektedir. Bu da seyahat
edecek kişilerin zaman tasarrufu yapmasını sağlamakta bunun yanısıra memnuniyet düzeylerini arttırmaktadır.
Turizm endüstirisnde kullanılan yapay zeka uygulamaları turizm ürünlerinin çeşitlenmesine de fırsat sunmaktadır.
Turizm destinasyonun yönetimi, tanırlılığı ve hedef pazara erişim kullanılan yapay zeka uygulamaları ile daha etkili
olmaktadır. gelişmeler turizmi ve kültür turizmini değiştirmektedir. Yapılan çalışmalar turizm talebinin değiştiğini
bireylerin daha çok keşfetme, macera, eğlence ve öğrenme, yerel ve özgün olanı deneyimleme arzusu yönünde
olduğunu ortaya koymaktadır. Dolyısıyla kültürü ve yerel halk özellikle turistik faaliyetlerde önemli role sahiptir.
Teknolojinin kültürel organizasyonların gelişimini, yenilenmesini ve rekabet edebilirliğini desteklemede önemli bir
rol oynadığını ileri sürmektedir. Günümüzde müzeler ve miras alanları, ziyaretçi memnuniyetini artırmak ziyaretçi
deneyimini geliştirmek ve birlikte değer yaratmayı teşvik etmektir. Teknolojiye dayalı kültür ve turizm
bağlamlarında tüketiciler, deneyimi kişiselleştirme ve birlikte üretme konusunda daha aktif bir rol üstlenebilirler.

Anahtar Kelimeler: Yapay zeka, turizm, kültür turizmi

170
 iechci.info

13

View publication stats